Мы в Backblaze предлагаем нашим клиентам неограниченное хранилище всего за $5 в месяц, поэтому нам пришлось выяснить, как хранить сотни петабайт клиентских данных надёжным масштабируемым образом, при этом сохраняя цены низкими. Посмотрев на несколько коммерческих решений с неоправданно высокими ценами, мы решили строить наши собственные нестандартные контейнеры хранилища Backblaze (Backblaze Storage Pods): 67-терабайтные 4U-серверы за $7867.

В этом постинге мы расскажем, как создать такой контейнер хранилища, и будем рады, если вы используете подобный дизайн сами. Мы надеемся, что от совместного использования этой идеи выиграют все: как вы, так и мы, поскольку вы можете усовершенствовать этот дизайн и прислать нам улучшения. Эволюция и снижение затрат являются критичными для продолжения успеха Backblaze.

Вот видео, показывающее 3-мерную модель контейнера хранилища Backblaze. Продолжайте читать, чтобы узнать о всех деталях дизайна.

Здесь можно загрузить полную 3-мерную модель контейнера хранилища Backblaze в формате EASM.

Backblaze нужно большое, надёжное, дешевое хранилище

Сказать, что Backblaze нуждается в большом хранилище, — ничего не сказать. Мы предоставляем услуги бэкапа, так что наш дэйтацентр содержит полную копию всех данных наших клиентов, плюс несколько версий изменяющихся файлов. Грубо говоря, каждый раз, когда один из наших клиентов покупает жесткий диск, Backblaze нужен ещё 1 жесткий диск. Уже давно мы перестали измерять хранилища в наших дэйтацентрах в гигабайтах или терабайтах и начали мерить в петабайтах.

Чтобы получить представление, как это выглядит, вот на фото я устанавливаю новые контейнеры в нашем дэйтацентре. Я работаю со стойкой, содержащей небольшой «штабель» из 6 контейнеров, содержащих в сумме почти полпетабайта данных.

Чтобы предлагать наши услуги по разумной цене, нам нужно доступное по цене хранилище многопетабайтного масштаба.

Никто не продаёт дешёвые хранилища, поэтому мы спроектировали их сами

Прежде чем мы поняли, что нам придётся решать эту проблему с хранилищем самостоятельно, мы рассматривали Amazon S3, серверы Dell и Sun, файлеры NetApp, EMC SAN и т. д. По мере изучения этих традиционных «готовых решений», у нас пропадали все иллюзии о стоимости. Когда вы отбрасываете маркетинговые термины и красивые логотипы с любых решений по хранению данных, как ни крути, данные оказываются на обычном жестком диске. Но когда мы сравнивали цены различных коробочных решений, стоимость была в 10 и более раз выше «сырой» стоимости жестких дисков. Вот диаграмма, сравнивающая стоимость 1 петабайта от различных вендоров:

Оценив затраты, мы решили создавать наши собственные контейнеры хранения Backblaze. У нас были 2 основные цели: сохранять затраты на низком уровне, используя накопители потребительского уровня и легкодоступные массовые комплектующие, и использовать электроэнергию и место в дэйтацентре настолько эффективно, насколько возможно, используя «зелёные» комплектующие и «втискивая» большое хранилище в небольшой корпус.

Результат — это стоечный сервер высотой 4U на Linux, содержащий 67 терабайт, себестоимостью $ 7867, львиная доля которых уходит на покупку самих жестких дисков. Это составляет всего ~0.3 цента за гигабайт в месяц на протяжении 3 лет. Даже включая дополнительные издержки, такие как электричество, трафик, аренду места и зарплату IT-администраторов, Backblaze тратит 1/10 от цены в сравнении с использованием Amazon S3, серверов Dell, файлеров NetApp или EMC SAN.

Из чего состоит контейнер хранения Backblaze

Контейнер хранения Backblaze является самодостаточным узлом, который делает хранилище доступным онлайн. Он представляет собой сделанный по спецзаказу металлический корпус с широко доступными бюджетными комплектующими внутри. Конкретнее, 1 контейнер включает 1 системную плату Intel c вставленными в нее 4-мя платами SATA. 9 SATA-кабелей отходят от плат к 9 панелям умножителей портов (port multiplier backplanes), в каждую из которых непосредственно вставлено 5 жестких дисков (всего 45 жестких дисков).

Выше вы видите развернутую диаграмму, а подробный список комплектующих вы можете увидеть в Приложении A. 2 главнейших фактора, которые необходимо упомянуть: стоимость жестких дисков является львиной долей стоимости всего контейнера, а остальная часть системы полностью построена на широко доступных бюджетных комплектующих.

Соединяя провода: Как собрать контейнер хранения Backblaze

Диаграмма разводки питания контейнера хранения Backblaze приведена ниже. Блоки питания (БП) предоставляют бОльшую часть своей мощности по 2-м разным напряжениям: 5V и 12V. Мы используем 2 БП в контейнере, поскольку 45 дисков требуют много 5V-мощности, в то время как мощные ATX БП отдают бОльшую часть своей мощности по шине 12V. Это не случайность: 1500W и более мощные ATX БП спроектированы для мощных 3D-видеоплат, которым нужна дополнительная мощность по шине 12V. Мы могли бы предпочесть 1 серверный БП, но 2 ATX БП дешевле.

БП1 питает 3 передних вентилятора и панели размножителей портов 1, 2, 3, 4 и 7. БП2 питает всё остальное. (Подробный список специальных коннекторов на каждом БП см. в Приложении A). Чтобы запитать панели умножителей портов, кабели питания идут от БП через 4 отверстия в разделительной металлической пластине, на которой держатся вентиляторы, в центре корпуса (возле основания вентиляторов) и далее — до нижней стороны 9 панелей. У каждой панели умножителей портов на нижней стороне есть 2 Molex-коннектора «папа». Жесткие диски требуют самой большой мощности при начальной раскрутке дисков, поэтому, если вы включите оба БП одновременно, то будет большой (14 ампер) пик 120V питания из розетки. Мы рекомендуем сначала включать БП1, ждать, пока диски раскрутятся (и потребление питания снизится до разумных значений), а затем включать БП2. Полностью включенный, контейнер целиком будет потреблять примерно 4.8 ампер при простое и до 5.6 ампер при высокой нагрузке.

Ниже приведено фото частично собранного контейнера хранения Backblaze (кликните на фото для увеличения). У металлического корпуса снизу есть винты, обращенные вверх, к которым мы прикрепляем нейлоновые прокладки (маленькие белые штучки на фото ниже). Нейлон помогает погасить вибрацию, и это является критическим аспектом дизайна сервера. Платы, показанные над нейлоновыми прокладками, — это несколько из 9 панелей размножителей портов SATA, у которых снизу 1 SATA коннектор, а в верхнюю часть плат можно вставить вертикально 5 жестких дисков. Все кабели питания и SATA идут под панелями размножителей портов. Одна из панелей на фото ниже полностью заполнена жесткими дисками, чтобы показать размещение.

Примечание о вибрациях дисков: диски вибрируют слишком сильно, если вы оставляете их стоять так, как показано на фото выше, поэтому мы обматываем «противовибрационный рукав» (практически резиновую ленту) вокруг жесткого диска, между красной металлической решеткой и дисками. Это плотно держит диск в резине. Также мы кладем большой (40 см x 42 см x 3 мм) кусок пористого материала вдоль верха жестких дисков, после того как все 45 вставлены в корпус. После этого крышка привинчивается сверху пористого материала, чтобы надежно закрепить диски. В будущем, мы посвятим вибрации целый постинг в блоге.

Ниже приведена диаграмма разводки SATA-кабелей.

В системную плату Intel вставлено 4 SATA-платы: 3 двухпортовых платы SYBA и 1 четырехпортовая плата Addonics. 9 SATA-кабелей присоединяются к верху SATA-плат и идут в тандеме с кабелями питания. Все 9 SATA-кабелей имеют длину 91 см и используют Г-образные коннекторы с защелками на стороне панелей размножителей портов и прямые коннекторы без защелок на стороне SATA-плат.

Примечание насчет чипсетов SATA: каждая из плат размножителей портов содержит микросхему Silicon Image SiI3726, чтобы 5 дисков могли быть присоединены к 1 порту SATA. Каждая из 2-портовых PCIe SATA-плат SYBA содержит Silicon Image SiI3132, а 4-портовые PCI-платы Addonics содержат микросхему Silicon Image SiI3124. Мы используем только 3 из 4 доступных портов на платах Addonics, поскольку у нас только 9 панелей размножителей портов. Мы не используем SATA-порты на системной плате, поскольку, несмотря на заявления Intel о поддержке размножителей портов в их южном мосте ICH10, мы заметили странные результаты в наших тестах производительности. Silicon Image была пионером в технологии размножителей портов, и их микросхемы лучше всего работают вместе.

Контейнер хранения Backblaze работает на свободном ПО

Контейнер хранения Backblaze не является законченным строительным блоком до тех пор, пока не загрузится и не окажется в сети. Контейнеры работают на 64-битной Debian 4 Linux и файловой системе JFS, и они являются самодостаточными устройствами, весь доступ к которым и с которых идёт через HTTPS. Ниже вы видите диаграмму слоёв.

Начиная снизу, есть 45 жестких дисков, доступных через SATA-контроллеры. Затем мы используем утилиту fdisk в Linux, чтобы создать 1 партицию на диск. Над этим, мы объединяем 15 жестких дисков в 1 том RAID6 с 2-мя дисками четности (из 15-ти). RAID6 создается утилитой mdadm. Над этим стоит файловая система JFS, и единственный вид доступа, который мы разрешаем к этому полностью самодостаточному строительному блоку хранилища, это через HTTPS на базе специального уровня программной логики Backblaze в Apache Tomcat 5.5. Приняв всё это во внимание, форматированное (доступное) пространство — это 87% от сырой емкости жестких дисков. Один из самых важных аспектов здесь в том, что любое чтение/запись данных на контейнер хранения Backblaze происходит только через HTTPS. Нет никакого iSCSI, ни NFS, ни SQL, ни Fibre Channel. Ни одна из этих технологий не масштабируется так дешево и надежно, не может достичь таких размеров и не управляется так легко, как самостоятельные контейнеры, каждый со своим собственным IP-адресом, ожидающие запросов по HTTPS.

Контейнер хранения Backblaze — строительный блок

Мы чрезвычайно довольны надежностью и отличной производительностью контейнеров, и контейнер хранения Backblaze — это полностью самодостаточный сервер хранения. Но логика того, где сохранить данные и как шифровать их, индексировать их и устранять дублирование, находится на более высоком уровне (выходящем за рамки этого постинга). Когда вы управляете дэйтацентром с тысячами жестких дисков, процессоров, системных плат и блоков питания, у вас будут отказы оборудования — это неопровержимо. Контейнеры хранения Backblaze — это строительные блоки, на которых может быть построена бОльшая система, которая не позволяет наличия единой точки отказа (single point of failure). Каждый контейнер сам по себе является лишь большим куском сырого хранилища по невысокой цене; он сам ещё не является «решением».

Облачное хранилище: следующий шаг

Первый шаг к построению дешёвого облачного хранилища — это уже иметь дешёвое хранилище, и выше мы продемонстрировали, как создать своё собственное. Если всё, что вам нужно, это дешевое хранилище, то этого достаточно. Если же вам нужно построить облако, то вам еще предстоит поработать.

Построение облака включает не только установку большого количества аппаратного обеспечения, но, что важно, развертывание программного обеспечения, чтобы управлять аппаратным. В Backblaze мы разработали программы, которые устраняют дублирование и «нарезают» данные на блоки; шифруют и передают для бэкапа; пересобирают, расшифровывают, заново создают дублирующиеся блоки и упаковывают данные для восстановления; наконец, следят за всей системой облачного хранилища и управляют ей. Этот процесс — наша собственная технология, которую мы разрабатывали годами.

Вы можете владеть своей собственной системой для этого процесса и внедрить дизайн контейнера хранения Backblaze, или, может быть, вы просто ищете недорогое хранилище, которое не будет частью облака. В обоих случаях, вы можете свободно использовать дизайн контейнера хранения, описанный выше. Если вы так поступите, мы были бы признательны за ссылку на Backblaze и приветствуем любые разъяснения (insights), хотя это не обязательно. Пожалуйста, заметьте, что, поскольку мы не продаем дизайн или сами контейнеры хранения, мы не предоставляем никакой поддержки или гарантий.

В следующих сериях: через несколько недель мы поговорим о сенсорах вибрации iPhone, дизайне контейнеров по типу швейцарского сыра, почему электричество стоит больше трафика, и ещё о дизайне большого облачного хранилища.

Благодарности. Мы стояли на плечах гигантов.

Дизайн контейнера хранения Backblaze не был бы возможен без огромного количества помощи (о которой обычно просили без обиняков) невероятно умных и щедрых людей, которые отвечали на наши вопросы, работали с нами и давали ключевые разъяснения в критические моменты. Во-первых, мы благодарим Chris Robertson за вдохновение на построение нашего собственного хранилища и за его раннюю работу над прототипами; Kurt Schaefer за советы по обработке металла и концепт «мебели» для печатных плат; Dominic Giampaolo из Apple Computer за его советы по жестким дискам, вибрации и сертификациям; Stuart Cheshire из Apple Computer и Nick Tingle из Alcatel-Lucent за советы по низкоуровневым сетям; Aaron Emigh (EVP & GM, Core Technology) в Six Apart за его помощь в работе над первоначальным дизайном; Gary Orenstein за разъяснения надежности дисков и промышленности устройств хранения в целом; Jonathan Beck за неоценимые советы по вибрациям, вентиляторам, охлаждению и дизайну корпуса; Steve Smith (Senior Design Manager), Imran Pasha (Director of Software Engineering), и Alex Chervet (Director of Strategic Marketing) из Silicon Image, которые помогли нам отладить проблемы с протоколом SATA и дали взаймы 10 различных SATA-плат для тестов; James Lee из Chyang Fun Industries в Тайване за проработку SATA-плат для упрощения нашего дизайна; Wes Slimick, Richard Crockett, Don Shields и Robert Knowles из Western Digital за их помощь в отладке логов дисков Western Digital; Christa Carey, Jennifer Hurd и Shirley Evely из Protocase за предложение сотен небольших улучшений в 3-D дизайне корпуса; Chester Yeung из Central Computer за доставание локально поставляемых комплектующих быстро и постоянно, когда это действительно имело значение; Mason Lee из Zippy за советы по блокам питания и специальным кабелям; а также Angela Lai за знание всех нужных людей и представление надлежащим образом.

Наконец, мы благодарим тысячи инженеров, которые бесплатно отработали миллионы часов, чтобы мы получили компоненты контейнеров, которые либо дешевы, либо вовсе бесплатны, такие как: процессор Intel, Gigabit Ethernet, изумительно плотные жесткие диски, Linux, Tomcat, JFS и т. д. Мы осознаём, что стоим на плечах гигантов.

Приложение А. Подробный список комплектующих контейнера хранения Backblaze.

Оригинал постинга.

Should look into this. Sounds interesting. List price $55.

Addonics NASU2

Na das ist mal ein nützliches gadget. Endlich kann man USB Platten von mehreren Rechnern aus nutzen, ohne dass ein host laufen muss…

Storage junkies, your dreams have just been made into reality. Addonics has just introduced a marvelous new piece of kit, the simple-yet-useful Network Attached Storage Adapter. This little box enables any USB hard drive to be placed onto a network for network access, essentially turning your stale USB HDDs into NAS drives. The device supports both SMB Server Message Block and the open source Samba network protocols, which allows for cross-platform access of shared data for most versions of OS X, Windows and Linux. For users not directly connected over the LAN, the adapter provides FTP access for up to eight simultaneous users anywhere in the world, and it can even be used as “a print server or as a BitTorrent file downloading appliance.” Best of all? It’s available right now for $55. Like we said, dream come true.

via Addonics’ USB-to-NAS adapter: all your external HDDs, now network accessible – Engadget.

This is awesome. For $55 you plug ethernet in to one side and a USB hard drive into the other side and presto, you drive is available on the network via SMB or FTP.

Addonics’ USB-to-NAS adapter: all your external HDDs, now network accessible – Engadget.

A tweaker’s dream toy – but not for everyone

Engadget oggles Addonics’ new RAID box today, an awesome tech toy for RAID-to-go.  $99.

Interesting comments in the post on how much cooler it would be if it didn’t need an external power suppy.  That’s the trade-off between tinkerable boxes like this and a ready-to-use storage product like Seagate’s BlackArmor.  Just like home construction projects, the last 10% of “finish” can really make a difference in portable storage. 

It all depends on who you are and what you need. 

I could see Addonics’ Portable Dual Drive enclosure as a great starting point for a kick-butt specialized solution from a system builder.

Con este nuevo adaptador de Addonics es posible crear un disco duro en estado solido con una compact flash, y el adaptador en cuestión vale tan solo 30$, por lo que comprando este adaptador  y una compact flash de por ejemplo 16gb(150€ aprox) tendriamos un rendimiento similar al de un SSD por menos de 200€, y con 16 gb cosa que para un linux o un xp es más que suficiente.

Por si fuera poco el aparato ha demostrado rendir notablemente mejor que el SSD del air(que cuesta unos 1000$), o el del sony vaio tz , aun así no no se ve una mejora de consumo de bateria como podía esperarse y el rendimiento sigue siendo inferior al de un HDD de 7500rpm.

Es una opción más que interesante por el rendimiento que da y sobretodo por el precio que tiene.

Disponible aquí

Fuente:Fayerwayer