В первый же день на новом месте работы меня отправили на инженерный тренинг от IBM для компаний-партнеров, который назывался «IBM BladeCenter and System Storage Technical Boot Camp«, поэтому, первую неделю я находился там. Все никак не доходили руки написать, но сейчас наконец хочу поделиться своими впечатлениями от этого ивента с читателями моего блога.

Тренинг был больше по железу, что мало относится к моей специализации, тем не менее, на нем я узнал много чего нового и полезного для себя. В двух словах об этом я и расскажу ниже.

Для начала, несколько слов об организации. Данное мероприятие длилось 4 рабочих дня с перерывом на обед и включало в себя как теоретическую часть, так и лабораторные работы. Выступали представители компаний IBM, LSI и Intel из Украины, России и Германии.

День 1-й

Сначала был обзор аппаратных серверных продуктов компании IBM (в основном x86) начиная от однопроцессорных серверов в корпусе типа «башни» и заканчивая блейд-центрами, кластерами и многосокетными системами с возможностью вертикального масштабирования.

Среди всего прочего запомнилась фича от IBM «Light—Path Diagnostics«. Суть ее заключается в том, что у каждого сервера на внешней морде есть панелька, которая показывает, в каком месте системы произошел сбой и если снять с сервера крышку, то возле неисправного компонента (неисправная планка памяти, неисправный винчестер и т.п.) будет гореть красный светодиод. Предназначена данная технология для быстрого поиска и устранения неисправностей, что в свою очередь упрощает обслуживание и уменьшает время простоя сервера.

Дальше была теория и практика по системам хранения данных IBM серий DS3000 и DS5000. Здесь я бы хотел остановиться подробней, т.к. понятие SAN для меня было новым.

SAN (Storage Area Network), или на русском СХД (Сеть Хранения Данных) — представляет собой схему подключения внешних устройств хранения данных (в нашем случае дисковых массивов) посредством сети таким образом, что операционная система распознает их как локальные ресурсы.

Вот пример такой системы от компании IBM на 160 дисков:

Основные составляющие:

Расширительный модуль (Expansion Unit) с дисками:

Это, корзина для определенного количества дисков. Модуль служит так называемым ретранслятором сигналов от контроллера, непосредственно, к отдельным дискам. Верхний — 3U на 16 дисков, нижний — 4U на 60 дисков 3.5″, расширительный модуль высокой плотности.

Модуль контроллера, который этим всем добром управляет:

Это тоже своего рода шасси для контроллеров, которых как правило 2 (для надежности и балансировки нагрузки). Собственно в функции контроллера входит организация дисковых массивов (RAID), управление ими, а так же общение с внешним миром, то есть с системами, которые будут этими массивами пользоваться.

Объединяется все это дело посредством Fibre Channel и работает по протоколу SCSI. Контроллеры настраиваются удаленно с помощью виндовой утилиты DS Storage Manager, в которой можно строить рейды, нарезать логические томы, ассоциировать их с хостами в сети, делать всякого рода тюнинг и т.п.

Собственно говоря, из этого и состояла практическая часть по схд. Вдаваться в подробности не буду, но несколько слов скажу. Вот так выглядит интерфейс манагера:

Суть лабораторных работ заключалась в тривиальных задачах: создание массива, создание логического тома, подключение его к серверу, инициализация и форматирование в операционной системе. Интерфейс, в принципе интуитивно понятен, а наличие мастеров по любой стандартной задаче упрощает эксплуатацию (хотя мб зря я его так расхваливаю, сравнить то мне все равно не с чем :)).

После систем хранения был представлен обзору весь модельный ряд Blade-центров и блейдов к ним, которые производит компания IBM. Расскажу немного теории о том, что такое блейд-системы т.к. опять же, для меня это было новым.

Блейд-сервер (блейд, лезвие) — это компактный сервер, по функциональности ничем не отличающийся от обычного сервера, а отличается только исполнением. Лезвия монтируются в специальное шасси (блейд-центр), для уменьшения занимаемого в стойке пространства за счет использования общих компонентов: блоки питания, сетевые интерфейсы, носители информации, элементы охлаждения.

Вот несколько картинок блейд-центров IBM:

Надо сказать что ассортимент блейд-шасси и блейдов у IBM достаточно широкий и практически под любую задачу можно подобрать оптимальное решение. Есть лезвия как одно-сокетные так и много-сокетные, как с винчестерами, так и с SSD, так и вообще без накопителей. То же самое касается и направлений масштабируемости: с упором на оперативную память, на процессорную мощность и т.п.

В общем под разную задачу разный набор лезвий, который помещается в такую вот коробку, а в сочетании с системами хранения SAN, получается очень мощное архитектурное решение.

Интересной фичей лезвий является то, что их можно выдернуть не отключая все шасси, что упрощает обслуживание и ремонт.

У блейд-корзины есть веб-интерфейс, через который и осуществляется управление отдельными лезвиями. Например установка ОС производится с помощью виртуальной консоли, которая представляет собой веб-приложение на Java.

День 2-й

На следующий день сначала была немного унылая презентация от представителя Intel. Унылая потому что ничего нового и интересного он не рассказывал, а только задавал вопросы и пессиместически рассказывал о потребностях рынка процессоров, приводил разного рода статистику, которая была бы интересна скорее маркетологам.

Далее было поинтересней. Опять много теории, но на этот раз по подключению хостов к системам хранения. Здесь подробно рассматривались как физические интерфейсы: SCSI, Fibre Channel, SAS, Ethernet так и протоколы передачи данных: SCSI, SAS, iSCSI, FCoE. Обсуждались недостатки и преимущества каждого протокола и каждого физического интерфейса, их характеристики, структура, область применения и т.п. Останавливаться на этом не буду, т.к. все это тяжело охватить одной статьей, мб когда-нибудь напишу отдельную статью и на эту тему.

Потом опять стало нудно, то ли от того что материал неинтересный, то ли от того что лектор зануда. Речь шла об IBM Director, программном обеспечении, для централизованного управления серверами и системами хранения данных. Одно из немногих ее преимуществ, это единая точка входа для администрирования и мониторинга множества железяк. Недостатков, на мой взгляд, намного больше чем преимуществ и работать эта тулза умеет только с IBM и HP оборудованием. В общем, для каких-то определенных целей эта программа может и будет полезной и удобной, но она далеко не так хороша, как ее рекламируют.

Еще одна программа от IBM была представлена дальше — BladeCenter Open Fabric Manager (сокращенно BOFM). Это программное обеспечение для виртуализации ресурсов ввода-вывода, которое видимо упрощает жизнь администраторам блейдов, т.к. при замене лезвия в корзине, или переключении на другой блейд в другом шасси не нужно заново прописывать сетевые адреса MAC и WWN. В общем такая себе интеллектуальная тулза, у которой наверняка еще много всяких полезностей, но я как-то не углублялся в детали.

День 3-й

Следующий день был почти полностью посвящен тюнингу производительности и тонкой настройке систем хранения данных IBM. Сначала, как всегда, было много теории о том, как устроены жесткие диски, преимущества и недостатки определенных типов рейд-массивов, пути для оптимизации производительности под разные задачи и способы измерения этой самой производительности.

Потом последовала практика, которая представляла собой замер производительности логических разделов на базе систем DS3500 с дефолтными настройками, а потом измерение производительности такого же раздела после изменения некоторых параметров. Измерение производились с помощью утилиты IOMeter, а тюнинг с помощью DS Storage Manager. В процессе лабораторных работ было экспериментально доказано целесообразность (или нецелесообразность) включения/отключения аппаратного кеша на чтение, или запись для конкретных ситуаций. Так же были эксперименты с размером блоков раздела для разных типов данных и измерение оптимальной нагрузки (IOps) для конкретных типов рейд-массива с разным количеством дисков. Опять же, узнал много нового и интересного, но еще больше вдаваться в подробности не буду.

Дальше опять было несколько часов нудно и хотелось спать т.к. были лабораторные по IBM Director, который почему-то все время глючил.

День 4-й (последний)

В последний день тренинга была лекция по SSD — твердотельным накопителям, как альтернативе жестким дискам. Теория о том, что делает SSD более быстрыми, надежными и дорогими :) по сравнению с HDD. После долгих рассуждений пришли к выводу, что SSD более быстрый, надежный и экономичный в плане энергии, но и жутко расточительным в плане финансов, т.к. аналогичной производительности можно добиться от HDD потратив на порядок меньше денег. Однако, позитивный момент в том, что технологии все время дешевеют, а объемы твердотельных дисков растут.

В завершение тренинга нам вручили трансендовские флешки на 4 Гб с надписью IBM и с презентациями внутри, а также сертификаты от вендора.

з.ы. Как-то много буков получилось, но надеюсь кому-то это будет интересно :)