Продолжаем разговор. И сегодня один из моих любимейших и ключевых проектов.
#топпроектов

#4 - Внедрение 10G серверной фермы в Правительстве Республики Бурятия

ноя.2013-янв.2014 год. Это был мой первый масштабный инфраструктурный проект, проектирование которого пришлось делать практически с нуля и самостоятельно.

Суть проекта: единомоментная замена 10 серверных стоек, оптимизация подключения к электросети (энергоучет по каждой стойке), замена межстоечных коммуникаций (медь на оптику).

Одновременно с заменой стоек была развернута 10 гигабитная сеть для серверной фермы с парой головных коммутаторов Nexus 5500 и подключением каждой стойки через выносные коммутаторы по схеме Top Of Rack.

Серверная ферма была выделена от ЛВС в отдельный L2 домен. Между ЛВС и серверной фермой была внедрена OSPF-маршрутизация. Была организована выделенная сеть управления (out-of-band management), отделенная от основной сети.

В результате:
- емкость сети серверной фермы 250+ портов 10G
- Межстоечная связь 40/80G
- емкость сети управления 200+ портов 1G

Я тогда конкретно поволновался, так как мне давали техническое окно буквально в 2 нерабочих дня в январские праздники, за которые необходимо было произвести полный вынос оборудования, установку новой системы распределения электропитания и заново подключить оборудование уже к новой локальной серверной сети в новой расстановке.

Это накладывало большую ответственность, так как в ЦОДе базировались информационные системы большинства органов власти. Всё переключение должно было пройти без запинки.
Именно поэтому подготовка заняла больше 2 месяцев:
- с детальной проработкой схем расстановок оборудования по стойкам,
- с выстраиванием схемы новой серверной сети с максимальным соблюдением референсных дизайнов от производителя,
- с подготовкой конфигураций оборудования,
- не говоря уже о просчитывании всех патч-кордов, модулей и кабелей, большая часть которых везлась под заказ несколько месяцев. И отсутствие хоть одного в нужный момент могло всё перечеркнуть.
- ну и месяц в серверной в верблюжьем свитере, слава Богу, без последствий для здоровья))

В назначенный день озорная ватага монтажников, ничтоже сумняшеся лихо повытаскивала всё оборудование и сложила в нужные стопочки. Предварительно, конечно, промаркировав каждый патч-корд и порт подключения. И только у меня в голове стучала мысль “лишь бы собрать это обратно” 😂

Пару внезапностей, конечно, я поймал - типа Catalyst 3750 не поддерживает DAC-кабель длиной 1,5 метра, только 1 метр и 2 метра 😳. Но и на этот случай помог заложенный запас)

В итоге “космолёт” полетел с полпинка и очень долгое время служил заказчику, позволяя ему опережающими темпами развивать группировку серверов, не упираясь ни в ограничение скорости, ни в количество портов.

Большое спасибо коллегам из администрации, которые тогда ещё занимались техническими вопросами, Павел Михайлович и Александр Иванович. За доверие в проектировании и реализации такого проекта. После этого проекта, можно сказать, вместе шагнули в другую лигу 🙂

—
Давайте об IT - @lets_about_it