POST-DC

В режиме рассказа по частям, расскажу, что удалось увидеть в кампусе CS.

Как я и говорил ранее, территория кампуса находится в каком то промышленном парке и вдоль него даже идёт высоковольтная ЛЭП (но местные говорят что электроснабжение не от нее, и даже с другой стороны приходит). Территория до АБК открытая, можно подойти свободно. Небольшой заборчик и шлагбаум. Вход на территорию зданий ЦОД через АБК.

Помимо АБК, как я писал ранее, 8 двойных зданий, есть какие то наружные объекты с чиллерами, дизелями, но не подходили и что это какое не совсем понятно.

Здания типовые, 5 этажей. Первый этаж технический, дальше 4 этажа с машинными залами, по 2 на этаж.

Местные китайцы давали противоречивые цифры по удельным показателям, которые в итоге пришлось гармонизировать. В стойках они не считают, на один модуль (напомню что в здании их два зеркально) 24 МВт общей мощности, 14,1 МВт ИТ.

Исходя из примерно посчитанного количества место под стойки в МЗ (228), выходит 1800+ стойкомест на модуль, 7,7 кВт на стойкоместо. Местные говорили про расчетные 8 кВт, совпадает. Штатно, по электричеству могут запитать до 13 кВт.

На картинке, площадка кампуса в начале строительства в 2019 году, то есть все это они перманентно отгрохали менее чем за 5 лет

ИТ-нагрузка для ЦОДов.

Продолжаю частями рассказывать про GDS.

Кампус, где мы были - CS (см. на карте выше) содержит 8 зданий, по два зеркальных модуля, каждый по 24 МВт общей мощности и 14,1 МВт ИТ.

Итого 16*24=384 МВт. В одном кампусе - половина всего рынка коммерческих ЦОД РФ.

Очевидно, что как и у нас, по Парето, 80% нагрузки дают 20% клиентов.
Крупные облачные операторы, агрегатов услуг, производители смартфонов с их встроенными сервисами, соцсети (ByteDance = TikTok).

По поводу смартфонов, если пропустили новость. Хуавей представил пару недель назад свою полностью независимую мобильную операционную систему. Не клон Андроида, а третью независимую в мире.

Если вы формируете данные и трафик, то никаких проблем с нагрузкой на ЦОДы у вас нет, вот такое правило...

P.S. Ой, извините, речь конечно идёт о решении Правительства #1911-р от 28.08.2019 года.

Символично, что за тем же номером 1911-р, но от 18.07.2023 года было распоряжение об освобождении с должности товарища Паршина М.В.

Вот смотрите, котятки.

Распоряжением Правительства #1911-р была предусмотрена разработка национального стандарта по классификации ЦОД. Национального стандарта, по русски ГОСТ Р.
Такой стандарт был разработан и утвержден, называется ГОСТ Р 70139-2022, и там как и было предписано было деление и по типу владельца, и по типу обрабатываемой информации.
И вот какой-то нерадивый чиновник Минцифры, вводит в заблуждение Росстандарт, заявляет, что "я не знаю что было до МИШ, а сейчас наша позиция такая", и национальный стандарт приостанавливается. А взамен пытаются сделать какую то левую манипуляцию, которая не отвечает на поставленные вопросы и не решает поставленные задачи.

А что так можно было? Чиновник не обязан выполнять распоряжение премьер-министра?

Ну чё, круто.

Правительство готово к запуску платформы «Гособлако» в эксплуатацию
https://www.kommersant.ru/doc/6835268

Справка про GDS

GDS - 9 место в мире вообще, 5 по колокации, в Азии наверно второе, после NTT (но NTT - глобальная компания, а GDS азиатская) поэтому не уверен, надо доли считать.

103 ЦОДа в Азии.

Странно, в мощности электроэнергии не считают, считают в площади квадратными метрами, коих 715+ тысяч.

Эх, давно я не брал в руки шашку

Лето - пора затишья мысли, отпусков и поездок.

Хочу я поговорить с вами про Tier (зомбанутые сжали булки).

Нет, не про тот Tier, а вообще про Tier как слово. Ведь вы, надеюсь, знаете про Tier 1 телеком-операторов?

Так вот, в мире рынки тоже делятся по Тирам. Экономисты классифицировали три категории стран: развитые, развивающиеся и страны третьего мира. Сюда входят критерии экономического развития страны, платежеспособности населения и их среднего дохода. Онлайн-платежи и прочие цифровые платежи (сиречь цифровизация - ай, волшебное слово, алиллуйя!), также влияет политическая ситуация и специфика законов.

Съездил я тут в Китай и даже посетил кампус ЦОД оператора топ-5 коло в мире GDS (про это я надеюсь отдельно, но на минуточку один кампус в пригородах Шанхая, по мощности равен половине рынка коммерческих ЦОД РФ, алиллуйя второй раз).
И встретил там в описании "Tier 1 market".

Из поиска: Tier 1 market is being Beijing, Shanghai, Guangzhou, Hangzhou, and Shenzhen; Tier 2 market is being Chengdu, Chongqing, Xiamen, Fuzhou, Wuhan, Changsha, Nanjing, Qingdao, Tianjin, Xi’an, Shenyang.

Все поняли? Платежеспособный спрос на национальном уровне.

Вот у меня теперь размышления. Если делать Tier 1 market RF, то Москва и Питер понятно, а вот дальше все? Остальные в Тир 2 и Тир 3?

Инициаторам тепловой карты рынка ЦОД - пламенный привет!

Уроборос

Как вы наверно видите, я здесь иногда, на перманентной основе, формулирую некоторые тренды российского рынка ЦОД, например, явно наметившуюся тенденцию по строительству собственных крупных корпоративных ЦОДов.

А какие тенденции по рынку наблюдаете вы в последнее время? В коротком горизонте 1-3 лет?

Крайне любопытное сообщение.
И если с Алатау все понятно, то реинкарнация Актау удивляет. Электричества и бизнеса там нет, ближе к Европе это фикция. Разве, что какая то социальная обязаловка.

https://informburo.kz/novosti/byt-tretim-osnovnym-igrokom-kazaxstan-planiruet-stat-tranzitom-trafika-v-evrazii

Сделали вчера дискуссию на Телеком-ночах посвященную развитию ЦОД, как системы через связность, что понятно в свете того, что организует это Piter-IX. Дискуссия шла чуть менее 3х часов (!) с перерывом на кофе, и как всегда в конце уже начали выгонять из зала. И как всегда не обсудили и половины.

Предтечей вчерашней дискуссии помимо договоренности прошлого года, что повторяем и делаем секцию, послужила дальнейшая пикировка в одном из чатов, что есть телехаусы, а что есть ЦОДы. Даже возникла идея сделать батл.

Батл не случился, но кое-что обсудили и остался некий выхлоп:

1. ЦОДы и телеком несмотря на все связки и пересечения живут в параллельных реальностях.
2. При планировании ЦОДов наши продолжают в ресурсах делать акцент на электричестве и считают, что связность сама придет. Типа телеком-операторы подорвутся и к нам великим все сами подведут. Да, но нет. В Москве да, а вот вне крупных городов нет. И это проблема, потому что штампы и мозги не перестроились. Вот про это был настоящий батл между телеком-оператором из зала и ЦОДом на сцене, который построили в 20 км от города-миллионика.
3. Телехаусы - это узлы связи, объекты предназначенные для специализированного компактного размещения операторов связи. Очевидно самый известный - М9. Они с точки зрения технологий могут быть сильно проще и должны быть сильно дешевле. Часто это прецедентная говноинфраструктура - "телехаос".
4. Телехаусы прирастают некоторым объемом машинных залов, потому что кому-то становится интересно поставить ИТ на коротком стыке, но не отменяется прокладка на телехаус быстрой оптики уже в ЦОД. И (!!!) в отличии от ЦОДов телехаус must have в городе, в точках концентрации паутины проводов.
4. Есть пожелания, чтобы телехаус был в каждом более менее значимом городе. И здесь видится 3 сценария:
4.1. местный оператор связи делает из своего узла связи более-менее человеческую инфраструктуру и даже начинает чуть барыжить коло. В регионе кому-то куда то нужно встать, тема ЦОДов из-за небольшого спроса не складывается.
4.2. Строится ЦОД, на его основе делается некий блок осуществляющий функции телехауса. Мне сейчас скажут: да мы два ввода, да мы MMR, MDA и т.д. Очень может быть, что это надо делать очень выделенно и точно не занимать кусок машзала. ЦОДам при планировании нужно более качественно оценивать сетевые возможности и осуществлять планирование.
4.3. Так как этот бизнес может быть менее масштабный, то региональный масштаб может быть осуществлен сеткой оператора телехаусов национального масштаба. И я тут вспомнил, что мы такую историю даже писали к Стратегии 2035 года.

Отдельно пытались привязать к этому перспективную национальную структуру ЦОДов, с выходом из одноранговой модели, но не сильно успели по времени и это будет отдельное размышление.

От телехаоса к телепорядку!

NIMBYism

На западе от вышек сотовой связи с 5G перешли к дата-центрам.

В Северной Вирджинии и в Северной Европе набирает обороты т.н. NIMBYism (Нимбизм?), что является аббревиатурой от "not in my backyard" - не на моем заднем дворе.

То есть ЦОДы нужны, но где то подальше и они не должны мешать жизни обычных людей.

Что ж, предпосылки этого есть и у нас, российская отрасль ЦОД в тонусе.

Готовлюсь к сессии на Тибо. В т.ч. будет доклад КН - сколько будут стоить стойки в Мск в 2025 году при КС 16+.

Костя имеет право рассуждать, ЦОД Датахауса который введут через несколько месяцев, будет крайним и достаточно долго.

Весной 2022 года мы с ААП, АВС и группой товарищей сформулировали вот такой прогноз на 2-5 лет - см.скрин в картинке.

Чего-то мне не по себе от такого точного визионерства, да ещё есть и текущее понимание наперед которое вызывает смутное чувство качелей-каруселей

Топ-10 трендов в области инженерной инфраструктуры ЦОД от Huawei в 2024 году

Год назад мы публиковали топ-10 визионерских трендов по инфраструктуре ЦОД от профильного департамента Huawei. 

В 2024 компания освежила свое видение, очевидно с влиянием ИИ и повышения энергетической плотности ИТ. Некоторые пункты перекликаются и трансформировались в аналогичные по смыслу или более детальные. Интересно, что в версии 2024 полностью занулены два первых тренда "Снижение выбросов углерода" и "Устойчивое развитие".
Из нового Топ-10, четыре пункта посвящены обеспечению гарантированной и безопасной работы ЦОД, а ещё три пункта повышению эффективности. На мой взгляд ничего странного, уже много лет всем говорю, что тремя слонами/китами на которых стоят ЦОДы являются "Готовность - Эффективность - Безопасность".

Итак (перевод с технологическим перефразированием):

Тенденция 1: Обеспечение качества услуг
Высоконадежное оборудование и профессиональная эксплуатация являются ключевыми факторами для обеспечения безопасной и надежной работы ЦОД

Тенденция 2: Резервируемая архитектура инженерных систем
Архитектура распределенного охлаждения станет лучшим вариантом для обеспечения гарантированного охлаждения

Тенденция 3: Проактивная (предиктивная) безопасность
Профилактическое обслуживание станет базовым сценарием для ТО инфраструктуры ЦОД

Тенденция 4: Сетевая безопасность
Комплексная система сетевой безопасности на протяжении всего жизненного цикла необходима для защиты инженерной инфраструктуры ЦОД

Тенденция 5: Упрощенное развертывание
Сборные/предварительно изготовленные и модульные системы станут оптимальным выбором для быстрой доставки и развертывания, а также повышения качества инженерной инфраструктуры

Тенденция 6: Упрощение операционной деятельности и эксплуатации
Специализированные платформы управления позволяют осуществлять эксплуатацию и обслуживание ЦОД более безопасно и эффективно

Тенденция 7: Эволюция в будущее
Конвергенция воздушного и жидкостного охлаждения cтановится предпочтительной архитектурой в условиях с неопределенными требованиями по ИТ-нагрузке

Тенденция 8: Эффективное охлаждение
Непрямое/косвенное испарительное охлаждение по-прежнему остается лучшей схемой теплоотвода в настоящем и в будущем

Тенденция 9: Улучшение эффективности систем
Для дальнейшего снижения PUE оптимальным решением является смещение акцента с эффективности оборудования и компонентов на оптимизацию проектирования инженерных систем

Тенденция 10: Оптимизация эффективности
Оптимизация с помощью искусственного интеллекта станет мощным инструментом для интеллектуальной оптимизации энергоэффективности существующих ЦОД

Сам документ, если интересны детали и нюансы (на английском) 👇

Фоточки начали подъезжать

Объемно-планировочные решения достаточно классические. На торце 3х этажный АБК (на втором модуле тоже будет АБК, офисные площади в Иннополисе - вещь полезная). Далее идут 4 машзала по 250 стоек поперек, разделенные техническими коридорами со шкафными кондиционерами, справа вдоль коридор к наружной стене, слева коридор отделяющий от энергозоны, помещения ДГУ, ТП, ГРЩ, ИБП и литиевые АКБ друг под другом на 2м и 1 этаже соответственно. Централизованный пост пожаротушения по направлениям. Кроссовые или MMR прошли мимо, из-за проблем с прилетом/приездом первых лиц осмотры получились достаточно дерганными. Есть собственная ВОЛС 40 км в Казань на точку обмена трафиком, также заведены местные операторы, которые уже присутствуют в Иннополисе, и вроде как сделано ответвление с магистрали Ростелекома по М7.

Схема воздушного обмена: под фальшпол хорошей глубины, забор через решетки и потолочный пленум. Пленум прикрыт плитками, интересно посмотреть на него когда дунет. Ширина холодного коридора 2-4 плитки. Земля для резидентов достаточно дешёвая, экономить на площади смысла нет, удобнее будет строить private cage, или увеличивать мощность выделенных стоек.
Внутренние блоки Envicool, одноконтурная схема на этиленгликоле, чиллера Технофрост.

ИБП Парус, АКБ литий-ион. На вторую очередь уже обещают отечественные АКБ Росатом-Рэнера. Парус, если что, уже тоже входит в периметр Росатома. ДГУ какие то турецкие, не сильно понял что за марка. Диспетчеризация на SCADA. Вообще на второй модуль обещают ещё большую локализацию ИИ, в т.ч. с использованием продуктов корпорации.

Предложение по стоимости привлекательное. Нужно стартовать, плюс есть преференции ОЭЗ, которые косвенно транслируются на клиента. Часть шкафов уже в работе, один МЗ сразу будет забран на нужды корпорации.
Так что, если есть задача размещения к востоку от Москвы, рекомендую. В Казани очевидно есть Stack24 2013 года, и вроде как построили что-то посвежее. В Иннополисе ЦОД ИТ-парк - 2011 год. Нового наброса проектов по ЦОД в ближайшее время в регионе не предвидится.

Если нужны контакты, обращайтесь