🤖 Рейтинг ClusterMAX 3.0: дефіцит обчислень, діри в безпеці неоклаудів та експансія китайських чипів

👤 Джордан Нанос – провідний інженер SemiAnalysis (дослідницька компанія напівпровідникової та ШІ-інфраструктури), Ділан Патель – головний аналітик SemiAnalysis
🎤 Свікс (Шон Ванг) – співзасновник Latent Space (спільнота та медіа для ШІ-інженерів), Алессіо Фанеллі – партнер венчурного фонду Decibel (інвестиції у ранні стадії ШІ-стартапів)

📺 Latent Space – 👥 230 тис. підписників
⏱ 58 хв
🗓 03.10.26 (1 день тому)
👁 6,3 тис.

📝 Аналітики SemiAnalysis розбирають стан інфраструктури хмарних GPU, проблеми кібербезпеки в неоклаудах, стратегічні угоди лідерів ринку ШІ та зростання альтернативних чипів.

💡 ГОЛОВНІ ТЕЗИ

1️⃣ Масштаб трекінгу інфраструктури зріс до 323 провайдерів
ClusterMAX 3.0 оцінює керовані GPU-кластери на базі 10 критеріїв. Ринок неоклаудів (хмарних провайдерів під ШІ) швидко сегментується, а вимоги до оркестрації та стабільності значно підвищилися.

2️⃣ Рівень кібербезпеки в більшості неоклаудів лишається критично низьким
Тестування виявило застаріле ПЗ дво- або трирічної давнини з відомими вразливостями CVE. В окремих хмарах через відсутність ізоляції мережі був доступ до чужих даних і завдань національних спецслужб.

3️⃣ OpenAI та Anthropic мають більше R&D-обчислень, ніж DeepMind
Хоча Google має більший загальний пул потужностей, значна частина ресурсів продається або задіяна в продуктах. За обсягом потужностей безпосередньо під дослідження OpenAI та Anthropic уже перевершують DeepMind.

4️⃣ Рентабельність інференсу зросла з 10% до 60%
Оптимізація коду та нові фреймворки (як-от vLLM) дозволили сервісам хостингу моделей працювати з високою маржинальністю. Через це стартапам стало ще важче орендувати вільні ноди під тренування.

5️⃣ Nvidia поглинає команди для захисту своєї екосистеми
Угоди з пулом розробників Poolside та інвестиції в Hugging Face (платформа відкритих моделей) спрямовані на те, щоб ключові таланти та інфраструктура не перейшли на чипи конкурентів.

6️⃣ RL вимагає гетерогенного заліза через розрив між генерацією та навчанням
Більша частина навантаження в навчанні з підкріпленням (RL) – це forward passes, тобто по суті інференс. Компанії змушені використовувати дешевші чипи для генерації токенів і флагманські GPU для оновлення ваг.

7️⃣ Китайський ринок прискорює випуск власних чипів на тлі санкцій
Huawei випустила серію Ascend 940, 950 та 960 і залишається лідером у КНР із масштабом випуску понад 1 млн чипів. Інші гравці нарощують обсяги, поступово вирішуючи софтверні бар'єри.

💬 «Стан безпеки в неоклаудах жахливий: в одному кластері ми буквально бачили дані та завдання національної розвідки іншої країни.»

🎯 ЩО З ЦИМ РОБИТИ
Обираючи GPU-провайдера під тренування, тестуйте рівень ізоляції мережі та SLA на заміну збійних нод, а архітектуру RL-систем відразу проектуйте під гетерогенні чіпи.

💵 0.10$

@icereadspodcastsua