🤖 Чому пропускна здатність пам'яті вирішить долю ШІ-інференсу

👤 Волтер Гудвін – засновник і CEO Fractile (розробник енергоефективних чипів для апаратного прискорення інференсу ШІ)
🎤 Сара Гуо – венчурна інвесторка, засновниця фонду Conviction (інвестиції у ШІ-стартапи на ранніх стадіях)

📺 No Priors – 👥 98 тис. підписників
⏱ 36 хв
🗓 03.10.26 (2 дні тому)
👁 5,1 тис.

📝 Волтер Гудвін пояснює, чому монополія Nvidia вразлива у сфері інференсу, як уникнути пастки SRAM-чипів та чому вузьким місцем ШІ стає пропускна здатність пам'яті.

💡 ГОЛОВНІ ТЕЗИ

1️⃣ Гіперскейлери створюють майже ідентичні чипи через однаковий аутсорс
Більшість кастомних чипів (Google TPU, Meta MTIA, Microsoft Maia) розробляються через вузьке коло посередників на кшталт Broadcom. Усі вони копіюють ту саму архітектуру: стандартну HBM-пам'ять, тензорні ядра та пакування TSMC, що обмежує інновації.

2️⃣ Підхід на базі SRAM не масштабується для сучасних LLM
Архітектури на SRAM-пам'яті дають швидкість, але мають мізерну місткість. Через стрімке зростання довжини контексту та параметрів моделей такі чипи не можуть обробляти довгі запити й змушені перекидати навантаження назад на GPU.

3️⃣ Fractile робить ставку на дешеву DRAM із екстремальною пропускною здатністю
Стартап створює чип, який поєднує низьку вартість гігабайта DRAM із пропускною здатністю у 25 разів вищою, ніж у HBM. Це дозволяє радикально здешевити інференс у дата-центрах без втрати швидкості генерації токенів.

4️⃣ Флопси виросли в 1 000 000 разів, а пам'ять лише в 40 разів
За останні 20 років обчислювальна потужність чипів зросла на шість порядків, тоді як пропускна здатність пам'яті – лише у 40 разів. Саме дисбаланс пам'яті, а не брак обчислень, є головним гальмом сучасних великих моделей.

5️⃣ ШІ прискорить проєктування чипів, але фізичні обмеження залишаться
Генеративний дизайн скоротить фронтенд-етап проєктування з 12 місяців до кількох тижнів. Проте сам цикл виробництва на фабриці (3–5 місяців) та період окупності кремнію (3–5 років) не дозволять випускати нові чипи щомісяця.

6️⃣ ШІ-лабораторіям смертельно небезпечно створювати власне залізо під одну модель
Якщо лабораторія зафіксує архітектуру у власному кремнії, а конкурент знайде ефективніший алгоритмічний прорив під інший чип, компанія втратить ринок за 9 місяців. Тому провідні лабораторії змушені купувати гнучкі сторонні чипи.

💬 «Різниця у 3–6 місяців у швидкості виводу чипа на ринок визначає, чи заберете ви всі контракти на розгортання моделей.»

🎯 ЩО З ЦИМ РОБИТИ
Фокусуйте оптимізацію ШІ-систем не на нарощуванні FLOPS, а на пропускній здатності пам'яті та роботі з контекстом.

💵 0.06$

@icereadspodcastsua