Господа!

Когда-то давно я хорошо копнул аппаратное ускорение нейросетей, результатом чего были статьи Аппаратное ускорение глубоких нейросетей: GPU, FPGA, ASIC, TPU, VPU, IPU, DPU, NPU, RPU, NNP и другие буквы на хабре и ее продолжение в альманахе ИИ, посвященном железу.

С тех пор много воды утекло. За темой слежу и даже продолжение было в черновиках, но... Писать некогда 😉

А тем временем у Google вышла уже 7-я версия TPU, для которого они декларируют в 3600 раз более высокую пиковую производительность, и, что важнее, почти 30-кратное увеличение пиковой производительности в пересчете на ватт по сравнению с v2. Поскольку на инференсе затраты на электричество (причем, сначала на питание, а потом на охлаждение) становятся критическими настолько, что Без достаточного количества электроэнергии планы США в области искусственного интеллекта потерпят крах, тема снижения затрат электроэнергии очень важна.

Посмотрим, как ТРU от Google снижали затраты в последние годы (данные nextplatform, Teraflops, FP16):
* TPU v4, 2021: 227$
* TPU v5p, 2023: 143$
* TPU v7p, 2025: 52$

Итого, разница за 6 лет по тренду примерно на порядок. Т.е. даже если все остальные методы оптимизации внезапно остановятся (что не так), то цена только за счет прогресса железа будет довольно быстро падать. На практике стоимость токена "сравнимой с GPT-4o модели" за 1,5 года после ее выхода упала примерно в 400 раз. Там, конечно, вопрос, как корректно сравнивать модели разных производителей, но даже GPT-4o mini через 15 месяцев после выхода GPT-4o стоила в 240 раз дешевле (сравнивается цена за 2 миллиона токенов). 💪 И разница в 100 раз есть всяко. За 1,5 года, Карл. 😲💪

В этом плане оптимизация алгоритмов сейчас влияет на стоимость моделей явно сильнее, чем оптимизация железа. Но все равно железо тема важная. В недавней статье Characterizing and Optimizing Realistic Workloads on a Commercial Compute-in-SRAM Device, исследователи из Cornell University аккуратно сравнили NVIDIA A6000 GPU и compute-in-SRAM чип от GSI Technology. Идею я еще 6 лет назад описывал, если веса хранить рядом с ALU, то можно очень серьезно снизить потери. Они показывают увеличение энергоэффективности в 50-120 раз (верхний график), причем у них уже есть чипы. 🙂

Компания Extropic говорит о возможном увеличении энергоэффективности вычисления нейросетей в 100-10000 раз (нижний график). У них пока только прототип и насколько оно взлетит непонятно, но очевидно, разные направления сейчас активно пробуются и получить на них деньги сравнительно просто. Из-за этого пены будет много, скорость прогресс также будет выше. Забавно, что они свою Thermodynamic Hypergraphical Model Library выложили на GitHub 4 дня назад, а им уже 530+ звезд накидали и 56 форков сделали. Неплохо зашли! 😲😍😁

Что из этого не окажется пеной хайпа узнаем) Меньше всего пены в тихой работе MLcommons, которые больше десятка бенчмарков измерения эффективности железа поддерживают. Но это уже другая история 😉

Ключевой вывод: Чуть больше 1,5 лет назад на OpenTalks-2024 я неожиданно оказался в роли скептика, когда коллеги, плотно занимавшиеся NLP (и их практическим применением), ванговали кардинальное изменение профессии программист через 5 лет. Прогресс за 1,5+ года очень хороший (если сравнить Cursor 2.0 с тем, что было 1,5 года назад — небо и земля) и судя по ряду маркеров в ближайшие годы развитие будет идти примерно такими же темпами. 💪

В этом плане каждому нужно хорошо понимать, в чем будет заключаться его конкурентоспособность, когда завтра токены снова очень сильно подешевеют. 😉

Мы живем в очень интересное время! 😁

#speed_of_progress
@vgcourse