Почему видеокарты для AI больше не в тренде

Вот пользуетесь вы пользуетесь этими вашими AI, они отвечают вам с какой-то скоростью и с каким-то качеством.

Но на вопрос "А на каком железе и как это все работает?" у многих, скорее всего, есть просто очень смутное представление: "Типа как-то работает на куче-куче мощнейших видеокарт ", из-за чего они стали дифицитными и супер дорогими в последнее время.

А.

Еще с недавнего времени многие заметили, что стандартная оперативка подорожала в несколько раз.

Короче. Я вчера послушал офигеннейший подкаст от подлодки (номер 469) про то, как на уровне железа работаю современные LLM модели.

И мне так понравилось, что захотелось сразу написать пост))

На подкаст позвали Зигфрида (кстати, выпускник Физтеха, который пришел на первый курс, когда я выпускался с 6го).

Зигфрид работает ML Solutions Architect'ом в компании Cerebras, которая 2 недели назад официально анонсировала крупную сделку с OpenAI на поставку их супер-крутых чипов.

Чем выделилась компания Cerebras.ai?

Фан факты
1. Делает чипы размером с кухонную тарелку (на обложке поста сравнение размеров с обычным GPU. Взял картинку с их сайта)
2. Чип может нагреться и искривиться в одном месте (если его неправильно использовать - нагрузить несколько ядер в одном углу, а другие оставить простаивать)
3. Весь цикл от низкоуровневого железа до высокоуровнего софта делает сама
4. На чипе припаяна память SRAM в несколько ГИГАбайт (в отличии от Килобайт на GPU чипах). Это позволяет в несколько ТЫСЯЧ раз быстрее обрабатывать операции с LLM (обучать модели и отвечать пользователям на запросы)

В общем, кому интересно заглянуть "под капот" и больше узнать о железе, обслуживающим современные запросы в мире AI, то супер рекомендую послушать.

Apple подкаст - ссылка
Youtube - ссылка

🤓 - ботан, если в теме железа
🙈 - обезьянка, если очень интересно и ничего не понятно)
❤️ - сердечко, просто так.

Обнял.

Костя Балакин | Бегущий аналитик

#ит #ai #железо