кароче, друзья, железо.

Ещё весной (когда я активно писал посты) подчёркивал что будущее за запеканием ллмок в железо. Только так добиться скорости и дешевизны! Мне оч не нравилось что корпорация добра Anthropic ставила на аренду чужих железяк, мне кажется у них была идея о том, что консюмеры будут готовы переплатить за их йоба умные модельки и они смогут жить на эту маржу после аренды. Но этим летом и они протрезвели и вот в августе у них вакансии на создание "custom silicon"!🥰

OpenAI вайбкодят свои ASICи давно уже.

Чё думаю. Все лабы рано или поздно будут жить на каком-то йоба проприетарном железе! Не то чтобы полностью откажутся от NVIDIA/AMD, но что-то в этом направлении или гига специализация. Пытаться отказываться от посредников в этом вопросе.

Думаю, друзья, NVIDIA и GOOGLE тоже включатся в гонку S tier ллмок. Даже не потому что там наймут гениев изобретать науку с нуля итд а потому что они будут брать опенсорс решение а адово оптимизировать расходы на инференс и увеличивать его скорость.

Самая хайповая моделька за последние месяцы, моё мнение, Luna от ГПТ. OpenAI её просто БЕСКОНЕЧНОЙ сделали в чате☠ Думаю, это напрямую связано с оптимизацией вот этой низкоуровневой. И, судя по тому что ещё не прошло года с момента выпуска опус 4.5, оч интересно думать а что будет ещё через год... счас корпорация добра соберёт команду. Чз пол года рабочий прототип. Чз год огромный кластер опус6 который выдаёт тыщу тпс... ваше мнение