Они реализовали веса модели прямо в железе

Челики взяли llama 3.1 8B и сделали чип где намертво запаяны веса. В итоге карта выдает какие-то дикие ~17000 токенов в СЕКУНДУ

Я ещё помню процессоры без математического сопроцессора.

Представьте как у нас в компе будет железная модель. Да, одна. Да нельзя обновить. Примерно как с процессором в ноутбуке.

Покупаешь новый ноут - там модель лучше.

https://taalas.com/the-path-to-ubiquitous-ai/