В следующие лет 5 я ожидаю увидеть интересную ситуацию - представьте что станет возможным купить платку для установки в ПК на которой будет написано - GPT-6 Astra. И ей не нужны будут горы оперативной памяти или мощный процессор, но при этом она позволит вам запускать конкретно эту модель на скоростях в ДЕСЯТОК ТЫСЯЧ токенов в секунду.

Звучит как фантастика, но в компании Taalas уже доказали что это возможно и сделали такой Llama 3.1 8B чип который выдает 17к токенов в секунду (по публично доступному тесту 15к+). В довесок Taalas утверждает что система поулчилась в 20 раз дешевле и потребляет в 10 раз меньше. Как это возможно?

Дело в том что веса у обученной модели которую мы с вами используем каждый день - не меняются. А любой современный ПК спроектирован для того чтобы работать с динамическими данными, поэтому его работа с моделью мягко говоря - не оптимальна.