Дата-центры или личные чипы с локальными моделями?

Из прикольного, куда может повернуть мир ИИ, это личный чип у каждого, который он обновляет раз в год с какой-либо локальной моделью.

Ребята из Taalas создали уже первую версию такого чипа с qwen 8B, которую в итоге разогнали до 17000 токенов в секунду.

По сути как было и с другими технологиями, когда например строили огромные компьютеры размером с большие комнаты, а потом уже получили компактные девайсы, так и с Ai, это сильно увеличит его доступность и уменьшит цены.

Возможно 1-2 года и мы уже увидим такие чипы в продаже с достаточно хорошими моделями.

Оригинальная статья https://taalas.com/the-path-to-ubiquitous-ai/