🔖 Трансформер прямо в железе: MicroGPT на ПЛИС без GPU и PyTorch

50 000+ токенов в секунду, фиксированная арифметика Q4.12 и веса в ПЗУ. Инференс существует только в виде логических схем.

Интересно не скоростью, а подходом: авторы показали как каждый шаг трансформера — внимание, MLP, проекции — ложится в железо в виде конечных автоматов и арифметических блоков.

⛓️ GitHub | Демо

tags: #полезное

➡ Data Scientist | Чат | ИИ-Бот