Один из ведущих каналов по Data Science, Machine Learning и Big Data
Сотрудничество: @bape_ads
Прайс: @bape_media
Post #900
697
🔖 Трансформер прямо в железе: MicroGPT на ПЛИС без GPU и PyTorch
50 000+ токенов в секунду, фиксированная арифметика Q4.12 и веса в ПЗУ. Инференс существует только в виде логических схем.
Интересно не скоростью, а подходом: авторы показали как каждый шаг трансформера — внимание, MLP, проекции — ложится в железо в виде конечных автоматов и арифметических блоков.
⛓️ GitHub | Демо
tags: #полезное
➡ Data Scientist | Чат | ИИ-Бот
50 000+ токенов в секунду, фиксированная арифметика Q4.12 и веса в ПЗУ. Инференс существует только в виде логических схем.
Интересно не скоростью, а подходом: авторы показали как каждый шаг трансформера — внимание, MLP, проекции — ложится в железо в виде конечных автоматов и арифметических блоков.
⛓️ GitHub | Демо
tags: #полезное
➡ Data Scientist | Чат | ИИ-Бот















