Запустил Qwen на FPGA за $50 — GPU не понадобился

Идея простая: не покупать видеокарту под нейросеть, а взять открытый AI-ускоритель и залить его в FPGA. Автор так и сделал — нашёл проект openTPU, купил на AliExpress плату Xilinx Kintex-7 XC7K480T с 4 ГБ памяти примерно за $50, подключил к мини-ПК через PCIe — и получил рабочий LLM-инференс. Без NVIDIA, без CUDA.

Что пришлось сделать:
→ собрать прошивку (bitstream) в Vivado
→ настроить драйверы и PCIe DMA
→ залить реальные веса моделей
→ запустить инференс

И всё поднялось: плата определяется, DMA гоняет данные, память работает, модель отвечает. По замерам на такой же карте Qwen3-0.6B выдаёт около 31 токена в секунду, а маленькая LFM2.5-230M — до 86.

Да, это не H100 и ещё не серийный чип. Но показательно другое: раньше свой AI-ускоритель был историей уровня Google и NVIDIA, а сегодня прототип собирает один человек на б/у плате.

Проект: github.com/FeSens/openTPU

Источник: habr.com

@ai_n_hardware