Запускать Llama 3.2 локально за $250? Звучит как вызов, но это реальность

Пока корпорации дерутся за H100, на рынке Edge AI появляются интересные "малыши". M5Stack выкатили AI Pyramid Computing Box — мини-ПК в форме пирамиды, который работает полностью офлайн.

Что под капотом у этой "игрушки":

→ NPU на 24 TOPS (SoC Axera AX8850)
→ 8 ГБ RAM (впритык, но для инференса квантованных моделей хватит)
→ Тянет Qwen 3, Llama 3.2 и клонирование голоса

Идеальный кейс: приватный ассистент для умного дома или пет-проект, который не сливает данные в облако и не требует подписки на API. Выглядит как киберпанк, стоит как бюджетный смартфон.

Вердикт для домашней лабы?

🔥 — Топ, беру поиграться
😆 — 8 ГБ в 2026 — это смешно, только Hello World запускать
🤔 — Дизайн ок, но подожду бенчмарков

#AI #ML #GenAI #AIAgents

ИСТОЧНИКИ:

M5Stack Official Store — AI Pyramid Computing Box