Q-164M и Q-U-164M — новые модели от Q-Project, обучены с нуля на одной GPU.

Q-164M — 164.6M параметров, претрейн на 13.1 млрд токенов (FineWeb-Edu). Тернарные веса {-1, 0, +1}, без обучаемой embedding-таблицы (замороженный отпечаток на каждый токен), и механизм точных вызовов инструментов: модель решает, когда посчитать, а сам расчёт делает детерминированный исполнитель — арифметика всегда точная.

Q-U-164M — тот же чекпоинт, дообученный для диалога (chat-SFT + RL). Ушло 5 итераций, чтобы починить реальный баг с потерей вызова инструментов в живом многоходовом диалоге.

Честно: модель только английская, русский не понимает. Общие знания слабые, вне задач с инструментами часто ошибается по фактам — это исследовательский артефакт, не продукт.

Сравнили с другими маленькими моделями через свой бенчмарк QBench (без подсказок инструментам): заметно уступает Qwen2.5-0.5B (втрое крупнее) почти везде — кроме TruthfulQA, там чуть впереди. Не сенсация, но и обучалась на одной V100, а не на кластере.

🔗 Ссылка на веса: https://huggingface.co/collections/q-project/q-164m
💻 Код: https://github.com/Q-Project-LM/Q-164M
💬 Чат в браузере: https://q-project-lm.github.io/chat/
📊 QBench: https://huggingface.co/spaces/q-project/QBench
📝 Разбор: https://q-project-lm.github.io/blog-q164m.html
⚖️ Лицензия: apache-2.0

Если хотите поддержать эксперименты и обучение более крупных моделей — буду благодарен за помощь со сбором на GPU 🙄

❤️ Поддержать проект: https://t.tb.ru/pm_short/4v90jPi6NPZ

💘U💘