Для любителей маленьких моделей - как заявляют, новая SOTA на 7b параметров (должна ставиться на мощный мак) - open-thoughts3. Подавляющее большинство таких моделек - это дистилляция более крупных моделей на маленькую базу, за основу которой, в последнее время, все берут qwen. Дистилляция - это обучение, когда маленькой и большой модели дают одни и те же задачи, и маленькую модель наказывают, если ее ответ отличается от ответа большой модели. Китайцы, вот, например, как мичуринцы, привили большой Deepseek на маленький qwen. Но авторы пишут, что эта маленькая моделька лучше.

Кто-то ставит себе такие?

https://x.com/ryanmart3n/status/1930671847244530145?s=46