Unsloth выпустил квантизацию Laya, которая работает на 4гб памяти. Буду тестировать.

Laya - это опенсорсный аналог Jev. А Jev - на мой взгляд, самое интересное, что происходило с момента выпуска Fable и Astra. Небольшая революция.

Суть в том, что эта модель натренирована не писать, а только выдавать ответ в виде классификатора (да/нет, какая категория и пр.) и процента уверенности. Такой датчик от нейросетей.

В чем бонус - это очень дешево и быстро. То есть маленькие модели могут во многих случаях заменить большие. Я бы сказал, что сейчас модели этого класса - главный хайп индустрии.

Кстати, оценка TypeSafe, которая выпустила Jev, за неделю выросла до 10 миллиардов баксов. Сам Jev на OpenRouter можно потестить, если не хотите с локальной моделью возиться.