Похоже, у Jev нарисовался открытый локальный соперник — Laya

Laya — это открытая локальная модель для принятия решений, 421 млн параметров. Заточена под структурные задачки: быстрое да/нет, оценка, выбор из вариантов. Памяти жрёт меньше 1 ГБ, лежит бесплатно на Hugging Face и заводится на ноуте, а то и на телефоне. Код — на GitHub.

Дальше — тест. Laya выставили против облачного Jev: обе гоняли одну и ту же змейку, с одинаковым форматом решений, 30 секунд. У Laya — счёт 46, длина 52, 86,5 решений в секунду, P50 около 9 мс. У Jev — счёт 1, длина 7, 3,2 решения в секунду, а весь цикл запроса к API — 317 мс. На M5 Pro медиана получилась 15,3 мс у локальной Laya против 298,1 мс у облачного Jev — в этом тесте разница почти 20-кратная. Вся соль в том, что Laya решает на месте, а Jev на каждом шаге виснет и дожидается ответа от облачного API.

Но есть и два ограничения, и о них говорят в лоб: в контекст влезает всего 512–1024 токена, так что часть задач туда просто не впихнуть; а вот обобщать без доп. тюнинга Laya будет похуже, чем Jev.

👉 Frontender's notes