Кажется, у Jev нарисовался конкурент из открытого лагеря — Laya. Локальная открытая модель для принятия решений на 421 млн параметров, заточена под структурированные решения: быстрое да/нет, оценка, выбор из вариантов. Ест меньше 1 ГБ памяти, бесплатно лежит на Hugging Face, крутится на ноуте и даже на телефоне.
Теперь тест. Laya против облачного Jev — одна и та же змейка, одинаковый формат решений, 30 секунд на всё. У Laya: счёт 46, длина 52, 86,5 решений в секунду, P50 около 9 мс. У Jev: счёт 1, длина 7, 3,2 решения в секунду, полный цикл запроса к API 317 мс. На M5 Pro медиана вышла 15,3 мс у локальной Laya против 298,1 мс у облачного Jev — почти 20-кратный разрыв в этом тесте. Ключевая разница в том, что Laya решает каждый шаг на месте, а Jev на каждом шаге стоит и ждёт ответа от облачного API.
Правда, проект сам честно называет два ограничения: контекст всего 512–1024 токена, так что часть задач просто не влезет, а без дополнительной настройки Laya обобщает хуже, чем Jev. GitHub
👉 Node.JS [ru]
Post #5738
705
- ❤ 1