Алексей передаёт с места событий, наш специальный корреспондент по Jev.

Вышла Julia 1 от Supersonic Labs — такой локальный Jev. Идея та же: даёшь контекст, вопрос и варианты ответа, модель выбирает лучший и ставит оценки. Только весит 144 млн параметров, работает на CPU, а веса открыты под Apache 2.0. Обучение, говорят, обошлось в $104.

В анонсе пишут, что на Typed Decisions она даже чуть обходит Jev: 73,15% против 72,7%.

Алексей погонял её у себя на ноутбуке. Вердикт: «Юлька хороша, но Джев работает лучше».

Что мешает:
— нормально держит около 1024 токенов контекста, хотя заявлено 8192. У Jev — 64к;
— от 2 до 20 вариантов ответа, у Jev — до 255;
— это не RLCD, как Jev;
— похоже, на каждый вопрос заново читает весь контекст, даже если вопросов к одному тексту несколько.

Тест такой: 144 новости, 32 категории, которые пересекаются между собой, эталонную разметку делал отдельный ИИ. F1 у Jev — 59,1%, у Julia — 20,2%. С более сложной обработкой Julia доходит до 29%, но работает в 13 раз дольше.

Скорость мерили на M1 Pro с 16 Гб: MLX-сборка прогнала 160 материалов за 29,9 секунды, на CPU вышло 87,1. Быстрее почти втрое, но точнее не стала.

Зато у Julia есть то, чего нет у Jev: всё работает локально, данные никуда не уходят, квот нет. А Jev при прогоне корпуса отклонил 142 запроса из 1300.

Итого: если задача простая и описание влезает в 1024 токена, Julia справится. Всё остальное пока к Jev.

https://supersoniclabs.ia.br/julia-1/