Нашел очень перспективную штуку. Один ex-OpenAI челикс устал от того, что LLM модели постоянно балаболят. Чтобы принять ЛЮБОЕ решение, нейронка сначала пишет сочинение. Токен за токеном, медленно и еще за немалые такие деньги.
И он сделал какой-то новый класс LLM, которая ВООБЩЕ не умеет генерить текст. Кидаешь ей вопросы, хоть сотню параллельно, а она возвращает решения: да/нет и насколько уверена, в процентах. Все. Назвал Jev
Подробный тред: https://x.com/CompleteSkeptic/status/2099925682726002904
Что это дает
- в 20-200 раз быстрее обычных LLM
- в 40-400 раз дешевле (output токены бесплатные, это не опечатка)
- почти не галлюцинирует, потому что новый метод обучения RLCD учит её честно оценивать свою уверенность
Где это потенциальная имба: везде, где нужны миллионы быстрых решений, а не поэмы. Трейдинг: бот, который решает купить или продать каждые 300 миллисекунд. Управление компом: большая нейронка думает, а Jev мгновенно выбирает, куда кликнуть. Скоринг клиентов, фильтры, модерация, вот это все
https://typesafe.ai/
Короче я подался в вейтлист (туда за 36 часов влетело 140 тысяч человек, лол). Как одобрят, проведу пару тестов на реальных задачах и доложу вам вердикт: либо имбуля, либо красиво упакованная херня. Третьего не дано
Раздавите 🐑 если ждете разбор
с ув. Тимурка 🎉
Гараж 403 / Youtube
ㅤ
[CREATOR]