В твиттерах форсится новая сетка Jev https://typesafe.ai/ с феноменально дешевой и быстрой скоростью ответов.

Обычно я не комментирую новости, но эта штука технически примечательная.

Что сделали, если очень кратко:
— Взяли нечто вроде ЛЛМ. Оставили обширные знания о мире, но отрезали возможность говорить.
— Моделька общается вероятностями. На вход даешь ей текст и позиции для классификации.

Например

Текст инцидента клиентской поддержки
- тип [бизнес/техника]
- серьезность инцидента [серьезно, средне, мелкий эпизод]
- необходимость включения человека [да/нет]

На выход она дает пункты из классификации с вероятностями.
- [бизнес 90%/техника 10%]
- [серьезно 5%, средне 25% , мелкий эпизод 70%]
- [да 5%/нет 95%]

От стандартной схемы Structured output отличается тем, что текстовых токенов тут не присутствует в принципе.

Плюсы и минусы того что получилось:
— чрезвычайно быстрая модель, гигантский эффективный параллелизм — можно задавать до 256 вопросов на классификацию в одном запросе.
— очень дешевая, буквально, в сотни раз дешевле ЛЛМ.
— не умеет говорить

Пригодится в экспертных системах — там, где ЛЛМ сейчас играют роль умной IF конструкции. Трейдинг, скоринг, исследования — везде, где нужно разносить нечто по разным классам. Эдакий универсальный классификатор, который не нужно тренировать отдельно на каждый случай.

Архитектура закрытая, так что объяснение выше — по сути, не архитектурное. Архитектурное будет когда зарелизят статьи. Но это определенно что-то свежее в ИИ ландшафте.