🌈 Ваши if никогда не будут прежними.

TypeSafe AI представила модель Jev, которая не умеет генерировать текст. Вместо этого она принимает состояние приложения, отвечает на заранее заданные вопросы и возвращает типизированные решения с вероятностями.

Основатель TypeSafe, Diogo Almeida, ранее работал в OpenAI над методами обучения моделей следованию инструкциям. Теперь он предлагает пойти в противоположном направлении: вместо ИИ, который общается с человеком, сделать ИИ, который становится частью программной логики.

TypeSafe AI вводят на рынок новый класс моделей, System One Models, они вдохновились книгой Thinking, Fast and Slow, Даниэля Канемана. Название класса моделей отсылает к различию между быстрым, интуитивным мышлением Системы 1 и медленным, осознанным мышлением Системы 2.

TypeSafe AI назвали проект - Jev в честь Уильяма Стэнли Джевонса:
> "Мы полагаем, что развитие машинного интеллекта пойдет по тому же пути, что и история использования угля: повышение эффективности паровых двигателей привело к росту спроса на топливо. Каждое снижение стоимости интеллекта на порядок открывает возможности для его применения в сценариях, число которых также возрастает на порядки."

😵‍💫 Как это работает?

Допустим, у вас есть обращение пользователя. Вместо того чтобы отправлять его в LLM с просьбой вернуть JSON, вы передаёте Jev состояние и несколько вопросов:

// App state
{
  "food": "Russian butterbrot",
  "definition": "A traditional Russian butterbrot consists of a single slice of bread with butter spread on top. It is served open-faced, without a second slice of bread."
}

// Questions
{
  "is_sandwich": {
    "type": "noul",
    "instructions": "Is `food` a sandwich?",
    "criteria": {
      "true": "A sandwich is a food dish where a filling, such as meat, cheese, vegetables, or spread, is placed between structural starch",
      "false": "The food has no bread enclosing a filling or uses only a single slice of bread, or uses a non-bread wrapper such as a tortilla, wafer, or cookie."
    }
  }
}

// Responce
{
  "model": "jev-1.13.0",
  "answers": {
    "is_sandwich": {
      "type": "noul",
      "noul": 0.06,
      "stats": {}
    }
  },
  "usage": {
    "input_tokens": 384,
    "output_tokens": 23
  },
  "request_id": "playground_1142bf71213445486bec078065ffd2e",
  "evaluation_time_ms": 102.2991350000666
}

Судя по ответу Jev думает что бутерброд у нас с вероятностью 6% сэндвич, что можно интерпретировать как false, ну или true в зависимости от того какой if вы у себя в логике напишите.

const probablySandwich = response.answers.is_sandwich.noul

if (probablySandwich > 0.8) {
  addCoffeeToCart()
} else {
  addBlackTeaToCart()
}

Никакой генерации текста, парсинга ответа и борьбы с внезапными галлюцинациями в JSON.

Ещё интересен подход к обучению. Вместо привычного RLHF разработчики используют RLCD - Reinforcement Learning for Calibrated Decisions. Модель учат не просто выбирать ответ, а оценивать собственную неопределённость.

По задумке, приложение сможет самостоятельно обрабатывать очевидные случаи, а сомнительные отправлять человеку 🛑

Что по производительности?

😱 Разработчики заявляют:

• 70–500 мс на запрос
• $0,042 за миллион входных токенов
• Бесплатные выходные токены

В собственных тестах они также получили ускорение до 193,6 раза и снижение стоимости до 444,6 раза по сравнению с LLM. Правда, сами признают, что это верхняя граница ожидаемого выигрыша, а тестовые сценарии составляла их команда 🪨

И важный нюанс: Jev гарантирует соответствие ответа схеме, но не правильность самого решения. type-safe !== correct 😏

А вы готовы доверить Jev свои if'ы? 😯