Вы когда-нибудь задумывались, почему ChatGPT уверенно врет вам про диссертацию Адама Стоквилда (Adam Stockwild), которую тот никогда не писал, или почему 0.11 для LLM больше чем 0.9?

Почему языковые модели, датасет для обучения которых едва ли меньше знаний всего человечества, проводят фактчекинг на уровне раздолбаев с задней парты, которые любой ценой пытаются сдать школьный тест?

Всё дело в том, как обучают и оценивают большие языковые модели.

В эту пятницу разберём новую статью от OpenAI «Why Language Models Hallucinate?». Узнаем, как вознаграждение (reward) при обучении превращает ИИ в фабрику фейков, и как это можно исправить.

На встрече Андрей Яковлев, специалист отдела экспертизы MaxPatrol HCC, расскажет:
🛑почему даже идеальные данные не спасают от галлюцинаций;
🛑как бинарные метрики вознаграждают ложь;
🛑что нужно изменить в бенчмарках, чтобы AI был честнее.

📅 Ждём всех в Толке в пятницу, 28 ноября, в 15:00 MSK.
🔗 Ссылка для подключения: Ктолк

P.S.: Адама Стоквилда не существует 🙂

#reading_group #llm