Забавно видеть насколько круто LLM модели решают очень сложные задачи по любым дисциплинам на уровне академиков, но при этом могут «спотыкаться» на каких-то совсем простых примерах.
Наверное, все помнят про «рецепт свиных крылышек» или «салат цезарь с курицей», где основным ингредиентом был сам Гай Юлий Цезарь. Такие моменты приходится править «вручную» или дообучать модель.
И сложность тут в том, что сложно представить и понять: где же именно будет совершена ошибка, где именно модель обучилась неверно или некорректно: человеку сразу понятно, что в реальном мире сделать рецепт свиных крылышек на барбекю невозможно, потому что у свиней нет крыльев.
И получается такой вот парадокс: сверх сложные задачи решать можем, но иногда могут быть такие ляпы, что диву даёшься.
У меня есть подписка на сервис Perplexity AI — это поисковая система и чат-бот на основе искусственного интеллекта, которая используют большие языковые модели для ответа на запросы с использованием источников из Интернета и цитирует ссылки в текстовом ответе.
Очень удобно, потому что там можно глянуть первоисточник на который модель ссылается при ответе.
Там есть такая опция как Deep Research, которая выполняет десятки поисковых запросов, читает сотни источников и анализирует материалы, чтобы предоставить исчерпывающий ответ по каждому запросу.
Я часто использую её, чтобы выполнить предварительную аналитику по какой-то сфере. И вот делаю очередную аналитику по одному сегменту, конечно, проверяю приведённые числа по указанным источникам.
И получается, что в половине чисел ошибки: либо занижение показателей в несколько раз, либо наоборот — завышение показателей.
Т.е. — есть ссылка на источник (статью), LLM анализирует её, делает саммари, пишет точный и правильный текст, но числа зачем-то сильно искажает, хотя казалось бы, это числа — им не нужны синонимы, альтернативные значения или другой контекст ¯\_(ツ)_/¯
В итоге, выводы по исследованию получились не точными 😕
Со временем, конечно, всё это «допилят», но нам точно нужно быть начеку, потому что отдав «управление» важной задачей ИИ — на выходе можно получить недопустимую ошибку.
Закинь друзьям | Канал Прожарка от ДГ