​​❓Чудеса на миражах: действительно ли галлюцинируют большие языковые модели

Бывает, нейросеть выдает информацию, никак не связанную с запросом. Ты ей про Фому, а она тебе про Ерёму. Такой эффект называют галлюцинациями, и они считаются основной проблемой больших языковых моделей с архитектурой типа трансформер (GPT-4, LLAMA и подобные).

Но действительно ли галлюцинации — главный бич LLM? Инженер по разработке ПО искусственного интеллекта в YADRO Полина Пластова и эксперт Андрей Соколов задались этим вопросом и проверили актуальность проблемы для современных предобученных LLM в вопросно-ответном сценарии. Эксперимент на собранном ими датасете они описали в новой статье.

Из текста вы узнаете:

▪Какова архитектура трансформенных моделей;
▪Что за явление называется галлюцинированием LLM в строгом определении;
▪К каким результатам приведет анализ выбранного датасета на наличие галлюцинаций;
▪Как построить простейший пороговый алгоритм для определения галлюцинаций.

Читать ➡

#AI #ML #нейротехнологии