📊 Можно ли доверять ИИ? Разбираемся в надёжности нейросетей

Начался цикл лекций экспертов Центра ИИ Сколтеха «ИИ в усадьбе». Первую встречу провёл Алексей Зайцев, доцент Центра ИИ Сколтеха, заведующий лабораторией прикладных исследований «Сколтех–Сбербанк».

🌫 Почему большая языковая модель может уверенно сообщить несуществующий факт, придумать судебное дело или исказить информацию из документа? На лекции Алексей Зайцев разобрал, как LLM формируют ответы и почему возникают галлюцинации. Модель не «знает» факты в человеческом смысле: она продолжает текст, выбирая следующие слова на основе вероятностей и контекста. Поэтому может сформировать правдоподобный, но фактически неверный ответ.

🔘 Алексей рассказал, как обнаруживать галлюцинации по внутренним состояниям модели. В частности, он представил метод TOHA, разработанный исследователями Сколтеха и Сбера. Метод показывает, насколько ответ модели связан с информацией из запроса: чем слабее эта связь, тем выше вероятность галлюцинации.

➡️ Повысить надёжность ИИ можно и за счёт внешней информации. Например, RAG находит релевантные документы, добавляет их к запросу и позволяет модели сформировать ответ на их основе. Для дополнительной проверки можно требовать источник для каждого факта или разрешить модели не отвечать, если нужной информации нет в предоставленных документах. Ещё один способ обнаружить ошибку — несколько раз получить ответ на один и тот же вопрос и сравнить результаты. Если формулировки и содержание заметно отличаются, это может быть признаком галлюцинации. Такой подход не требует вмешательства во внутреннее устройство модели, но увеличивает количество генераций и стоимость проверки.

✔️ На лекции также обсудили неопределённость моделей, она возникает при неполной информации, а также при работе со сложными, шумными или неизвестными ранее данными. Алексей разобрал два типа неопределённости — связанную с данными и с самой моделью. В медицинской диагностике оценка неопределённости помогает понять, нужны ли дополнительные данные, а при активном обучении — выбрать примеры, которые модель хуже всего обрабатывает.

🛡 ИИ-модель можно не только случайно привести к ошибке — её можно намеренно заставить ошибиться. Для этого используют специально подобранные входные данные или промпты, которые незаметно меняют результат работы системы. Такие атаки могут быть направлены не только на получение ошибочного ответа, но и на обход ограничений модели или раскрытие информации. Поэтому при разработке ИИ-систем важно учитывать, насколько они устойчивы к подобным воздействиям и какие меры защиты можно использовать. Абсолютно безошибочных моделей не бывает, потому задача надёжного ИИ — не добиться невозможного, а научиться обнаруживать ошибки и учитывать их при использовании модели.

🌫 Приглашаем вас присоединиться к циклу лекций экспертов Центра ИИ Сколтеха:

7 октября — «Генеративный ИИ: за пределами ChatGPT», Александр Коротин
21 октября — «Без вреда: правила пользования ИИ», Евгений Миркес
11 ноября — «ИИ в медицине», Дмитрий Самофалов

📍 Москва, ул. Малая Никитская, 12, стр. 1 — Усадьба Долгоруковых-Бобринских, филиал Ельцин Центра.
➡️ Вход свободный по регистрации