👨‍🏫🤖👩‍🏫Чтобы ответы нейросети были адекватными, полезными и максимально похожими на человеческие, её нужно обучать при помощи людей — AI-тренеров. В первую очередь, AI-тренер должен уметь работать с текстами, поэтому на эту должность часто приходят копирайтеры, редакторы, контент-менеджеры и лингвисты. Рассказываем, как такие люди помогают нейросетям становиться лучше.

• Пишут эталонные ответы на запросы
Идеальный ответ должен быть грамотным и структурированным, соответствовать нормам этики и чётко отвечать на запрос пользователя. Чем больше таких ответов показать нейросети, тем точнее будут её собственные. На начальном этапе любая модель обучается на текстах из интернета, но в качестве эталонных они не подходят, так как часто бывают низкого качества, могут содержать неверную информацию и иметь запутанную структуру. Поэтому AI-тренеры готовят часть ответов на разные вопросы, чтобы показать нейросети эталонные примеры и помочь ей составлять свои ответы по тому же принципу.

• Проверяют тексты, написанные нейросетью, на соответствие фактам
Языковые модели могут очень убедительно врать — этот феномен называется галлюцинациями нейросетей. Это происходит не потому, что кто-то хочет ввести пользователей в заблуждение. Языковые модели не могут осмыслить информацию и не способны делать самостоятельные выводы, они просто собирают ответы из наиболее подходящих слов. Одна из задач AI-тренера — проверить факты и показать модели, где правда, а где ложь.

• Оценивают и ранжируют ответы нейросетей
Модель генерирует несколько ответов на один и тот же запрос, а тренер даёт ей обратную связь. Он показывает, какие элементы ответа следует использовать в дальнейшем, а какие — нет. Так нейросеть может «понять», в каком направлении развиваться. Этот метод обучения называется RLHF (reinforcement learning with human feedback), что означает обучение с подкреплением на основе отзывов людей.

Подписывайтесь 👉@techno_yandex

Не пропускайте новости Яндекса тут @yandex