Со-основатель и экс-VP по исследованиям OpenAI раскрыли секреты создания ChatGPT

В Стэнфорде интересная состоялась лекция: Баррета Зоф и Джона Шульмана, они оба уже покинули компанию.

Они поделились неизвестными ранее деталями разработки системы, которая изменила наше представление об ИИ.

Никто не ожидал, что проект, начатый небольшой командой из 5 человек в сентябре 2022 года, станет глобальным феноменом. За 2 года команда выросла до более, чем 100 человек, пытающихся удержать в равновесии сложнейшую систему.

Самым интересным оказалось то, что создание "послушного" ИИ - это не просто техническая задача. Создатели ChatGPT столкнулись с целым рядом неожиданных проблем: как научить модель отказывать в потенциально опасных запросах, не становясь при этом излишне ограничивающей? Как сохранить разнообразие мнений и стилей, одновременно поддерживая безопасность? Как избежать политической предвзятости в ответах?

Особенно удивительным оказался "эффект бабочки" в обучении: улучшение одного аспекта часто неожиданно ухудшало другие. Например, попытки сделать модель более безопасной иногда приводили к появлению орфографических ошибок, а стремление к более точным ответам могло сделать модель излишне категоричной.

Система пост-тренинга ChatGPT оказалась похожа на тонкую настройку музыкального инструмента: три ключевых компонента (SFT, RM и RL) должны работать в идеальной гармонии. Один отвечает за обучение на качественных примерах, второй - за понимание человеческих предпочтений, третий - за оптимизацию поведения.

Что особенно важно - многие проблемы до сих пор не решены. Как говорят создатели, "чтобы заставить модель делать то, что мы хотим, нужно сначала понять, чего именно мы хотим". И этот философский вопрос оказывается сложнее любых технических проблем.

Одним из самых интересных моментов презентации - обсуждение "человеческого фактора" в обучении ИИ. Оказалось, что разные группы людей, участвующих в разметке данных, дают совершенно разное качество обратной связи. Например, обычные пользователи отлично определяют реалистичность диалогов, но хуже справляются с оценкой корректности информации. Эксперты, напротив, прекрасно оценивают точность, но могут упустить нюансы естественного общения.

Создатели особо подчеркнули, что несмотря на все достижения, мы находимся только в начале пути. Среди ключевых вызовов будущего они выделили:

1. Необходимость сохранения "разнообразия мышления" ИИ систем.

2. Проблему прозрачности принятия решений.

3. Баланс между специализацией и общими способностями моделей.

4. Этические аспекты взаимодействия ИИ с пользователями.