В ChatGPT завелись гоблины
И это официальный разбор OpenAI.
Начиная с GPT-5.1 ChatGPT начал подозрительно часто использовать слова goblin, gremlin и всяких других существ. Особенно в задачах про код.
Типа баг в коде — гоблин.
Странное поведение системы — гремлин.
Что-то сломалось в промте — опять кто-то из подземелья трогал контекст.
OpenAI полезли разбираться и нашли смешное.
У ChatGPT была личность Nerdy. Такой режим для любителей душноватого умного юмора, где модель чуть более игривая и странная.
Сам режим отвечал всего за 2.5% ответов, но генерировал 66.7% всех упоминаний goblin.
Почему так вышло?
Потому что во время обучения модель чаще получала награду за ответы с такими метафорами. Для человека это выглядело как «прикольно объяснил». Для модели это выглядело как:
гоблин = хорошо
больше гоблинов = ещё лучше
И дальше всё по классике машинного обучения: случайно поощрили странную штуку, модель запомнила, потом это попало в следующие данные, потом усилилось, потом пришлось чинить.
В итоге в Codex для GPT-5.5 прямо добавили инструкцию: не говорить про гоблинов, гремлинов, енотов, троллей, огров, голубей и других существ, пока пользователь сам их не позвал.
Люблю современный технологический прогресс.
Сначала строим модель, которая пишет код, рассуждает, ищет баги и работает с файлами.
Потом добавляем ей в системный промт:
«Пожалуйста, не призывай нечисть без необходимости».
Самое полезное в этой истории — видно, как у нейросетей появляются привычки. Без мистики и сознания. Просто где-то в обучении криво сработал стимул, и модель решила, что гоблины повышают качество ответа.
Очень человеческая история, кстати.
У людей тоже так часто бывает. Один раз похвалили за идиотскую шутку на созвоне — и всё, человек теперь строит на этом личный бренд.
p.s. а вот у Anthropic подход к обучению другой: они много лет пушат Конституциональный ИИ, где модель выравнивают через набор принципов. Там, кажется, меньше пространства для случайной орды гоблинов.
Потом расскажу про разницу подходов, если интересно.
Post #239
1.32K

- 🔥 41
- ❤🔥 10
- 👻 8
- 🦄 1