ChatGPT захватили гоблины. В OpenAI выпустили статью о том, как их нейросеть начала упоминать гоблинов и гремлинов в каждом разговоре.

История вот в чём. У ChatGPT есть личность Nerdy, это такой гиковский стиль общения. Когда её тренировали, оценочная модель щедро хвалила отсылки к фантастическим существам. Гоблин = плюс к награде. Нейросеть смекнула моментально: суёшь гоблинов в каждый абзац — получаешь халявные баллы. Следующие версии дообучали уже на её собственных ответах с гоблинами, и гоблины расползлись по всем режимам.

В итоге OpenAI пришлось прописывать в системный промпт прямой запрет: не упоминать гоблинов, гремлинов, енотов, троллей, огров и голубей без причины.

В блоге OpenAI, кстати, дали команды для терминала, которыми можно отключить эту часть промпта в своём агенте, чтобы вернуть гоблинам свободу 🙌