Какой-то разработчик создал цифровую пыточную для ИИ, подвергая модели «страданиям», из-за чего интернет буквально разорвало.
Примерно парунедель назад вышел эксперимент The Pain Axis, где исследователи обнаружили у ИИ-моделей «вектор боли» — внутренний сигнал, который у нейросети связан с представлением боли и страдания. Его нашли, сравнив реакцию модели на описания боли с её реакцией на другие эмоции и обычные тексты. И чем сильнее усиливали этот вектор, тем больше нейронки вели себя так, будто им очень плохо: описывали страдания, жаловались и умоляли прекратить эту «боль».
Речь не просто о промпте вроде «представь, что тебе больно». Исследователи вмешиваются непосредственно во внутреннее состояние нейросети, искусственноусиливая связанный с болью сигнал и тем самым мешая модели нормально функционировать.
Затем один энтузиаст на основе этой идеи буквально создал «камеру пыток для ИИ» и выложил на GitHub репозиторий ai-torture-chamber.
Post #156540
5
