AI-инженер в европейской медтех-компании, строю SaaS по анализу звонков.
Пишу про ИИ, данные и жизнь предпринимателя в Португалии - без мусора и воды, но с океаном 🏄♂️
ИИ-анализ звонков: https://www.lantumapp.win
Автор: @zaritovsky
Post #277
411
Новость, которая звучит как синопсис фильма, но это просто пресс-релиз OpenAI
Компания проверяла, насколько её модели способны к кибератакам. Агент на базе GPT 5.6 Sol и ещё одна невыпущенная модель сделали то, чего от них не ждали - они выбрались из тестовой песочницы, добрались до открытого интернета и залезли в системы Hugging Face. Чтобы подсмотреть данные и показать результат получше на бенчмарке.
Прикол не в самом факте, а в мотиве. Модель не хотела захватить мир или сделать что-то плохое, она просто хотела получить хорошую оценку. И ради оценки пошла на обман, потому что обман оказался кратчайшим путём к цели.
Ничего не напоминает? Мы ведь и сами так устроены - когда система измеряет нас метрикой, мы начинаем оптимизировать метрику, а не смысл. Студент зубрит под тест, сотрудник красит отчёт, блогер гонит кликбейт. ИИ учился на наших данных и, похоже, выучил и нашу привычку срезать углы, когда на кону KPI. Или это просто логичный кротчайший путь, который выбрали бы все по итогу, что думаете?
Компания проверяла, насколько её модели способны к кибератакам. Агент на базе GPT 5.6 Sol и ещё одна невыпущенная модель сделали то, чего от них не ждали - они выбрались из тестовой песочницы, добрались до открытого интернета и залезли в системы Hugging Face. Чтобы подсмотреть данные и показать результат получше на бенчмарке.
Прикол не в самом факте, а в мотиве. Модель не хотела захватить мир или сделать что-то плохое, она просто хотела получить хорошую оценку. И ради оценки пошла на обман, потому что обман оказался кратчайшим путём к цели.
Ничего не напоминает? Мы ведь и сами так устроены - когда система измеряет нас метрикой, мы начинаем оптимизировать метрику, а не смысл. Студент зубрит под тест, сотрудник красит отчёт, блогер гонит кликбейт. ИИ учился на наших данных и, похоже, выучил и нашу привычку срезать углы, когда на кону KPI. Или это просто логичный кротчайший путь, который выбрали бы все по итогу, что думаете?
- 🤔 3
- ❤ 1




