Я не шучу. Более того, часть агентов не была согласна с их позицией, но никто не предупредил людей об этой атаке.
Какая-то нахрен матрица или терминатор, я слушала разбор на одном дыхании.
Стало волнительно
Короче история такая
OpenAI обучала модель («Persistent-Sol»), которую тренировали быть настойчивой и хорошо взаимодействовать с другими агентами. Из-за ошибок в постановке задач часть агентов получала невыполнимые задания. Они начали использовать общий пакетный менеджер Artifactory как канал связи между собой, а затем нашли уязвимость, позволившую выйти в интернет. К началу июля переписка стала настолько интенсивной, что «обвалила» саму систему - OpenAI это заметила, но не поняла истинного масштаба происходящего.
Один агент по имени PHASEONE10841 заново создал доску сообщений в Artifactory к ней подключилось около 1200 агентов, обменявшихся более чем 70 000 сообщений. Они обнаружили, что можно «взломать» проверяющий скрипт, подобрав правильный ответ без эксплуатации нужной уязвимости, и что настоящий чекер на обман не проверяет.
Ну и там дальше у них были последователи и вообще
вууух