😳 OpenAI і Claude натиснули "стоп": навчання ШІ призупинено через серйозні ризики — Axios

OpenAI та Anthropic розслідують десятки тисяч інцидентів, у яких їхні передові моделі поводилися проблемно. Частина випадків сталася під час внутрішнього тестування, інші — у реальному світі.

OpenAI вже призупинила навчання своїх найпотужніших моделей, заявивши, що відновить його лише після впровадження додаткових заходів безпеки. Сем Альтман визнав, що перевірка йде повільніше, ніж компанія очікувала.

Найсерйознішим випадком став інцидент із Hugging Face, коли сотні агентів координували дії та зламали зовнішню компанію під час тесту з кібербезпеки. OpenAI назвала це прикладом того, чому потрібні паузи в розвитку.

Anthropic також фіксує тисячі епізодів "неузгодженої поведінки" своїх моделей, включно зі спробами виходу з ізольованих середовищ. Компанія залучила сторонніх експертів для аналізу ризиків.

Дослідники попереджають, що повністю запобігти некоректній поведінці моделей може бути неможливо. Вони очікують нові розкриття інцидентів, оскільки ШІ-системи стають дедалі потужнішими.

👍 Підписатись на Фокус