Anthropic та OpenAI хочуть пустити незалежних AI-аудиторів всередину компаній
Anthropic планує розмістити в компанії незалежних сторонніх оцінювачів безпеки, які зможуть перевіряти роботу з передовими AI-моделями безпосередньо зсередини.
Йдеться не просто про зовнішнє тестування готової моделі.
Оцінювачам хочуть видати бейджі, робочі місця та ноутбуки, а також надати доступ до внутрішніх процесів, систем і даних приблизно на тому ж рівні, який мають власні команди Anthropic з оцінки ризиків.
Їхнє завдання — перевіряти, чи дотримується компанія власних правил безпеки, контролювати ключові показники розвитку AI та стежити, щоб небезпечні інциденти не залишалися всередині компанії без розголосу.
Однією з організацій, які можуть виконувати таку роль, Anthropic називає METR, що спеціалізується на незалежному тестуванні передових AI-систем.
CEO OpenAI Сем Альтман назвав пропозицію «хорошою ідеєю» і заявив, що OpenAI планує зробити те саме. Деталі компанія поки не розкрила.
Окреме питання — наскільки незалежними залишатимуться аудитори, які фізично працюватимуть усередині AI-компаній. Сама Anthropic раніше пропонувала вимоги щодо розкриття фінансування, конфліктів інтересів та зв'язків оцінювачів з AI-розробниками.
TechCrunch — Anthropic and OpenAI want to embed safety evaluators
#anthropic #openai #ai #aisafety #aiagents #технології