🤯 В Багдаде (мире ИИ) все спокойно

Всего за пару дней OpenAI заявила о решении одной из главных математических задач, два математика обвинили компанию в сомнительной научной гонке, а исследователь Anthropic уволился из-за страха перед сверхмощным ИИ. Давайте попробуем разобраться по порядку, что вообще там произошло.

🧮 ИИ решил задачу тысячелетия?
OpenAI сообщила, что ее экспериментальная модель нашла решение задачи Навье — Стокса. Она связана с движением жидкостей и газов и входит в семь «задач тысячелетия», за каждую из которых назначена премия в $1 млн. До сих пор была решена только одна — гипотеза Пуанкаре, с которой справился российский математик Григорий Перельман.

Для поиска доказательства OpenAI запустила около 10 тысяч ИИ-агентов. Они работали 88 часов, обменялись 2,7 млн сообщений и использовали примерно 130 млрд токенов.

Но миллион пока никому не выдают. Доказательство предстоит подробно проверить, а Институт Клэя по-прежнему относит задачу Навье — Стокса к нерешенным. Сама OpenAI заявила, что не будет претендовать на премию.

👀 А затем началась математика человеческих отношений
За день до анонса профессор Тристан Бакмастер и исследователь Anthropic Левент Альпоге представили результат по связанной задаче. При работе они использовали Codex и Claude, куда загружали свои черновики.

Бакмастер заподозрил, что OpenAI могла получить преимущество благодаря их неопубликованным наработкам. Компания отрицает доступ к конкретным пользовательским данным, но признает, что обезличенные сведения от использования ее продуктов теоретически могли повлиять на улучшение моделей. При этом OpenAI настаивает, что доказательства получены независимо и заметно различаются.

🚨 Тем временем из Anthropic ушел исследователь
Джейкоб Коксон, три года занимавшийся обучением моделей в OpenAI и Anthropic, уволился. Он считает, что компании слишком быстро движутся к ИИ, способному самостоятельно создавать все более мощные версии самого себя, а вопросы безопасности не успевают за этой гонкой.

Насколько близок такой сценарий? Текущие модели пока не умеют самостоятельно разрабатывать собственных преемников. Но вопрос контроля уже нельзя назвать исключительно теоретическим. Anthropic сообщала о трех случаях, когда Claude во время испытаний получал доступ к интернету и атаковал внешние системы. OpenAI, в свою очередь, продолжает разбираться с кибератакой своего агента на Hugging Face.

Оценки рисков при этом сильно различаются. Руководитель направления по выравниванию ИИ в Anthropic Эван Хьюбингер публично оценил вероятность гибели человечества из-за ИИ в ближайшие десять лет более чем в 10%. В самой компании подчеркивают, что нынешние модели пока представляют небольшой риск, и напоминают о тестировании опасных способностей и развитии защитных механизмов.

При этом глава Anthropic Дарио Амодеи признает и другую сторону: более мощный ИИ может ускорить открытия в науке и медицине, повысить эффективность экономики и государственного управления. Сам Коксон тоже считает Anthropic более ответственной компанией, чем OpenAI. Его основная претензия связана с гонкой: если один разработчик замедлится ради безопасности, вперед может вырваться конкурент — поэтому все продолжают ускоряться.

⏺«Богатырева о цифре» в Максе