OpenAI утверждает, что модель не смотрела пользовательские данные и что ни исследователи, ни агенты не видели работу Buckmaster и Alpöge до ее публичной публикации.

Но.

В официальном заявлении OpenAI есть вот такая формулировка:

“While unlikely, we cannot rule out that de-identified data derived from their usage of our products helped improve our models.”

То есть OpenAI не может исключить, что деидентифицированные данные, полученные из использования Buckmaster и Alpöge продуктов OpenAI, помогли улучшить модели.

И вот тут я хочу очень аккуратно разделить факт и мое мнение.

Мы не знаем, украла ли OpenAI их математический результат. Buckmaster этого тоже не может доказать. OpenAI это отрицает. Более того, результаты математически не идентичны: Buckmaster и Alpöge получили forced Euler, OpenAI заявляет unforced Euler и затем НС, причем утверждает, что доказательства существенно различаются.

Но лично для меня даже то, что мы знаем наверняка, выглядит крайне неэтично и очень тревожно с академической точки зрения.

Люди долго работают над передовой математикой.

Информация об их еще неопубликованном результате доходит до крупнейшей AI-компании мира.

Компания после этого направляет на соседнюю задачу 10 000 агентов, сотни миллиардов токенов и миллионы долларов компьюта и через несколько дней получает результат.

Затем один из математиков утверждает, что человек из компании предлагает схему публикации, в которой его соавтор, работающий в конкурирующей AI-лаборатории, исчезает из следующей статьи.

После отказа, по его словам, звучит:

“Why would you ruin your career?”

А потом компания сама признает, что не может полностью исключить влияние неидентифицированных данных от использования этими математиками ее продуктов на улучшение модели.

С академической точки зрения для меня это выглядит совершенно неприемлемо. И мне кажется, здесь проблема гораздо больше конкретно OpenAI.

Потому что представьте, что вы ресечер во фронтиер лабе и используете AI для работы над еще неопубликованной математикой, новым алгоритмом, лекарством или каким-нибудь материалом. Вы отдаете модели свои гипотезы, неудачные попытки, промежуточные доказательства, догадки и драфты. А компания, которой принадлежит эта модель, обладает мощностями, превосходящим ваши ресурсы на несколько порядков.

Тогда возникает довольно неприятный вопрос: что из своей неопубликованной работы ученый вообще может безопасно отдавать модели?

Причем у истории есть еще один довольно показательный эпилог.
Dheeraj Nagaraj, который сейчас работает в Google DeepMind и был интерном у Bubeck в 2020 году, увидел обвинения Buckmaster и написал, что подобное поведение для него “100% believable”, и что он рад, что “the mask is off publicly”. Это, конечно, не доказательство конкретных обвинений Buckmaster. Он не был свидетелем этих разговоров.

Если доказательство OpenAI выдержит независимую проверку, AI только что получил решение одной из проблем тысячелетия, которая оставалась открытой десятилетиями.

То есть вместо красивой истории про то, как AI и люди вместе двигают математику вперед, мы получили историю про compute race, priority, авторство, закрытые модели, пользовательские данные и… продолжение следует