🌸 ИИ, математика и акселерация науки 🌸
#nlp #про_nlp #nlp_papers

Стоит поговорить, конечно, о происходящем в мире ИИ и математики.

🌸TL;DR
На прошлой неделе OpenAI выложили несколько сотен ИИ-сгенерированных статей по математике. Выложили прямо на гитхаб, как есть, пачкой, без рецензирования.
Еще и на основе закрытой внутренней модели, к которой нет доступа извне. Нам предлагается только оценивать результат.
В ответ на это была создана Association for Human Mathematics, которая написала открытое письмо примерно такого содержания: мы не просили вас заниматься математикой, годы труда насмарку, научные программы разрушены.
До этого еще была Лейденская декларация о ИИ и математике и целая плеяда мнений, вплоть до полного бойкота.
Давайте разбираться.

🌸Почему автоматизация математики — это хорошая новость:
🟣 Автоматизация научного прогресса — это в целом очень благая цель. Ускорить научный поиск — важная задача. То, что математика и ИИ будут автоматизированы первые, было уже несколько лет как понятно. МЛ и математика зрелее всех остальных наук в плане полного экспериментального цикла и автоматического сигнала успешности экспериментальных попыток — весь цикл полностью проводится на компьютере. В сентябре на конференции Math Foundations of AI в Оксфорде я показала вот эти слайды:
потенциал для автоматизации научного поиска в разных областях науки 
математика и машинное обучение совершенно точно самые зрелые, verifiable reward.
в остальных областях — физике, химии, биологии — это тоже произойдет, но бутылочным горлышком является качество симуляций и verifiable сигнала.
🟣 В целом, любой гений тоже мог случайно разрушить научную программу — это соврешенно нормально. DeepSeek или другая опенсорсная лаборатория тоже могли бы это сделать. И еще сделают.
🟣 Эти 700+ статей —  цветочки относительно количества, которое мы получим дальше. Да, постпок примерно как кинуть дрожжи в унитаз, но в целом кто-то должен был начать так делать. Старая система сломана.

🌸В чем реально плохость поведения OpenAI:

Пиар превыше знания:
🟣Пиар-эффект получен, а научные результаты не отвалидированы и могут оказаться ошибочными.
🟣Скорость прирощения ИИ-сгенерированных доказательств гораздо выше чем скорость рецензирования и включения знаний в научную деятельность.
Мы растим корпус фактов и доказательств, которые ни разу не читал и не использовал ни один ученый, в то время как агенты спокойно могут базироваться на этих результатах и идти дальше.
Через определенное время этот объем полностью автоматического знания перевалит через объем, вручную достигнутый человечеством.
Этот эффект очень предсказуем. Но исключать человека из управления научным поиском нельзя.

Валидация, рецензирование переносится полностью на сообщество
🟣 OpenAI могли бы сначала провести процедуру рецензирования статей. Конечно, это бы потребовало много времени и ресурсов — но сюрприз — это и теперь требует много времени и ресурсов. Груз труда валидации результатов переложет полностью на сообщество, которое и так уже загибается от рецензирования ИИ-слопных статей.
🟣 могли бы выложить через партнерство с журналом или Arxiv: но Arxiv такие попытки на этой же неделе пресек. Теперь каждому автору можно выкладывать только по две статьи в месяц. Мера вводится для борьбы со сгенерированными статьями.

Полное отсутствие прозрачности, доверия, плюс монополия:
🟣 в целом можно было бы сделать все гораздо аккуратнее, привлечь самих ученых, которые в этой области работают, сделать публикации вместе с ними и получить лояльную аудиторию.
🟣 проблема с авторской атрибуцией не решена. Математики по-прежнему уверены, что OpenAI парсят их логи и крадут идеи, натравливая на них 10тыс агентов и зарешивая первыми. С этим нужно что-то делать обязательно, а именно обеспечить полную прозрачность в этом вопросе. Можно предложить вотермаркирование сессий и т.д. — либо полностью переходить на селф-хостед опен-сорсные модели.

🌸К концу 2026 мы с вами стоим на пороге очень интересного времени: все больше моделирующих наук автоматизируются, и прирощение знаний человечества может многократно ускориться. Чтобы сохранить верифицируемость, фальсифицируемость и научную методологию в целом, нам совершенно необходимо организовать новые стандарты и открытую инфраструтуру для масштабирования рецензирования и человеческой валидации автоматически полученного знания. Без монополии OpenAI.