Исследователи из Корнеллского университета и Калифорнийского университета проанализировали почти 2,1 миллиона научных статей, опубликованных на препринт-серверах с января 2018 по июнь 2024 года. Результаты показали, что ученые, использующие большие языковые модели вроде ChatGPT, значительно увеличили количество публикаций. При этом традиционные маркеры качества научных работ перестают работать.

Рост продуктивности оказался неравномерным по областям. Больше всего выиграли социальные и гуманитарные науки — там прирост составил 59,8%. Биология и смежные дисциплины показали рост на 52,9%, а физика и математика — на 36,2%. Для анализа команда обучила алгоритм распознавать паттерны ИИ-генерированного текста, сравнивая реальные аннотации с их версиями, переписанными GPT-3.5.

Особенно заметный эффект ИИ дал ученым из неанглоязычных стран. Большинство топовых журналов требуют публикации на академическом английском, что долгое время ставило исследователей с неродным английским в невыгодное положение. С появлением языковых моделей их продуктивность в отдельных случаях выросла на 89% — ИИ фактически устранил языковой барьер.

Раньше сложный академический язык служил косвенным признаком качественной работы. Теперь это правило не работает: анализ показал, что чем сложнее ИИ-генерированный текст, тем ниже реальное качество исследования. Красивая упаковка начала маскировать слабые идеи.