Импакт vs. ИИмпакт: эмпирические свидетельства влияния LLM на цитирование публикаций

В последнее время мы часто пишем о том, как ИИ меняет привычный научный ландшафт: во все большем числе работ генеративный ИИ помогает не только дописывать отдельные абзацы, но и с подачи промптов берет на себя исследовательские функции. Между тем немалое количество ученых все еще рассматривает генеративный ИИ только в качестве помощника по редактуре текста, позволяющего "подогнать" публикацию под требования журнала или же стандарты академического языка (в особенности иностранного для самих авторов). Казалось бы, добросовестное и декларируемое применение ИИ в части работы с текстом статьи при прочих равных не должно давать дополнительных преимуществ исследователям в сравнении с их коллегами. Но так ли это?

В свежем исследовании, опубликованном в Scientometrics, наши коллеги из кампуса НИУ ВШЭ в Перми попытались ответить на этот вопрос, сфокусировавшись на взаимосвязи между использованием больших языковых моделей (LLM) при подготовке текста и показателями последующей цитируемости публикаций.

На основе анализа более 234 тыс. научных работ 2019–2025 годов при обращении к собственной модели идентификации паттернов ИИ-письма (LLM-assisted writing), авторы пришли к выводу, что публикации с такими признаками получали в среднем примерно на 7,04 % больше цитирований, чем работы с аналогичными характеристиками: опубликованные в тех же журналах, в рамках схожих по объему авторских коллективов, со схожим числом источников, длиной аннотации и предыдущей цитируемостью авторов. Значимость всех указанных характеристик для обученной модели приведена на графике.

Как отмечают сами авторы, применение ИИ может и не повышать качество самих научных исследований, но благодаря проработке аннотаций — улучшению структуры, удалению лишних слов, стандартизации формулировок и приведению текста к академическому стилю — улучшается видимость публикаций для читателей, что и способствует росту цитируемости. Внимание к аннотациям особенно важно, поскольку именно они попадают в поисковые системы, базы научного цитирования и могут использоваться самими LLM моделями и иными рекомендательными системами при подготовке списков литературы по теме.
В контексте же наукометрии исследование подчёркивает значимость ИИ-признаков как потенциального инструмента продвижения научных работ. Если ранее большее значение (хотя и не всегда) имело содержание статей, то теперь только особенности текста и использованных формулировок, могут при прочих равных влиять на повышение читательского интереса.

ИИ при этом прямо «не накручивает» цитаты, но ставит под сомнение один из основных столпов библиометрического анализа — индекс цитирования. Если даже относительно безобидная редактура текста систсематически связана с преимуществом в цитировании, то сама цитата сегодня — уже не только мера научной значимости работы, но и оценка ее "упаковки". По всей видимости, для исследователя, до сих пор сторонившегося ИИ-письма, рациональной стратегией все же становится использование LLM-инструментов при финальном редактировании текста публикации.

#обзор #ИИ #цитируемость #scientometrics