Соцсети давно догадывались, что я работаю в науке, но в последние недели меня буквально завалило рекламой различных ИИ-сервисов для ученых. Вот ИИ для поиска, для написания статей, для перевода. Всего делов — оплатить подписку.
ИИ действительно облегчает работу с текстами, несмотря на все возможные проблемы вроде галлюцинаций, когда языковая модель начинает описывать несуществующие результаты. Как результат мы видим признаки использования ИИ в научных статьях
всё чаще. Подобные оценки довольно условны, так как в основном опираются на частоту использования определённых слов, а также особенностей пунктуации, ведь и реальный человек может так писать.
И всё же есть слова-маркеры, которые стали гораздо чаще встречаться в статьях, одно из них —
delve (вникнуть, погрузиться). В работах по наукам о жизни/медицине, индексируемых в PubMed, слово
delve в 2020 году употреблялось 349 раз, а в 2023 году, когда доступ к ChatGPT получила широкая общественность, количество увеличилось до 2847. К марту 2024 года частота употребления слова уже достигла 2630. Аналогичные тренды наблюдаются и для других слов, например
commendable (достойный похвалы) или
meticulous (тщательный, скрупулёзный).
Не только биологи и медики пользуются ИИ для написания статей: недавняя работа
выявила признаки использования больших языковых моделей в 22.5% предложений в статьях по компьютерным наукам, 18% предложений в статьях по электротехнике (electrical engineering) и системологии на arXiv, 12.9% предложений в статьях по статистике на arXiv. Примерно каждое десятое предложение в статьях по физике на arXiv также содержало признаки использования ИИ. Неудивительно также, что ИИ чаще
пользовались авторы, не владеющие английским языком на уровне носителя — таковы результаты исследования статей в 86 журналах по анестезиологии и интенсивной терапии.
Этично ли вообще использование ИИ при написании статей? Журналы с фактом использования смирились, но требуют отмечать, как именно помогала ИИ. Не все эту помощь обозначают, вероятно, полагая, что таким образом распишутся в незнании английского. Однако поймать за руку каждого отдельного автора, не отметившего использование ИИ, довольно сложно. По идее, этим могут заниматься рецензенты, но на практике я сталкивалась с отзывами рецензентов, которые явно были написаны с помощью ChatGPT. Согласно опросу, исследователи, похоже,
не считают использование ИИ чем-то зазорным, если речь идёт о работе с текстом или набрасывании идей (но большинство считает, что работу с текстом, особенно по части переводов, необходимо раскрывать). В то же время к генерации картинок
относятся плохо, что неудивительно, ведь картинка по сути и есть наглядный результат работы.
Вся
статья довольно интересная, но мне кажется, что у этой работы есть недостаток: вопросы об использовании ИИ заданы непосредственно про респондента. Мне кажется, было бы любопытно задать вопрос «знаете ли Вы кого-то, кто использовал ИИ для написания статьи, а затем не раскрывал этой информации», а затем сравнить ответы.
Но ведь ИИ может не только помогать с текстами, но и с чем-то другим? Например, в статье, вышедшей на днях, ИИ помогал
вычислять журналы, нарушающие стандарты публикации (сам сервис
доступен онлайн). Среди анализируемых признаков — короткие сроки публикации, высокий уровень самоцитирования, прозрачность процессов. Однако и тут не обошлось без ошибок: 345 из 1437 журналов (24%), которые ИИ пометил как сомнительные, на самом деле таковыми не являлись. Более того, инструмент не смог выявить 1782 сомнительных журнала (доля ложноотрицательных результатов — 62%). При наличии ресурсов и применении определенных подходов показатель может быть снижен до 4%.
В общем, на данный момент ИИ-сервисы не могут быть полностью автономны и явно требуют постоянных перепроверок. Могу сказать, что в ряде случаев работа с ChatGPT действительно очень облегчает жизнь, но часто я предпочитаю сделать всю работу самостоятельно, чем потом перепроверять: так я точно буду уверена.
А вы как думаете? Этично ли использовать ИИ при написании научных статей? Перепроверяете ли вы ответы ИИ?