ИИ в статьях: казнить нельзя использовать?

Вчера рецензировала статью в одном из топовых журналов по наукометрии – Journal of Informetrics (повторный раунд, когда авторы прислали свою рукопись после доработки).

Столкнулась с новым для себя вызовом: как написать отказ статье, в которой все относительно стройно, но прямо сердцем чуешь, что что-то не так (как-то все идеально, причесано, но при этом есть явные огрехи, которые авторы не стали исправлять?).

В первый раз отказ было писать тоже нелегко, но аргументов было явно побольше, чем во второй, но остальные два рецензента дали шанс рукописи с условием серьезной доработки (это называется рекомендация «major revisions»).

Что еще существенно осложняло дело: внутренняя лень настоятельно склоняла потратить редкие часы вечернего отдыха не на повторную подробную рецензию, а на более приятные дела – соблазн просто нажать кнопку «принять к публикации» и пойти посмотреть фильм был очень высок. Но в итоге внутренние сомнения взяли вверх.

В общем, я прибегла к помощи детекторов AI. Так как я еще не потратилась на профессиональную версию (а чувствую, что уже пора), пользовалась для проверки пробными версиями GPTZero и Scribbr.

К сожалению, мои сомнения совпали с результатами проверки: текст статьи, по мнению обоих детекторов, был по большей части сгенерирован ИИ.

Для кросс-проверки использовала еще текст статьи про мобильных ученых, который мы с коллегами опубликовали в Scientometrics. Теперь ответственно заявляю, что мы с соавторами не роботы 👻.

Для еще дополнительной проверки проконсультировалась по вопросам методологии с другой коллегой, которая настоящая профи в наукометрии. Совместными усилиями решили, что рукопись все-таки надо отклонить (спасибо ей большое!).

Но вся ирония-то в чем: я сама активно стараюсь интегрировать ИИ в свои исследования (не так много, как хотелось бы, кстати, во многом из-за ограничений на работе на vpn) и в целом я уже оценила преимущества и ограничения этих инструментов (то есть в луддизме обвинять меня не стоит).

Но вот что получается. Сейчас границы не в том, чтобы использовать или не использовать ИИ, а применять его грамотно, с указанием целей, не использовать для фальсификации данных и прочего.

Получается, что сейчас в исследованиях и издательском деле очень сильно не хватает подробного этического кодекса использования ИИ в исследованиях; желательно с «приземлением» конкретных примеров (сейчас это есть, но все сформулировано очень расплывчато и туманно).

И что вот еще. В случае профессиональной экспертизы граница распознавания между человеческим и сгенерированным становится все сложнее распознаваемой и тяжело доказуемой.

Со студентами у нас есть большой запас в разрыве опыта, знаний, начитанности. В конце концов, есть возможность узнать студента поближе в процессе преподавания. С коллегами, у которых видишь только их текст, границы которого выходят немного за рамки твоего опыта, это решение становится в разы сложнее.

Пока что единственный выход мне видится во множественной экспертизе, поэтому очень хорошо, что рецензентов три. Посмотрим, что они скажут, мне очень интересно будет увидеть результат.

#рецензирование #ИИ