Третьего дня прислал мне товарищ такую заметку. Абстракт, конечно, сумбурен, и вызывает подозрения в искусственном происхождении, но с введения начинается интересное. Автор аргументированно заявляет про кризис рецензирования в науке и скорую неминуемую замену живых рецензентов ИИшками. Со второй половины статьи на нас сыпятся технологические подробности как
Для меня же эта заметка имела особенный интерес, т.к. недавно я провел небольшой эксперимент со своим #обществоживихпоэтов. Взял свою рецензию на иностранную статью и сравнил ее с рецензиями нейросетей Manus, Perplexity и Consensus. Предварительно мы им скормили трехстраничный промпт: что делать и куда смотреть, под каким, так сказать, углом зрения. Выставив оценки за каждый пункт рецензии, я, как помнят постоянные читатели, вчистую проиграл всем электронным болванам с двукратным отставанием по баллам.
Решил не позволить таким данным пропасть, мы подготовили небольшую аналитическую статью о кризисе рецензирования. О его истоках, текущем положении дел, и способах преодоления. Мол, сотни тысяч статей некому рецензировать, растет время рассмотрения рукописей, ничем не мотивированные рецензенты все чаще отказываются от экспертизы, Китай со своими фабриками публикаций напирает, и рецензенты вынужденно делегируют свои обязанности ИИшкам. А те сильно зависят от промпта. Это приводит к разрушению возводимых веками барьеров на пути профанного знания к обнародованию. И представили классификацию проблем и способ решения к каждой.
В российской медицинской периодике до нас этот вопрос особенно не поднимался, а такого рода сравнения не проводились вообще. Отправили статью в серьезный журнал. Проверили по их чек-листу. Вроде, сошлось. С нетерпением ждем, не ожидая, что попадем по паровой каток российской бюрократии. Приходит отказ: список литературы не по форме. Там запятые должны быть после года выхода, а у вас точки. Исправляем. Посылаем снова. Отказ: у вас слишком короткий абстракт. Нужно больше слов. Дописываем. Отправляем. Отказ: у вас для ссылок в тексте не указаны номера страниц.
Да, /вырезано цензурой/ вас в /вырезано цензурой/ с вашими /вырезано/ страницами /вырезано/ и журналом!
Исправляем. Два месяца правим скобки и точки в статье, которая в качестве одной из фундаментальных угроз качеству науки и истоков кризиса указывает длительность рассмотрения актуальных работ редакциями! Вскоре приходит письмо от главного редактора из двух слов «статья отклоняется». Без рецензирования. Сцена из известного х/ф: «Это какой-то позор». При этом в зарубежных журналах все наоборот. Сначала оценка содержания, потом формы. Запятые, красные строки и прочие очень важные для истинного знания параметры. Может, отчасти и поэтому у нас в стране 1 (один) медицинский журнал Q2 (Биохимия) и ни одного Q1? А спросим нейросеть: