Недавно я писал про чудную историю с ICML 2025, когда 2 рецензии из 4 на одну из наших статей почти полностью совпали.
Коллеги прислали ссылку на твит Andrei Lupu:
Did you know that \textcolor{white} text is still visible to LLMs?
Anyway, don't use LLMs to write your reviews. Your co-authors will thank you.
С которым также произошла похожая история (LLM-generated review, подробнее тут), которую он отрапортовал в Ethics Violation и еще 26 марта получил ответ, что рецензии удалены, а статьи рецензентов сняты с ICML 2025. За что "их соавторы будут таким рецензентам благодарны".
Нам такой же по сути ответ пришел от Program Chair 01.04 (на картинке выше). Рецензии тоже обнулили и статьи рецензентов с конференции сняли. В общем — все довольно оперативно и довольно жестко.
Интересно, что перед получением этого ответа Area Chair (руководитель уровнем ниже) написал рецензентам что-то строгое и они оперативно обновили рецензии, а мы подготовили всем рецензентам ответы. Причем очень подробные.
Как писал Саша Гущин, первый автор статьи:
фан-факт:
длина всех ответов на ребаттле: ~14900 символов
кол-во символов во всей статье не считая аппендикса: ~13900 символов
Т.е. общая длина ответов рецензентам превысила длину статьи! 💪🙂
Ну и прекрасный фан-факт: ко вчера 3 из 4 ревьюверов статьи подняли свои оценки!!! 😁 Из них двое правда, похоже, в первый раз прочитав статью, но тем не менее! 😉😁 В любом случае очень радует, что большая работа по подготовке ответов не прошла даром. 👍
Теперь остается рулетка с emergency reviewer, но тут уж так сложилось. 🤷♂️
В общем сложность прохождения рецензирования на А* заметно выше, чем в журнале, по крайней мере в области ИИ. Есть товарищи, которые со мной не согласятся, но у меня есть еще один фан-факт, последний на сегодня:
В центрах ИИ (большой госпрограмме поддержки ИИ в стране) правила финансирования статей заметно различаются, но в среднем размер премирования за А* на ИИ конференции ПРИМЕРНО В 2 РАЗА ВЫШЕ чем за Q1 публикации в ИИ журнале.
Это хорошая косвенная оценка сложности подобных публикаций на данный момент (что А* конференции сейчас идут к вершине хайпа я писал).
Буду держать вас дальше в курсе этой драматичной (на данный момент для LLM-ревьюверов и их соавторов) истории.
Stay tuned! 😁
#pro_conferences