Суть проекта – в быстром пред-ревью вашей работы перед тем, как вы отправите ее в журнал или научруку. Человеческое ревью длится неделями и даже месяцами, а тут вы можете предвательно оценить, насколько исследование "понравится" ревьюерам и заранее исправить замечания, которые обнаружит агент.
Меня вдохновила история студента, чью работу отклоняли 6 раз за 3 года. Цикл обратной связи обычно занимает примерно пол года, и это мучительно долго. Я захотел проверить, насколько агенты смогут помочь исследователям ускорить процесс.
Систему обучали на ревью с конференции ICLR 2025. Качество оценивали с помощью корреляции Спирмена: чем выше значение, тем ближе ревью агента к человеческим, то есть тем точнее "прогноз" агента относительно вашей работы.
В результате корреляция ИИ с человеком получилась равной 0.42. Кажется немного, но вот вам фанфэкт: корреляция между ревьюером и другим ревьюером в среднем составляет 0.41. То есть верить инструменту вполне можно.
На инференсе агент использует atXiv для ревью, так что лучше всего тулза работает именно с CS/ИИ статьями, которые публикуются там в избытке.
Забирайте, это бесплатно: https://paperreview.ai/