👻AI-агенты перепроверили треть работ ICML 2026

Более 1200 участников с помощью Codex, Claude Code, Cursor и других агентов попытались воспроизвести 2226 научных работ — около 34% всей конференции. Код, результаты и трассы запусков публиковались открыто.

Только 266 работ удалось воспроизвести полностью. У 23% проверенных публикаций хотя бы один вывод был опровергнут или оспорен. Но и агенты ошибались: одна громкая «находка» оказалась обычным сравнением времени одной операции со временем пакета из 50.

Для тебя вывод практический: агент хорошо масштабирует проверку кода и экспериментов, но его вердикт тоже нужно перепроверять. Лучшие результаты получились там, где человек управлял направлением исследования и проверял спорные выводы.

Пруф: отчёт Hugging Face от 13 августа 2026 года

#aiagents #machinelearning #research #reproducibility #icml #aievals

@data_engi