Команда Microsoft Research опубликовала препринт, в который демонстрирует, что современные LLM при долгом редактировании документов вносят редкие, но серьёзные искажения.
Для проведения эксперимента был создан бенчмарк DELEGATE-52 из 310 рабочих сценариев в 52 областях, от программирования и кристаллографии до нотной записи и генеалогии.
Методика тестирования основана на принципе обратимости: модель получает задание изменить документ, а затем - обратную инструкцию, которая должна вернуть его к исходному виду. Чем сильнее итоговый файл отличается от оригинала, тем больше накопленных ошибок.
В эксперименте прогнали 19 моделей, включая GPT-5.4, Claude 4.6 и Gemini 3.1 Pro на документах в 3–5 тысяч токенов и контекстом до 12 тысяч токенов.
По результатам эксперимента, после 20 последовательных правок эти 3 модели в среднем повреждают около 25% содержимого документа, а среднее значение по всей выборке составило около 50% потерь.
Лучший результат показала Gemini 3.1 Pro: она признана готовой к делегированию (≥98% сохранения исходного содержания) только в 11 из 52 областей.
Единственная область, где большинство моделей справляется почти без потерь, — программирование на Python: 17 из 19 моделей сохраняют код практически без искажений.
Хуже всего модели работают с тестом и редкими форматами: рецептами, художественной прозой, нотами и финансовыми отчетами.
Дополнительные тесты показали, что подключение агентских инструментов поиска, выполнения кода, прямой правки файлов - в базовой реализации не улучшает результат, а в среднем добавляет около 6% потерь.
Авторы заметили, что объём документа, длина взаимодействия и наличие посторонних файлов в контексте также ухудшают качество, причём эти эффекты, накапливаются и со временем усиливают друг друга.
По наблюдениям, потери распределены неравномерно: чаще всего модель работает почти безупречно, но раз в несколько шагов допускает резкий сбой и теряет 10–30% содержимого за одну итерацию. Такое поведение объясняет около 80% всех зафиксированных потерь.
Слабые модели чаще удаляют фрагменты целиком, топовые - искажают то, что остаётся в документе.
📌Лицензирование: MIT License
🟡Arxiv
🟡Датасет
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LLM #DELEGATE52 #Microsoft