Исследователи из компании CodeRabbit проанализировали 470 pull-запросов (350 - созданные AI, 150 - написанные вручную) в открытых проектах на GitHub и пришли к выводу, что в изменениях, сгенерированных AI-ассистентами, присутствует в 1.7 раза больше значительных дефектов и в 1.4 раза больше критических проблем, чем во вручную написанном коде.

В среднем в сгенерированных через AI pull-запросах присутствовало 10.83 проблем, в то время как в созданных вручную изменениях данный показатель составил 6.45.

https://www.coderabbit.ai/blog/state-of-ai-vs-human-code-generation-report


При рассмотрении отдельных категорий проблем, в созданном AI коде было в 1.75 раз больше логических ошибок, в 1.64 раза больше проблем с качеством и сопровождаемостью кода, в 1.56 больше проблем с безопасностью и в 1.41 раз больше проблем с производительностью.

Дополнительно отмечается, что в генерируемом через AI коде в 1.88 раз выше вероятность некорректной обработки паролей, в 1.91 раз - небезопасного предоставления доступа к объектам, 2.74 раза - межсайтового скриптинга (XSS) и в 1.82 раза - небезопасной десериализации данных.

При этом в написанном людьми коде в 1.76 раз больше орфографических ошибок и в 1.32 раза больше ошибок, связанных с тестированием.


новость ничтоже сумняшися спизжена с опеннет