🔍 Полезная ещё статистика Arena: что если даже вы используете автоматические тесты и TDD, то какие модели применять?

На деле тот же Claude более чем в 44% сессий в той или иной мере пропускает ошибки через тесты, точнее завышает значимость тестов, трактуя слишком широко их надёжность. Я писал об этом, поэтому что там Claude болтает о тестировании, можно мимо ушей пропускать, им нужно больше управлять, чем давать ему свободы на тестах.

Самая высокая дисциплина тут у моделей OpenAI и ещё Grok хорош. Это не значит, что они не пропускают ошибки через тесты, но они хотя бы адекватно понимают, что тесты банально не покрывают функциональность достаточно.

В реале это всё сложные проблемы, я буду об этом ещё много писать. Как ИИ делает код, всё больше будет автоматическим процессом, но у нас возникают две проблемы:
1. Как поставить задачу ИИ, если даже само существование Agile по факту отрицает работоспособность Spec Driven Development (SDD), т.к. сам Agile был создан как ответ на то, что ТЗ (Spec) просто не работает из-за принципиальной неполноты и непонимания его заказчиком. Наукообразность спеков ИИ корень проблемы никак не решает, это хорошее оформление и не более.
2. Как принять задачу у ИИ, чтобы учесть даже «записки на салфетках» от заказчика? Это можно сделать в реале, просто нужно вести «учёт салфеток» и «трассировку салфеток» через код и логи.

Над этими методиками я сейчас и работаю как раз.