Post #565
1.57K
После двухнедельного тестирования, как разные ЛЛМ пишут код на Ada (это не долгоиграющие автономные агенты, а просто создание кода по спецификациям), можно подвести итог:
- Claude Code Opus пишет хорошо, но "молча" -- мало рассуждает, генерирует неплохой код, но ошибается изредка так, что код потом не собирается. Зато: объясняет существующий код исключительно хорошо, в деталях, с диаграммами, и неплохо ориентируется в ядре Линукса.
- Ox Alpha очень хорошо знает стандартную библиотеку Ada RL, параграфы Ada RM, может рассуждать на дюжину страниц о нюансах и отличиях разных реализаций Ada, особенностях конструкций применения GNAT, код пишет исключительно приятный и человечный, перемежая цитатами спеки, но - иногда ведёт себя как нерешительный стажёр и ходит кругами (за ваши токены), нуждается, чтобы за нее приняли решение;
- Hy3 от Tencent тупенькая, делает все в лоб, часто ломает код сама себе, потом исправляется. Зато есть плюс, крайне экономен в количестве токенов, не знаю, как удается, но переиспользует части контекста, видимо;
- Google Gemini довольно тупой, иногда генерирует оборванный код и долго рассуждает, кто это сделал, падает на одних и тех же местах.
Не знаю, зачем вам это, но теперь знаете. Думаю, что в проектах на более мейнстримных языках впечатления будут иными.
Кроме этого, я оценио, что файл AGENTS.md таскать из проекта в проект бесполезно, а то и вредно, зачем нужны т.н. "скиллы" не понял, кажется, что это тупик, и ещё раз подтвердил для себя, что большинство людей использую промпты неправильно.
Больше на тему ЛЛМ постараюсь не писать.
- Claude Code Opus пишет хорошо, но "молча" -- мало рассуждает, генерирует неплохой код, но ошибается изредка так, что код потом не собирается. Зато: объясняет существующий код исключительно хорошо, в деталях, с диаграммами, и неплохо ориентируется в ядре Линукса.
- Ox Alpha очень хорошо знает стандартную библиотеку Ada RL, параграфы Ada RM, может рассуждать на дюжину страниц о нюансах и отличиях разных реализаций Ada, особенностях конструкций применения GNAT, код пишет исключительно приятный и человечный, перемежая цитатами спеки, но - иногда ведёт себя как нерешительный стажёр и ходит кругами (за ваши токены), нуждается, чтобы за нее приняли решение;
- Hy3 от Tencent тупенькая, делает все в лоб, часто ломает код сама себе, потом исправляется. Зато есть плюс, крайне экономен в количестве токенов, не знаю, как удается, но переиспользует части контекста, видимо;
- Google Gemini довольно тупой, иногда генерирует оборванный код и долго рассуждает, кто это сделал, падает на одних и тех же местах.
Не знаю, зачем вам это, но теперь знаете. Думаю, что в проектах на более мейнстримных языках впечатления будут иными.
Кроме этого, я оценио, что файл AGENTS.md таскать из проекта в проект бесполезно, а то и вредно, зачем нужны т.н. "скиллы" не понял, кажется, что это тупик, и ещё раз подтвердил для себя, что большинство людей использую промпты неправильно.
Больше на тему ЛЛМ постараюсь не писать.
- 👍 28
- 💩 2
