На днях была опубликована интересная статья "AI
Showdown: Microsoft Copilot vs. Google Gemini vs. ChatGPT 3.5 vs. Mistral vs. Claude 3", в которой помимо прочего, приводится сравнение различных GAI с точки зрения их способности программировать на Python.

Авторы приходят к выводу, что среди протестированных моделей нет абсолютного победителя для всех задач программирования, выбор зависит от конкретных требований пользователя и задач, которые требуется решить. Тем не менее, Claude 3 (Opus и Sonnet) от Anthropic рекомендуется, как лучший выбор для разработчиков.

Что нас несколько удивило, поскольку в приведённом, в качестве примера тесте,  в задании написать по текстовому описанию python код конвертора валют, в отличии от других моделей Claude 3 забыл сделать кнопку конвертации.Так же указывается, что что ChatGPT 3.5 остается конкурентоспособным выбором для многих задач, даже будучи не самой новой моделью.

Исходя из нашего опыта GPT4-Turbo демонстрирует лучшие результаты и является предпочтительным выбором, тем более, что именно она теперь находится под капотом бесплатной версии Copilot от Microsoft.

Поделитесь своим опытом работы с различными AI-ассистентами в комментариях. Какой ассистент ваш фаворит для написания кода?