Codium провели исследование по способностям топовых LLM в программировании. По итогу Claude 3.5 Sonnet стал лучшим выбором для широкого спектра задач (но с бОльшим количеством галлюцинаций), o1 — лучшей моделью для планирования, Gemini 1.5 Pro — лучшей для работы с большим контекстом.

Как по мне, ничего нового, но в статье прописаны плюсы и минусы каждой модели, будет полезно почитать, если совсем не следите за новостями в этой сфере: https://www.qodo.ai/blog/comparison-of-claude-sonnet-3-5-gpt-4o-o1-and-gemini-1-5-pro-for-coding/