Технологический баттл: OpenAI o3-mini против DeepSeek-R1

OpenAI выпустила o3-mini — усовершенствованную и более экономичную модель для решения сложных задач в математике, науке и программировании. Модель уже доступна в ChatGPT (включая бесплатную версию) и через API.

Основные улучшения:

• Ускоренное вычисление и сниженная цена. По оценкам OpenAI, o3-mini на 24% быстрее предшественницы o1-mini и обходится дешевле примерно на 63%. Это делает новую модель более выгодной в использовании, учитывая ее высокие «когнитивные» способности.

• Глубина рассуждений. Впервые в линейке рассуждающих моделей OpenAI реализовала три уровня сложности рассуждений — низкий, средний и высокий. В зависимости от уровня запроса и требуемой точности разработчик может либо сэкономить на токенах и времени отклика, либо максимально усилить логику решения.

• Математика и код. По внутренним тестам o3-mini на среднем уровне рассуждений практически не уступает модели o1 при решении олимпиадной математики (например, AIME) и задач на код (Codeforces, SWE-Bench). При высоком уровне рассуждений o3-mini порой превосходит o1, но с чуть большей задержкой (на AIME точность o3-mini — около 83,6%, опережая o1). В задачах соревновательного программирования (Codeforces) o3-mini с высоким уровнем рассуждений достигает 2073 Elo и заметно превосходит o1-mini.

• Безопасность. Разработчики добавили механизм обоснованного соответствия (deliberative alignment), при котором модель явно анализирует инструкции по безопасности перед выдачей ответа. Это повышает устойчивость к «jailbreak»-атакам.

Модель o3-mini в среднем быстрее и дешевле, чем o1, сохраняя при этом близкий уровень точности в STEM-задачах (задачи из науки, технологий, инжиниринга и математике), а опция выбора уровня рассуждений дает возможность адаптировать модель под конкретную загрузку и качество вывода. Для стандартных бытовых запросов o1 может быть избыточен, тогда как o3-mini medium покрывает большинство типовых задач. Также в ChatGPT для o3-mini появилась экспериментальная функция поиска в интернете для уточнения ответов.

В сравнении с DeepSeek-R1, o3-mini заметно дороже (около $0.14 за миллион входных токенов у R1 против $1.10 у o3-mini), также R1 имеет открытую лицензию MIT. Это делает R1 привлекательным для исследователей и команд, которым важна кастомизация и локальное размещение.

Сравним модели o3-mini и R1 по нескольким бенчмаркам:

• AIME (генерация кода): победитель o3-mini-high с 87.3% (R1 имеет 79.8%)

• GPQA (набор из 448 вопросов по биологии, физике и химии уровня PhD): победитель o3-mini-high с 79.7% (R1 имеет 71.5%)

• Codeforces (соревновательное программирование): победитель o3-mini-high с 2130 (R1 имеет 2029)

• SWE (инженерные задачи): победитель o3-mini-high с 49.3% (R1 имеет 49.2%)

• MMLU (задачи на понимание языка): победитель DeepSeek R1 с 90.8% (o3-mini-high имеет 86.9%)

• Math (математические задачи): победитель o3-mini-high с 97.9% (R1 имеет 97.3%)

• SimpleQA (простые вопросы и ответы): победитель: DeepSeek R1 с 30.1% (o3-mini-high имеет 13.8%)

Итого o3 с высоким уровнем рассуждений выигрывает DeepSeek-R1 в пяти из семи бенчмарков.

Однако DeepSeek-R1 является значительно менее безопасной по сравнению с o3-mini в тесте ASTRAL. DeepSeek-R1 дала небезопасный ответ на 11,98% выполненных запросов, в то время как o3-mini — лишь на 1,19%.

Выбор между моделями зависит от конкретных потребностей: для глубокого анализа с прозрачностью рассуждений R1 может быть привлекательнее, в то время как для стабильных, масштабируемых решений в продакшене o3-mini выглядит более оптимальным вариантом.

#новости