С 31 января 2025 года o3-mini стала доступна для подписчиков ChatGPT Plus. Вышли результаты на Livebench (это бенчмарк/платформа, которая постоянно обновляет набор задач, исключая возможность утечки решений и гарантируя, что задания остаются актуальными и интересными).
На кодинге модель уверенно опережает всех.
В среднем показывает лучшие результаты, чем Deep Seek R1 (за исключением математики).
Первоначальные показатели по математике оказались аномально низкими, но организаторы обнаружили ошибку и пересчитали средние баллы.
Post #233
2.74K
- 👍 6