🔍 OpenAI и модель o3: вопросы к тестированию

В декабре 2024 года OpenAI представила языковую модель o3, утверждая, что она решает более 25% задач из набора FrontierMath. Однако независимые испытания показали, что модель справилась только с 10% задач, что вызывает вопросы о прозрачности тестирования.

Исследователи Epoch AI считают, что OpenAI могла использовать более мощную версию o3 для внутренних тестов. Разница в результате, возможно, связана с различиями в версиях и наборах задач. Как отметила ARC Foundation, существующая публичная версия o3 оптимизирована для большей скорости, но не для вычислительной мощности.
)


Epoch AI
Источник изображения: @EpochAIResearch / X

@Unlim_AI