Обновлённый GigaChat PRO опередил актуальную версию GPT-3.5-turbo по качеству ответов — даже на английском языке. Нейронки от Сбера и OpenAI решали особый тест MMLU — он проверяет знания в 57 разных областях, среди которых математика, история, медицина и физика.

В итоге GigaChat обошёл американскую разработку примерно на 6% — правильность ответов вручную проверили исследователи.

Сэму Альтману пора напрягаться.

@whackdoor