Gigachat MAX / YandexGPT 4.0

Вчера два наших технологических лидера представили новые версии своих моделей. Да, день в день 🤔

Gigachat MAX — 32k контекста, серьезный прогресс по MERA
YandexGPT 4.0 — 32k контекста, "близки к gpt-4o"

Сравнить довольно сложно. Сравниваются компании по своим бенчмаркам, прямого сравнения как будто избегают, третьих площадок для сравнения скорее нет. Даже перевод mmlu у двух компаний разный.

По относительным позициям в бенчах мой вывод такой: модели довольно похожи и находятся на уровне "несколько лучше llama 3.1 70b" и "значимо ниже gpt-4o". Собственно, это их два основных конкурента на нашем рынке.

Долгосрочно, мерило — это рынок. Бенчмарки хороши для первичной оценки, но на практике всё может быть иначе. Это как разработчиков сравнивать по их характеристикам.

Радуюсь за ребят - оба релиза выглядят крутыми, особенно на фоне дикого отставания в железе.