Google DeepMind заплатит от 10 до 25 тысяч долларов тому, кто придумает лучший бенчмарк для AGI

В 2026 году мы все еще не понимаем, как оценить, насколько модель близка к AGI.

Google считают, что это большая проблема, и они правы. Без нормального эвала не будет прогресса. Именно из-за однобоких бенчмарков в моделях сейчас развивается то, что Хассабис называет jagged intelligence (рваный интеллект): в одном модель супер умная (например, код), в другом – супер тупая.

Короче, Google предлагают идею когнитивной таксономии, то есть разбиения интеллекта на базовые способности: память, обучаемость, планирование, социальное мышление и тд. Это все позаимствовано из психологии и нейронауки.

Они запустили соревнование на Kaggle, в рамках которого нужно придумать, как измерять каждую из таких способностей (выбрали пять основных: обучаемость, метакогнитивность, внимание, исполнительные функции, социальная когнитивность).

Победителей будут выбирать по тому, насколько валидный, научно обоснованный, практически применимый и устойчивый к читингу бенчмарк вы предложите.

Двум победителям в каждом треке платят по 10к долларов, плюс 25к долларов получат четыре лучших бенчмарка среди всех сабмитов.

Будем следить

www.kaggle.com/competitions/kaggle-measuring-agi