Новые бэнчмарки подъехали: GPT-6 Astra проехала трассу на настоящем автомобиле.

Команда DrivingBench подключила четыре ИИ-модели к рулю, педали газа и тормозам Toyota Corolla 2022 года. Машина двигалась по размеченной конусами трассе на пустой парковке, а модели получали изображения с камер и отдавали команды через инструменты управления.

Astra оказалась единственной, кто добрался до финиша. В первой попытке она прошла 49% маршрута, затем разобрала свою ошибку и во второй завершила трассу за 5 минут 22 секунды. Лучший результат Claude Fable 5.1 составил 45%; Grok 4.6 и GPT-5.6 Sol не прошли первый поворот.

За рулём всё время находился человек, готовый нажать на тормоз. Авторы провели по одной серии попыток для каждой модели, поэтому по результату нельзя судить о надёжности на дороге. Но эксперимент уже показывает, что модель общего назначения способна управлять физическим автомобилем и исправлять свои действия по ходу задачи. 💀

@IT_Portal