Наконец-то нормальные бенчмарки.

Чуваки из DrivingBench подключили топовые ИИ-модели к настоящей Toyota Corolla и через MCP дали им управление рулём, газом и тормозом.

Каждой модельке дали до трёх попыток. Задача была простая: проехать размеченную конусами трассу, не выехать за её пределы и в конце добраться до финиша. Скорость программно ограничили примерно до 13 км/ч.

Результаты следующие: GPT-6 Astra — 100%, Claude Fable 5.1 — 45%, Grok 4.6 — 11%, GPT-5.6 Sol — 6%.
Проценты тут показывают, какую часть маршрута модель смогла пройти не натупив.

Астра с первой попытки осилила только 49%. После этого ей предложили самой разобрать свой заезд, понять где именно она тупила, и подумать, как эти тупки исправить. В итоге она решила ехать медленнее, делать более короткие движения и сильнее выкручивать руль на поворотах. Со второй попытки Astra прошла всю трассу за 5 минут 22 секунды.

Кстати, основным и самым страшным противником современного ИИ в вождении оказался первый поворот, лол.