Группа ученых из университета Тюбингена создала бенчмарк Fail2Drive для автономных автомобилей, который тестирует их системы на обработку неожиданных и не самых частотно вероятных сценариев на дороге. Среди ситуаций: загрязненные и подвергшиеся вандализму дорожные указатели, неправильно припаркованные машины, транспортные средства специфического вида, фотореалистичные изображения размером с дорогу, а также внезапно выбегающие на дорогу слоны, тигры, свиньи, крокодилы и гиппопотамы. С небольшой галереей примеров можно ознакомиться вот тут.

Итоги неутешительные: большинство тестируемых autonomous driving-моделей поплыли и показали результаты в среднем на 16% хуже, чем при обычном тестировании (хотя надо оговориться, что бенчмарк с самого начала создавался с намерением завалить тесты реалистичными, но непрогнозируемыми ситуациями).

Проблема неучтенных обстоятельств, где количество исключений может ломать обобщение — это довольно классическая для геймдизайна проблема. То, что может быть уникальной и из ряда вон выходящей ситуацией для одного места, в другом может стать правилом. Шанс встретить на европейских дорогах вольготно прогуливающегося слона невысок, однако для сельской местности в Юго-Восточной Азии он кратно вырастает и уже не выглядит анекдотично.