Искусственный интеллект и стрелки на часах 🍦

В новом бенчмарке AI World Clocks ни одна модель не смогла корректно выставить стрелки на часах. Да, даже GPT-5 и Grok 4 — лучшие из лучших!

Создавал бенчмарк Брайан Мур, и он предложил моделям простую задачу: создать в HTML часы с правильно отображаемым временем. Каждую минуту ИИ генерирует новый код, который должен отображать актуальное время. Но вот парадокс — код может быть почти идеальным, но сам циферблат получается кривым и стрелки часто показывают не то время.

Задача была упрощена намеренно. Модели дают всего пару строк кода, без детальных инструкций: просто «сделай часы». И как результат — красивый циферблат, но с ошибками в математике. Модели не проверяют, верно ли показывают стрелки, не учитывают углы и даже не проверяют, что все элементы стоят на своих местах. Всё это подводит нас к одному важному моменту: ИИ не умеет дорабатывать свои ошибки самостоятельно, если не задать чёткие параметры.

Эксперимент наглядно показал, как много нужно доработать в интерфейсах ИИ. Проблема не только в самом ИИ, но и в том, как люди взаимодействуют с ним. Многие пользователи в запросах не указывают деталей и ждут, что ИИ сам догадается, что и как нужно сделать. Например, на запрос «сделай часы» — ИИ может нарисовать просто циферблат, но не проверить, правильное ли время.

В будущем, чтобы ИИ стал по-настоящему полезным, нужно будет не только улучшать его способности, но и создать более сложные и «умные» интерфейсы. Иначе мы так и будем каждый раз объяснять ему, что такое «угол» или как вообще работает математика.

Data Science