🤖 AGI BI eval, Anthropic Dashboards
Продолжаем проверять AGI на самом точном и верном бенчмарке в мире — моей проверке, как LLM делают дашборды 🙃

В этот раз пробуем недавние Dashboards и Motion от Anthropic В этот раз без сбора вопросов и согласования макета. Сразу дал готовое задание и данные: сделать интерактивный дашборд для регионального менеджера маркетплейса. Смотреть продажи, разбираться в отклонениях, выбирать товары для промо и находить заказы с проблемами в логистике.

Попробовал сделать дашборд трёх режимах
— Opus 5.5 просто в чате
— Opus 5.5 в режиме Cowork
— Fable 5.1 в режиме Cowork.

Посмотрим, что получается с одного захода.

Структура и дизайн
Все три варианта разложили задачу на четыре вкладки: обзор, продажи и промо, качество сервиса, заказы. Любовь LLM к вкладкам пока непобедима 😅

Визуально все дашборды близки между собой и это хорошо. Видно работают какие-то встроенные стили. При этом всё равно есть небольшая разница — размер шрифтов, подписи и т.п.

Но много и очень плохих решений по визуализации данных — спраклайны вообще без подписей что за скейл и какие даты, цветовые легенды без цвета, а просто текстом, двойные оси без подписей, бары разной ширины и т.п. То есть это до сих пор из коробоки это работа джуна-аналитика, хотя Антропик подаёт это как готовый продукт, ну короче AGI! =)

Самое дурацкое решение — положительные бары, отложенные в таблицах «влево» от нуля, ну камаон AGI! =)

Данные
А вот с цифрами интереснее. При одинаковом выборе — East, декабрь 2024 — первый дашборд показывает продажи $21K, а два других — около $18.6K.

Причина — в режими Cowork модель задавала мне вопросы и спросила вкелючить или нет отменённые заказы в продажи. А вот чат меня этого не спросил. То есть одинаковое задание ещё не означает одинаковые определения метрик. И по красивому скриншоту этого можно вообще не заметить. Ну камаон AGI! =)

Работа с задачами пользователя
Тут в целом всё хорошо, ничего не было забыто хотя решено не всегда оптимальным образом. Но см. предыдущий пункт, важно, чтобы цифры были верные =)

Motion
Попросил собрать интерактивную презентацию. Честно никакого задания прям хорошего не давал, поэтому может и результат такой. Получилось просто тупое перелистование слайдов с рандомными графиками, которые красиво последоватльено появляются.

Попросил переделать во что-то поинтереснее, получился какой-то AI слоп от мира инофогрфики. Просто сделал камеру переходящую от одного графика к другому по дашборду.

Отчаялся и сказал сделай так круто как у NYT! Получился последний ролик. Ну камаон AGI! =)

Что думаю по результату
Ну в общем какого-то прорыва опять не случилось. Мы опять получили более чем средний результат, который из далека кажется классными, но на самом деле так себе.

Я расстроился, у меня было ощущение, что если топовая лаба делает продукт и прям его позиционирует как убийцу BI, то ну он должен же быть прям крутым.

То есть опять же, в грамотных руках (например как сделал Тимур) это будет круто ускорять работу, но без него получим кучу AI дашбослопа. Ну камаон AGI! =)

А вы что думаете? Все скрины в комментариях
@revealthedata #ai #bi #dashboards