DeepSeek 4 Flash под BI-аудитом
По просьбе одного из читателей провели тест новой модели.
Из-за большой нагрузки протестировать DeepSeek 4 Pro пока не удалось.
Но есть пример аудита версии DeepSeek 4 Flash.
Модели сейчас выходят постоянно.
И в какой-то момент становится мало просто читать релизы, бенчмарки и восторженные треды.
Нужен свой инструмент проверки:
не абстрактно «модель умная или нет», а насколько она подходит под конкретные рабочие задачи.
Поэтому мы для себя разработали инструмент тестирования моделей под наши сценарии.
Да, там часть словарей уникальная.
Да, часть критериев заточена именно под наши задачи.
И в этом как раз смысл: универсальный бенчмарк показывает температуру по больнице, а прикладной аудит показывает, можно ли модель реально использовать в вашем контуре.
В примере — аудит DeepSeek 4 Flash:
как модель справляется с BI-логикой, аналитическими выводами, качеством интерпретаций и задачами поддержки управленческих решений.
Провести аудит других моделей или своих сервисов можно здесь:
https://bi.anisimovvp.com
Там всё просто.
Если не получилось — пишите в комментариях, посмотрим вместе.
📎 Отчёт — в первом комментарии.
Канал: https://t.me/horizon_singularity
Post #465
358

- 🔥 2