Bullshit Benchmark 😅

Нашла тест на интеллектуальную честность моделей. Он проверяет простую вещь:
будет ли модель спорить с абсурдом или уверенно отвечать на чепуху в промпте. На графике: зелёный — модель распознала чушь. жёлтый — что-то подозревает, но всё равно продолжает, красный — уверенно отвечает на чепуху.

Лидер по «интеллектуальной честности» — Claude Sonnet 4.6, 94.5% чистого пушбэка. Другие продукты Claude тоже на высоте. И да — Qwen 3.5 неожиданно тоже ворвался в топ. Для открытой модели — очень достойно.

Фактически бенчмарк показывает, какие модели меньше всего галлюцинируют и не поддерживают бессмысленные запросы. Claude лучший, так и запишем 🤩

@creativethecreator