Tg-редактор и креатор в Hi-Tech Mail.
Авторский блог про нейросети, технологии и научпоп.
Post #2147
361

Bullshit Benchmark 😅
Нашла тест на интеллектуальную честность моделей. Он проверяет простую вещь:
будет ли модель спорить с абсурдом или уверенно отвечать на чепуху в промпте. На графике: зелёный — модель распознала чушь. жёлтый — что-то подозревает, но всё равно продолжает, красный — уверенно отвечает на чепуху.
Лидер по «интеллектуальной честности» — Claude Sonnet 4.6, 94.5% чистого пушбэка. Другие продукты Claude тоже на высоте. И да — Qwen 3.5 неожиданно тоже ворвался в топ. Для открытой модели — очень достойно.
Фактически бенчмарк показывает, какие модели меньше всего галлюцинируют и не поддерживают бессмысленные запросы. Claude лучший, так и запишем 🤩
@creativethecreator
Нашла тест на интеллектуальную честность моделей. Он проверяет простую вещь:
будет ли модель спорить с абсурдом или уверенно отвечать на чепуху в промпте. На графике: зелёный — модель распознала чушь. жёлтый — что-то подозревает, но всё равно продолжает, красный — уверенно отвечает на чепуху.
Лидер по «интеллектуальной честности» — Claude Sonnet 4.6, 94.5% чистого пушбэка. Другие продукты Claude тоже на высоте. И да — Qwen 3.5 неожиданно тоже ворвался в топ. Для открытой модели — очень достойно.
Фактически бенчмарк показывает, какие модели меньше всего галлюцинируют и не поддерживают бессмысленные запросы. Claude лучший, так и запишем 🤩
@creativethecreator
- ❤ 8
- ✍ 8
- 🤔 1
- 👀 1












