TGViewer
Machine learning Interview Machine learning Interview @machinelearning_interview · 30.3K subscribers
Post #2891 3.34K
Одна и та же ложь может по-разному влиять на LLM в зависимости от тона, уверенности и грамматической формы.

В EoBench собрали около 66 тысяч ложных утверждений в 19 стилях и проверили 18 моделей Gemma, Llama и Qwen. Для теста оставили только те факты, которые модель изначально знала правильно.

Лучше всего модели убеждали:

* приказы;
* формальный язык;
* обращение как к ребёнку;
* ссылки на авторитет;
* уверенная подача.

Хуже всего работали слабые формулировки и контрфактические утверждения.

Крупные модели реже принимали ложный контекст, а instruction tuning обычно дополнительно повышал устойчивость.

Вывод: оценивать LLM нужно с учётом формы запроса. Небольшое изменение формулировки может заметно изменить ответ модели.

Статья: *It’s Not What You Say, It’s How You Say It: Evaluating LLM Responses to Expressions of Belief*

arxiv.org/abs/2607.18232
  • ❤ 17
More from @machinelearning_interview
  1. Sep 22, 2026🌟 Samsone: открытые аудиоязыковые модели для смартфонов Samsung опубликовали Samsone - се…
  2. Sep 22, 2026🚀 Claude Opus 5.5 — новый флагман Anthropic Anthropic обновила свою самую мощную модель.…
  3. Sep 22, 2026В субботу, 17 октября, Москва станет точкой притяжения для всех специалистов в области Rec…
  4. Sep 22, 2026Теренс Тао: «ИИ катком проходит по всей математике. Нам нужно замедлиться. Темп безумный».…
  5. Sep 22, 2026Вопрос уже не в том, нужен ли ИИ, а в том, как его внедрять и масштабировать Найдем ответ…
  6. Sep 21, 2026SoftBank привлекает более $11 млрд ради новой инвестиции в OpenAI 🚨 SoftBank запустила ра…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →