Есть переводческий тест Beninatto-Trombetti. Он проверяет не знание словаря, а способность понять, что именно меняется при переводе.
Пример:
“Solo 3 parole: non sei solo”
Дословно это можно перевести как:
«Всего 3 слова: ты не один»
Но правильный перевод на английский будет:
“Just 4 words: you are not alone.”
Почему 4? Потому что в английском “you are not alone” - это уже четыре слова, а не три. Значит, переводчик должен изменить не только саму фразу, но и утверждение внутри неё.
И вот здесь LLM часто ломаются. Модель может правильно перевести смысл, но не заметить, что после перевода изменилась метаинформация о количестве слов.
Именно поэтому этот пример так интересен. Он показывает разницу между хорошей языковой имитацией и настоящим пониманием контекста.
Claude Fable 5 называют одной из самых сильных моделей на рынке, но даже она, по словам автора примера, проваливает такой тест.
LLM уже отлично комбинируют знания, пишут код, переводят, объясняют и помогают работать быстрее. Но подобные кейсы напоминают: до настоящего понимания и AGI путь всё ещё не такой короткий, как кажется.