«Один нип осторожно замифрил», или как лингвисты разбирают язык внутри LLM

Неважно, что делает LLM. Задача всё равно приходит словами, и одно пропущенное не может испортить уже вполне материальное действие.

Смотрю на LLM глазами лингвиста и разбираюсь, как языковед проверяет LLM от токенизации до прагматики и что разработчик может превратить из этого филологического занудства в код, метрики и тесты.

Читать далее: habr.com

👉 Data Science | Machinelearning [ru]