Почему никто не ожидал, что механизм «предсказать следующее слово» не должен был оказаться так успешен (но оказался)

Большие языковые модели по-прежнему просто предсказывают следующее слово.

Два года назад одна лишь эта причина казалось достаточной, чтобы их отвергать — ведь именно ею обосновывали их неуклюжий вывод. Но в настоящее время большие языковые модели стали гораздо лучше, и одним лишь масштабированием этого не объяснить.

Если вы недавно знакомы с большими языковыми моделями (LLM), то вам стоит посмотреть лекцию Карпаты “Deep Dive into LLMs” и почитать статью Ли и Тротта “LLMs Explained with a Minimum of Math and Jargon”.

https://habr.com/ru/companies/piter/articles/1018914/

Алгоритмы и Структуры данных