👍 Что происходит у ChatGPT «под капотом»

Многие думают, что ChatGPT отлично разбирается во всем, что пишет, и еще лучше умеет выдумывать истории. На самом же деле, модель-трансформер предсказывает, какое слово наиболее вероятно должно идти в тексте следующим.

Выпускник Стэнфорда Грант Сандерсон выпустил 30-минутное видео о том, как устроен GPT. Ниже краткий FAQ о механизме подбора слова. Спойлер: не обещаем, что будет просто, но точно проще, чем в учебниках.

🔠 Процесс генерации текста можно описать 3 словами: Предсказание → Добавление → Повтор. Большие языковые модели (LLM) предсказывают следующее слово в тексте, добавляют его к тексту, а затем повторяют операцию.

🔠 На первом этапе модель делит текст на токены: слова, части слов или комбинации символов.

🔠 Что именно означает каждое слово модель определяет по контексту и месту слова во фразе. Для этого используется механизм внимания. При этом токены могут «общаться» друг с другом для уточнения контекста: например, чтобы отличить «модель» ML от «фотомодели». По итогу этого «общения» данные по каждому токену обновляются.

🔠 Следующий этап — модель задает к каждому токену множество вопросов: является ли это существительным, на каком языке оно написано и т.д. За этот этап отвечает многослойный перцептрон.

🔠 После многочисленных повторов этих двух операций появляется список слов, которые, скорее всего, могут следовать в тексте далее. Каждому слову присвоена вероятность, модель выбирает слово с наивысшей вероятностью. После чего трансформер ищет следующее слово.

⏰ Таймкод лекции:

⏺️ Процесс поиска слова.
⏺️ Главная идея глубокого ML.
⏺️ Где находится искомое слово.
⏺️ Как слова превращаются в векторы.
⏺️ Почему ChatGPT забывает контекст.

▶️ Посмотреть полностью обзор на трансформеры можно тут.

Также по теме:

🤪 Почему генеративный ИИ ошибается?

🔍 Лекция Майкла Вулриджа «Какое будущее ждет генеративный ИИ?»

@hiaimedia