🤔 Почему ChatGPT может то что может. Часть 5. Работа в общих чертах. Внутренний словарь.
Прежде чем двигаться дальше, суммируем полученные знания.
1️⃣ Мы поняли, что задача ChatGPT – это предсказать следующее слово.
2️⃣ Мы поняли, что нейронная сеть – это большая-большая таблица чисел.
3️⃣ Мы можем превращать слова в таблицы чисел.
4️⃣ Мы можем перемножать таблицы чисел между собой.
5️⃣ После перемножения двух таблиц чисел получается ещё одна таблица чисел.
 
Этих знаний нам уже хватит, чтобы переварить обобщенную схему того, как работает ChatGPT: 
1️⃣ Переводит каждое слово из предложения в таблицу чисел
2️⃣ Перемножает эти числа на свои внутренние таблицы
3️⃣ На выходе получает результирующую таблицу чисел.
4️⃣ Находит в словаре слово у которого таблица больше всего похожа на результирующую таблицу числел.
 
Вот как это выглядит на очень упрощенной схеме (квадратики это ячейки таблицы):