Ты вообще знаешь, как AI превращает вопрос в ответ?

Напишем в ChatGPT:
> Что такое токен?

ОБРАБОТКА ВОПРОСА:
1) Собирается контекст
В него попадает: вопрос, системная инструкция, история диалога, ограничения по формату и длине.
2) Текст режется на токены
3) Токены превращаются в числа
В словаре токенизатор по токену находит ID, а ID указывает, какую строку взять из embedding-таблицы.
такое -> 912 -> [0.34, 0.11, -0.67, ...]

На этом этапе наш запрос превратится в перечень векторов:
> Что такое токен? -> [Что],[такое],[токен],[?]...+весь хвост контекста тоже в векторном виде

НАСЫЩЕНИЕ ВОПРОСА КОНТЕКСТОМ:
4) Строка проходит через слои уточнения
В каждом слое работают два механизма:
1 механизм: Self-attention
Модель пересчитывает связи между токенами: за это отвечает attention: механизм, который помогает понять, какие части контекста важны друг для друга.
Уточнены веса связей между токенами
2 механизм: Feed-forward / MLP-блок
Модель уточняет, что за смысл, роль и контекст у каждого токена.

На этом этапе векторы стали умнее - контекстно насыщенными:
> Что такое токен? -> pm спрашивает про токен в AI/GPT, нужно дать объяснение

ВЫРАЩИВАНИЕ ОТВЕТА ИЗ ВОПРОСА:
5) Модель считает вероятности следующего токена
Модель смотрит на весь контекст и считает, какой токен должен идти следующим
> Что такое токен?
высокие шансы могут быть у вариантов Токен, Это, В, AI
Выбирает один токен и добавляет его в конец текста, итого:
> Что такое токен? -> Что такое токен? Токен
Потом процесс повторяется...
Что такое токен? Токен -> Что такое токен? Токен — -> ... -> Токен — это кусочек текста, с которым работает...

В итоге получаем целиковый текст ответа на изначальный запрос.

Как вам?
❤️ огнище, просто и понятно
😈 просто и понятно, огнище

#ai #how #pm