Нашел офигел от плотности информации перевел и адаптировал для вас. Ссылка на источник в конце.
Работа модели по другому называется inference (вывод) или использование весов модели. Вывод — по сути предсказание следующего токена на основе вашего ввода и всех токенов сгенерированных на предыдущих шагах. Все это образует последовательность.
Токены — это не слова. Токены это кусочки обозначающие текст, который видит модель. В модели они представлены целыми числами или ID токенов. Токенизация — разбиение текста на токены. Распространенные алгоритмы: BPE (byte pair encoding), SentencePiece. Конкретные токены отличаются в разных моделях. Вот иллюстративный пример: “hello” \- может быть 1-3 токена, “internationalization” 5-8 токенов.
Контекстное окно \- максимальное количество токенов, которые может увидеть модель за раз. Чем больше context тем больше VRAM для KV кеша потребуется и тем медленнее будет декодировка.
В процессе вывода модель предсказывает следующий токен перемножая свои веса. Веса модели \- это миллиарды выученных параметров. Параметры модели \- миллиарды чисел или весов, которые модель усваивает в процессе обучения. Эти веса кодируют все что модель знает: шаблоны, язык, факты, “мышление”. Когда вы используете модель, она использует эти параметры, чтобы предугадать следующий наиболее вероятный токен. Один токен за раз. Шаг за шагом.
Т.е. модель не дает ответ, а выдает наиболее вероятные кусочки текста составляя их в цепочки пока не решит, что выдача завершена сгенерировав спец стоп токен
<|endoftext|>Получается цикл: модель получает ввод, выбирает следующий токен, добавляет его к выдаче и передает всю новую выдачу обратно себе на вход.
Но модель это чуть больше чем просто файл с весами:
* Архитектура нейросети: трансформер (слои, головы внимания heads, RoPE, MQA/GQA об этом ниже)
* Веса: миллиарды изученных чисел. Параметров, не токенов, но вычисленных из токенов
* Токенизатор: для кодирования текста в токены. BPE/SentencePiece
* Конфиг: метаданные, спец токены, лицензия и тд
* Иногда шаблоны чатов необходимые для chat/instruct моделей. Иначе эти модели выдают мусор
Модели отличаются по количеству параметров
* 7B означает 7 миллиардов чисел
* Чем модель больше тем она мощнее, но тем больше VRAM и вычислений требуется для ее работы
* Модели вычисляют вероятность следующего токена (гоняя softmax по своему словарю vocab) тут у модели будет несколько токенов на выбор
* Далее она выбирает один или с наиболее высокой вероятностью (greedy) или начинает креативить в зависимости от temperature, top-p и других настроек.
* Потом она добавляет этот один токен к тому что у нее уже есть и повторяет заново как я и описал выше.
* Все токены из текущей сессии находятся в KV кеше
Как модель выбирает токен (sampling):
* greedy \- выбирает самый вероятный как робот
* temperature: немного расслабляет вероятности и позволяет модели креативить
* top-k: выбирает из top k
* top-p: выбирает из самой маленькой группы с вероятностями ≥p
* Чтобы получить детерминированную выдачу \- устанавливаем seed и отключаем sampling
Больше там никакой магии нет.
Большинство современных моделей основаны на архитектуре Transformer. Они специально задизайнены для последовательных данных таких как наш язык. Трансформеры могут смотреть назад на предыдущие токены чтобы решить какие из них наиболее важны для следующего предсказания. Трансформер прогоняют вывод через множество слоев уточняя вывод, используют специальные механизмы “внимания” чтобы сфокусировать предсказание на важных частях ввода и контекста. Каждый новый токен проходит через весь этот пирог.