Архитектура LLM.

1️⃣ Программный код. Включает следующие элементы:

➖ Базовая логика работы – инструкции по сборке, запуску и взаимодействию с моделью.

➖ Алгоритмы обучения, включающие в себя математическую функцию (способ обучения модели). Алгоритм реализует математическую функцию или последовательность операций, но это не просто формула, это процедура.

➖Архитектура модели. Это как чертёж нейросети. Своего рода "структура мозга ИИ", в которой указано, как информация обрабатывается внутри. Она определяет (1) из каких слоёв состоит модель (входной, скрытые, выходной), (2) в каком порядке и как они соединены, (3) какие применяются функции и приёмы (например, внимание, нормализация, пулы), (4) сколько параметров у каждого слоя и как они взаимодействуют.

Может быть указана как в коде, так и в конфигурационном файле.

➖Интерфейс/API. Способ дать команду ИИ (способ взаимодействия).

➖Логика инференса / постобработки – алгоритм отбора «наилучшего» ответа, нормализация значений, фильтрация (например, токсичных ответов).

2️⃣ Конфигурация модели или конфигурационный файл (json).

Это описание архитектуры модели и настроек обучения. Например, 12 слоёв, в каждом 768 нейронов, использование attention, применение GELU-активации.

3️⃣ Токенизатор (json). Это, по сути, словарь со всеми словами, которые знает модель и их переводом в токены.

4️⃣ Веса модели (машинный, бинарный, нечитабельный файл с миллиардами весов). Хранятся в формате .bin, .pt, .ckpt, .h5. Просто миллиарды значений по типу [0.122, -0.987, ...]

5️⃣ Сопутствующие элементы.

➖Обучающие данные (training data). Не входят напрямую в модель.

➖Служебные файлы для запуска/развёртывания (окружение запуска, скрипты запуска, endpoint-конфиги).

➖Метаданные модели (model metadata). Служебная информация о модели: кто автор, версия, дата сборки и т. д

➖Контрольные выборки / тесты (evaluation sets). Наборы данных, на которых проверяется качество модели.

➖Инструкции по способу обучения модели на данных.