На основе механизма внимания была разработана специальная архитектура нейросетевых алгоритмов Transformer, которую компания OpenAI использовала при создании архитектуры генеративных предобученных трансформеров. Собственно, GPT — это и есть generative pre-trained transformer.

А дальше всё просто 😉
GPT обучили в несколько этапов практически на всех текстах, до которых смогли дотянуться. Когда стало понятно, что дальнейшее увеличение объёма обучающих материалов не приводит к заметному росту качества результатов, добавили обучение с помощью асессоров — людей, которые оценивают результат алгоритма. Это дало значимый прирост в уровне качества результатов.

Естественно, что ИИ-сервисы, которыми вы пользуетесь, включают в себя множество дополнительных программ и алгоритмов, скрытых за простым интерфейсом. Нужно обеспечивать:
🔸разбор команд пользователя,
🔸перевод текста на различные языки,
🔸отслеживание корректность приводимых фактов для устранения галлюцинаций,
🔸контроль оригинальности создаваемого текста, чтобы не нарушать авторские права,
🔸выполнение поиска актуальных источников и многое другое.
Тем не менее, в основе генеративного сервиса находится алгоритм продолжения текста.

Таким образом, генерация выполняется сложными рандомизированными алгоритмами, обученными на огромном количестве примеров и дообученными на реакции пользователей-асессоров таким образом, чтобы предоставлять «максимально человеческий», по возможности правдивый и оригинальный текст.

Практические выводы

➡️ Очень важно, чтобы промпт (запрос к ИИ-сервису) подробно описывал вашу задачу. Чем больше контекста вы предоставите модели, чем точнее будет описание, тем лучше результат будет соответствовать вашим ожиданиям.

➡️ Необходимо проверять результаты, которые предоставил сервис. Разработчики прилагают усилия, чтобы уменьшить количество недостоверных результатов (галлюцинаций), но до полной достоверности ещё очень далеко. Если она вообще достижима. Поэтому критический анализ созданного текста или предоставленного ответа на вопрос — святая обязанность пользователя.

➡️ Не следует полностью полагаться на генеративные ИИ-сервисы в принятии решений. Несмотря на то, что крупные современные сервисы реализовали множество инструментов, которые в совокупности помогают или имитируют принятие решения, в основе тем не менее находится алгоритм генерации, ключевая задача которого — создать человеческий текст, а не принять правильное решение.

➡️ Важно помнить, что сгенерированный текст обладает особенностями, которые позволяют отличить его от «человеческого». Очень часто использование искусственного текста ограничено или запрещено. Для выявления искусственности используются специальные программы-детекторы. Этот аспект генерации мы обсудим в других частях.