Вы набрали очень много реакций, поэтому следующая часть уже у вас. Что мы будем делать сегодня?
Разберемся в процессах обучения моделек, я покажу инструменты, с помощью которых вы сможете не с нуля, но дообучить открытую модель под себя. Короче инфы будет много, начинаем, но для начала нам стоит кое о чем поговорить..
На днях я дропал пост, где говорил, что мы с ребятами дропнули крутую статью, а помимо нее мы сделали еще и бота, в котором ты ПРЯМО с нуля разберешься в вайбкодинге, а далее может еще и получишь за это какой-то приз, кто знает.. Короче welcome - @WelcomeToVibeCodeBot
Ну а теперь про наше:
Начнем прямо с нуля и разберемся, что такое "модель", как определение.
Модель - это просто гигантский набор пустых переменных, которые также называются весами или параметрами, как вам удобно
На этом этапе модель совсем глупая, не думает над ответом, не понимает твоих вопросов. Для того, чтобы сделать ее умней - ее и обучают. Все обучение состоит из 4 этапов, пройдемся по каждому:
1. Продумывание архитектуры и сбор данных - первым делом разработчики продумывают архитектуру модели, сейчас дефолтной является - Transformer, на которой и построены нынешние модели. Главная фишка Transformer - "внимание" , это позволяет модели при чтении одного слова в предложении также распознавать и остальные.
🤯🤯🤯🤯
🤯🤯🤯🤯
🤯🤯🤯🤯
🤯🤯🤯🤯
🤯🤯🤯🤯
🤯🤯🤯🤯
После того как выбрали архитектуру происходит "сбор данных". Парсятся все текстовые ресурсы интернета: википедия, книги, форумы, репо на гите и тд. После ее фильтруют, дабы отбросить весь мусор: спам, повторения.
2. Предобучение (Pre-training) - после всего выше перечисленного наступает самый долгий и тяжелый этап. Модель загружается на "суперкомпьютер" (комп с огромной мощностью) и там она начинает анализировать всю собранную раннее информацию, при этом пытаясь угадать каждое следующее слово в них. Если подробнее, то:
> Вначале модель выдает совершенно рандомные символы
> Увидев их - алгоритм сравнивает результат с оригиналом текста, если модель ошиблась, то веса меняются так, чтобы в следующий раз ответ был правильным
К концу данного этапа модель уже может запоминать какую-то информацию, понимать вопросы, но отвечать на твои запросы - пока не в ее силах.
3. Дообучение (Supervised Fine-Tuning) - после того, как модель получила базовую настройку ее начинают дообучать дальше. Ей дают терабайты информации, которая собрана в формате "вопрос - ответ", это все написано людьми. Именно поэтому при пользовании моделями на некоторых сайтах ты даешь согласие на то, что твои чаты станут общедоступными, в будущем именно на них этот этап и проводится.
К концу этого этапа модель научилась строить диалог и выполнять роль помощника, то есть после у модели появляется - то самое умение "думать".
4. Выравнивание (RLHF) - на данном этапе у разработчиков уже есть "умная моделька", осталось только "отполировать ответы" и сделать ее безопасной. Специалистов сажают и они сутками задают вопросы моделе, на каждый вопрос генерируется несколько вариантов ответа, эксперт отбирает лучший. Именно такой формат будет выдаваться тебе, когда ты будешь работать с моделью.
Также на этом этапе моделе вводят понятие "цензура", чтобы она е отвечала на всякие каверзные вопросы и ограничивала те запросы, что будут браться в работу
После всего этого остается огромный файл с миллиардными весами. Кратко - модель готова.
📁📁▪️📁📁▪️📁📁▪️
Но также в этом посте я обещал вам дать пару сервисов, с помощью которых вы сможете повторить все выше описанное сами, посмотрим, но уже в комментах из-за ограничений тг
👉🏼 ПРОЧИТАТЬ ТУТ 👈🏼