Чему вы научитесь:
📍За четыре недели вы освоите полный цикл создания современных AI-систем: от подготовки данных и обучения токенизаторов до развертывания моделей в локальной инфраструктуре компании. Курс предназначен для разработчиков и инженеров, стремящихся самостоятельно создавать, обучать и внедрять языковые модели, не завися от облачных сервисов.
📍Архитектура Transformer:
Вы глубоко изучите внутреннее устройство современных языковых моделей, включая механизмы внимания (Attention), Feed Forward-блоки, RMSNorm, Rotary Positional Encoding, эмбеддинги и взаимодействие всех компонентов Transformer.
📍Подготовка данных и обучение токенизатора:
Научитесь собирать, очищать и дедуплицировать датасеты, формировать корпусы данных, обучать собственные токенизаторы на базе BPE и SentencePiece, а также подготавливать данные для предварительного обучения и дальнейшей настройки моделей.
📍Предварительное обучение (Pretraining):
Создадите полноценный цикл обучения языковой модели с нуля. Изучите законы масштабирования (Scaling Laws), научитесь анализировать функции потерь и оценивать эффективность обучения.
📍Fine-Tuning с LoRA и QLoRA:
Освоите современные методы параметроэффективной настройки моделей, такие как LoRA, QLoRA, Supervised Fine-Tuning и 4-битная квантизация. Узнаете, когда лучше использовать дообучение модели, а когда предпочтительнее RAG или инженерный подход к созданию промптов.
📍Выравнивание моделей и безопасность:
Изучите методы Reward Modeling, DPO и RLHF. Научитесь защищать модели от Prompt Injection, реализовывать безопасные отказы, модерировать ответы и другие аспекты безопасной эксплуатации языковых моделей.
📍RAG и оценка качества моделей:
Создадите систему Retrieval-Augmented Generation с гибридным поиском, ранжированием результатов, ссылками на источники и подходами LLM-as-a-Judge и Golden Sets для оценки качества моделей.
📍Инференс и оптимизация производительности:
Разберетесь с этапами Prefill и Decode, KV Cache, квантизацией моделей, Continuous Batching, Paged Attention и развертыванием высокопроизводительных серверов инференса на базе vLLM и llama.cpp.
📍Развертывание в продакшене:
Научитесь создавать API для языковых моделей, организовывать потоковую обработку запросов, внедрять мониторинг, отслеживать деградацию моделей, Canary-развертывания и автоматические циклы повторного обучения.
📍Полный цикл разработки SLM:
В ходе обучения вы реализуете полный цикл создания корпоративной языковой модели
☁️ Облако скачать бесплатно
🗣Язык: English
💰Цена: 600$
💿Размер: 8.6GB
⏰ Длительность: 9часов
#Нейросети #NoCode #Бот
IT MEGA