Наткнулась на книгу, которую давно хотелось увидеть в таком виде - «Строим LLM с нуля» от Себастьяна Рашки 😔
В ней не про то, "как вызвать API и прикрутить RAG", а про честное устройство LLM изнутри. Вот что пишет сам автор:
Отличие этой книги от других состоит в том, что в ней подробно описан весь процесс создания большой языковой модели: от работы с наборами данных до реализации архитектуры модели, предварительного обучения на неразмеченных данных и тонкой настройки для конкретных задач. На момент написания книги ни один другой ресурс не предлагает такого полного и практического подхода к созданию LLM с нуля.
Материал по главам идёт довольно последовательно: сначала разбирают базу обработки текстов, трансформеры, вводят в PyTorch, а потом шаг за шагом собирают свою GPT-подобную модель - с кодом и описанием, что происходит внутри.
Отдельно понравилось, что в книге не ограничиваются обучением с нуля, а показывают, как работать и с предобученными весами, как адаптировать модель под задачи и даже как из генеративной модели сделать что-то более прикладное.
Для комфортного изучения авторы рекомендуют смотреть материалы тем, кто уже базово знаком с нейросетями и ML.
Вообще очень классный тренд на такие книги! Сейчас очень легко застрять на уровне "обернул всё в пайплайн и работает", но часто хочется более осознанно влиять на решение.
Pdf во вложении - полная версия книги.
Кто прочитает - пишите, как впечатления 🙂
С Праздником!
#dl@data_easy
#nlp@data_easy