Машиннное обучение | Наука о данных Библиотека

Introduction to Graph Neural Networks: A Starting Point for Machine Learning Engineers

📓 Paper

@datascienceiot

The Matrix Cookbook

📚 Книга

@machinelearning_books

Attention from Beginners Point of View

📚 Reed

@datascienceiot

🔥 «The State of LLM Reasoning Models» свежая статья от Себастьяна Рашка, которая посвящена современному состоянию исследований в области рассуждений (reasoning) и масштабирования выводов (inference scaling) для больших языковых моделей (LLM).

Основные моменты:
- Эволюция возможностей рассуждения:
В статье показано, как с увеличением размеров моделей и вычислительных ресурсов появляются «внезапные» способности, позволяющие моделям выполнять сложное логическое и пошаговое рассуждение. Это включает методы вроде chain-of-thought, которые помогают моделям структурировать ответ.

- Масштабирование и его эффекты:
Анализируются закономерности масштабирования — как увеличение числа параметров и использование более мощных аппаратных средств влияет на точность и способность моделей к рассуждению. Выявляются пределы, где дополнительные вычисления начинают давать менее заметное улучшение.

- Инновации в инференсе:
Статья рассматривает новые подходы к оптимизации процесса инференса, что особенно важно для применения LLM в реальном времени и на устройствах с ограниченными ресурсами. Поднимается вопрос балансировки между качеством ответов и затратами на вычисления.

- Практические выводы для исследований:
Сатья служит ориентиром, показывающим, какие направления развития (например, улучшение алгоритмов рассуждения, оптимизация инференс-методов) могут принести наибольший эффект при дальнейшем увеличении масштабов моделей. Это позволяет понять, куда двигаться в будущих исследованиях и как лучше интегрировать существующие технологии в практические приложения.

Отличное воскресенье чтиво 📕

📌 Читать

#ai #ml #reasoning #llm

TRACT: Regression-Aware Fine-tuning Meets
Chain-of-Thought Reasoning for LLM-as-a-Judge

📄 Читать

@machinelearning_books

🔥 Эта книга — огромный набор упражнений по машинному обучению для самостоятельного решения!

🌟 Темы включают линейную алгебру, оптимизацию, графические модели, скрытые марковские модели, методы выборки и вариационные методы.

🔗 Ссылка: *клик*

🔥 ​Approaching (Almost) Any Machine Learning Problem — это книга, основное внимание в которой уделяется практическим аспектам решения задач машинного обучения, включая предобработку данных, выбор моделей, кросс-валидацию, оценку метрик, обработку категориальных переменных, инженерные методы работы с признаками, отбор признаков, настройку гиперпараметров, а также подходы к классификации изображений и текста, ансамблированию и стеккингу моделей, обеспечению воспроизводимости кода и развертыванию моделей!

🌟 Книга содержит значительное количество кода, сопровождаемого подробными комментариями, что позволяет читателям следовать примерам и применять их в своих проектах. Автор подчеркивает, что книга не предназначена для изучения базовых алгоритмов, а сосредоточена на практических рекомендациях по решению реальных задач машинного обучения.

🖥 Github

#machinelearning

📌 Llama3 from scratch: расширенная версия

Проект "Deepdive Llama3 from scratch" - расширенный форк гайд-репозитория по созданию LLama-3 c нуля шаг за шагом.

Исходный проект был переработан, проактуализирован, улучшен и оптимизирован для того, чтобы помочь всем желающим понять и освоить принцип реализации и детальный процесс ризонинга модели Llama3.

▶️Изменения и улучшения в этом форке:

🟢Последовательность изложения материала была изменена, скорректирована структура чтобы сделать процесс обучения более прозрачным, помогая понимать код шаг за шагом;

🟢Добавлено большое количество подробных аннотаций к коду;

🟢Изменения размеров матрицы на каждом этапе вычислений полностью аннотированы;

🟢Добавлены подробные пояснения к принципам, чтобы в полной мере можно было освоить концепцию дизайна модели.

🟢Добавлена дополнительная глава, посвященная KV-сache, в которой подробно описаны основные концепции, принципы работы и процесс применения механизма внимания.


📌Лицензирование: MIT License.


🔜 Репозиторий на Github


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Github

📖 В этой статье представлена новая архитектура модели под названием Inner Thinking Transformer (ITT), направленная на улучшение способности языковых моделей к адаптивному внутреннему мышлению без увеличения количества параметров!

💡 Авторы выявили, что сложные токены вызывают резкие всплески градиентов в стандартных трансформерах, что указывает на архитектурные ограничения при обработке таких токенов. В ответ на это ITT динамически распределяет вычислительные ресурсы через адаптивную маршрутизацию токенов, итеративно улучшает представления с помощью остаточных связей мышления и различает этапы рассуждений посредством кодирования шагов мышления. Это позволяет более глубоко обрабатывать критические токены без увеличения параметров модели.​

🌟 Экспериментальные результаты показывают, что ITT достигает 96,5% производительности модели с 466 миллионами параметров, используя всего 162 миллиона параметров, сокращает объем необходимых обучающих данных на 43,2% и превосходит варианты Transformer/Loop в 11 различных тестах. Таким образом, ITT эффективно балансирует между производительностью и эффективностью, оптимизируя внутренние процессы мышления модели.​

🔗 Ссылка: *клик*

@machinelearning_books

🔥 The Ultra-Scale Playbook: руководство по обучению крупных языковых моделей на GPU-кластерах!

💡 Это руководство посвящено обучению больших языковых моделей на масштабируемых GPU-кластерах. В рамках этого проекта было проведено более 4000 экспериментов по масштабированию на кластере с использованием до 512 GPU, с целью измерения пропускной способности и эффективности обучения.

🔗 Ссылка: *клик*

#курс #machinelearning

The Hundred-Page Language Models Book

📕 Book

@machinelearning_books