Держу в курсе и не пропадаю

В течение недели, посвященной учебному отпуску, я ознакомился с базовыми аспектами работы с моделями LLM. В частности, изучил принципы квантизации, основные библиотеки для ее реализации, структуру весов модели, а также такие понятия, как PTQ, QAT, GGUF и GPTQ. Кроме того, рассмотрел различные подходы к бенчмаркингу и другие сопутствующие вопросы. Это позволило более осознанно подходить к выбору моделей для конкретных задач и их настройке с учетом доступных вычислительных ресурсов.

Как часто бывает в процессе изучения сложных тем, углубление в материал порождает новые вопросы. В связи с этим я принял решение постепенно, в свободное время, осваивать основы машинного и глубокого обучения (ML/DL). Это обусловлено двумя ключевыми причинами.

Во-первых, я стремлюсь к системному пониманию данной области, что необходимо для завершения разработки собственного ассистента для аудита.

Во-вторых, все чаще отмечаю рост интереса к применению LLM среди аудиторов и разработчиков. Например, в репозиториях блокчейн-протоколов появляются специализированные файлы (такие как llm.md), описывающие функционал моделей в контексте конкретных задач.

На ближайшие шесть месяцев я планирую сосредоточиться на изучении следующих аспектов ML/DL:

1. Базовые алгоритмы: линейная и логистическая регрессия, метод опорных векторов (SVM), деревья решений, ансамбли моделей.

2. Методы оценки качества моделей: кросс-валидация, метрики (accuracy, precision, recall, F1, ROC-AUC).

3. Регуляризация и методы оптимизации (градиентный спуск, Adam, RMSProp).

4. Архитектуры нейронных сетей.

5. Работа с функциями потерь (loss functions) и оптимизация гиперпараметров.

6. Техники ускорения обучения: batch normalization, dropout, early stopping.

7. Transfer Learning и Fine-Tuning.

8. Предобработка данных: аугментация, нормализация, работа с несбалансированными выборками.

На данный момент я также провел предварительный анализ доступных обучающих курсов, однако большинство из них требуют серьезной математической подготовки и углубленного владения Python, чем я пока не обладаю в достаточной мере.

Текущая неделя будет посвящена формированию детального плана обучения. А со следующей недели планируется возобновление работы с Solidity.

Однако, чтобы канал не пустовал, выйдет пара коротких постов про Foundry на неделе.

Всем хорошего дня и приятной недели!

#offtop