Последний месяц провел в подготовке нового курса по тестированию и оценки работы ИИ.

В целом курс получается достаточно интересным, сейчас уже готово 4 полноценных лекции с большим количеством практики:
- Для оценки Machine Learning и Deep Learning подготовил готовые алгоритмы для обучения своих моделей, которые мы будем использовать в обучении, будем учить модели и потом их оценивать.
- Подготовил готовые фреймворки для оценки базовых LLM, будем работать с моделями от OpenAI, DeepSeek и Anthropic, запускать бенчмарки и анализировать результаты.
- Ну и также написал свой RAG для обучения, в который будем загружать документы и оценивать качество его работы с помощью DeepEval и Ragas.

За август планирую добить вторую часть обучения, а именно подготовить как AI системы (агенты, чат боты, мультимодальные системы), так и готовые алгоритмы и фреймворки для их оценки, также обязательно разберем red teaming и варианты выполнения различных атак на AI.

Если все пойдет по плану, то в сентябре уже начну обучение первой группы, поэтому если еще не оставили заявку, то самое время сейчас это сделать тут:

Eval-ai.com


Полезная информация:
Курс по evaluation AI |
С чего начать изучение AI | Инструменты для оценки AI