МЛ секция в Яндекс (2025)

Только на той недели мой ученик успешно прошел мл секцию в Яндекс, делюсь с вами вопросами, товарищи. Да его и ответами тоже)
Еще больше инсайдов будет на курсе Старт МЛ и на курсе Хард МЛ. Всех жду, товарищи!

1. Что такое Bias Variance Decomposition. Интервьюер акцентировал внимание на математике, отсюда вытек следующий вопрос.
2. Расписать математически, что такое разброс.
3. Что такое Бэггинг? В чем смысл данной композиции и почему она хорошо работает. (Я написал, что смещение примерно остается то же, а вот дисперсия (разброс) падает. Общий вид predict в дереве для регрессии и классификации.
4. Какие Impurity знаешь? Как высчитывается разделяющее правило?
5. Какие знаешь методы борьбы с переобучением при обучении нейронных сетей? Как дропают отличается в train mode и eval mode.
6. Устная задача - как бы ты решал задачу сетками технически, если тебе нужно было бы по картинкам определить токсичность изображения? (Ну типо взять хороший Бэкбоун, приделать свою голову с out_features=2 и дообучить). На каком слое получаются эмбеддинги картинки?
7. Базовые метрики, как считаются,в чем физический смысл. Написать их формульно.

BVD = ШУМ + Разброс + Смещение

Разброс = E_x E_X(model(X)(x) - E_X(model)(x))^2

БЭГГИНГ - композиция

X_1, X_2, ..., X_n - бутср выборок

model_1(X_1), model_2(X_2), ....

a(x) = 1/n sum (model_i(x))

bias(a) ~ bias(b_i)

variance(a) -> variance(b_i) / N + (n*(n-1)) / n^2 * sum * cov()


H(R_m) ->_split |L|/|TOTAL| * H(L) + |R|/|TOTAL| * H(R) -> min

H(R) = sum_i_k (p_k * (1 - p_k))

1) Аугментации
2) DropOut

train_mode: p
eval_mode: 1/p

precision = (TP) / (TP + FP)
recall = (TP) / (TP + FN)

roc_auc = (y_i, p_i) -> sort p_i по убыванию

thr > p_i -> 0 0 | 1
thr <= p_i -> 1 1 | 1

TPR=recall FPR=(FP)/(FP + FN)

@ProdAnalysis