#ML

Как и 60 лет назад, нейронки начали часто сравнивать с мозгом, а у мозга есть психологи (хотя и у нейронов уже появляются исследователи настроений). И как и в любой другой области знаний, у психологов есть свой собственный глоссарий, и я решил составить первый словарь по переводу с психологического на язык MLE.

Меня осенило когда читал статью Kahneman-Tversky Optimisation — это же идея обесценивание в чистом виде)

Итак, первый в мире словарь Psychologist — Machine Learning Engineer:

Выборочное внимание (selective attention) — Attention // комментарии излишни, эту статью знают все

Выгорание — Vanishing Gradients // градиент ещё где-то есть, но до полезного обновления уже не доходит

Газлайтинг — Label Corruption Attack // истинные метки подменены, модель больше не доверяет собственному датасету

Гиперконтроль — Hard Attention // фокус в точку

Границы личности — Constrained Attention // у каждого входа есть предел влияния на твой hidden state

Диссоциация — Stop-Gradient Operation // событие вроде обрабатывается, но связь с чувством “это происходит со мной” разорвана

Защитная реакция — Robustness Patch Under Distribution Shift // не исправляет внутреннюю модель, но помогает не развалиться на новых входах

Избегание — Early Stopping // обучение прекращается ровно перед тем батчем, где могло стать полезно, но неприятно

Катастрофизация — Worst-Case Data Augmentation // из каждого обычного примера генерируем самый страшный out-of-distribution сценарий

Накопленная обида — Gradient Accumulation // градиенты копятся несколько шагов, а параметры не обновляются

Навязчивые мысли — Neural Text Degeneration // модель застревает в повторяющихся нежелательных продолжениях

Низкая самооценка (почти то же что и Синдром самозванца) — In-Distribution Underconfidence // даже на знакомых примерах модель отвечает “вероятно, я ошибаюсь”

Обесценивание — Kahneman-Tversky Optimisation // минимум наград за успехи, максимум штрафов за ошибки

Отрицание — Missing Data Imputation // значения нет, но система подставляет приемлемую замену и продолжает как ни в чём не бывало

Пассивная агрессия — Low-Rank Hostility Adapter // базовая модель вежливая, но маленькая LoRA добавляет токсичный стиль

Перфекционизм — Overfitting // модель не готова к деплою, пока loss не станет метафизически равен нулю

Потребность в одобрении — RLHF // модель учится через внешнюю человеческую оценку того, “хороший” ли был ответ

Прокрастинация — Learning Rate Warmup // Начнем с раскачки

Проекция — Transfer Learning (negative transfer) // модель переносит старое представление на новый домен, хотя там оно уже искажает реальность

Психологическая устойчивость — Robust Generalization Under Distribution Shift // мир вокруг меняется

Рационализация — Post-hoc Explainability // сначала модель выдала странный ответ, потом уверенно объяснила, что так и было задумано

Ревность — Triplet Loss // держи чужого подальше от семьи)

Руминация — Repetition Loops in Neural Text Generation // модель застревает в повторяющемся цикле и снова генерирует то же самое содержание

Самокритика — есть Self-critical Sequence Training и еще Adversarial Self-Supervised Contrastive Learning // Модель сравнивает сэмплированный ответ со своим же baseline-выводом

Самосаботаж — Reward Hacking // агент нашёл reward, но выбрал действие, которое ломает собственную функцию полезности

Созависимость — Co-adaptation // один feature detector становится полезным только в присутствии других и теряет самостоятельность

Травматический опыт — Outlier-weighed Layerwise Sampling for LLM Fine-tuning // один пример получил слишком большой вес и теперь портит всю функцию потерь

Тревожность — Noise Memorization // Система начинает видеть значимый сигнал в шуме и переобучается на случайные паттерны

Эмоциональное подавление — Gradient Clipping // слишком сильные эмоции обрезаются до допустимой нормы

Эмоциональные качели — Training Instability // обучение нестабильно: сигнал то исчезает, то взрывается.

Продолжение следует