Alignment: от ручной разметки к проверяемым наградам

За аббревиатурами SFT, RLHF, PPO и GRPO стоит задача научить LLM вести себя так, как ожидает человек. Алгоритмы оптимизации за последние годы сменились несколько раз. Изменился и тот, кто ставит оценку. В карточках разбираем эволюцию способов оценки и методов оптимизации политики.

#aivkhub #alignment #llm