📚 Hidden Markov Models: глава из главного учебника по NLP

Jurafsky & Martin «Speech and Language Processing» — один из лучших учебников по NLP.

Делимся главой про HMM — она хороша тем что объясняет полный набор алгоритмов в одном месте, включая то о чём часто умалчивают.

HMM строится на цепях Маркова: предсказываем следующее состояние только по текущему, история не важна. Звучит как ограничение — на деле мощный инструмент.

Три ключевых алгоритма:
— Viterbi — найти наиболее вероятную последовательность скрытых состояний (например, теги частей речи для слов)
— Forward algorithm — посчитать вероятность наблюдаемой последовательности
— Forward-Backward (Baum-Welch) — обучить HMM без размеченных данных. Это EM-алгоритм для последовательностей и главная причина почему HMM живут в задачах где разметки нет

🛠 HMM — базовая модель для временных рядов, NLP-задач без разметки, биоинформатики, распознавания речи. Понимание Forward-Backward даёт интуицию для более сложных моделей типа CRF и трансформеров.

📍 Навигация: Вакансии • Задачи • Собесы

Библиотека дата-сайентиста

#буст