Diffusion Models GuideBook

У меня появилось желание собрать всё знания, которые помогут разобраться с диффузионными моделями и найти себя в них. Поэтому, вот и пост 😎

❗️База, чтобы понять что к чему

- https://lilianweng.github.io/posts/2021-07-11-diffusion-models/ — скинуть, кому-то чтобы понять, что такое диффузии. Не слишком много подробностей, но уловить суть позволяет.

- https://goyalpramod.github.io/blogs/demysitifying_diffusion_models — более подробный блог с введением и в различные модификации моделей

- https://archive.is/gpfgl — более глубокое погружение на 60 минут, с очень подробным выводом диффузии и куча пояснений, откуда берётся каждая компонента, если вы прям хотите разобраться в нюансах.

- https://www.youtube.com/watch?v=1d4r19GEVos — подробный обзор диффузии и её разнообразных применений в различных с CVPR — поможет понять, где можно применять диффузии.

- https://www.youtube.com/watch?v=DsEDMjdxOv4 — текущее состояние диффузионных моделей с разным анализом.

📖 Для любителей прям в глубины и готовых изучить теорию генеративных моделей

- https://www.youtube.com/watch?v=yUnIzzNiyho&list=PL2UML_KCiC0UPzjW9BjO-
IW6dqliu9O4B&index=13

- https://deepgenerativemodels.github.io/syllabus.html — два курса по генеративным моделям, которые стоит посмотреть, чтобы понять, а откуда берутся генеративные модели и что с ними можно делать. В часте курса есть лекции про диффузии, их тоже рекомендую посмотреть.

- https://github.com/r-isachenko/2023-DGM-MIPT-course — на русском языке лучший курс по генеративным моделям от преподавателя AI Masters/MIPT Романа Исаченко. Сам проходил 👍

🤔 Зачем вы полезли в диффузии или я хочу разобраться в них серьёзно

- https://github.com/diff-usion/Awesome-Diffusion-Models — чтобы во всем самому разобраться, потому что вы "Big boy". Отличный набор постов и туториалов, из которых вы можете выбрать подходящий

- https://github.com/wangkai930418/awesome-diffusion-categorized — актуальная штука по диффузиям, увидев столько секций и статей я словил FOMO, потому что реально много статей, которые очень хорошо покрывают все темы

- https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy — если вы гик, которому важно понимать каждую деталь и структуру в диффузиям, то это вам прочитать.

🚀 Если вам это мало и хотите самый новых и потенциально более крутых вещей

Различные обобщения диффузионных, которые постепенно начинают приходить в нашу ML жизнь:

- Flow matching — обобщение диффузионных моделей, которое позволяет отображать из любого распределения в любое. (Диффузии отображают только из нормального в реальное)
- Stochastic Interpolants — объединение flow-based и diffusion-based моделей
- Bridge matching — стохастическое обобщение задачи Optimal Transport

Блоги
- sander.ai — оригинальный взгляд на диффузии от исследователя из DeepMind
- yang-song.net — практически создатель диффузии и много всего для них

❗️Сохраняйте к себе и пересылайте друзьям, чтобы быть в этой теме. Пишите в комментариях ваши замечания и идеи, чем можно дополнить обзор

P.S. Особая благодарность @Magistrkoljan за помощь с самыми современными методами диффузий