#нейросети #ai #audio #images #diffusionmodels #diffusion #documentation

🧠 Многие думают, что нейросеть "рисует картинку с нуля". На самом деле это не совсем так.

Большинство современных моделей (FLUX, Stable Diffusion, SDXL и многие другие) работают по принципу диффузии — они постепенно убирают шум, шаг за шагом восстанавливая нужное изображение. То же самое сегодня происходит и в генерации аудио: модель постепенно очищает шум или спектрограмму до готовой речи, музыки или звуков.

При этом далеко не всегда нужно начинать с чистого белого шума. Можно взять уже существующее изображение или аудио, немного "зашумить" его и попросить модель изменить только часть содержимого. Именно поэтому работают img2img, inpainting, ControlNet, а также многие инструменты редактирования фотографий и генерации речи.

На картинках я постарался собрать простую схему того, как устроены современные диффузионные модели, какие self-hosted инструменты сегодня наиболее популярны и из каких этапов состоит генерация.

Кстати, если интересна тема локальной генерации речи, недавно я отправил PR в китайский форк с Rust (Qwen3-TTS-Rust), который значительно упростил работу с библиотекой и добавил недостающие возможности. Благодаря этому использовать Qwen3 TTS в своих Rust-проектах стало заметно удобнее. Если занимаетесь локальным AI — рекомендую посмотреть.

💬 Если интересно, могу сделать такую же серию инфографик про:
• Transformer и Attention
• LLM "под капотом"
• KV Cache
• LoRA и QLoRA
• RAG
• MCP
• AI-агентов и современные workflow.

Также сейчас активно веду разработку новеллы, скоро будет в Стиме, а про недавно вышедший музыкальный альбом с реизданием расскажу на одном из стримов, запишем видосик, чтобы объяснить каким образом сейчас можно диффузионо улучшать ваши сырые артефакты

• Пост на courses.digitable.life - https://courses.digitable.life/post/blog/diffusions/ там же можно скачать исходное изображение так как соцсети режут качество, плюс там же ссылки на все полезные модели и возможность комментировать посты через github