Дайджест:

📹 ВИДЕО + АРТ 🎨

ControlNet-XS: улучшенная версия ControlNet, которая использует 1% параметров базовой модели. Не от авторов оригинального ControlNet.

Morph Studio: добавили контроль камеры и повышенный фреймрейт до 30 к/с.

SD-XL LoRA Fusion: инструмент для слияния двух SDXL моделей.

LD-ZNet: сегментация реальных и сгенерированных картинок текстом.

SMPLer-X: перенос своих движений на цифрового аватара.

Climate NeRF: нерф с симуляцией погодных условий. Может работать на 3090.

Что будет если контроль кадра отдать визуализатору а-ля винамп.

Веб-интерфейс для удаления объектов на изображениях через SD. Основано на Lama Cleaner. Коль генерации в Firefly от адоба теперь платные, вполне вариант. Ещё на эту тему можно глянуть Gyre и удаление текстом.

🤖 ЧАТЫ 🤖

LocalPilot: запускаем GitHub Copilot локально на M2 Max.

Fireworks: платформа для упрощённого запуска и файнтюна опенсорсных моделей, добавили LangChain, через которых можно делать цепочки задач для AI.

Как зафайнтюнить Falcon 180B с помощью PEFT и DeepSpeed.

Доки:
* как натренировать своего чат-бота на основе ламы 2.
* проблема архитектуры CLIP, и предложение альтернативы в виде MetaCLIP.
* дополнительные токены на вводе ViT помогают разобраться с артефактами.
* даём LLMкам исправлять себя самостоятельно.

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude