Derp Learning

Mouthpad - девайс для парализованных людей, дающий возможность управлять девайсами с помощью языка и движений головы 🤗
И жена довольна 😉

Афанасий Фетт, шлем в руке. "Я пришёл с миром... и стихами."

А вот вам без черрипиков, как работает новая тулза от адоба.

Ожидаемо произошел клоунизм. Потому что показывать красивые презентации это одно, а работать с реальными задачами, это другое🥓
@CGIT_Vines

Half of followers just found their dream job

Штош
Прямоугольники двигаются строго друг под другом с одной скоростью 😵‍💫

В Photoshop Beta завезли новую AI-фичу – 2D-слои можно крутить в 3D-пространстве 🔄

Gaslighting as a service

Шикарная штука из Твиттера, оказывается Опус может генерировать простенькие видосы с текстом напрямую через moviepy и ffmpeg. Всё воспроизвелось, вот мой видос.

Оригинальный промпт: "can you use whatever resources you like, and python, to generate a short 'youtube poop' video and render it using ffmpeg ? can you put more of a personal spin on it? it should express what it's like to be a LLM"

Молния! Comfy1111

Берете любой свой воркфлоу и превращаете его в App.

Просто выбираете инпуты и аутпуты в App builder с разных нод и это превращается в HTML интерфейс.

Потом шарите это в Comfy Hub.

И все пользуюцца.

Внутреннее имя проекта действительно Comfy1111.

Завтра больше деталей, а пока посмотрите видосы тут:

https://blog.comfy.org/p/from-workflow-to-app-introducing

@cgevent

Runway Characters - действительно реалтаймовые говорящие головы.

В отличие от Хейгенов и Хедр - тут действительно реалтайм - с ними можно перебеседовать в реальном времени (смотрите примеры).

И это первый пример такого качества в РЕАЛТАЙМЕ.

И это прямо прицельный выстрел в огромный запрос по рынку: дайте нашим чат-ботам картинку, мы хотим чтобы с клиентом говорил кто-то видимый.

Понятно почему только по API - все происходит у них на серверах и ценник я думаю как чугунный конь.

Но качество для реалтайма - огонь.

@cgevent

Tess.Design - маркетплейс "этичного AI-арта" закрылся
или как заплатить художникам $18K и заработать $12K

Kapwing запустили Tess в 2024 - платформу где каждая AI-картинка привязана к конкретному художнику, который получает 50% роялти. Типа Spotify для иллюстраторов, только с LoRA вместо треков.

Результат за 20 месяцев работы: $12,172 выручки. Двенадцать тысяч. За полтора года. При этом художникам заплатили $18K авансами, которые никто не отбил генерациями.

Вкратце:
- файнтюнили Stable Diffusion на работах каждого художника
- юридическая схема через Fenwick - мол, раз output стилизован под художника, то он и держит копирайт
- написали 325 холодных писем художникам за 6 недель
- 22.4% сказали "нет" принципиально ("нет такого понятия как этичный AI")
- 6.5% согласились
- один крупный медиа-клиент (типа Forbes уровня) хотел купить - юристы заблокировали из-за нерешенных судов

Самое интересное - почему художники отказывались:
1. "AI - зло, точка" (идеологический нет)
2. "не хочу чтобы мой стиль юзал бренд сигарет" (размытие бренда)
3. "видела как других художников отменяли за интерес к AI" (социальное давление)

Один инженер Kapwing уволился, частично из-за выгорания от Tess. 142 пользователя за все время. Ноль художников заработало больше аванса.

Фаундерша Kapwing использовала Tess для оформления своей свадьбы. Это, пожалуй, главный успех проекта.

Мораль: платить создателям за AI-контент - правильная идея, но рынок пока не готов. Ни юридически, ни культурно. Для видео ситуация еще сложнее - но это уже тема для отдельного поста.

[Полный пост-мортем](https://www.kapwing.com/blog/learnings-from-paying-artists-royalties-for-ai-generated-art/)

@derplearning

Лол, китайские братушки изобрели пристегивающуюся робо-задницу, которая превращает вас в кибер-кентавра.

Зачем? Это такой экзоскелет: кожаный работает навигатором и смотрит под ноги, а железка забирает на себя половину веса тяжелого рюкзака и заботливо толкает его в спину.

Представил, что через пару лет так будут ходить курьеры и аж хрюкнул от смеха.

тут подробнее про этот шайтан-девайс

Пока админ перебиралась по работе на Балканы, тут челики из лабы Сингапурского университета представили Kiwi-Edit — опенсорс фреймворк для редактирования видео, который объединяет и текстовые инструкции, и визуальные референсы.

Что прикольного:
☝️ можно редактировать видео просто текстом (например, «замени куртку на синий пуховик») или загрузить картинку-референс, чтобы модель сама скопировала стиль или объект оттуда.
☝️ в отличие от многих аналогов, Kiwi-Edit отлично (ну правда неплохо) справляется с точечными задачами. Например, добавить шляпу на персонажа, не ломая всё остальное. Хотя свои артефакты внесёт.
☝️ позволяет сделать неплохой рестайл видео, сохраняя при этом движения героев. Но опять же качество выходного видео будет ниже исходного.
☝️ поддерживает разрешение 720p и в целом нет "мерцаний" от кадра к кадру.

Если копнуть в архитектуру и детали: модель построена на связке мультимодальной языковой модели (MLLM) и диффузионного трансформера (DiT). Это позволяет ей буквально понимать структуру сцены и ваши пожелания для редактирования.

Разрабы данной модели выложили в открытый доступ не только код и веса моделей, но и огромный датасет на 477 тысяч примеров. Так что однозначно +реп.

Примеры работы есть у них на сайте, а также есть поднятая gradio-демка, так что сами можете потестить. 🥂