Нейросети не шарят за культуру Татарстана. И это стало для меня проблемой.

Те, кто подписан на мой канал относительно давно, в курсе, что я люблю тестировать разного рода нейронки для оптимизации своей работы. Да и работаю я в компании, которая занимается интегрированием разных ИИ-модулей в бизнес-процессы заказчиков. 

Так вот, недавно мы с командой готовили выступление спикера про новую парадигму в развитии цифровых сервисов. Суть спича такова: ген. ИИ уже активно шатает рынок, и если вы не начали изучать эту технологию, то рискуете опоздать на поезд технологий.

Показали доклад организаторам, они сказали: всё ок, но хотелось бы в конце сделать какой-то «бантик», вроде сгенерированного ролика про культуру Татарстана.

«Ха, задача на пару часов», — подумал я. И как же я ошибался...

Но раз назвался груздем, надо лезть в кузов, поэтому я начал проектировать потенциальный видос. Он должен был состоять из двух компонентов:

1. Визуальной раскадровки с героями фольклора Татарстана, которую помогла бы создать Midjourney, а анимировать SkyReels.

2. Аудио подложки, которую бы создала SunoAI. Тут мы заложили, что это будет песня на стихи Габдуллы Тукая.

Кажется, что проще ничего быть не может, но на обоих этапах я смачно обжегся. Во-первых, Midjourney не всегда знает, как должны выглядеть герои татарских сказок. Если с АкБарсом и батыром получилось ок, то с Шурале (это хитрый татарский леший) вышел факап. Я писал огромные промпты, чтобы получить нужный результат, но получал арты для чудища, которому место в бестиарии Ведьмака. Но в остальном получилось сносно.

Во-вторых, SunoAI слабо помог сгенерировать песню на стихи Тукая. Потому что нейронка постоянно факапилась с расстановкой ударений в словах. Даже если расставить их руками. Плюс Suno не знает, как должны звучать татарские музыкальные мотивы, и в ходе генераций я получал то турецкие инструменталы, то среднеазиатские.

В итоге на попытки создать хотя бы какой-то более\-менее приличный результат у меня ушли выходные (ролик можно глянуть во вложениях к этому посту). И если картинки выглядели сносно, то из-за песни мы решили не ставить ролик в итоговую презентацию.

Так что вот еще один корнер-кейс из мира нейронок — генерация не супер распространенных фольклорных элементов в современных ИИ-сервисах хромает. Дарю идею для стартапа, под которую можно поднять грант.

Upd: совсем забыл выразить шатаут всем, кто мне помогал создавать этот видос. Спасибо, ребзи!