Complete AI

⚡⚡⚡Очень годный курс на Дзене по тому, как качественно генерировать изображения с помощью модели Kandinsky. Покрыты различные темы, показана специфика разных типов генеративных запросов.

👓Ссылка на курс

🔥SouthHub кэмп и конференция подошли к концу. Это было отличное мероприятие для всех уровней управления в IT и AI, для разных сфер науки, промышленности и бизнеса. Нетворкинг удался, я рассказал про факапы с данными, выступил с масштабным докладом про генеративный ИИ в части генерации изображений, потом провели с коллегой воркшоп по тому, где и как найти место в своей сфере генеративному ИИ и как получить от этого пользу.

Организаторам и участникам отдельный респект❤️

#southhub see U in 2024✈️

🚀Дальше по плану Saint HighLoad++

🚀SouthHub 2023 приближается к началу

#SouthHub #КраснаяПоляна

✅Использовать Q-Former, чтобы добавить в LLaMA возможность работать с видео и аудио модальностями

🔥Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

1) Video Q-Former для кодирования темпоральных связей между кадрами. Учим модель решать задачу описания видео (video-to-text)

2) Подход ImageBind (by FAIR) для совместного использования согласованных эмбеддингов различных модальностей (энкодеры Video Q-Former и Audio Q-Former согласованы во времени) - напомню, идея снова в использовании линейных маппингов над энкодерами и симметричной функции потерь InfoNCE для того, чтобы сблизить эмбеддинги в одном векторном пространстве

3) Файнтюнинг: инструктивный + пары «видео/картинка-описание»

📌Статья
📌GitHub

@complete_ai

🚀MI-Modal In-Context Instruction Tuning (MIMIC-IT): в рамках проекта Otter 🦦 Microsoft делится самым большим инструктивным визуально-текстовым датасетом

Otter - это одна из свежих визуально-текстовых моделей (visual language model, VLM), построенная на OpenFlamingo. Для обучения Otter использовался собранный датасет MIMIC-IT, содержащий 2.8М пар связанных мультиязычных (без русского🙁) мультимодальных инструкций с ответами, среди которых 2.2М инструкций получены для визуальных данных (изображения и видео). При создании сета использовались разные сценарии, симулирующие естественные диалоги: описание изображений/видео, сравнение изображений, ответы на вопросы, понимание сцены и возможных действий в помещении (в качестве изображений тут использовался сет из снятых в помещении фотографий) и др. Инструкции и ответы генерировались с помощью API ChatGPT-0301, на использование которого было потрачено около 20к $. Визуальные данные «поставлялись» в ChatGPT через алгоритмы аннотирования (описание, детекция объектов и тд.)

Итого: большой инструктивный сет с различными мультимодальными контекстами для обучения модели пониманию сцен на фото и видео (perception), а также логическим выводам (reasoning).

📌Paper
📌Проект
📌GitHub

📌Youtube

@complete_ai

⚡Важная информация для всех, кто интересуется эффективным векторным представлением изображений для text2image моделей!

Если вы хотите компактно хранить картинки и восстанавливать их после декодера с минимальными потерями, то это решение для вас😉

Сегодня мы выложили в опенсурс и выпустили статью на Хабре про наш новый энкодер, который используется в генеративной модели Kandinsky 2.1 - Sber-MoVQGAN, который базируется на статье MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation. В статье приведены примеры работы обученного энкодера для разных сложных доменов (лица, текст, и др.), результаты экспериментов с архитектурой и её размерами (выкладываем целых 3 версии энкодера: 67M, 102M и 270M параметров), а сама модель по классике выложена в опенсурс. Пользуйтесь🎉

💥Хабр
💥GitHub

@complete_ai

📚Мои друзья и коллеги из Сколтеха снова набирают в магистратуру DataScience.

В программе курсы по вычислительной линейной алгебре, оптимизации, машинному и глубинному обучению, обучению с подкреплением, обработке текстов, компьютерному зрению, и другие дисциплины, необходимые для карьеры в сфере AI. Обучение будет идти в связке с индустриальными задачами и проектами, что позволит применять знания сразу на практике.

Среди лекторов Иван Оселедец, Евгений Бурнаев, Александр Панченко, Сергей Загоруйко и многие другие. Все имеют большой список высокорейтинговых публикаций на A/A* конференциях и в топ журналах, внушительный индекс Хирша, а также занимаются прикладными проектами в сфере AI.
Не упустите шанс учиться у лучших!

Срок подачи заявок - до 10 июля

📌Подайте заявку на участие в программе Data Science

📌Подробнее о программе

📌Подробнее о магистратуре Сколтеха

Крутая интерпретация как работают LLM и все окружающие их адаптеры и фичи!
Спасибо @isamsonov за эту картинку🔥

🍩 Ну и завершаем сегодняшний парад AI-спикеров «десертом»! Ням.

Сначала, конечно, хотели устроить баттл между ними, но всё же выбрали формат круглого стола. Чем очень разочарован сммщик.

Назвали эфир «ИИ и всё, что из него генерится».
Модерировать встречу будет уже знакомый по посту выше — Андрей Кузнецов.

В гости к Андрею придут:

⏺ Иван Самсонов — CPO of ML VK (тоже герой поста выше)
⏺ Алексей Хахунов — Co-Founder, CTO Dbrain (спикер SH прошлого года)
⏺ Илья Шишков — Development Team Lead Яндекс.Еда (комментировал новости про ИИ в нашем канале)

Официальные тезисы встречи такие:

1. Профессии: какие исчезнут, а какие появятся?
2. Этика: как избежать токсичности от ГИИ, если он учится на нашей токсичности? 
3. Возможности: что уже сегодня вы отдали на откуп ИИ в своих рабочих процессах? Что рассматривайте?
4. Полярность: если ИИ будут отдельно развиваться в России, Китае, США, смогут ли они делать это также быстро, как если бы между ит-специалистами был интенсивный обмен?

🗣И хотим выйти за рамки. Поэтому планируем часто давать слова зрителям эфира. Будет вкусно, подключайтесь!

#эфир #ИИ

🤖 Хайп на ИИ не проходит уже полгода! Ну и мы в стороне не останемся.

Пригласили Андрея Кузнецова — Исполнительного директора по исследованию данных Sber AI — рассказать об одном из самых популярных направлений в сфере искусственного интеллекта — генеративных моделях. И не просто рассказать, как Андрей это делает у себя в телеграм-канале, а провести целый Workshop!

Сначала поговорим про историю задачи и её актуальность, далее погрузимся в существующие решения и детали Kandinsky 2.1, а также в прикладные кейсы. Будем собственноручно наращивать долю генеративного ИИ в современной прикладной науке, качество генераций и оценим возможные бизнес-кейсы из различных отраслей.

Записываться заранее не нужно, а вот билет на кэмп приобрести — определенно! Смотрите, на сайте.

👀 А ещё Андрей весело поделится с нами очень-очень грустной историей о том, почему все данные нужно тщательно проверять в формате F**k Up Night. Не упустите.

#спикер #создатели