Complete AI

🚀🗓️26-27 июня на конференции Saint HighLoad++ в Питере расскажу подробно про диффузионные модели, про Kandinsky 2.1 в деталях, данные и процесс обучения, как мы справлялись с нагрузкой на бэкенд, чего добились в ходе экспериментов, что можно исправить файнтюнами, а также где генеративный AI можно применять в бизнесе. Эта конференция в моём персональном рейтинге является одним из знаковых событий лета и 2023 года в целом в индустрии технологических мероприятий. Там будет много крутых спикеров и интересных докладов. Обязательно приходите, приезжайте и подключайтесь к трекам по интересам😉

#SaintHighLoad2023
@complete_ai

⚡Сегодня вышел наш совместный с РБК проект - первая AI газета, созданная при помощи наших моделей GigaChat (в части текста) и Kandinsky 2.1 (в части иллюстраций).

Тут можно почитать подробнее. Материал на РБК Тренды - тут

Kandinsky 2.1 как искусство: руководство для тех, кто хочет больше

В прямом эфире 4 мая в 11:00 на совместном вебинаре Cloud и Sber AI я расскажу про архитектуру, возможности модели, способы файнтюна, как управлять качеством генераций и много другой полезной информации.

Из интересного вас ожидает:
▫️ новые возможности Kandinsky 2.1;
▫️ статистика активных пользователей нейросети и ТОП самых популярных запросов;
▫️ сценарии использования Kandinsky 2.1 как начинающими, так и продвинутыми пользователями, кастомизирующими модель под свои задачи в ML Space.

✅ Самое главное — вы получите рабочие промты написания запросов, с помощью которых AI получит необходимые детали для реализации ваших задумок, а вы — креативные изображения без лишних усилий.

Ждем на бесплатном вебинаре всех, кто хочет выйти на новый уровень в генерации визуального контента с Kandinsky 2.1 — зарегистрироваться

☀️Вообще не рекламный пост

Хотел рассказать про одну конференцию для тимлидов и CTO (как начинающих, так и опытных), в которой принимал участие в прошлом году - SouthHub. Проходила она на Красной Поляне в формате кэмпа, что позволяет совмещать движ в виде разных активностей (баскетбол, пробежки и тд) и лекции интересных спикеров для любителей как глубоко технических вещей, так и интересующихся в командообразовании. Нетворкинг за счёт этого симбиоза просто пушечный выходит🚀

Мне там, например, довелось познакомиться с Глебом Михеевым (Skillbox) @tired_glebmikheev мы много уже идей отработали, даже нашли и начали несколько интересных совместных инициатив.

В этом году конфа тоже на Красной Поляне с 12 по 16 июня, в таком же интересном формате. Еще добавили специальные билеты для желающих поехать с семьёй. В общем, если кто в поиске интересных коллабов, то это одно из мероприятий в году, где это реально затащить! Конфа по ссылке - там вся информация

📌А тут моё выступление на SouthHub 2022 про тренды генеративного искусственного интеллекта

📌Заходите в чат конфы в ТГ - там интересно!

Прошло 20 дней и новый крутой релиз🔥🙏 Спасибо большое всем тиммейтам, кто нашел силы и на этот гигантский релиз! @lizagonch - тебе в особенности!💐🎂🔥

Welcome to the era of GigaChat💬

GigaChat

Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.

В основе нашего GigaChat модель— NeONKA.

Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).

В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).

При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели

Подробности в нашей статье на хабр .

UPD. Считаю, без героев дня совсем никак. Из моих подписчиков, мои герои: @averkij, @warfly, @oulenspiegel, @dayyass, @kuznetsoff87, @nikolaygerasimenko

Надеюсь никого не забыл)

🔥MiniGPT-4: почти как GPT-4, но всего 13B параметров

Оказалось, если соединить LLaMA (Vicuna) и FROMAGe, то получится не только на 90% приблизиться к GPT-4, но и даже воспроизвести её визуальные навыки! При том, что тут обучается всего лишь один единственный линейный слой.

По сравнению с FROMAGe тут добавили Q-former и файнтюнинг на своём чистейшем визуально-диалоговом сете (3.5к примеров).

С помощью этой модели можно даже сгенерировать код сайта по одному лишь наброску! Код и веса есть в открытом доступе.

Статья, GitHub, датасет, блог

🔥Мы тут подсчитали - на текущий момент (10.04.2023) модель Kandinsky 2.1 собрала 2 млн. уникальных пользователей и создала больше 10 млн. изображений. Это наш самый масштабный и результативный проект🚀

My Sber AI Team - one love🙏❤️

@complete_ai

Кандинский 2.1 на 4 месте в Github trending!

🚀Kandinsky 2.1🚀
Наступил день, которого ждала вся команда (вовсе не тот, который стал всплывать в разных каналах на прошлой неделе😂). Сегодня мы официально выпускаем новую лучшую версию нашей диффузионной генеративной модели, которая претерпела существенные изменения относительно предшественницы 2.0.

Отличительные особенности включают:
📌3.3B параметров
📌Разрешение генераций - 768x768
📌Image prior трансформер
📌Новый автоэнкодер изображений MoVQ
📌Дообучение на очень чистом сете из 172M пар «текст-изображение»
📌Режимы работы: генерация по тексту, смешивание изображение, генерация изображений по образцу, изменение изображений по тексту, inpainting/outpainting

Всё это позволило добиться впечатляющего качества на различных доменах генераций.

FID на датасете COCO_30k достигает значения 8.21🔥 По публичным данным на сегодняшний день лучше только eDiffI (NVidia) и Imagen (Google Reseacrh).

Детально о модели можно прочитать в статье на Хабре, а протестировать Kandinsky 2.1 можно тут:
📍Телеграм-бот
📍FusionBrain.AI
📍GitHub
📍HuggingFace
📍rudalle.ru
📍MLSpace

Спасибо всей команде за слаженную и качественную работу - испытываю несказанную признательность каждому🔥

@complete_ai

🚀 A Survey of Large Language Models
Вышел свежий обзор больших языковых моделей - тех самых, о которых говорят, когда упоминают новый Bing, ChatGPT и GPT-4.

В работе рассказывают про способы обучения моделей, их файнтюнинг, инференс и возможности. Безусловно, большое внимание уделяется размеру моделей и соответствующим возможностям. Карта моделей также сделана очень аккуратно и по ней можно оценить, сколько уже команд работают в направлении фундаментальных языковых моделей, как долго длилось обучение и на каком объёме GPU.

📕Статья

@complete_ai

Created by Kandinsky 2.1. Soon…

@complete_ai