Градиентное погружение

🔥 IMAGEN уже в коде

— Пока все мусолят тему крутости новой модельки над DALLE 2, а разрабы создают чатики для реализации архитектуры, один из админов за ночь справился с задачей.

📎 Прикрепили генерации модельки, обученной с нуля за пару часов на P100 и небольшом сете.

@Градиентное погружение

👉 Лайк, Шер, Звёздочка

Гитхаб
Попробовать ❤️
Про IMAGEN

Бесплатно и в облаке - ʎzy 💥

👉 ʎzy(лизи) - это система для запуска произвольного python кода в облаке, которая в ближайшее время станет open-source.

Зачем❔

1️⃣ Для контроля и оптимизации доставки данных

2️⃣ Масштабирование - ускорение существующего кода с использованием облачных ресурсов

3️⃣ Хранения результатов экспериментов

Отдельно заинтересовала возможность запуска вычислений катбуста. Как? Да очень просто

model.fit(data, labels, provisioning=Provisioning(gpu=Gpu.any()))

⚡️ После публикации в open-source можно будет взять terraform скрипты и поднять лизи у себя в приватном облаке, при необходимости.

Ну и также: автоматический перенос зависимостей и минимальное изменение кода.

↘️ Сейчас идет Бетка, в private preview бесплатно доступны NVidia Tesla V100 GPU, скоро будет добавлен доступ к A100.

@Градиентное погружение

Попробовать
Послушать доклад
Взглянуть на презу
Обратная связь(Чатик)

Никто не просил, никто не ждал, но я наконец доделал и выложил самый(вероятно) быстрый captioning на русском языке.
Модель основанная на работе CLIP prefix caption, обучена на ruCOCO на 2*1080ti и выложена

Алсо моделька умеет в ZS и при должном promt может решать простенькие VQA задачки

github
hf 🤗
HFspaces🤗
collab 🔮

Лайк шер звездочка ✨

🔥 Мы сделали DALLE2

Ну или почти.

👉 Месяц работы, море потраченных нервов и арендованный сервер - совместно с автором Love. Death. Transformers. у нас получилось сделать dalle2-decoder, способный декодировать эмбеддинги клипа.

Как обычно, всё опен сурс на гитхабе.

Лайк, репост, звездочка ⚡️

Градиентное погружение

https://github.com/connorferster/handcalcs

Python --> Latex

Выглядит бомбически

DIY. Делаем книги

🌗 Продолжаю экспериментировать с созданием параллельных книг на иностранных языках. Повозился на майских праздниках с библиотекой weasyprint, чтобы сверстать выровненную при помощи моего хобби-проекта книгу в PDF.

Очень кропотливое занятие, которое, однако можно автоматизировать. На выходе получается вот такая замечательная книга.

🌗 Выравнивание идет при помощи LaBSE, которая обучалась на 100+ языках, можно дообучать и на другие, более редкие языки (про это можно почитать тут). Пока что можно сделать себе книжку в html.

Github

Обучение нейронок в VR Chat

Это уже за гранью моего понимания

Визуализация аудитории

Сделал небольшой парсер участников канала в телеге.

Беру все доступные описания и закидываю в модель, подаю в PCA и сжимаю до вектора из 2-х элементов, ручками выбираю кол-во кластеров и строю график.

Теперь про график:
Красные - всякие ссылки на каналы
Темные - DS/ML/универы
Зеленые - словосочетания и предложения

Ну и те, что в центре - что-то между всеми остальными.

Пока делал всё это, задумался о том, сколько данных мы теряем - начиная от сжатия и заканчивая кластеризацией.

Ведь действительно, для сжатия мы подаем N-мерные вектора, которые схлопываются в 2-мерные и именно по 2-мерным мы делаем кластеризацию.

Ок, давай подавать N-мерные, в чем проблема?
Проблема в том, что тогда у кластеров не будет четкой границы и понимать график станет куда сложнее.

Этим постом я хотел вернуть нас к пониманию того, что объяснять ML довольно сложно. Почему? Потому что мы не всегда имеем полное представление о данных.

Код для визуализации

Теперь вы знаете как отвечать человеку, когда вам лень или он вам не понравился.

Это вопрос. Вопросам здесь не место.

Awesome-Diffusion

Один из админов нашел репозиторий, достойный вашего внимания, но перед началом стоит чуть поговорить про то, что такое диффузионные модели:

Работают диффузионные модели следующим образом — сначала искажают обучающие данные, постепенно добавляя гауссовский шум, медленно стирая детали, пока данные не превратятся в чистый шум, а затем нейронная сеть обучается, чтобы обратить этот процесс искажения вспять. При обратном искажении данные синтезируются из чистого шума путем постепенного снижения шума до тех пор, пока не будет получен чистый образец. (источник)

Собственно тема интересная и скорее всего вы о ней слышали, когда смотрели на всякие нейрогенерации коих в последнее время довольно много.

Репозиторий представляет собой сборник ссылок на статьи и их реализации, разделённые на самые разные темы(в том числе NLP, Vision, Audio, TS, etc).

Всё оформлено классно, а самое главное - структурированно.

Меня заинтересовала тема временных рядов и скорее всего, при необходимости, я попробую что-нибудь оттуда использовать.

Репозиторий

Почитать

Почему-то именно сегодня захотелось зайти наконец-то в закладки и посмотреть что же такого интересного почитать есть.

Наткнулся на книжку Steve Nouri "Data Science interview questions" - содержит 134 вопроса к интервью с ответами на темы: статистика, датасаенс, аналитика, классический ML, DL и просто какой-то разнобой.

Вопросы не сказать что сложные, некоторые мне не очень нравятся из-за постановки + не в своем блоке, но несмотря на это я был приятно удивлен - вопросы действительно показывают кругозор кандидата и его интересы.

Думаю можно иногда почитывать, чтобы освежить память.

Книжка

🔥 HF выложили первый урок по RL!

Рассказывается зачем RL вообще нужен и его основы: пространство действий, окружение, награда, штрафы и т.д.

Довольно подробно рассказывается математика, которая стоит за всем этим. В качестве практики предлагают потренироваться на одном из базовых окружений - lunar lander, уже даже есть лидерборд).

Помимо этого есть много очень хороших дополнительных материалов для самостоятельного изучения.

Кажется самое время начать изучать этот ваш RL.

Урок
Лидерборд

Хочу посоветовать уважаемым читателям небольшой бесплатный курс MLOps Zoomcamp от моего старинного приятеля Алексея, автора книги Machine Learning Bookcamp. Курс рассчитан на не самую опытную аудиторию и поможет закрыть некоторые пробелы в ответе на вопрос "Как же все-таки выкатывать ML в продакшен".

Говоря про MLOps, не могу не заметить, насколько хайповым стал этот термин. На каком-то этапе я обнаружил, что все вокруг говорят про MLOps, и заволновался, что отстал от жизни. Немного почитал и обнаружил, что это все знакомые практики под новым красивым названием. Позже в одном из первых ревью на план нашей с Валерой книги ревьювер даже написал замечание в духе "удивлен, что эта глава не называется MLOps, хотя содержание похоже на него".

Как хорошие software инженеры уделяли внимание мониторингу и пайплайнам деплоймента до того, как про devops стали вещать из каждого утюга, так и MLOps - это не что-то кардинально новое, а просто собранные вместе практики, которые нельзя игнорировать, работая с настоящим продакшеном, а не только тыкая fit-predict в jupyter ноутбуках. Впрочем, хоть горшком назови, только в печь не ставь прод не роняй.

Пост назад мы писали про наш мерч, а сейчас хотим сообщить, что админы канала стали абсолютными победителями НТО ИИ 21-22 🔥

Хотим поблагодарить организаторов за весь труд и искреннюю преданность делу.

Мы ценим то, что вы прислушиваетесь к нам и надеемся что уровень мероприятия с каждым годом будет только расти, спасибо ⭐️

Много чего произошло за последнее время в жизни канала и админов.

Одним из таких событий стало награждение в Сбере, в ходе которого у нас появился свой собственный мерч (правда всего один экземпляр)

Про прогрессбары

Недавно понадобилось отслеживать состояние обучения модельки(переводчика) в реалтайме, но я работаю в save & run all кагла, что довольно неудобно и накладывает ограничения

Соответственно появились мысли о всяких MLOps инструментах типо wandb, neptune, tensorboard и тд

Но они тоже не сказать что супер удобные, ведь что есть удобнее мессенджеров?

Тут я начал гуглить на эту тему что-то для тг. Нашел штуку HF, которая тупо отправляет сообщение в мессенджер. Нормально, но хочется большего, большего реалтайма без флуда

Написал другу об этом всём, а в ответ:

Сделать TQDM вывод красивый, вытащить выходной поток, прогнать через какую-нить либу, которая по любому есть, это-ж питон. И в одно сообщение красиво скидывать с таймаутом в минуту, не шля новые, а изменяя старое
(хотя скорее всего есть более удобные инструменты юпитера)

Как ни странно он был прав, при этом настолько, что изменить в коде нужно было всего две строчки:

from tqdm.contrib.telegram import tqdm
for i in tqdm(iterable, token='{token}', chat_id='{chat_id}'):
    ...

В конечном итоге я остановился на комбинации tqdm telegram + wandb (полный вывод консоли + использование ресурсов) и пока что меня это устраивает