BigData

Optimizing Relevance Maps of Vision Transformers Improves Robustness

This code allows to finetune the explainability maps of Vision Transformers to enhance robustness.

Github: https://github.com/hila-chefer/robustvit

Colab: https://colab.research.google.com/github/hila-chefer/RobustViT/blob/master/RobustViT.ipynb

Paper: https://arxiv.org/abs/2206.01161

Dataset: https://github.com/UnsupervisedSemanticSegmentation/ImageNet-S

👉 @bigdata_1

DeepFilterNet

A Low Complexity Speech Enhancement Framework for Full-Band Audio (48kHz) using on Deep Filtering.

Github: https://github.com/rikorose/deepfilternet

Paper: https://arxiv.org/abs/2205.05474v1

Demo: https://huggingface.co/spaces/hshr/DeepFilterNet2

👉 @bigdata_1

🔥 Шпаргалка по машинному обучению!

В этой шпаргалке выделены следующие ключевые направления:

⭐ Регрессия: OLS, SVM, Random Forest
⭐ Классификация: Naive Bayes, Decision Tree, нейронные сети
⭐ Кластеризация: K-Means, DBSCAN
⭐ Компьютерное зрение: CNN, YOLO, GANs
⭐ NLP/LLM: GPT, BERT, Word2Vec
⭐ Рекомендательные системы, прогнозирование

👉 @bigdata_1

Benchmarking Omni-Vision Representation through the Lens of Visual Realms

Github: https://github.com/ZhangYuanhan-AI/OmniBenchmark

Project: https://zhangyuanhan-ai.github.io/OmniBenchmark

Paper: https://arxiv.org/abs/2207.07106v1

Competition: https://codalab.lisn.upsaclay.fr/competitions/6043

👉 @bigdata_1

💭 Speech Synthesis, Recognition, and More With SpeechT5

Новая модель для синтеза и распозновании речи SpeechT5 от huggingface.

▪преобразование речи в текст для автоматического распознавания речи и идентификации говорящего
▪преобразование текста в речь для синтеза звука
▪речь в речь для преобразования речи в разные голоса или улучшения речи.

🖥 Github: https://huggingface.co/blog/speecht5

💨 Demo: https://huggingface.co/spaces/Matthijs/speecht5-asr-demo

🗣 Voice Conversion: https://huggingface.co/spaces/Matthijs/speecht5-vc-demo

🗳Automatic Speech Recognition: https://huggingface.co/spaces/Matthijs/speecht5-asr-demo

👉 @bigdata_1

PEFT: Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware

Parameter-Efficient Fine-Tuning (PEFT) methods enable efficient adaptation of pre-trained language models (PLMs) to various downstream applications without fine-tuning all the model's paramete

PEFT позволяют добиться высокой производительности моделей на слабом железе, с небольшым количество обучаемых данных, .

🖥 Github: https://github.com/huggingface/peft

💨 Hugging Face: https://huggingface.co/blog/peft

🖥 Colab: https://colab.research.google.com/drive/1jCkpikz0J2o20FBQmYmAGdiKmJGOMo-o

👉 @bigdata_1

In-N-Out: Face Video Inversion and Editing with Volumetric Decomposition

The core idea is to represent the face in a video using two neural radiance fields, one for in-distribution and the other for out-of-distribution data, and compose them together for reconstruction.

Новая модель от Adobe Research, для редактирования видео с поддержкой 3D, позволяет манипулировать объектами в условиях сдвига данных. (OOD generalization).

⭐️ Project: https://in-n-out-3d.github.io/

✅️ Paper: https://arxiv.org/abs/2302.03668v1

👉 @bigdata_1

Hard Prompts Made Easy: Discrete Prompt Tuning for Language Models

From a given image, we first optimize a hard prompt using the PEZ algorithm and CLIP encoder.

Модель для преобразование изображений в текстовые подсказки для стабильной диффузии.

Автоматически генерирует текстовые подсказки как для преобразования текста в изображение, так и для преобразования текста в текст.

🖥 Github: https://github.com/YuxinWenRick/hard-prompts-made-easy

🖥 Colab: https://colab.research.google.com/drive/1VSFps4siwASXDwhK_o29dKA9COvTnG8A?usp=sharing

✅️ Paper: hhttps://arxiv.org/abs/2302.03668v1

⭐️ Dataset: https://paperswithcode.com/dataset/ag-news

👉 @bigdata_1

Gen-1: The Next Step Forward for Generative AI

Use words and images to generate new videos out of existing

Новейший ИИ-алгоритм Gen-1, который может изменить стиль видео по текстовому запросу или картинке.
ones.
https://research.runwayml.com/gen1

⭐️ Project: https://research.runwayml.com/gen1

✅️ Paper: https://arxiv.org/abs/2302.03011

📌Request form: https://docs.google.com/forms/d/e/1FAIpQLSfU0O_i1dym30hEI33teAvCRQ1i8UrGgXd4BPrvBWaOnDgs9g/viewform

👉 @bigdata_1

Open-sources PhyCV: The First Physics-inspired Computer Vision Library

Unlike traditional algorithms that are a sequence of hand-crafted empirical rules, physics-inspired algorithms leverage physical laws of nature as blueprints.

PhyCV - новый класс алгоритмов компьютерного зрения, высокой точности, которые имитируют распространение света через физические объекты. Алгоритмы основаны на уравнениях дифракции света в оптических системах.

pip install phycv

🖥 Github: https://github.com/JalaliLabUCLA/phycv

📝 Paper: https://arxiv.org/abs/2301.12531v1

🎥 Video: https://www.youtube.com/watch?v=PJXXwXVyjdk&embeds_euri=https%3A%2F%2Fwww.imveurope.com%2F&feature=emb_logo

⭐️ Project: https://photonics.ucla.edu/2022/05/12/jalali-lab-open-sources-phycv-a-physics-inspired-computer-vision-library/

👉 @bigdata_1

PyGlove: Manipulating Python Programs

Manipulating Python Programs with symbolic object-oriented programming .

PyGlove от Google - методология символьного объектно-ориентированного программирования на Python, позволяет напрямую манипулировать объектами (создание ML моделей на метаязыке), что значительно упрощает написание метапрограмм. Подробный пример efficiently_exchange_ml_ideas_as_code

pip install pyglove

🖥 Github: https://github.com/google/pyglove

📃 Docs: https://pyglove.readthedocs.io/

✅️ Paper: https://arxiv.org/abs/2302.01918v1

⭐️ Project: https://texturepaper.github.io/TEXTurePaper/

👉 @bigdata_1

TEXTure: Semantic Texture Transfer using Text Tokens

Novel method for text-guided generation, editing, and transfer of textures for 3D shapes. Leveraging a pretrained depth-to-image diffusion mode

TEXTure принимает исходный рендер и текстовое описание и рисует модель с высококачественными текстурами, используя итеративный процесс на основе диффузии.

🖥 Github: https://github.com/TEXTurePaper/TEXTurePaper

✅️ Paper: https://arxiv.org/abs/2302.01721v1

⭐️ Project: https://texturepaper.github.io/TEXTurePaper/

👉 @bigdata_1

Conditional Flow Matching

Conditional Flow Matching is a fast way to train Continuous Normalizing Flow models.

🖥 Github: https://github.com/atong01/conditional-flow-matching

✅️ Paper: https://arxiv.org/abs/2302.00482v1

⭐️ Dataset: https://paperswithcode.com/dataset/celeba

👉 @bigdata_1

Audio-Visual Segmentation (AVS)

AVS to estimate pixel-wise segmentation masks for all the sounding objects, no matter the number of visible sounding objects

Большой датасет и модель сегментации объектов, издающих звук на видео.

🖥 Github: https://github.com/OpenNLPLab/AVSBench

✅️ Paper: https://arxiv.org/pdf/2301.13190.pdf

⭐️ Project: https://opennlplab.github.io/AVSBench/

✅️ Dataset: http://www.avlbench.opennlplab.cn/download

🔹 Benchmark: http://www.avlbench.opennlplab.cn/

👉 @bigdata_1

Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion

Audio generation using diffusion models, in PyTorch.

Полнофункциональная библиотека генерации звука на PyTorch.

pip install audio-diffusion-pytorch

🖥 Github: https://github.com/archinetai/audio-diffusion-pytorch

✅️ Paper: https://arxiv.org/abs/2301.11757v1

⭐️ A-unet: https://github.com/archinetai/a-unet

👉 @bigdata_1

PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question Answering Research and Development

PRIMEQA supports core QA functionalities like retrieval and reading comprehension as well as auxiliary capabilities such as question generation.

PrimeQA — это репозиторий с открытым исходным кодом, который позволяет исследователям и разработчикам легко обучать мультиязычные модели ответов на вопросы (QA).

🖥 Github: https://github.com/primeqa/primeqa

🖥 Notebooks: https://github.com/primeqa/primeqa/tree/main/notebooks

✅️ Paper: https://arxiv.org/abs/2301.09715v2

⭐️ Dataset: https://paperswithcode.com/dataset/wikitablequestions

✔️ Docs: https://primeqa.github.io/primeqa/installation.html

👉 @bigdata_1

Тренажёр-практикум Python и SQL
(от NumPy и OpenCV до PostgreSQL) в аналитике данных и ML

Откройте карьерные возможности в машинном обучении и аналитике данных
- Научитесь проводить анализ больших объёмов данных.
- Создавайте интерактивные и 3D-визуализации для представления данных.
- Освойте работу с SQL-базами для хранения, модификации и извлечения данных.
- Оптимизируйте запросы и управляйте структурой данных в базах.

🫡 Для кого будет полезен этот тренажёр?

Аналитикам данных, бизнес-аналитикам и продуктовым специалистам:
Новичкам и продолжающим в области анализа и визуализации данных, которые хотят освоить ключевые инструменты для эффективного анализа и машинного обучения на практике.

Тем, кто уже знаком с Python и стремится развиваться в аналитике данных и ML:
Разработчикам и специалистам по данным, стремящимся углубить навыки обработки данных и визуализации.

Инженерам данных и всем заинтересованным:
Тем, кто сталкивается с трудностями при предобработке данных для моделей машинного обучения и хочет выстроить системный подход к работе с ними.

Тем, кто стремится автоматизировать процессы и управлять данными:
После курса вы научитесь эффективно работать с NumPy и Pandas, создавать визуализации через Matplotlib и Seaborn, а также управлять базами данных с PostgreSQL.

Примеры задач, которые вы решите в тренажёре:
- Анализ температурных данных
- Редактор изображений
- Временной анализ продаж

🎓 Попробуйте первые уроки бесплатно!
В демо-версии курса вы познакомитесь с основами библиотек NumPy, Pandas и Matplotlib, научитесь создавать и редактировать массивы, работать с изображениями и применять эти навыки для решения практических задач в разных областях.
Пройдите 6 практических заданий сразу!
PS. В демо также доступен ИИ-бот ДуДу с code review 24/7.

👉 Регистрация на демо-доступ

Реклама. Информация о рекламодателе

Using LoRA for Efficient Stable Diffusion Fine-Tuning

LoRA: Low-Rank Adaptation of Large Language Models is a novel technique introduced by Microsoft researchers to deal with the problem of fine-tuning large-language models.

Новый метод, представленный исследователями Microsoft для тонкой настройки больших языковых моделей.

LoRA значительно сокращает количество параметров для обучения модели и сокращает использование памяти GPU, поскольку для большинства весов моделей не требуется вычислять градиенты.

По сравнению с GPT-3 175B, настроенным с помощью Adam, c LoRA можно уменьшить количество обучаемых параметров в 10 000 раз и затраты GPU в 3 раза.

🤗 Hugging face blog: https://huggingface.co/blog/lora

✅️ Paper: https://arxiv.org/abs/2106.09685

⭐️ Code: https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth_lora.py

👉 @bigdata_1

StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis

StyleGAN-T, addresses the specific requirements of large-scale text-to-image synthesis, such as large capacity, stable training on diverse datasets, strong text alignment, and controllable fidelity vs. text alignment tradeoff.

StyleGAN-T новый ган для синтеза текста и изображений.

StyleGAN-T значительно превосходит предыдущие GANы и модели дистиллированной диффузии в скорости и качестве генерации текста в изображение.

🖥 Github: github.com/autonomousvision/stylegan-t

✅️ Paper: arxiv.org/pdf/2301.09515.pdf

⭐️ Project: sites.google.com/view/stylegan-t

✔️ Video: https://www.youtube.com/watch?v=MMj8OTOUIok&embeds_euri=https%3A%2F%2Fsites.google.com%2F&feature=emb_logo

🖥 Projected GAN: https://github.com/autonomousvision/projected-gan

👉 @bigdata_1

OnePose++: One-Shot Pose

Keypoint-free one-shot object pose estimation method that handles low-textured objects without knowing CAD models.

Новый метод захвата объектов без ключевых точек, который значительно превосходит существующие методы и может работать с низкотекстурированными объектами.

🖥 Github: https://github.com/zju3dv/OnePose_Plus_Plus

✅️ Paper: https://openreview.net/pdf?id=BZ92dxDS3tO

⭐️ Project: https://zju3dv.github.io/onepose_plus_plus

⏩ Dataset: https://zjueducn-my.sharepoint.com/:f:/g/personal/12121064_zju_edu_cn/ElfJC7FiK75Hhh1CF0sPVSQBdzJpeWpOfj8TZzRuxo9PUg?e=Pbnbi8

👉 @bigdata_1