Машинное обучение RU

SmolLM: новые модели SOTA, 135M, 360M и 1.7B, которые идеально подходят для работы на эйдж девайсах! 🔥

▪Модели: huggingface.co/blog/smollm
▪Demo: https://huggingface.co/spaces/HuggingFaceTB/SmolLM-360M-Instruct-WebGPU

@machinelearning_ru

⚡️ ColPali — эффективный поиск по документам с помощью VLM

— pip install git+https://github.com/ManuelFay/colpali

Метод ColPali опирается на такие VLM (Vision Language Models) как модель PaliGemma от команды Google Zürich, и использует улучшенный векторный поиск, предложенный в модели ColBERT.

🖥 GitHub
🤗 Hugging Face
🟡 Arxiv

@machinelearning_ru

⚡️ FP8 LLMs: набор квантированный моделей с увеличенной эффективностью и производительностью под vLLM

FP8- это формат квантования, предоставляющий для моделей баланс между точностью и эффективностью. Он обеспечивает нерегулярное представление диапазона и масштабирование для каждого тензора на GPU, что позволяет достичь прироста производительности и сокращения потребления памяти.
Этот современный формат обещает революцию в развертывании LLM, значительно улучшая эффективность инференеса без ущерба для качества модели:

🟢В плотных моделях (70В) ITL (среднее время генераций каждого токена в выводе) сокращается двукратно, а в МоЕ- моделях до 1.6х;
🟢3-х кратное улучшение пропускной способности в сценариях, где снижение потребления VRAM приводит к возможности увеличения размера пакетов обработки.

Реализация поддержки FP8 стала возможна благодаря усилиям сервисов Neuralmagic.com и Anyscale.com, которые активно поддерживают open-soure сообщество.

В репозитории выложены Instruct FP8 версии моделей:

🟢Llama-3 (8B,70B);
🟢Mixtral (7B, 22B);
🟢Qwen2 (1,5B, 7b, 72B);
🟢Mistral 7B
🟢Llama-2 7B
🟢Phi-3 (mini-128K, medium-128K)
🟢Gemma-2 9b-it

⚠️ Представленный набор моделей предназначен для запуска в среде vLLM (версии от 0.5 и выше) и ее реализациях, поддерживающих технологии разреженности и быстрого инференса:

🟢nm-vllm: форк vLLM от сервиса Neuralmagic.com;
🟢DeepSparse: среда выполнения для CPU-only систем;
🟢SparseML: тулкит с возможностью инференса, который позволяет создавать разреженные модели и конвертировать их в .onnx формат.

vLLM - open-source среда для быстрого вывода и использования LLM, основанная на методе PagedAttention.
PagedAttention - алгоритм внимания, вдохновленный классической идеей виртуальной памяти и подкачки в операционных системах. Его использование снижает нагрузку на VRAM, связанную со сложными алгоритмами выборки. Экономия памяти может достигать до 55%.
Более подробно про vLLM и алгоритм PagedAttention можно прочитать на странице проекта

🟡Страница проекта Neuralmagic
🟡Модели на HF
🟡Arxiv Page Attention
🖥GitHub vLLm
🖥GitHub nm-vllm

@ai_machinelearning_big_data

#FP8 #LLM #vLLM #ML

🌟 ai-renamer

Это великолепно. Кто-то разработал интерфейс командной строки, который использует Lms (Ollama) для переименования ваших файлов по их содержимому.

🎓 Github

@machinelearning_ru

🤗 Все что нужно знать о работе с Hugging Face за 10 минут!

В этом ролике мы разыгрываем 3 крутые книги по МАШИННОМУ ОБУЧЕНИЮ, нужно всего лишь оставить любой осмысленный коммент и лайк и быть подписанным на наш канал!

https://www.youtube.com/watch?v=4B_foZbWh2c

@machinelearning_ru

🌟 EchoMimic: реалистичная портретная анимация изображений на основе звука с помощью редактируемых маркеров-ориентиров.

EchoMimic - проект инновационного подхода, комбинирующий использование аудиодорожки и маркеры лиц для создания динамичных портретов сохраняя реалистичность исходного иpображения.

Mетод EchoMimic построен на моделях Stable Diffusion и использует модули Reference U-Net, Landmark Encoder и Audio Encoder для кодирования референсных изображений, характеристик лиц и аудио соответственно. На финальном этапе, Attention Layers декодирует временную динамику для создания последовательностей согласованных по времени видео.

Согласно проведенным в ходе разработки бенчмаркам, EchoMimic демонстрирует лучшие результаты по сравнению с другими проектами, такими как: SadTalker, AniPortrait, V-Express и Hallo в различных наборах данных, достигая высоких показателей по метрикам FID, FVD, SSIM и E-FID.

🖥 Локальный запуск возможен в ComfyUI или отдельный UI-интерфейс.
Рекомендованные ресурсы - от 16 GB VRAM, но EchoMimic работает и на 8 GB VRAM (увеличивается время инференса).

⚠️ В процессе установки скачиваются дополнительные модели:
🟢sd-vae-ft-mse;
🟢sd-image-variations-diffusers;
🟢audio_processor(whisper).

⚖️ Лицензирование: Apache-2.0

🖥 GitHub [ Stars: 492 | Issues: 6 | Forks: 50 ]
🟡Страница проекта
🟡Модели на HF
🟡Arxiv

@ai_machinelearning_big_data

#Image2Animate #LipSync #ML #Diffusers #EchoMimic

🖥 Roadmap по pytorch от Meta на 2024:

https://dev-discuss.pytorch.org/t/meta-pytorch-team-2024-h2-roadmaps/2226

@machinelearning_ru

🔥 Fine-tuning Llama-3 to get 90% of GPT-4’s performance at a fraction of the cost

Новая усовершенствованная модель small 8B, которая превзошла базовую модель почти на 20%, превзошла топовую модель OSS LLama-3-70B и достигла точности GPT-4o более чем на 90%.


▪Project
▪ Github

@machinelearning_ru

🖥 Code 2 Prompt

Мощный инструмент командной строки, который генерирует качественные промпты и предназначен для упрощения взаимодействия между разработчиками и LLM для генерации и анализа кода, документирования и выполнения задач по улучшению существующего кода.

Ключевые особенности:

- Поддержка нескольких языков программирования
- Интеграция с .gitignore
- Настраиваемое форматирование вывода с помощью шаблонов Jinja2
- Автоматический обход каталогов


Code2Prompt упрощает создание информативных комментариев по коду, что делает его ценным инструментом для разработчиков, желающих улучшить документацию и совместную работу по своим проектам.

▪ Github

@machinelearning_ru

🌟 UltraPixel — новый подход для получения изображений сверхвысокого разрешения

Группа исследователей из Гонконгского университета науки и технологий (HKUST) совместно с Huawei Noah’s Ark Lab разработали принципиальной новую методику создание изображений в сверхвысоком разрешении (до 6000 px).
Новая архитектура основана на совокупности диффузионных патчей, принципов технологии ScaleCrafter для управления расширением сверточных блоков, ResAdapter для точной настройки базовой модели T2I и адаптация энтропии внимания на уровне внимания сети шумоподавления.
В качестве исходной генеративной модели используется StableCascade

На сегодняшний день, исследователи дорабатывают механизм сохранения детализации для достижения максимального фотореалистичного результата. В ближайшее время планируется публикация кода и необходимых сопутствующих моделей для инференса и самостоятельной тренировки.
О требуемых вычислительных ресурсах для запуска пайплайна не сообщается.


🟡 Страничка UltraPixel
🟡 Arxiv

@machinelearning_ru

#Text2Image #UltraHiRes #Diffusion #Ai