Data Science | Machinelearning [ru]

​​⚡️VideoLLaMA 2 — набор open-source Video-LLM, предназначенных для генерации видео

VideoLLaMA 2 — логическое развитие прошлых моделей, включает в себя специализированный компонент пространственно-временной свертки (STC), который эффективно улавливает сложную динамику на видео.

🖥GitHub
🤗 Демо на HF
🤗 Модель VideoLLaMA 2 на HF

@Devsp — Подписаться

​​⚡️Semantic Kernel — open-source SDK, который позволяет интегрировать LLM от OpenAI, с Hugging Face и другие, с обычными языками программирования типо C#, Python и Java

Семантическое ядро ​​достигает этого, позволяя вам определять плагины , которые можно объединить в цепочку всего за несколько строк кода.

Однако что делает Semantic Kernel особенным, так это его способность автоматически управлять плагинами с помощью ИИ.

🖥GitHub
🟡Доки

@Devsp — Подписаться

​​🌟MusicGPT — приложение для локального запуска моделей, генерирующих музыку

MusicGPT — это приложение, которое позволяет эффективно запускать новейшие модели искусственного интеллекта музыкального поколения локально, на любой платформе и без установки тяжелых зависимостей, таких как Python или фреймворки машинного обучения.

На данный момент он поддерживает только MusicGen от Meta, но планируется обеспечить прозрачную для пользователя поддержку различных моделей генерации музыки.

🖥GitHub

@Devsp — Подписаться

​​🌟dstack — open-source cистема оркестрации контейнеров для запуска AI-систем в любом облаке или ЦОДе

dstack— это механизм оркестрации контейнеров с открытым исходным кодом, предназначенный для рабочих нагрузок ИИ в любом облаке или центре обработки данных.

Поддерживаемые поставщики облачных услуг включают AWS, GCP, Azure, OCI, Lambda, TensorDock, Vast.ai, RunPod и CUDO.

🖥GitHub
🟡Доки

@Devsp — Подписаться

​​⚡️WebLLM — высокопроизводительный браузерный движок для инференса LLM

WebLLM — это высокопроизводительный механизм вывода LLM в браузере, который переносит вывод языковой модели непосредственно в веб-браузеры с аппаратным ускорением.

Все работает внутри браузера без поддержки сервера и ускоряется с помощью WebGPU.

Также WebLLM поддерживает целый ряд моделей, включая Llama 3, Phi 3, Gemma, Mistral, Qwen и многие другие.

🖥GitHub
🟡Доки
🟡Чат с WebLLM

@Devsp — Подписаться

​​🦾 Мощь машинного обучения

В этой статье мы разберемся с машинным обучением и тем, как его можно использовать.

Читать...

​​🧠 TransformerFam от Google и другие попытки улучить память LLM

В этой статье вы узнаете о лимитах трансформеров, которые легко забывают длинные последовательности ввода.

Читать...

​​👤 AGiXT — open-source платформа, которая позволяет легко организовать выполнение сложных задач различными AI-агентами

AGiXT — это динамическая платформа автоматизации искусственного интеллекта, разработанная для организации эффективного управления инструкциями ИИ и выполнения задач среди множества поставщиков.

Решение сочетает в себе адаптивную обработку памяти с широким спектром команд для улучшения понимания и реагирования ИИ, что приводит к более эффективному выполнению задач.

🖥GitHub
🟡Доки
🟡Примеры использования

@Devsp — Подписаться

​​🖥 Дайджест самых интересных публикаций за последние дни:

• SF-V — новый метод генерации видео от Snapchat

• Простые способы ускорения обучения PyTorch-моделей

• L-MAGIC: Language Model Assisted Generation of Images with Coherence

​​🌟 SF-V — новый метод генерации видео от Snapchat

Новый метод генерации видео позволяет генерировать динамические и согласованные видео за 1 проход.

Обширные эксперименты показывают, что метод обеспечивает конкурентоспособное качество генерации синтезированных видео со значительно меньшими вычислительными затратами для процесса шумоподавления.

🟡Страничка SF-V
🖥GitHub

@Devsp — Подписаться

​​🌟 Новый этап в обучении LLM. Представили YaFSDP — это собственная разработка Яндекса для ускорения обучения больших языковых моделей
 
Её использование поможет ускорить обучение LLM с открытым исходным кодом до 25%. Кроме того, решение поможет оптимизировать использование графических процессоров (GPU). 
 
Читать…

​​⚡️L-MAGIC: Language Model Assisted Generation of Images with Coherence

Новая модель может создавать качественные панорамные сцены на основе одного входного изображения и текстового промпта!

L-MAGIC использует предварительно обученные модели распространения и языка без тонкой настройки, обеспечивая нулевую производительность.

В сочетании с моделями условного распространения он может принимать различные способы ввода, включая, помимо прочего, текст, карты глубины, эскизы и цветные сценарии.

▪️Github: https://github.com/IntelLabs/MMPano
▪️Paper: https://arxiv.org/abs/2406.01843
▪️Project: https://zhipengcai.github.io/MMPano/
▪️Video: https://youtu.be/XDMNEzH4-Ec

@Devsp — Подписаться

​​🚀Простые способы ускорения обучения PyTorch-моделей

В этой статье автор рассмотрит Docker-контейнеры для репродуктируемости окружения модели обучения, а также профайлер PyTorch для анализа производительности кода обучения и identification bottlenecks.

Читать...

​​🎙 Real-time in-browser speech recognition

Распознавание речи в браузере в режиме реального времени с помощью OpenAI Whisper!

Модель распознавания речи с 73 миллионами параметров, оптимизированная для вывода в Интернете.

▪️Сode: https://github.com/xenova/transformers.js/tree/v3/examples/webgpu-whisper
▪️Hf: https://huggingface.co/spaces/Xenova/realtime-whisper-webgpu

@Devsp — Подписаться

​​🖥 Самые интересные публикации за последние дни:

• Мультиплеер Stable Audio, который можно запустить на Hugging Face

• NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения

• Omost — использование мощи LLM, пишущих код, для генерации изображений

​​🎙 Real-time in-browser speech recognition

Распознавание речи в браузере в режиме реального времени с помощью OpenAI Whisper!

Модель распознавания речи с 73 миллионами параметров, оптимизированная для вывода в Интернете.

▪️Сode: https://github.com/xenova/transformers.js/tree/v3/examples/webgpu-whisper
▪️Hf: https://huggingface.co/spaces/Xenova/realtime-whisper-webgpu

@Devsp — Подписаться

​​😎NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения

NeRF-Insert позволяет добавлять объект в 3D сцену с помощью мультимодальных входных сигналов.

Вставленный объект может быть описан с помощью текстовой строки или ссылочного изображения.

Пользователь может определить область закрашивания, нарисовав всего 2-3 ручные маски.

▶️Страничка NeRF-Insert
🟡Arxiv

@Devsp — Подписаться

​​⭐️Мультиплеер Stable Audio, который можно запустить на Hugging Face

Генерируйте аудио из текстового описания, делитесь и учитесь у других, как наилучшим образом использовать эту новую модель.

🤗 Попробовать на Hugging Face

@Devsp — Подписаться

​​⚡️ Qwen2 - самый крутой релиз откртых LLM со времен Llama 3!

Alibaba только что выпустили свое новое семейство мультиязычных моделей, которых превосходят по производительности Llama 3 по многим параметрам.

Серия Qwen2 включает базовые и настроенные по инструкции модели 5 размеров, включая Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B, Qwen2-72B.

📖 BLOG: https://qwenlm.github.io/blog/qwen2/
🤗 HF collection: https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557f
🤖 https://modelscope.cn/organization/qwen
💻 GitHub: https://github.com/QwenLM/Qwen2

@Devsp — Подписаться

​​🦾 Коннектор ADB-TO-ADB

В этой статье рассматриваются детали предлагаемой нами реализации коннектора для выполнения так называемых гетерогенных запросов в рамках разных кластеров Arenadata DB и/или Greenplum.

Читать...