Машинное обучение RU

🎓 stable point-aware 3D от Stability AI

Свежий опенсорс инструмент, который отлично справляется с созданием 3D объектов по одному изображению.

Работает так - диффузионная модель генерирует облако точек, после чего трансформер обрабатывает его совместно с исходным изображением, восстанавливая геометрию объекта, текстуры и освещение.

Вы можете редактировать облако точек различными способами: удалять, дублировать, растягивать, добавлять новые элементы или изменять цвета отдельных точек.

▪ HF: https://huggingface.co/spaces/stabilityai/stable-point-aware-3d
▪Github: https://github.com/Stability-AI/stable-point-aware-3d

🚀 LlamaV-o1: Мультимодальная модель рассуждений с открытым исходным кодом! 🌟 ✅

✅ Рассуждение с обучением и масштабированием во время тестирования
✅ 3,8% прироста по 6 бенчмаркам, 5× более быстрое масштабирование выводов, чем у Llava-CoT
✅ Новый VRC-Bench для мультимодальных рассуждений

🔗 https://mbzuai-oryx.github.io/LlamaV-o1/

@machinelearning_ru

⚡️ Можно ли масштабировать трансформаторы до уровня AGI?

Илья Суцкевер: Очевидно, да

📌 Полное видео

💰 Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget

Вышел официальный код и чекпоинты для MicroDiffusion от Sony.

Советую прочитать статью, в ней авторы подробно рассказывают о том, как они обучили модель уровня SD1 (MicroDiT) за $1890, используя диффузионный трансформер с MoE и наборы реальных+синтетических данных на 37M.

Теперь любой желающий может обучить модель Stable Diffusion v1/v2-уровня с нуля всего за 2,5 дня, используя 8 графических процессоров H100 (стоимостью < $2000)

Здесь можно посмотреть конфигурацию обучения для каждого этапа.

▪Paper: https://arxiv.org/abs/2407.15811v1
▪Github: https://github.com/SonyResearch/micro_diffusion
▪HF: https://huggingface.co/VSehwag24/MicroDiT
▪Dataset: https://github.com/SonyResearch/micro_diffusion/blob/main/micro_diffusion/datasets/README.md

@ai_machinelearning_big_data


#stablediffusion #guide #sd #ml #sony

🔥 AgentScript — это фреймворк на TypeScript для создания надежных AI-агентов, которые "мыслят кодом"!

🌟 Основная идея заключается в том, чтобы использовать языковые модели (LLM) для генерации кодовых планов, которые затем выполняются в изолированной среде. Это позволяет автоматизировать сложные задачи с учетом последовательностей действий, взаимодействия с инструментами и возможности паузы выполнения.

🔐 Лицензия: ELv2

🖥 Github

@machinelearning_ru

🗣 Токенизация речи 16kHz при очень низком битрейте.

▪ Код инференса: https://github.com/Stability-AI/stable-codec
▪ Код модели: https://github.com/Stability-AI/stable-audio-tools
▪ Веса модели: https://huggingface.co/stabilityai/stable-codec-speech-16k
▪ arXiv: https://arxiv.org/abs/2411.19842
▪ Демо: https://stability-ai.github.io/stable-codec-demo/ https://pic.x.com/YCxHw07LE4

@machinelearning_ru

🧠 human vs artificial intelligence

@machinelearning_ru

⚡️ Новый веб-вьювер HDR и редактор для создания видеоклипов!

📺Web Viewer: https://srameo.github.io/projects/le3d/
🧑‍💻Github: https://github.com/Srameo/LE3D

#ComputerVision #3DReconstruction #GaussianSplatting

🔥 Rig — это библиотека на языке Rust для создания масштабируемых и модульных приложений, использующих LLM!

🌟 Она упрощает интеграцию LLM в приложения с минимальной настройкой и поддерживает различные векторные хранилища данных, такие как MongoDB и Neo4j. Rig предоставляет удобные абстракции для работы с моделями и запросами, позволяя разработчикам быстро создавать мощные ИИ-приложения с использованием минимальных усилий.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru

Kokoro TTS — это модель 82M TTS, которая звучит очень реалистично и работает ⚡ быстро!

📌 HF: https://huggingface.co/spaces/hexgrad/Kokoro-TTS

@machinelearning_ru

⚡️ CPU vs GPU vs TPU Memory Subsystem Architecture

@machinelearning_ru

🔥 Monolith — это высокопроизводительная платформа машинного обучения, разработанная для крупномасштабного обучения рекомендательных систем и обработки данных. Именно этот фреймворк отвечает за систему рекомендаций в TikTok!

🔐 Лицензия: Apache-2.0

🖥 Github

@machinelearning_ru

🖥 nv-ingest - NVIDIA Ingest

NVIDIA-Ingest - это масштабируемый, ориентированный на высокую производительность микросервис для парсинга неструктурированных документов и метаданных очень большого размера.

Инструмент поддерживает PDF, Word и PowerPoint и использует специализированные микросервисы NVIDIA NIM для поиска, контекстуализации и извлечения текста, таблиц, диаграмм и изображений для использования в генеративных приложениях.

NVIDIA Ingest позволяет распараллелить процесс разбиения документов на страницы, где содержимое классифицируется (как таблицы, диаграммы, изображения, текст), извлекается в дискретный контент и далее контекстуализируется с помощью оптического распознавания символов (OCR) в четко определенную схему JSON.

После этого NVIDIA Ingest может опционально вычислением эмбедингов для извлеченного контента, а также опционально храненииь данные в векторной базе данных Milvus.

📌GitHub
📌Документация

@ai_machinelearning_big_data

#NVIDIA #parsing #embedding

👩‍💻 Mlxtend (machine learning extensions) — это библиотека Python, предоставляющая полезные инструменты для анализа данных и задач машинного обучения!

🌟 Она включает модули для обработки данных, визуализации, построения моделей, кросс-валидации и других аспектов, упрощая выполнение повседневных задач в сфере Data Science.

🌟 Библиотека предназначена для расширения возможностей популярных инструментов, таких как scikit-learn, pandas и NumPy. Она содержит функции для построения ансамблей моделей, работы с наборами данных, выполнения статистического анализа и визуализации результатов.

🖥 Github

@machinelearning_ru

💡Alibaba выпустили V-makeup - инструмент генрации макияжа  с открытым исходным кодом

Позволяет делать качественный перенос макияжа с помощью диффузионных моделей

https://github.com/Snowfallingplum/SHMT