Машинное обучение RU

🔥 Вышел релиз 3.0.0 библиотеки transformers.js от HuggingFace!

🔍 Основные нововведения:

🌟 Поддержка WebGPU (до 100 раз быстрее, чем WASM!). WebGPU — это новый веб-стандарт для ускоренной графики и вычислений. API позволяет веб-разработчикам использовать GPU базовой системы для выполнения высокопроизводительных вычислений непосредственно в браузере. WebGPU является преемником WebGL и обеспечивает значительно лучшую производительность

🌟 Этот релиз увеличивает общее количество поддерживаемых архитектур до 120, охватывая широкий спектр модальностей ввода и задач. Среди известных новых имен: Phi-3, Gemma & Gemma 2, LLaVa, Moondream, Florence-2, MusicGen, Sapiens, Depth Pro, PyAnnote и RT-DETR

🌟 25 новых примеров проектов и шаблонов в репозитории проекта!

🌟 Transformers.js теперь совместим с Node.js (ESM + CJS), Deno и Bun!

🖥 Читать подробнее

@machinelearning_ru

🖥 client-researcher — инструмент для автоматизации исследований и создания отчетов на основе профилей клиентов. Он включает несколько агентов: для генерации профилей, поиска информации и составления отчета

⭐️ Скрипты можно запускать отдельно или как часть общего процесса. Проект основан на использовании ИИ для персонализированного контент-ресерча и предназначен для создания удобных отчётов в формате Markdown, используя API, такие как OpenAI.

🖥 GitHub

@machinelearning_ru

🚗 ParkingE2E: Комплексный инструмент для настройки авто парковщика для автомобиля на базе камер, от получения изображений до планирования движения автомобиля.

▪ Видео
▪ Github

@machinelearning_ru

Pangea-7B - полностью открытый MLLM для 39 языков

✨Обучен на основе разнообразного набора данных с 6 миллионами мультиязычных мультимодальных данных для настройки инструкций, охватывающих 39 языков

✅Полностью открытый дотаяет, код и контрольные точки

▪️Модель: https://huggingface.co/collections/neulab/pangea-6713c3b0d78a453906eb2ed8
▪️Документация: https://huggingface.co/papers/2410.16153

@machinelearning_ru

⚡️ Genmo выпустила Mochi 1 — это первая открытая модель для создания видеороликов на основе текста, созданная на базе архитектуры AsymmDiT с параметрами в размере 10 миллиардов.

В отличие от своих закрытых аналогов, Mochi 1 предоставляется бесплатно под лицензией Apache 2.0 и делает акцент на повышении качества движений и точности выполнения заданий.

Модель применяет технологию video VAE для эффективного сжатия данных, тем самым уменьшая потребности в памяти. Однако текущая версия поддерживает разрешение лишь до 480p, но вскоре будет выпущено обновление с поддержкой HD.

Ссылка на GitHub: https://github.com/genmoai/models

@machinelearning_ru

🖥 Бесплатный курс от Nvidia: Создание агентов RAG с LLM!

🌟 Агенты, работающие на основе больших языковых моделей (LLM), продемонстрировали хорошую способность к поиску для использования инструментов, просмотра документов и планирования своих подходов.

Этот курс покажет вам, как развернуть агентскую систему на практике для масштабирования ваших приложений в соответствии с требованиями пользователей и клиентов!

🔗 Ссылка: *клик*

@machinelearning_ru

⚡️ Stable Diffusion 3.5 Large.

Stability AI опубликовала Stable Diffusion 3.5 Large - модель text-to-image с 8 млрд. параметров.

В основе SD 3.5 Large - архитектура Multimodal Diffusion Transformer (MMDiT). Модель использует три предобученных текстовых энкодера:

🟢OpenCLIP-ViT/G;
🟢CLIP-ViT/L;
🟢T5-xxl.

OpenCLIP-ViT/G и CLIP-ViT/L имеют контекстную длину 77 токенов, а T5-xxl - 77/256 токенов.

Модель доступна по API в сервисах - Stability AI, Replicate и Deepinfra.

Для локального использования модели рекомендуется использовать ComfyUI (базовый воркфлоу) или Diffusers.

⚠️ Инференс квантованной NF4-версии на ограниченных VRAM

⚠️ Подробные инструкции по файнтюну и тренировке LoRA для Stable Diffusion 3.5 Large.

▶️Локальный запуск инференса на Diffusers:

# install Diffusers
pip install -U diffusers


# Inference
import torch
from diffusers import StableDiffusion3Pipeline

pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large", torch_dtype=torch.bfloat16)
pipe = pipe.to("cuda")

image = pipe(
    "A happy woman laying on a grass",
    num_inference_steps=28,
    guidance_scale=3.5,
).images[0]
image.save("woman.png")

📌 Лицензирование:

🟢Модель доступна под лицензией Stability Community License, которая разрешает бесплатное использование для исследовательских, некоммерческих и коммерческих целей организациями или частными лицами с годовым доходом менее 1 млн. долл. США.

🟠Для получения коммерческой лицензии для организаций с годовым доходом более 1 млн. долл. США необходимо связаться со Stability AI.


🟡Страница проекта
🟡Arxiv
🟡Модель


@ai_machinelearning_big_data

#AI #ML #Diffusion #SDL #StabilityAI

🔥 PostBot 3000 — это проект с открытым исходным кодом, который демонстрирует, как создать мощного AI-агента для генерации и стриминга ответов и артефактов

🌟 Он построен на Python с использованием FastAPI для API и Next.js для интерфейса. Этот проект помогает пользователям реализовать подобные решения, предоставляя примеры кода и шаги для локального развертывания

▪️GitHub

@machinelearning_ru

⚡️ Анимация для соединения karpathy llm.c, с помощью матричного умножения вручную

@machinelearning_ru

🔍 Surya — это библиотека для распознавания текста (OCR) и анализа макетов документов на более чем 90 языках. Она предоставляет функции для распознавания текста, детекции линий, определения порядка чтения и анализа структуры страниц в форматах изображений и PDF. Surya поддерживает многоязычный OCR, может извлекать текст с различными уровнями метаданных, такими как языки, расположение текстовых блоков и уверенность в распознавании.

💡 Среди её возможностей:

🌟 Распознавание текста с поддержкой множества языков;

🌟 Детекция строк и блоков текста с указанием координат и уверенности в результате;

🌟 Интерактивное приложение на базе Streamlit для тестирования

💡 Surya использует глубокое обучение и может быть ускорена за счет использования GPU. Она подходит для анализа сложных документов с таблицами, рисунками и другими элементами макета

🔐 Лицензия: GPL-3.0

▪️Github

@machinelearning_ru

Утекли данные о датах релиза и ценах на новые видеокарты Nvidia. Согласно этим данным, RTX 5090 должна выйти в январе по цене в $1800 (около 175 000 рублей).

@machinelearning_ru

🔥 FLUX-Controlnet-Inpainting — модель для инпейнтинга изображений (восстановления их отсутствующих частей) с использованием ControlNet, разработанную командой Alimama Creative

🌟 Модель обучалась на большом наборе данных изображений и доступна для некоммерческого использования. Она демонстрирует высокое качество инпейнтинга и предоставляет инструкцию по использованию с библиотекой Diffusers

▪️Github

@machinelearning_ru

Приветствую всех специалистов по машинному обучению! У нас есть хорошие новости: AI VK совместно с ODS анонсирует новое соревнование – VK RecSys Challenge. Основная цель – создание модели для предсказания фидбэка пользователей в VK Клипах.
Условия участия просты: регистрация открыта, достаточно оставить заявку. Соревнование начинается в октябре и продлится два месяца. Победителей ждут призы: общий призовой фонд составляет 2 000 000 рублей, и будут награждены пять лучших участников.
Для работы предоставляются необходимые данные, которые можно найти в разделе Dataset. Максимальное количество отправок решений в день ограничено пятью. Метрика оценки результатов – ROC AUC, где фидбэк оценивается по трем меткам: like = 1, dislike = -1, ignore = 0.
Это отличная возможность не только проявить себя, но и внести вклад в улучшение рекомендательных систем VK. Желаем всем удачи и ждем ваших заявок!

Призовой фонд
Общий призовой фонд: 2 000 000 руб
1 место: 800 000 руб
2 место: 600 000 руб
3 место: 300 000 руб
4 место: 200 000 руб
5 место: 100 000 руб
Отличная практика и шикарные призы, стоит поучаствовать. Все подробности тут.

@machinelearning_ru

🖥 Эта статья описывает, как создать веб-скрейпинг-агент на базе искусственного интеллекта с использованием модели Llama 3.2, работающей локально. Она охватывает процесс настройки и запуска AI-агента, демонстрируя его способность автоматически извлекать данные с веб-сайтов

🌟 Автор объясняет шаги по интеграции моделей, необходимых для обучения и работы скрейпинга, а также рассматривает, как использовать локально развернутую версию Llama для более эффективной работы

🔗 Читать: *клик*

@machinelearning_ru

🖥 MegaBlocks — это легковесная библиотека от Databricks для обучения моделей с использованием смеси экспертов (Mixture-of-Experts, MoE). Она включает оптимизированные MoE-слои, поддерживает параллельное обучение данных и экспертов, а также использует алгоритмы, которые позволяют повысить эффективность тренировки

🌟 Библиотека интегрирована с Megatron-LM и предназначена для ускорения работы больших языковых моделей за счет использования разреженных вычислений и сокращения объема данных без потерь в производительности

▪️Github

@machinelearning_ru

📎 ML: Медицинский дайджест за период 07.10 - 13.10 2024 г.


▶️ Модели машинного обучения и бенчмарки

🔘ONCOPILOT: Интерактивная модель для сегментации опухолей на основе КТ и измерения по RECIST 1.1.

Цель модели - сгенерировать 3D-предсказание объема конкретной анатомической структуры на основе входного изображения и визуальной маркировки.

🔘RespLLM: MLLM для прогнозирования состояния дыхательной системы.

RespLLM использует знания LLM и кросс-модальное внимание для объединения звука и текста чтобы оценить состояние дыхательной системы по аудио.

🔘GlucoBench: набор данных для прогнозирования уровня глюкозы.

GlucoBench - комплексныq ресурс для исследований в области прогнозирования уровня глюкозы на основе данных непрерывного мониторинга глюкозы (CGM).

🔘DiffAbXL: Модель диффузии для оценки аффинности связывания антител.

DiffAbXL - это масштабируемая модель диффузии, разработанная для прогнозирования и ранжирования аффинности связывания антител.


▶️ Фреймворки и методологии

🔘DALL-M: Система дополнения клинических данных с учетом контекста с помощью LLM.

DALL-M - платформа, которая использует LLM для создания новых клинически значимых признаков, дополняя наборы данных рентгеновских снимков с учетом контекста.

🔘ClinicalLab: Платформа для оценки и разработки медицинских агентов, имитирующая реальный клинический диагностический процесс.

ClinicalLab - набор инструментов и методологий, предназначенных для оценки и разработки медицинских агентов на основе LLM, которые могут эффективно имитировать процесс клинической диагностики.

🔘Синтез хирургических наборов данных с помощью диффузионных моделей.

Метод, основанный на диффузионных моделях, который позволяет генерировать реалистичные хирургические изображения с полными аннотациями.


▶️Медицинские LLM-приложения

🔘MMedAgent: Мультимодальный медицинский агент.

MMedAgent предназначен для обработки медицинских изображений разных модальностей и решения задач: grounding, сегментация, классификация, генерация медицинских отчетов (MRG), генерация с извлечением информации (RAG) и визуальные вопросы и ответы (VQA).

🔘Гибридная система для выявления редких заболеваний из неструктурированных клинических отчетов.

Cистема предназначена для решения проблемы идентификации редких заболеваний, используя преимущества как NLP-инструментов, так и LLM.

🔘LLM-AMT: конвейер для повышения точности LLM в задачах QA.

Конвейер, который улучшает работу LLM в медицинской области, добавляя к ним информацию из медицинских учебников.


▶️Исследования и обзоры

🔘Реконструкция изображений компьютерной томографии с малым числом ракурсов.

Исследование, посвященное поиску эффективных методов реконструкции КТ-изображений с ограниченным числом проекций.


🔜 Читать полный дайджест


@ai_machinelearning_big_data