Машинное обучение RU

🔥 Nvidia только что опубликовала репозиторий с SotA энкодером для vision задач

https://github.com/NVlabs/MambaVision

@machinelearning_ru

[Трансформер] на пальцах (буквально) ✍️📺
5-минутный видеоурок

Короткое видео, чтобы объяснить устройство "Трансформеров".

За 5 минут демонстрируется основная математика Трансформеров, с помощью ручки и бумаги!

@machinelearning_ru

⚡️ GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft.

GraphRAG использует графы знаний для улучшения ответов на запросы. Во время запроса система обращается к графу знаний и использует резюме сообществ и связи между сущностями для формирования контекста, который помогает LLM дать более точный ответ, чем традиционные методы, основанные на поиске по векторным сходствам.

Архитектура GraphRAG состоит из ключевых компонентов:

Indexer : разделяет корпус данных на мелкие текстовые блоки (TextUnits), извлекает из них сущности, связи и ключевые утверждения.
Clustering : группирует данные в иерархическую структуру с использованием метода Лейдена, создавая граф знаний.
Community Summarization : генерирует обобщенные описания для каждой группы данных, что помогает в понимании контекста и смыслового связывания всей информации.
Knowledge Graph : структура, объединяющая сущности и их связи, созданная на основе данных.

GraphRAG значительно улучшает работу моделей языка с частными данными, позволяя им более точно и полно отвечать на сложные вопросы, требующие синтеза информации из разных источников.

⚠️ Рекомендации и предупреждения:

- Эффективность индексации зависит от правильной идентификации понятий
- Индексация может быть дорогостоящей, рекомендуется создание тестового набора данных
- Система предназначена для опытных пользователей в предметной области
- Необходим анализ ответов человеком для получения достоверной информации
- Методология наиболее эффективна на текстовых данных с общей темой и множеством сущностей

📄 Документация:

🟢локальный запуск
🟢конфигурирование
🟢эмулятор Azurite

🖥Github
🖥Github для запуска на API Azure
🟡Страница проекта
🟡Arxiv

@ai_machinelearning_big_data

#LLM #GraphRAG #ML #RAG #NLP #Deeplearning

⚡️ Test-Time Training RNN (ТТТ) - принципиально новый метод машинного обучения.

TTT - это метод, который позволяет моделям искусственного интеллекта адаптироваться и учиться непосредственно во время использования, а не только во время предварительного обучения.
Основное преимущество TTT заключается в том, что он может эффективно обрабатывать длинные контексты (большие объемы входных данных) без значительного увеличения вычислительных затрат.

Исследователи провели эксперименты на различных наборах данных, включая книги, и обнаружили, что TTT часто превосходит традиционные методы.
По сравнительным бенчмаркам с другими популярными методами машинного обучения, такими как трансформеры и рекуррентные нейронные сети, было обнаружено, что в некоторых задачах TTT работает лучше.

Этот революционный метод позволит приблизиться к созданию более гибких и эффективных моделей искусственного интеллекта, способных лучше адаптироваться к новым данным в реальном времени.

На Github опубликованы адаптации метода:

- адаптация под Pytorch
- адаптация под JAX

🟡Arxiv
🖥 GitHub for Pytorch [ Stars: 277 | Issues: 3 | Forks: 12 ]
🖥 GitHub for Jax [ Stars: 129 | Issues: 1 | Forks: 6 ]

@ai_machinelearning_big_data

#Pytorch #Jax #TTT #LLM #Training

Этот учебник по Deep Learning поможет вам освоить основы нейросетей за одни выходные! Внутри вы найдете простые объяснения по Diffusion моделям, трансформерам, GNN, RL и многому другому — всё, что нужно для работы. Автор — настоящий гений, он изложил материал понятным языком и подготовил отличные практические задания.

И самое удивительное — учебник бесплатен и уже ждет вас!

https://udlbook.github.io/udlbook/

@machinelearning_ru

🌟 Lazy Diffusion — трансформер для редактирования изображений практически в реалтайме

LazyDiffusion — это диффузионный трансформер, который очень быстро генерирует объекты по промпту в области, заданной маской. Генерируются только пиксели под маской, и время выполнения зависит больше от размера маски, чем от размера изображения.

Если маска размера ~10% от всего изображения, то LazyDiffusion показывает в 10 раз большую скорость, чем другие модели и методы инпейнтинга.

🟡 Страничка Lazy Diffusion
🟡 Arxiv

@machinelearning_ru

⚡️ Как устроена одна из крупнейших рекомендательных систем

При каждом запросе “баннерная крутилка” просматривает базу из миллиардов документов, чтобы выдать наиболее подходящие для пользователя. Но сделать это нужно, не только хорошо, но и быстро — всего за 0,2 секунды, ведь никто не хочет ждать, когда загрузится сайт. Как нейросети помогают в ранжировании, Яндекс рассказывает на Хабре.

habr: https://habr.com/ru/companies/yandex/articles/816205/

@machinelearning_ru

CoIR: Комплексный бенчмарк для моделей генерации кода

Huawei представляет бенчмарк, включающий 10 датасетов для различных задач работы с кодом .

📝https://arxiv.org/abs/2407.02883
👨🏽💻https://github.com/CoIR-team/coir

@machinelearning_ru

Лучший локальный LLM до 10B

Семейство InternLM-2.5 7B только что появилось на

https://huggingface.co/collections/internlm/internlm25-66853f32717072d17581bc13

Storm-7B🌪️

Эта модель обеспечивает выигрыш в 50,5% по сравнению с GPT-4 Preview, что делает ее первой моделью с открытым исходным кодом, которая соответствует GPT-4 Preview в AlpacaEval 2.0.

📄https://arxiv.org/pdf/2406.11817
🤗https://huggingface.co/jieliu/Storm-7B

@machinelearning_ru

🌟 local-gemma — простая библиотека и CLI для запуска Gemma-2 локально; можно использовать CUDA, MPS или CPU

— pip install local-gemma"[cpu]"

local-gemma предоставляет простой и быстрый способ локального запуска Gemma-2 прямо из терминала (или можно использовать в коде как обычную библиотеку).
local-gemma построена на основе библиотек Transformers и bitsandbytes.

🖥 GitHub

@machinelearning_ru

⚡️ LLaRA: Увеличение объема данных для обучения роботов

Эффективность SotA в задачах манипулирования роботами превосходит подход, аналогичный RT-2

репозиторий: https://github.com/LostXine/LLaRA
abs: https://arxiv.org/abs/2406.20095

@machinelearning_ru

⚡️ Гайд в которой показано, как создать чат-бота с помощью Gemma 2 9B

Здесь используется Keras 3, работает на любом сервере - JAX, PyTorch, TensorFlow. Лично рекомендую JAX для обеспечения лучшей производительности.

https://colab.research.google.com/github/google-gemini/gemma-cookbook/blob/main/Gemma/Keras_Gemma_2_Quickstart_Chat.ipynb

@machinelearning_ru

⚡️ Nvidia учит модели diffusion считать!

Count Gen может генерировать правильное количество объектов, указанное в подсказке ввода, сохраaняя при этом естественный формат, соответствующий подсказке.

• GIthub: https://github.com/Litalby1/make-it-count
• Project: https://make-it-count-paper.github.io/

@machinelearning_ru

🔥 AuraSR- это модлеь с открытым исходным
кодом для апскейлинга, с помощью GigaGAN от Adobe.

🤏 Параметры 600 М
⭐️ Отлично подходит для придания резкости и мелких деталей изображениям

▶️ https://huggingface.co/spaces/gokaygokay/AuraSR

@machinelearning_ru