Машинное обучение RU

⚡️ Nemotron 4 340B!

Nvidia только что выпустила LLM размером 340B , модель близкую к производительности OpenAI GPT-4 🤯 NVIDIA не претендует на право собственности на какие-либо сгенерированные выходные данные. 💚

🧮 340 миллиардов параметров в контекстном окне 4k
🔢 Обучена на 9 триллионах токенов
🌎 Поддерживает более чем 50 языков и более чем 40 языков программирования
🧠 Трубует 16x H100 в bf16 и ~8x H100 в int4
🤗 Модель доступна на huggingface

▪Модель: https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911
▪Технический отчет: https://research.nvidia.com/publication/2024-06_nemotron-4-340b

@ai_machinelearning_big_data

⚡️ Beyond LLaVA-HD: Diving into High-Resolution Large Multimodal Models

Обеспечивает превосходную производительность в различных тестах всего с 2 миллионами обучающих данных

▪github: https://github.com/yfzhang114/SliME
▪abs: https://arxiv.org/abs/2406.08487

@machinelearning_ru

⚡️ Только что вышла Stable Diffusion3. Самая лучшая бесплатная модель генерации изображений

https://habr.com/ru/news/821301/

@machinelearning_ru

⚡️ Mhubert - 95M параметров, 147 языков! Превосходит MMS 1B в ASR и LID 🤯

> Обучен работе на 90 тысячах часов многоязычных данных (147 языков)
> Использует дискретные речевые модули FAISS IVF (кластеризация на основе faiss)
> Поддержка многоязычнрй пакетной обработки данных
> Для обучения используется в 5-6 раз меньше данных, чем в базовой версии

▪hf
▪project

@machinelearning_ru

Ребята из AI VK в поиске хардкорного ML-разработчика для отдела музыкальных рекомендаций VK Музыки. AI VK — это департамент, развивающий технологии искусственного интеллекта для ключевых продуктов VK, создает системы рекомендаций и поиска контента на платформах.

Задачи: улучшать качество рекомендаций, запускать новые сценарии, анализировать статистику потребления контента, выдвигать и проверять гипотезы, проводить A/B-тесты.

Предоставляют: гибкий график, команду-топ, интересные задачи, полный соц.пакет.

Откликнуться:
— на сайте VK
— напрямую в лс @ellinatsyra

Recurrent Gemma 9B 🔥

> Производительность такая же, как у Gemma, с более чем на 25% меньшей задержкой и в 6-7 раз большим количеством токенов ⚡
> Выпущены базовые (9B) и обучающие (9B-IT) модели.
> MMLU - 60.5, CommonSenseQA 73.2, AGIEval 39.3 - довольно прочная мощная модель для дальнейшей доработки.
> Основана на архитектуре Griffin
> Обеспечивает более быстрый вывод с помощью длинных последовательностей.

> Доступно в Transformers! 🤗

https://huggingface.co/collections/google/recurrentgemma-release-66152cbdd2d6619cb1665b7a

@machinelearning_ru

⚡️ Яндекс поделился собственной библиотекой YaFSDP для обучения больших языковых моделей

Компания разработала YaFSDP при обучении генеративной модели YandexGPT 3 и уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Так, YaFSDP помогает в среднем до 25% ускорить обучение больших языковых моделей и тратить до 20% меньше ресурсов графических процессоров, требующихся для обучения.

Библиотека оптимизирует использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (выравнивание модели). Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько необходимо для обучения, притом коммуникацию между GPU ничто не тормозит.

📌 GitHub
📌 Статья на Habr

@machinelearning_ru

🎨 pypalettes

Поиск идеальных цветов для вашей диаграммы на Python может оказаться непростой задачей. Выбор цветов вручную часто приводит к перебору множества неподходящих вариантов.

Pypalette - новый пакет предоставляет коллекцию цветов из более чем 2500 палитр, тщательно отобранных сотнями экспертов.

Это приложение позволяет вам без особых усилий изучать различные палитры и выбирать лучшие ваорианты.

Импортируется всего в две строки кода, работает с диаграммами Matplotlib.

Найдите для себя подходящую цветовую палитру, которая выделит вашу диаграмму на общем фоне! 😍

pip install git+https://github.com/JosephBARBIERDARNAL/pypalettes.git

▪Github
▪Проект

@machinelearning_ru

⚡️ Hugging Face представляет Reachy2: революционного робота с открытым кодом

Компания Hugging Face совместно с французской компанией Pollen Robotics представила первого работающего гуманоидного робота в рамках программы «Le Robot».

Реми Кадене, ранее работавший инженером-робототехником в программе Tesla Optimus по разработке гуманоидных роботов, а теперь ведущий специалист проекта «Le Robot», продемонстрировал на своей странице в X видео с роботом Reachy2. Результат сотрудничества двух компаний, стремящихся сделать робототехнику доступной для всех.

Reachy2 — не просто очередной лабораторный эксперимент. Гуманоидный робот способен выполнять различные бытовые задачи и безопасно взаимодействовать с людьми и животными. В видео робот демонстрирует впечатляющие навыки: аккуратно расставляет чашки на сушилке для посуды и передает яблоко человеку плавным, безопасным движением.

Уникальность Reachy2 заключается в процессе его обучения. На начальном этапе человек, надев шлем виртуальной реальности, дистанционно управлял роботом, показывая ему, как выполнять различные задачи. Алгоритм машинного обучения затем изучил 50 видеозаписей этих сеансов телеуправления, каждая длительностью около 15 секунд. Каждое видео связано с отдельным датчиком робота Reachy2.

🤗 Самое важное — вся эта технология теперь доступна всем на Hugging Face

@vistehno

⚡️ Multi-Head RAG: решение многоаспектных задач с помощью LLM

Повышает точность поиска моделей для сложных многоаспектных запросов за счет использования активаций на уровне multi-head attention.

📝https://arxiv.org/abs/2406.05085
👨🏽💻https://github.com/spcl/MRAG

@machinelearning_ru

⚡️ MASA — универсальная модель для обнаружения и распознавания любых объектов в любой области изображения

MASA можно добавить как дополнительный компонент в любую систему обнаружения объектов / сегментации, для лучшего распознавания объектов.

📎 Arxiv
🟡 Страничка MASA

@machinelearning_ru

📌Neural Flow Diffusion Models — свежая работа от Григория Бартош, Дмитрия Ветрова и других

В этом исследовании команда Григория предлагает метод работы с произвольным шумом диффузионных моделей и даже позволяет его изучать

📎 Arxiv

@machinelearning_ru