Машинное обучение RU

🚀 Оптимизация Sparse Attention для LLM

Flash Sparse Attention (FSA) предлагает эффективную реализацию нативного разреженного внимания, улучшая производительность на современных GPU. Этот репозиторий включает уникальный дизайн ядра, который минимизирует объем памяти и вычислений, что позволяет значительно ускорить обработку.

🚀 Основные моменты:
- Эффективная реализация для LLM на GPU.
- Уменьшение объема памяти и вычислений.
- Поддержка различных размеров групп GQA.
- Оптимизированный Triton-код для повышения производительности.

📌 GitHub: https://github.com/Relaxed-System-Lab/Flash-Sparse-Attention

@machinelearning_ru

🔥 Внимание! Тут реальный шанс испытать свои модели на данных из мира криптофинансов.

Overnight.fi запускает соревнование ETH/USDC Predictions – конкурс прогнозирования курса пары ETH/USDC. Отличный шанс применить свои скиллы для решения прикладной задачи в DeFi.

Призовой фонд – $2,500, $1,500, $1,000 за три лучшие модели 🎉. Регистрация уже открыта, все подробности на странице соревнования.

👉 Детали соревнования: https://linkly.link/2F5sD

📚 Университеты под ударом ИИ

В Великобритании за 4 года число вакансий для выпускников рухнуло со 180 000 до 55 000. Автоматизация рутинных задач снижает потребность в молодых специалистах - и вместе с этим падает спрос на дипломы.

ИИ "срезает" нижние ступени интеллектуальной работы: помощников юристов, аналитиков, координаторов, копирайтеров. Исчезает входная точка, ради которой раньше шли в университет.

Связка "обучение → гарантированная работа" рушится.

При этом университеты завязаны на дорогие кампусы, администрацию и исследовательские расходы. Эта модель тяжело перестраивается под падающий спрос.

В итоге ценность диплома снижается, долги остаются, а ROI многих программ обнуляется. Особенно сильно страдают средние вузы — их вытесняют AI курсы и практические стажировки, которые дают реальное портфолио и работу быстрее.

telegraph.co.uk/news/2025/09/17/universities-are-doomed-but-there-is-one-silver-lining/

🔥 Новая модель: Ring-mini-2.0

📊 При размере всего 16B параметров (и лишь **1.4B активных**) модель показывает уровень рассуждений, сравнимый с плотными моделями до 10B.

На ключевых бенчмарках:
- LiveCodeBench, AIME 2025, GPQA, ARC-AGI-v1
Ring-mini-2.0 обходит все плотные модели <10B и даже соперничает с более крупными MoE-моделями (например, gpt-oss-20B-medium), особенно в задачах логического мышления.

⚡ Дополнительно — команда vibe на базе Ring-mini-2.0 в anycoder собрала быстрый чат-приложение, демонстрируя практические возможности модели.

Ring-mini-2.0 — ещё один шаг к компактным, но мощным reasoning-моделям, которые легко запускать и интегрировать.

#AI #LLM #RingMini #Reasoning #MoE

https://huggingface.co/spaces/akhaliq/Ring-mini-2.0

⚡️ Ling-flash-2.0 теперь в открытом доступе! ⚡️

Модель на 100B параметров, но задействовано всего ≈6.1B активных, что делает модель очень экономной в вычислительной нагрузке.

🚀 Чем хороша Ling-flash-2.0
- Обучена на более чем 20 триллионах токенов с до-обучением и RL-этапами.
- Демонстрирует state-of-the-art производительность среди плотных моделей до 40B параметров.
- Особенно хороша в сложном рассуждении, генерации кода и задачах с фронтендом.

⚙️ Архитектура и эффективность
- MoE-архитектура с активированием лишь части параметров (activation ratio 1/32).
- Много технических фишек: продвинутое распределение экспертов, баланс внимания, схема маршрутизации без вспомогательных потерь и др.
- На железе H20 модель генерирует 200+ токенов в секунду - в 3× быстрее по сравнению с плотной моделью 36B.
- Поддерживает контексты до 128K токенов (с YaRN).

https://huggingface.co/inclusionAI/Ling-flash-2.0

@ai_machinelearning_big_data


#moe #llm #ml #ai #opensource

🤖 Build a Coding Agent from Scratch — Full Python Tutorial

Новый туториал показывает, как своими руками собрать мини-версию Claude Code-агента на Python.

Что внутри:
- 🧠 Создание reasoning-модуля («мозга» для принятия решений)
- 📝 Инструкции и ReAct-loop для пошагового мышления
- 🔧 Интеграция инструментов и памяти
- 🛡 Безопасное выполнение кода и песочница
- 📂 Работа с большими кодовыми базами (контекст-менеджмент)

Итог: агент, который умеет писать, тестировать, дебажить и итеративно улучшать код. Отличный материал, чтобы разобраться, как устроены современные coding-assistants под капотом.

🟢 Read: https://siddharthbharath.com/build-a-coding-agent-python-tutorial/

🌐 DeepMind представила URL Context — теперь можно извлекать данные с любой веб-страницы, PDF или картинки просто по ссылке!

⚡ Что умеет:
- Подтягивает данные с до 20 URL за один запрос
- Никакой настройки — просто вставляешь ссылки в промпт
- Оплата только за токены, без доп. стоимости за инструмент

💡 Возможности:
▸ Вытаскивать цены, имена, ключевые факты из статей
▸ Сравнивать PDF, отчёты или статьи
▸ Генерировать резюме, посты и документы на основе разных источников
▸ Анализировать GitHub-репозитории и техдоки

👉 URL Context превращает LLM в универсальный инструмент для работы с реальными данными в сети.

https://ai.google.dev/gemini-api/docs/url-context?hl=ru

🚀 Обучение LLM-агентов для многоповоротного принятия решений

AgentGym-RL — это фреймворк для тренировки LLM-агентов, способных принимать решения в сложных многоповоротных сценариях с использованием методов усиленного обучения. Он предлагает разнообразные реальные сценарии и поддерживает популярные алгоритмы RL, улучшая производительность моделей до уровня коммерческих решений.

🚀 Основные моменты:
- Модульная система для гибкости и расширяемости.
- Поддержка различных реальных сред, включая веб-навигацию и глубокий поиск.
- Метод ScalingInter-RL для стабильного обучения агентов.
- Интерактивный интерфейс для визуализации взаимодействий.

📌 GitHub: https://github.com/WooooDyy/AgentGym-RL

#python

🧠 SpikingBrain-7B: Модели, вдохновленные нейробиологией

SpikingBrain-7B представляет собой архитектуру, основанную на механизмах мозга, которая использует гибридное внимание и модули MoE для эффективного обучения. Она обеспечивает высокую производительность при минимальных затратах данных и адаптирована для кластеров без NVIDIA, что позволяет значительно ускорить обучение и вывод.

🚀Основные моменты:
- Интеграция гибридного внимания и MoE.
- Поддержка низкопрофильного обучения с использованием менее 2% данных.
- Оптимизирована для кластеров MetaX.
- Достигает более чем 100-кратного ускорения в обработке длинных последовательностей.
- Включает версии для HuggingFace и квантованную версию.

📌 GitHub: https://github.com/BICLab/SpikingBrain-7B
📌 Видео-разбор: https://www.youtube.com/watch?v=pLNheyBzA9o

🌐 Теория «Мёртвого интернета» в действии

1️⃣ Именно поэтому Цукерберг и его компания продвигают своих AI-компаньонов (Цитата Марка: *«у каждого должны быть AI-друзья»*) — потому что теория «мёртвого интернета» постепенно становится реальностью.

2️⃣ Интернет и социальные сети уже переполнены ботами на базе ИИ — и отличить человека от машины становится всё сложнее.

🤖 Граница между реальным общением и синтетическим присутствием всё больше размывается.

🧠 mem-agent — агент с памятью в стиле Obsidian

Лёгкая LLM-модель, которая умеет хранить знания в человеко-читаемой памяти (Markdown-файлы) и использовать их для ответов. Агент не просто отвечает на запросы, а действительно «помнит» факты и обновляет их по ходу работы.

Это агент на 4B с локальной, совместимой памятью для Claude, ChatGPT и LM Studio.

Как работает память:
- Вся информация лежит в Markdown: memory/user.md и отдельные файлы для сущностей.
- Связи между файлами сделаны как в Obsidian: [[entity]].
- Агент может извлекать факты, обновлять их или задавать уточняющие вопросы, если запрос неполный.

Вместо огромных контекстов и упора в лимиты, Mem-Agent извлекает нужные фрагменты из локальных документов, сжимает их и передаёт агенту.

Как обучали:
- Базовая модель: Qwen3-4B-Thinking-2507.
- Использовали метод онлайн-RL (GSPO).
- Тестировали на md-memory-bench.

Результаты:
- mem-agent уверенно решает задачи памяти, близко к уровню больших моделей.
- Даже в сжатых версиях (4-bit и 8-bit) сохраняет почти то же качество.

Чем хорош:
- Память можно читать и редактировать вручную.
- Агент работает быстро и эффективно, даже в маленьком размере.
- Удобен как компонент в более крупных системах (например, через MCP).

🟠Model: https://huggingface.co/driaforall/mem-agent
🟠Blog: https://huggingface.co/blog/driaforall/mem-agent
🟠Repo: https://github.com/firstbatchxyz/mem-agent-mcp

@ai_machinelearning_big_data


#LLM #AI #Agents #MemAgent #Dria #MCP #LocalAI

🖥 HunyuanImage 2.1 теперь доступна в квантизованной версии!

Это text-image модель, которая может генерировать изображения в 2K.

Теперь модель можно запускать локально. Для этого необходимо минимум 24GB VRAM.

🟢Hugging Face: https://huggingface.co/tencent/HunyuanImage-2.1)
🟢Подробнее про модель: https://t.me/machinelearning_interview/2161

@ai_machinelearning_big_data


#AI #HunyuanImage #StableDiffusion #ImageGeneration

Google Cloud добавил два новых расширения в Gemini CLI, которые делают работу с приложениями удобнее и безопаснее:

1️⃣ /deploy — деплой прямо в Cloud Run
2️⃣ /security:analyze — проверка кода на уязвимости

Теперь эти операции можно выполнять прямо из командной строки.
Подробнее: https://goo.gle/46aR6a0

#GoogleCloud #GeminiCLI #CloudRun #Security #DevTools

🧠 ThinkMesh: Параллельное мышление для LLM

ThinkMesh — это библиотека на Python, позволяющая запускать различные пути рассуждений параллельно, используя внутренние сигналы уверенности для перераспределения вычислительных ресурсов. Она поддерживает оффлайн-работу с Hugging Face Transformers и API.

🚀 Основные моменты:
- Параллельное рассуждение с динамическим перераспределением бюджета
- Оффлайн-работа с Transformers и интеграция с OpenAI
- Асинхронное выполнение с динамическими микро-пакетами
- Поддержка пользовательских верификаторов и редукций
- Кэширование и метрики для отслеживания производительности

📌 GitHub: https://github.com/martianlantern/ThinkMesh

#python

🚀 Unsloth показал, как динамическая квантизация (Dynamic GGUFs) может радикально ускорить и облегчить работу LLM, не теряя качество.

В чём суть
Обычные методы квантизации уменьшают разрядность весов модели одинаково для всех слоёв.
Unsloth пошёл дальше: каждому слою подбирается своё число бит.
- Ключевые слои → 6–8 бит (чтобы сохранить точность).
- Второстепенные → 1–3 бита (для максимального сжатия).

Результаты, которых удалось добиться:
- 671B DeepSeek-V3.1: сжатие модели с 671GB до 192GB (–75%).
- 1-бит версия уже обгоняет GPT-4.1 и GPT-4.5 в «no-thinking» задачах.
- 3-бит версия превосходит Claude-4-Opus в «thinking» задачах.
- 5-бит версия догоняет и стабильно держит уровень SOTA.

🟢Почему это интересно:
- Сжатие → модели становятся доступнее для запуска на меньших GPU.
- Качество не падает, а иногда даже растёт за счёт умного распределения битности.
- Тесты на Aider Polyglot benchmark показывают лучшие результаты среди существующих quant-моделей.

🟢Итог
Dynamic GGUF от Unsloth — это не просто ещё один способ «урезать» модель, а технология, которая делает триллионные LLM компактными, быстрыми и при этом сверхточными.

⭐Пост: https://docs.unsloth.ai/basics/unsloth-dynamic-ggufs-on-aider-polyglot

#Unsloth #LLM #Quantization #AI #AiderPolyglot