Машинное обучение RU

🔬 Генерация белков с BoltzGen

BoltzGen — это инструмент для генерации и оптимизации дизайна белков, использующий передовые методы машинного обучения. Он позволяет создавать наборы ранжированных дизайнов на основе спецификаций в формате YAML, обеспечивая гибкость и высокую производительность.

🚀 Основные моменты:
- Генерация белков с использованием спецификаций YAML.
- Поддержка GPU для ускорения вычислений.
- Выходные данные включают промежуточные и финальные дизайны.
- Возможность анализа и фильтрации результатов.

📌 GitHub: https://github.com/HannesStark/boltzgen

#python

💡 Простой трюк экономит до 50% стоимости работы LLM

Секрет - перестать использовать JSON и перейти на TOON (Token-Oriented Object Notation).

TOON сокращает количество токенов на 30–60% при тех же данных и остаётся полностью читаемым.

TOON идеально подходит для таблиц - массивов с одинаковыми полями в каждой строке. Это гибрид YAML (отступы) и CSV (структура), где синтаксис минимален, а лишние символы отсутствуют.

Пример.

JSON:
{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

TOON:
users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Сразу видно: та же информация занимает гораздо меньше токенов.

Ключевые особенности:
- 30–60% меньше токенов
- Идеальный микс YAML и CSV
- Явная валидация: длина и поля задаются прямо в заголовке
- Минимальный синтаксис — никакой лишней пунктуации

Важно: для сильно вложенных и неоднородных структур JSON всё ещё может быть лучше.

TOON уже показывает стабильное снижение стоимости и рост точности извлечения данных у разных LLM.
Где бы это могло пригодиться в твоём процессе?

github.com/toon-format/toon

Каптча выходит на новый уровень

⚡️ Гибридные модели теперь - полноценные граждане в vLLM

По мере роста длины контекста классический attention всё хуже масштабируется: KV-кеш раздувается линейно, а prefill бьёт по задержкам квадратичным ростом.

Отсюда - всплеск интереса к гибридным архитектурам, где внимание смешивается с SSM, линейным attention и другими эффективными слоями.

В vLLM V1 такие модели стали first-class: единое управление состояниями (и KV-кеш, и SSM-стейт), оптимизации через CUDA Graphs, улучшенное префикс-кеширование. Это сильно повышает throughput на длинных последовательностях и моделях c MoE.

Итог: гибридные модели выходят в продовый стандарт - быстрее, дешевле по памяти и лучше подходят для LLM с большим контекстом.

Подробнее в статье: https://pytorch.org/blog/kernelfalcon-autonomous-gpu-kernel-generation-via-deep-agents/

На Vertex AI заметили модель gemini-3-pro-preview-11-2025 (пока недоступна).

Что уже известно: предварительная версия Gemini 3 выйдет в ноябре и будет поддерживать контекстное окно в 1 миллион токенов.

https://x.com/legit_api/status/1986066955191665043

🔥 minimind — проект с открытым исходным кодом, целью которого является обучение небольших языковых моделей (LLM) с нуля за короткое время, используя ограниченные вычислительные ресурсы!

🌟 Минимальный размер модели составляет 26 МБ, что примерно в 7000 раз меньше GPT-3, и её можно обучить за 3 часа на стандартных графических процессорах.

💡 Проект предоставляет полный цикл разработки LLM, включая обработку данных, предварительное обучение (pretraining), обучение с учителем (SFT), оптимизацию предпочтений (DPO) и поддержку моделей с экспертами (MoE). Он совместим с популярными фреймворками, такими как Transformers и Accelerate, и поддерживает обучение на одном или нескольких графических процессорах. Кроме того, проект включает тестирование на наборе данных Ceval и реализацию базового API, совместимого с OpenAI, для интеграции с другими приложениями.

🔐 Лицензия: Apache-2.0

🖥 Github

✔️ Lambda AI заключила многомиллиардную сделку с Microsoft.

Облачный стартап Lambda объявил о многомиллиардном соглашении с Microsoft на создание новой инфраструктуры для ИИ. Она будет оснащена десятками тысяч чипов Nvidia, в частности системами NVIDIA GB300 NVL72. Точная сумма сделки не раскрывается.

Lambda была основана в 2012 году и специализируется на облачных сервисах для обучения и развертывания ИИ-моделей. Новое соглашение позволит ей значительно нарастить мощности на фоне растущего спроса на ИИ. В планах не только аренда дата-центров, но и строительство собственной инфраструктуры.
lambda.ai

✔️ Alibaba представила превью Qwen3-Max-Thinking.

Китайский техногигант выпустил предварительную ризонинг-версию своей топовой модели Qwen3-Max, которая все еще находится на стадии обучения. Модель показала в тестах стопроцентный результат на сложных бенчмарках для оценки логического мышления (AIME 2025 и HMMT).

Под капотом - 1 трлн. параметров на архитектуре MoE, так же как и в родительской Max, Alibaba обещает, что обучение будет продолжено. Попробовать превью уже можно в Qwen Chat и через API Alibaba Cloud.
Qwen в сети X

✔️ Granite 4.0 Nano: семейство компактных моделей от IBM.

IBM опубликовала новое семейство открытых моделей Granite 4.0 Nano, которые созданы для работы в составе ИИ-агентов. Версия на 350 млн. параметров может работать на обычном CPU с 8–16 ГБ ОЗУ, а для варианта на 1,5 млрд. хватит GPU с 6-8 ГБ видеопамяти.

Семейство построено на гибридной архитектуре Mamba-2+Transformer, что позволило снизить потребление памяти на 70% и удвоить скорость инференса по сравнению с аналогами. По словам IBM, Granite 4.0 Nano показывают SOTA в следовании инструкциям и использовании инструментов. Все модели под Apache 2.0 и доступны на HuggingFace.
huggingface.co

✔️ Huxley-Gödel Machine: ИИ-агент, способный эволюционировать.

В Университете KAUST создали ИИ-агента Huxley-Gödel Machine (HGM), который может самосовершенствоваться, изменяя собственный код. Система не затрагивает ядро языковой модели, а переписывает окружающую ее инфраструктуру: управляющую логику, скрипты и инструменты.

Главное отличие от конкурентов в фокусе на долгосрочной продуктивности, а не на результатах в бенчах. Для этого был создан показатель Clade Metaproductivity (CMP), который мониторит совокупную эффективность всех потомков агента.

В тесте SWE-Bench Verified, HGM-агент на базе GPT-5-mini решил 61.4% проблем. Это лучше, чем существующие агенты с той же моделью. Код агента доступен на Github.
arxiv.org

✔️ Skyfall-GS: генератор 3D-моделей городов по спутниковым снимкам.

Skyfall-GS способна создавать детализированные и проходимые 3D-модели городов, используя только стандартные спутниковые изображения. В отличие от старых методов, которые могут воссоздать лишь крыши, Skyfall-GS генерирует недостающие элементы, что на выходе дает фотореалистичные городские пространства.

Пайплайн состоит из 3D Gaussian splatting (базовый 3D-каркас города) и диффузионных моделей, которые дорисовывают недостающие элементы (стены зданий и текстуры на уровне земли).

Skyfall-GS работает с 11 FPS на потребительском GPU и, по тестам, лучше аналогичных методик. Код проекта опубликован на GitHub.
skyfall-gs.jayinnn.dev

@ai_machinelearning_big_data

#news #ai #ml

🤖 WorldVLA - объединение VLA и World Model в единое автогенеративное ядро

Alibaba представила WorldVLA, новый шаг к созданию *авторегрессионной модели мира действий*
где одна архитектура одновременно предсказывает следующие кадры и действия агента.

🧠 Ключевая идея
WorldVLA объединяет Vision-Language-Action (VLA) и World Model в одном трансформере:
- Вход: *(image + language + action)*
- Выход: *(image + language + action)*
То есть модель не только «понимает» физику мира, но и «учится действовать» в нём.

⚙️ Как это работает
- Архитектура: единый Transformer, обучаемый одновременно на данных action-моделей и world-моделей.
- Лосс: комбинированная функция, объединяющая предсказание действий и состояния мира.
- Трюк с attention mask: маскируются предыдущие действия при генерации текущих —
этот приём значительно улучшает качество «action-chunk» генерации.

📊 Результаты
Тестировалось в симуляции (LIBERO benchmark):
WorldVLA превзошла отдельно обученные action-модели и world-модели.

💬 По сути, Alibaba делает следующий шаг к AGI-агентам с реальным пониманием физики,
где одно ядро может предсказывать, воспринимать и действовать — как единая система.

📄 Paper: https://arxiv.org/abs/2506.21539
💻 Code: https://github.com/alibaba-damo-academy/WorldVLA

#AI #WorldModel #VLA #DeepLearning #Alibaba #Transformers

Mental Models — тогда и сейчас 🧠

В 2007-м нейросети только учились подражать мозгу.
В 2025-м — учёные уже *буквально* создают его цифрового двойника.

1️⃣ E11 Bio сегодня баркодирует *каждую клетку мозга*, определяя тип нейрона и его форму по экспрессируемым белкам.
С помощью expansion microscopy — они “раздувают” мозговые ткани изнутри, чтобы легче проследить связи под микроскопом.

👉 Цель — создать точную 3D-карту мозга, где видно не только нейроны, но и химические градиенты, каннабиноиды, вирусоподобные частицы и внеклеточный матрикс, который становится более гибким под действием психоделиков (работа Gul Dolen).

Вопрос остаётся открытым: *сколько сложности нужно, чтобы реально смоделировать состояние мозга?*

2️⃣ 2007 год.
Тогда энтузиасты строили нейромодели на первых NVIDIA GPU. Один из них создал самодельный суперкомпьютер за $2000, чтобы моделировать рост дендритов и формирование связей в коре мозга.
Каждая точка — сотни потенциальных соединений, каждая ветвь — вычислительный узел.

3️⃣ На старых схемах — RC-цепочки, дифференциальные уравнения и дендрит как *коаксиальный кабель*:
ионы внутри, липидная оболочка снаружи, мембранная ёмкость, сопротивление, ионные каналы, создающие нелинейную динамику.
Сигнал передаётся не потоком электронов, а *каскадом открывающихся каналов*, как пальцы на длинной флейте.

🧩 Вывод: дендрит — это не просто «провод», а самостоятельный вычислительный элемент.
И даже спустя почти 20 лет, мозг всё ещё остаётся самым загадочным суперкомпьютером из всех.

#neuroscience #AI #mentalmodels #brainmapping #E11Bio #LLM

⚡ FlashVSR: Реальное время для видео-суперразрешения

FlashVSR — это инновационная система, использующая диффузионные модели для достижения суперразрешения видео в реальном времени. Она обеспечивает высокую эффективность и масштабируемость, работая на скорости около 17 FPS для видео 768 × 1408 на одном GPU A100. Проект включает новый набор данных VSR-120K для обучения и демонстрирует выдающиеся результаты, значительно опережая предыдущие модели.

🚀Основные моменты:
- Первая диффузионная модель для потокового видео-суперразрешения.
- Эффективная трехступенчатая дистилляция для быстрого обучения.
- Локально-ограниченное разреженное внимание для снижения вычислительных затрат.
- Поддержка ультра-высоких разрешений с до 12-кратным ускорением.

📌 GitHub: https://github.com/OpenImagingLab/FlashVSR

#python

🤖 deepagents 0.2 — открытая мульти-модельная среда для агентов

Вышло обновление с ключевым новшеством — абстракцией backend, которая позволяет заменить файловую систему на любую другую среду:
локальную, удалённую VM, базу данных и даже кастомный источник.

Теперь deepagents становится гибким инструментом для экспериментов с агентами и интеграций на уровне инфраструктуры.

Подробнее в блоге: blog.langchain.com/doubling-down-on-deepagents

ВКонтакте запустил формат шопсов - публикаций с карточками товаров или ссылками на быструю покупку прямо из соцсети. Теперь с помощью LLM и визуальных моделей (VLM) платформа умеет автоматически распознавать не только товарные карточки или прямые ссылки, но и нативные обзоры или распаковки от авторов, включая их в shoppable-разметку.

Посмотрите, как инженеры AI VK внедряют это под капотом и почему это важный шаг к умному e-commerce.

https://t.me/aihubvk/332

🏛️ США строят ИИ-суперкомпьютеры нового поколения для открытой науки

На конференции NVIDIA GTC DC 2025 представили масштабный проект: Argonne National Laboratory получит два суперкомпьютера на базе архитектуры Blackwell — Solstice и Equinox.

🔹 Solstice - главный вычислительный центр с 100 000 GPU NVIDIA Blackwell,
🔹 Equinox - вспомогательная система с 10 000 GPU, запуск ожидается в первой половине 2026 года.

Вместе они обеспечат до 2 200 экзафлопс производительности для ИИ-задач в области материаловедения, климата и биологии.
Это будет флагманская инфраструктура Министерства энергетики США, доступная для публичных исследователей.

💡 Обучение моделей будет идти через Megatron-Core — библиотеку NVIDIA для распределения моделей и данных между тысячами GPU с высокой стабильностью и загрузкой.
Инференс обеспечит TensorRT, компилирующий модели в оптимизированные ядра для минимальной задержки и высокой пропускной способности.

Особенность проекта - прямая интеграция с научными установками, вроде Advanced Photon Source: модели смогут анализировать потоки данных в реальном времени и запускать эксперименты без задержек на передачу информации.

🧠 Итог: США создают открытую платформу для науки, где агентные ИИ-модели будут помогать исследователям открывать материалы, лекарства и климатические решения нового поколения.

⚡️ vLLM представила режим Sleep Mode для мгновенного переключения моделей

В публикации на блоге vLLM описан новый режим работы - Sleep Mode - который позволяет резко ускорить переключение между языковыми моделями. Традиционные методы требуют либо держать обе модели загруженными (что удваивает нагрузку на GPU), либо перезагружать их по очереди с паузой в 30–100 секунд. Sleep Mode предлагает третий вариант: модели «усыпляют» и «просыпают» за считанные секунды, сохраняя уже инициализированное состояние.

Доступны два уровня сна: уровень 1 - веса сбрасываются на RAM, быстрый подъём, но требуется много оперативной памяти; уровень 2 - веса выгружаются полностью, минимальное использование RAM, подъём чуть медленнее. Оба уровня дали прирост производительности: переключения моделей стали от 18 до 200 раз быстрее, а время инференса после пробуждения - на 61–88 % выше, поскольку сохраняется память процессов, CUDA-графы и JIT-компиляция.

Sleep Mode идеально подходит для сценариев с частым использованием разных моделей и делает практичным мульти-модельное обслуживание даже на GPU среднего уровня - от A4000 до A100.

Блог: https://blog.vllm.ai/2025/10/26/sleep-mode.html

🚀 DeepSeek-OCR на Rust

Репозиторий представляет собой реализацию DeepSeek-OCR на Rust с быстрой командной строкой и совместимым с OpenAI HTTP-сервером. Он включает в себя модели для обработки изображений и текстов, позволяя создавать локальные решения для понимания документов.

🚀 Основные моменты:
- Быстрая CLI и сервер для OCR задач.
- Поддержка Apple Metal и экспериментальная CUDA.
- Оптимизирован для работы на Apple Silicon.
- Совместимость с клиентами OpenAI.
- Безопасная память и низкие накладные расходы.

📌 GitHub: https://github.com/TimmyOVO/deepseek-ocr.rs

#rust

Компании всё чаще переносят ИИ-модели в облако

В России растет тренд на использование генеративных нейросетей в облачной инфраструктуре. Облака дают больше инструментов для интеграции ИИ, упрощают масштабирование и делают внедрение экономически выгодным.

Yandex AI Studio — пример этой тенденции: платформа объединяет более 20 моделей и позволяет запускать AI-агентов и RAG-сценарии без программирования. С начала 2025 года спрос на генеративные модели на платформе вырос в 5 раз, ежемесячно там тратят десятки миллиардов токенов — показатель общего роста доверия бизнеса к облачным AI-решениям. Что характерно – на первом месте по потреблению YandexGPT, но около 30% трафика уже занимает Qwen3-235b, которую используют для агентских сценариев.

🔗 Подробнее здесь: https://www.vedomosti.ru/technology/news/2025/10/27/1150016-godovaya-viruchka

#AI #GenerativeAI #Agents #RAG

🤖 NanoChat теперь живёт на Modal!

Разработчик перенёс мод для NanoChat от Карпаты на платформу @modal - теперь он обучается на 8× H100 и разворачивается на 1× A10G.

💡 Всё открыто:

Исходники и инструкция — github.com/Echen1246/smarternano

Онлайн-демо space3--nanochat-serve-chat.modal.run

Отличный пример того, как LLM можно поднять на своих GPU - просто, гибко и без огромной инфраструктуры.

🧢CAP4D🧢!

Модель можно генерировать анимируемые 4D-аватары из любых изображений + управляющего видео.
🤩 Поддерживаются даже стилизованные фото!

👉 Код: github.com/felixtaubner/cap4d
🏠 Проект: felixtaubner.github.io/cap4d/