Machine learning Interview

📢 Grok 2 теперь в открытом доступе!

Модель уже устарела, но то, что её веса выложили на Hugging Face — большой шаг для сообщества. 🚀
Это показывает: xAI не забывает про опенсорс и готова делиться даже старыми наработками.

Было бы круто, если бы и другие компании делали так же — выкладывали веса «списанных» моделей.

Полезно было бы иметь открытые GPT-4.5 или Claude 3 Opus.

🔗 https://huggingface.co/xai-org/grok-2

🦜 «Где обитает эта исчезающая птица?»
🦭 «Сколько тюленей рождается?»
🐠 «Снизилось ли количество лосося?»

DeepMind представила новую версию Perch — AI-модели, обученной анализировать звуки природы (от птичьих трелей до шумов коралловых рифов) и помогать исследователям быстрее выявлять угрозы в экосистемах. Первая версия уже скачана более 250 000 раз и интегрирована в инструменты вроде BirdNet Analyzer.

Что нового в Perch 2.0:
- Обучена на гораздо более широкой выборке видов: птицы, млекопитающие, амфибии, антропогенные шумы. Данных почти в два раза больше, чем в оригинале.
- Лучше адаптируется к новым условиям, включая подводные сцены, например, коралловые рифы.
- Открыта для использования — модель доступна в open-source на Kaggle.

Примеры применения:
- Австралия: с помощью Perch обнаружили новую популяцию редкого Plains Wanderer.
- Гавайи: модель распознала трели редких honeycreeper-ов. Обработка звуков стала в 50 раз быстрее, что критично для мониторинга видов под угрозой исчезновения.

Как это работает:
- Совмещены vector search и active learning, что позволяет создать классификатор на основе одного примера звука.
- В статье "The Search for Squawk: Agile Modeling in Bioacoustics" подробно описан этот подход.

Почему это важно:
- Звуки природы дают данные о здоровье экосистем и численности видов.
- Perch 2.0 позволяет быстро анализировать огромные объёмы записей и находить нужные сигналы без потери точности.
- Это реальный вклад AI в экологию: больше времени на действия, меньше — на ручной анализ.



📌 Подробнее

⚡️ DreamOn — open-source модель для гибкого заполнения кода (code infilling) без фиксированного шаблона

Разработчики из DreamLM сделали Diffusion LLM, которая умеет вставлять недостающие фрагменты кода любой длины прямо во время генерации. Это значит — никакого ограничения на размер “маски” и больше свободы при автодополнении.

🔥 Фишки
— Заполнение кода в любом месте файла, без заранее заданной длины вставки.
— Несколько алгоритмов генерации (`entropy`, maskgit_plus, `topk_margin`).
— Возможность наблюдать процесс инфиллинга по шагам.
— Поддержка Python через transformers и torch.

⚡ Пример запуска

from transformers import AutoModel
model = AutoModel.from_pretrained("Dream-org/DreamOn-v0-7B", torch_dtype="bfloat16", trust_remote_code=True).to("cuda").eval()
output = model.diffusion_generate(..., alg="entropy", max_new_tokens=64)

🔗 GitHub: https://github.com/DreamLM/DreamOn
🔗 Модель: https://huggingface.co/Dream-org/DreamOn-v0-7B

📢 xAI представила Model Card для Grok 4

🔑 Главное:
- ❌ 0% вредных ответов на очевидно опасные и вредеоносные вопросы.
- 🧬 Суперрезультаты по биологии: 47% на BioLP-Bench (люди — 38%), до 71% на VCT (люди — 22%), 87% на WMDP Bio.
- 🛡️ Даже при джейлбрейках модель отказывается отвечать. Лишь при изменении скрытых правил проскользнуло около 1%.

⚙️ Безопасность
- Три слоя защиты: системные промпты, встроенные фильтры и тематические блокировки.
- AgentDojo обходит защиту в 0.02% случаев, MakeMeSay выигрывает только 12% (намного реже, чем у Grok 3 Mini).
- Фильтры отдельно следят за биологией/химией, плюс базовые отказы для оружия, преступлений, CSAM, мошенничества и самоповреждений.

📚 Как обучали
- Данные: интернет, сторонние наборы, пользовательские и автосгенерированные данные.
- Очистка и фильтрация → обучение с RLHF и дополнительным safety-тюнингом.
- В продакшене работает системный промпт, который усиливает отказы на опасные запросы.

✨ Итог: Grok 4 сочетает высокие научные показатели с устойчивостью к взлому и прозрачной системой защиты.

📑 Подробности

⚡ PyTorch представил **ZenFlow** — новый движок для обучения больших языковых моделей без «простоев» GPU.

В чём проблема?
Когда при обучении LLM данные и градиенты выгружаются на CPU (offloading), GPU часто простаивает: шина PCIe медленная, а вычисления на CPU ещё медленнее. В итоге шаг обучения может замедлиться в 10–15 раз.

Как решает ZenFlow:
- 🔄 Делит градиенты по важности: ключевые обновляются сразу на GPU, остальные — асинхронно на CPU.
- ⏱️ Все операции перекрываются: пока CPU считает и гоняет данные по PCIe, GPU продолжает работать.
- 🚀 Это снижает простои GPU на 85% и ускоряет обучение в среднем в 5 раз (по сравнению с DeepSpeed ZeRO-Offload).
- 📉 PCIe загружается в 2 раза меньше, а качество обучения моделей не падает.

Итог:
ZenFlow делает обучение LLM быстрее и эффективнее — теперь GPU работают почти без перерывов, а модели масштабируются без потери качества.

🟢 Подробности: https://pytorch.org/blog/zenflow-stall-free-offloading-engine-for-llm-training/

@machinelearning_interview

🕹️ Новый мощный бенчмарк для ИИ — **HeroBench** 👏

Он проверяет, умеют ли LLM планировать длинные цепочки действий в реалистичном RPG-мире: выбрать снаряжение, собрать ресурсы, скрафтить предметы и победить монстра.

⚔️ Особенность: всё завязано на урон, резисты и здоровье, поэтому модели должны рассуждать о компромиссах, а не просто угадывать шаги.
🤖 Модели пишут Python-код со стратегией, симулятор исполняет его и оценивает прогресс.

🔑 Итоги:
- Grok-4 лидирует на сложных заданиях
- За ним GPT-5 и Gemini 2.5 Pro
- GPT-4.1 остаётся сильнейшей «обычной» моделью без спец. reasoning-режимов
- Ошибки чаще всего связаны с неверным выбором экипировки или кривым исполнением

📄 Paper: arxiv.org/abs/2508.12782

#AI #LLM #benchmark #gaming #reasoning

🤖 Прокачай вайб-кодинг: Anthropic выкатили 17 бесплатных лекций по разработке с ИИ-агентами

💡 За 8 часов ты узнаешь:
— как правильно писать код с помощью LLM
— как создавать идеальные промпты
— как собрать собственного агента на Claude или другой модели
— и какие лучшие практики реально работают в проде

📚 Полный гайд по работе с ИИ — от основ до тонкостей.

@machinelearning_interview

🚀 ИИ придумывает безумные новые эксперименты в физике — и они реально работают

ИИ выходит за пределы привычного — теперь он придумывает эксперименты в физике, которые не только выглядят странно, но и реально работают.

🔭 На примере LIGO (детектор гравитационных волн):
AI предложил необычные, на первый взгляд хаотичные конструкции, которые повысили чувствительность установки на 10–15%. Для этой области — это огромный прорыв.

- Алгоритм предложил добавить трёхкилометровое кольцо для циркуляции света.
На первый взгляд это выглядело хаотично и бессмысленно, но решение оказалось крайне эффективным.
- Такой подход позволил бы повысить чувствительность детектора на 10–15% — огромный прогресс в этой области.
- В квантовой оптике ИИ нашёл новые способы для “entanglement swapping”, которые позже подтвердились экспериментально.
- Алгоритмы также

🌀 В квантовой оптике AI нашёл новые, более простые методы для *entanglement swapping* (перестановки запутанных частиц), которые затем подтвердили экспериментально.

⚛️ Помимо этого, AI открывает симметрии в больших массивах данных (например, симметрии Лоренца в экспериментах на Большом адронном коллайдере) и даже выводит новые формулы — в том числе для описания тёмной материи.

✨ ИИ активно помогает открывать фундаментальные законы природы.

📌 Подробнее

@machinelearning_interview

🔥 Qwen-Image-Edit — новый инструмент для умного редактирования картинок от Qwen

Теперь можно не только генерировать изображения, но и редактировать их по команде: менять объекты, стиль, фон или даже текст прямо на картинке.

Что умеет:
- ✨ Редактировать смысл и детали — можно, например, повернуть объект, сменить цвет или стиль, не трогая остальное.
- 🔤 Менять текст на картинках — добавлять, убирать или редактировать надписи на китайском и английском, при этом сохраняются шрифт и стиль.
- 🏆 Лучшие результаты на тестах — модель показывает топ-уровень среди открытых решений.

Как работает:
Система сочетает понимание картинки (VL-модель) и точное управление структурой (VAE-кодировщик). Поэтому картинка сохраняет и смысл, и детали после правок.

🟢 Как попробовать:
Достаточно открыть Qwen Chat и выбрать режим *Image Editing*.

🟠Попробовать: https://chat.qwen.ai/?inputFeature=image_edit
🟠Hugging Face: https://huggingface.co/Qwen/Qwen-Image-Edit
🟠ModelScope: https://modelscope.cn/models/Qwen/Qwen-Image-Edit
🟠Blog: https://qwenlm.github.io/blog/qwen-image-edit/
🟠Github: https://github.com/QwenLM/Qwen-Image
🟠API (💰$0.03 за 1 редактирование): https://alibabacloud.com/help/en/model-studio/qwen-image-edit


@ai_machinelearning_big_data

#qwen #ml #llm #ai

🇺🇸🇨🇳 Чип NVIDIA H20 стал разменной монетой в технологическом противостоянии

Графический процессор NVIDIA H20 оказался в центре торговых переговоров между США и Китаем. Этот чип, изначально созданный как безопасная для экспорта версия H100, теперь требует специальных лицензий и облагается 15% сбором с продаж.

Ситуация осложняется тем, что китайские регуляторы начали сомневаться в безопасности этих чипов, а местные компании активно переходят на отечественные аналоги. При этом H20 остается востребованным благодаря поддержке CUDA и высокой производительности в задачах обучения ИИ.

На фоне этих ограничений китайские производители вроде Huawei, Cambricon и Biren получают возможность укрепить свои позиции на рынке. Huawei уже предлагает полный стек решений для ИИ-вычислений, снижающий зависимость от западных технологий.

🔗 Подробнее в статье - *клик*

@machinelearning_interview

🔮 Prophet Arena — новый бенчмарк, созданный для проверки предсказательных способностей ИИ.

Он отвечает на вопрос: может ли модель действительно «увидеть будущее», связывая точки настоящего?

Особенности Prophet Arena:
- 🚫 Его невозможно «взломать». В отличие от классических бенчмарков, которые со временем насыщаются, здесь модели сталкиваются с реальными будущими событиями. Завтра нельзя заучить — если только не изобрели машину времени.
- 🔍 Он прозрачен и интерпретируем. Высокие результаты означают реальное предвидение, что напрямую конвертируется в инвестиционные преимущества.

👉 Подробнее: https://prophetarena.com

🚀 В репозитории rasbt/LLMs-from-scratch появился новый раздел: Gemma 3 from Scratch — PyTorch-реализация модели Gemma 3 (270M) полностью с нуля, выполненная в Jupyter-ноутбуке (~1.5 ГБ RAM).

Gemma 3 — одна из самых интресных open-weight моделей от Google.

Это отличный способ изучить архитектуру крупной LLM без абстракций.

Советую: если вы хотите глубже понять, как работают современные языковые модели — этот раздел будет идеальным обучающим материалом.

📌 Читать

📌Подборка материалов по оптимизации агентных систем.

Awesome-Self-Evolving-Agents - подборка материалов по теме оптимизации агентов в концепции саморазвивающихся систем, в которой собраны работы с 2023 по 2025 год по 3-м направлениям: оптимизация одиночного агента, оптимизация мультиагентных систем и методы их оценки.

Содержание

🟡Оптимизация одного агента

🟢Оптимизация поведения LLM

🟢Оптимизация промпта

🟢Оптимизация памяти

🟢Инструменты

🟡Мультиагентная оптимизация

🟡Оценка

🟠LLM-судья

🟠Агент-судья

🟠Безопасность и элайнмент саморазвивающихся агентов


@ai_machinelearning_big_data

#AI #ML #LLM #Agents #AwesomeList #Github