Machine learning Interview

🚨 BREAKING: Цукерберг переманил трёх топ-исследователей из Google DeepMind — именно тех, кто стоял за моделью, взявшей золото на Международной математической олимпиаде (IMO)

🧠 Это авторы модели, которая без дообучения решила задачи уровня золотой медали IMO и показала, что ИИ может соревноваться с лучшими математиками мира.

🔥 Цукерберг явно нацелен на лидерство в области ИИ. Цук не останавливается.

@machinelearning_interview

🧠 Хочешь подключить свой LLM к MCP-серверу без Cursor и Claude?

mcp-use — open-source фреймворк, который позволяет:

🔌 Подключать любой LLM к любому MCP-серверу
🤖 Строить собственных MCP-агентов без закрытых решений
💻 Работать полностью локально: 100% контроль и приватность

✅ Совместим с Ollama, LangChain и другими LLM-инструментами
✅ Открытый код, легко настраивается под любые пайплайны

Идеально для:
— разработчиков, строящих кастомных агентов
— локальных ассистентов без внешних API
— продвинутых LLM‑интеграций

📦 Попробуй и собери своего MCP‑клиента без ограничений!

GitHub → https://github.com/mcp-use/mcp-use

🔊 OpenVoice — опенсовр инструмент для клонирования голоса

Вы можете сгенерировать копию любого голоса всего по одной короткой записи — и озвучивать тексты с нужной интонацией, эмоцией и даже на другом языке.

💡 Что умеет:
— Воспроизводит голос с точным тембром и стилем
— Меняет тон, темп, эмоции и акцент
— Работает даже с языками, которых не было в обучении (zero-shot)
— Быстрая генерация и минимальные ресурсы — дешевле многих коммерческих решений

⚙️ Как устроено:
OpenVoice использует комбинацию моделей: одна отвечает за стиль, вторая — за тональность и характеристики речи. Обучена на сотнях тысяч голосов и стилей.

Онлайн-демо: https://huggingface.co/spaces/myshell-ai/OpenVoice

🎯 Кому подойдёт:
— Авторам подкастов, дикторам и блогерам
— Разработчикам — для интеграции озвучки в приложения
— Исследователям — для изучения архитектуры голосовых моделей

• Github: https://github.com/myshell-ai/OpenVoice/tree/main

@machinelearning_interview

🤖 ChatGPT Agent vs. Genspark Super Agent — битва ИИ-ассистентов нового поколения

Не так давно OpenAI выпутили ChatGPT Agent, способного выполнять сложные многошаговые задачи — от ресёрча до автоматизации. Но Genspark пошёл ещё дальше и предлагает интеллектуального супер-агента, ориентированного на пользователей и сложные команды.

🔹 ChatGPT Agent
— Доступ к браузеру, API, терминалу
— Глубокий поиск + Gmail/Calendar интеграция
— Контроль, безопасность и прозрачность
— Идеален для профессиональных пользователей и команд, которым важна защита данных и максимальный контроль

🔹 Genspark Super Agent
— No-code-процессы + генерация слайдов, видео
— 80+ встроенных инструментов: CRM, задачи, API, документы
— Агент сам выбирает подходящий инструмент и переключается в процессе
— Интеллектуальный feedback-loop и динамическая оркестрация действий
— В бенчмарках Genspark часто обходит конкурентов по точности и эффективности

📌 Для индивидуальных пользователей и малых команд Genspark имеет явные приемущества: мощь, гибкость и доступность — без кода и без боли.

⚡️ 1.3 млн токенов/сек на H800 — новый рекорд для LLM-инференции

Команда Yiakwy-XPU показала, как эффективно запускать большие языковые модели (например, DeepSeek V3) на 13×8 H800 DGX SuperPod с помощью SGlang в разнесённой архитектуре (disaggregated serving):

📊 Что удалось достичь:
• 1.3M токенов/сек на входе (prefill)
• 20K токенов/сек на выходе (decode)
• До 80K токенов/сек суммарной производительности
• При 50–150 параллельных запросах — стабильный throughput до 55K токенов/сек

📌 Важные выводы:
• Префилл — главное узкое место (TTFT ↑ при длинных запросах и больших батчах)
• Оптимальное соотношение вход/выход — 4:1, а prefill/decode — 3:1
• Меньшие tp и chunked-prefill уменьшают задержки между токенами (ITL)
• В режиме смешанного сервинга (decode + prefill) — лучше использовать батчинг именно с chunk-prefill, иначе резко растёт latency

🔧 Бенчмарки: bench_one_batch_server.py, genai-bench, evalscope
🔥 Используемая модель: Yi-1.5 34B

📦 Полная статья и код

@machinelearning_interview

📝 Pen and paper exercises in machine learning — интересный сборник упражнений по машинному обучению. Проект содержит подборку задач с подробными решениями по линейной алгебре, оптимизации, байесовским сетям и другим фундаментальным темам. Автор делает акцент на математическую основу, а не на программирование.

Все материалы доступны в PDF и исходных LaTeX-файлах под лицензией CC BY 4.0. Упражнения разрабатывались для курсов Эдинбургского и Хельсинкского университетов, что гарантирует их академическую ценность. Подходит как для самостоятельного изучения, так и для преподавания.

🤖 GitHub

@machinelearning_interview

🖥 Нашли кладезь знаний из 800+ SQL-вопросов с задачами — идеально для подготовки к собеседованиям.

Подойдёт, чтобы:
— прокачать SQL-навыки с нуля до продвинутого уровня
— быстро освежить синтаксис перед интервью
— попрактиковаться на реальных задачах

Полезно как джунам, так и мидлам. Отличный способ проверить себя и закрыть пробелы.

✔️ "Developing superintelligence is now in sight.
We should act as if it's going to be ready in the next 2–3 years.” — Mark Zuckerberg

Его компании больше не просто развивает соцсети — она строит будущее искусственного интеллекта.

И делает ставку всерьёз, вкладывая: миллиарды на инфраструктуру и сотни миллионов — на лучших разарбов.

💰 Цукерберг объясняет, почему готов платить $100–200 млн топ-исследователям:

> «Мы потратим сотни миллиардов на вычисления и дата-центры.
> Тогда $100 млн за гения, способного продвинуть нас вперёд — это мелочь.»

📌 Почему это меняет игру:
— В мире всего сотни разраюотчиков, способных работать на грани AGI
— Каждая компания в ммре борется за них
— Цукерберг собирается собрать свою элиту — 50–70 человек
— И всё это — с прицелом на *2–3 года*, а не десятилетия

Superintelligence теперь не фантастика, а инвестиционный план.

@machinelearning_interview

📌 Задумывались, насколько хорош ModernBERT по сравнению с декодерами вроде LLaMA?

Результаты оказались неожиданными: их энкодер-модель превзошла оригинальный ModernBERT, а декодер — даже LLaMA 3.2 и SmolLM2

Модели серии называются Ettin — от 17M до 1B параметров, при этом даже самая компактная поддерживает контекст в 8k токенов.

Особенности проекта:

— Честное head-to-head сравнение encoder vs decoder моделей с одинаковыми SOTA-рецептами
— Энкодеры по-прежнему выигрывают в задачах классификации и поиска, даже по сравнению с существенно более крупными декодерами
— Обучение всех моделей проводилось на академических мощностях: 4×H100 на каждую, 17M-модель можно натренировать на 2T токенов менее чем за неделю
— Выложены 200+ чекпоинтов с точной историей данных между ними, доступных в raw-формате для дообучения и анализа

Разработчики подчёркивают: даже при росте популярности декодеров, энкодеры всё ещё актуальны и конкурентоспособны, особенно при больших объёмах данных и долгих тренировках.

📎 Статья: https://arxiv.org/abs/2507.11412
💻 Код и данные: https://github.com/JHU-CLSP/ettin-encoder-vs-decoder
📖 Блог на HuggingFace:https://huggingface.co/blog/ettin

📈 Awesome-TS-anomaly-detection — это исчерпывающая подборка инструментов и датасетов для детекции аномалий в временных рядах. В списке представлены как активно поддерживаемые решения (PyOD, Luminaire, Orion), так и архивные проекты от компаний вроде Twitter и Yahoo.

Репозиторий имеет удобный раздел с бенчмарк-датасетами, включая Numenta NAB и Yahoo S5. Проект будет полезен ML-инженерам и исследователям, работающим с анализом временных данных.

🤖 GitHub

@machinelearning_interview

Сегодня рассмотрим статью про метод «определение аппаратно‑программной платформы» (HSPI), который позволяет по вход‑выходному поведению модели машинного обучения определить, на каком GPU и с каким программным стеком она запущена.

Большие языковые модели и современные сверточные нейронные сети требуют существенных вычислительных ресурсов для решения реальных задач. По этой причине популярным решением становится аренда вычислительных мощностей, на которых проходит инференс, например, LLM-ок.

Возникает вопрос: как проверить, что поставщик железа и софта добросовестно выполняет свои обязательства? То есть, не инферит менее поздние модели на более старых видеокартах? Эту задачу попытался решить коллектив авторов из ICL, UoC и Google Deepmind.

Детали

Основная идея работы — посмотреть на задачи классификации и подобрать картинки или промпты, для которых на выходы модели будут влиять как железо, так и софт из-за различия в арифметических операциях, например — округления.

В контексте задачи классификации отличие двух архитектур будет ярко проявляться на границе между двумя классами, когда различные способы округления и упорядочивания в арифметических операциях будут приводить к различиям в классе, который предсказывает модель.
Авторы рассматривают два алгоритма: HSPI-BI (работает только на лейблах, предсказанных моделькой) и HSPI-LD (работает с вероятностями принадлежности определенному классу).

Результаты

Рассматривалось два сценария: White-Box — когда есть доступ к значениям в каждом нейроне, и Black-Box — когда есть доступ только к выходу модели. В качестве бэйзлайна рассматривался Random Guess. Авторам удалось существенно превзойти точность случайных угадываний в обеих постановках: в White-Box-сценарии точность детектирования типа железа и софта варьировалась от 83% до 100%. В Black-Box-сценарии удалось превзойти random guess примерно в три раза: 25% против 60%.

Авторы планируют дальше развивать предложенный ими метод, так как некоторые архитектуры неразличимы для текущей версии алгоритма. Кроме того, не исследована зависимость результатов от размера батча, что планируется исследовать в будущем.

Предыдущие обзоры статей с ICML от команды AI VK:
🔸Высокопроизводительные трансформеры на базе MatMuls;
🔸Проблемы оценки качества наборов данных для графового машинного обучения

Meta строит ИИ-заводы, а не дата-центры ⚡️

Цукерберг объявил: Meta вложит сотни миллиардов, чтобы построить AI-инфраструктуру нового поколения — с кластерами, тянущими по 1–5 гигаватт каждый. Это уровень атомной станции.

🧠 После заморозки Llama 4, все ИИ-проекты Meta объединены в Superintelligence Labs. Ставка сделана на более масштабные модели, которые требуют не просто «больше серверов», а мини-энергосистемы.

🔌 Первый суперкластер Prometheus запустится в 2026 году. Следом — Hyperion, ещё масштабнее: 5 ГВт и десятки тысяч топовых GPU под одной крышей.

Особенности новой архитектуры:
• Подстанции и грид-интеграция прямо на кампусе
• Рекуперация тепла и жидкостное охлаждение в промышленных масштабах
• Минимальная задержка сети и ускоренные циклы обучения

💸 Уже в 2025 капитальные затраты составят $64–72 млрд — и будут только расти.
Zuck уверен: рекламный бизнес приносит достаточно кэша, чтобы покрыть риск. А команда, в которую входят Александр Ванг и Нэт Фридман, должна обеспечить отрыв от OpenAI и Google.

⚠️ Но есть нюансы: скачки цен на электроэнергию, перебои с чипами — и главный вопрос от инвесторов: когда всё это окупится?

👉 Порог в 1 гигаватт — это не про железо. Это про пределы энергетики.

*Meta признана экстремистской и запрещена в России.

@machinelearning_interview

🎓 Новые лекции от UCLA: *Reinforcement Learning of Large Language Models* (весна 2025)

Свежий курс, полностью посвящённый обучению LLM с помощью RL. Отличный ресурс для тех, кто хочет разобраться не только в RLHF, но и в новых направлениях, которые появляются на стыке обучения с подкреплением и больших языковых моделей.

📚 Что в курсе:
– Базовые принципы RL применительно к LLM
– RLHF (reinforcement learning from human feedback)
– RL с верифицируемыми наградами (RLVR)
– RL на этапе inference: оптимизация в момент выполнения
– Архитектуры, policy shaping, reward modeling и др.

Это не просто обзор — это системная попытка осмыслить будущее RL для LLM, где важно не только fine-tuning, но и работа с обратной связью в режиме реального времени, доверие к награде и оптимизация вычислений.

🧠 Полезно всем, кто:
– интересуется агентами и автономными системами
– работает над LLM‑продуктами
– хочет выйти за пределы SFT и попробовать более «горькие» методы обучения

#LLM #RLHF #RLVR #AIeducation #ReinforcementLearning #UCLA

🔜 Youtube: https://youtube.com/playlist?list=PLir0BWtR5vRp5dqaouyMU-oTSzaU5LK9r

🔜 Курс: https://ernestryu.com/courses/RL-LLM.html