Machine learning Interview

🧠 GPT‑5 по утечкам (или PR самого OpeAI) набрал 90% на SimpleBench — это уровень человека

По слухам, новый бенчмарк от Copilot показывает, что GPT‑5 достигает 90% точности на SimpleBench — наборе из ~200 сложных вопросов с множественным выбором.

❓ Что тестирует SimpleBench:
• Пространственно-временное мышление
• Социальную логику
• Адверсариальные ловушки на здравый смысл

📌 Почему это важно:
90% — это уже уровень человеческого здравого смысла в таких задачах. А ведь модели до этого еле приближались к этим значениям даже с цепочками размышлений.

Если слух подтвердится — GPT‑5 не просто умнее. Он начинает понимать контекст как человек.

@machinelearning_interview

💾 Awesome-Efficient-LLM — коллекция методов оптимизации больших языковых моделей. Этот репозиторий объединяет последние исследования по ускорению и сжатию LLM: от квантования и sparse-методов до архитектурных оптимизаций. Особенно полезны разделы про speculative inference и mixture-of-experts — ключевые направления для реального развертывания моделей.

Проект полезен инженерам, которые хотят внедрить LLM в production с минимальными затратами ресурсов. Все работы отсортированы по дате публикации и области применения.

🤖 GitHub

@machinelearning_interview

🚀 Опенсорс от OpenAI теперь в Yandex Cloud AI Studio

OpenAI впервые с 2019 года открыла исходники своих рассуждающих моделей — gpt‑oss‑120b и gpt‑oss‑20b. Уже сегодня их можно гонять по API в Yandex Cloud.

⚡ Сравнимо с o3‑mini и o4‑mini, в ряде задач — лучше GPT‑4o и o1
⚡ Настраиваемая интенсивность reasoning + скорость генерации
⚡ Хостинг и обработка данных в РФ — полное соответствие ФЗ‑152
⚡ Без мороки с мощностями, обновлениями и мониторингом

💡 Для чего: автоматизация рекрутмента и саппорта, анализ документов, первичная коммуникация с клиентами. Цена вопроса – 10 или 30 копеек за 1000 токенов в зависимости от модели.

Скоро — вызов функций и поиск в интернете прямо в ответе.

@machinelearning_interview

🧠 StepFun‑Prover Preview: 32B‑модель обучилась доказывать теоремы, общаясь с Lean 4

📌 Что делает классический prover :
Он просто перебирает возможные доказательства, не зная, в каком направлении двигаться. Это как угадывать код на замке: пробуешь один вариант, не подошло — пробуешь следующий.

📌 Что делает новая модель StepFun‑Prover)
Она "разговаривает" с Lean 4 — проверяющей системой формальных доказательств. Если модель предлагает доказательство и Lean выдает предупреждение или ошибку, модель читает это как обратную связь и учится. В следующий раз она делает более точную попытку.

🧠 В итоге:

Вместо перебора 30+ вариантов вслепую, как у обычных систем, модель с первого раза решает до 70 % задач, потому что понимает и учитывает отклик от системы.

Это как решать задачу в школе, где тебе не просто говорят «неправильно», а объясняют, что именно не так — и ты быстро учишься.

🔍 Как это работает:
- Исходные задачи из Lean очищаются и превращаются в набор для обучения синтаксису и вызовам тактик.
- На этих данных обучаются 7B и 32B‑модели на базе DeepSeek, с последующей правкой ошибок Kimina‑Prover.
- Модель учится смешивать обычный текст, код на Lean и sandbox‑ответы — всё в одном длинном контексте.
- Вознаграждение бинарное: если Lean-программа принимает доказательство — 1, иначе — 0.

📈 Результат:
- 32B‑модель обходит конкурентов на 72B более чем на 5 % (при этом использует **1 попытку вместо 32**).
- Увеличение длины контекста с 4K до 20K токенов повышает pass@1 с 58 % до 70 %.
- Модель сокращает доказательства, читая варнинги и на лету рефакторя тактики.

📦 Open‑веса (7B и 32B) выйдут скоро — можно будет запускать даже на скромном GPU.

📄 Paper: https://arxiv.org/abs/2507.20199

🚨 MiniCPM‑V 4.0 - не chatgpt едимным!

✨ Что нового:
— 🧱 4.1B параметров
— 🧠 По визуальному пониманию догоняет GPT‑4.1‑mini (по OpenCompass)
— ⚡ Работает на iPhone 16 Pro Max — 17.9 токенов/сек
— 📊 69.0 баллов на OpenCompass (против 65.2 у MiniCPM‑V 2.6 8B)
— 🔥 Маленькая модель, большая мощность

📁 GitHub: https://github.com/OpenBMB/MiniCPM-o
🤗 Hugging Face: https://huggingface.co/openbmb/MiniCPM-V-4

#AI #LLM #MLLMs #MiniCPM #EdgeAI

🔥 Новые модели OpenAI нашли в релизе Transformers 4.55

GPT-OSS — опенсорс модели для продвинутого reasoning и агентных задач.

🧠 Представлено два варианта:
— GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB)
— GPT-OSS-20B — 21B параметров, работает на 16GB GPU (или даже локально!)

💡 Оба варианта — MoE-модели (Mixture of Experts) с 4-битной квантизацией (MXFP4

✔️ Особенности:
• Архитектура Token-choice MoE с SwiGLU
• Контекст до 128K токенов с RoPE
• Модель заточена на CoT (chain-of-thought)
• Поддержка instruction-following и tool-use
• Совместима с transformers, vLLM, llama.cpp, ollama
• Используется тот же токенизатор, что и в GPT-4o

Младшая модель может запускаться даже на локальном железе — идеально для on-device и edge-девайсов

🧠 GPT‑OSS‑120B — запускается на одной 80GB GPU
⚡ GPT‑OSS‑20B — запускается на 16GB GPU

🏴‍☠️Лицензирование: Apache 2.0

https://github.com/huggingface/transformers/releases/tag/v4.55.0

💥 Официальный релиз: http://openai.com/open-models

@ai_machinelearning_big_data


#openai #opensource #chatgpt

🤖 PyRoki — быстрый и простой тулкит для робототехники на Python

**Главное*:
- 1.7 × быстрее при вычислении обратной кинематики, чем аналоги
- Работает на CPU, GPU и TPU
- Полностью open-source, написан на чистом Python

Что умеет
- Обратная кинематика (IK): задаём точку, куда надо подать детали; IK рассчитывает, как повернуть каждый сустав.
- Оптимизация траекторий
- Ретаргетинг движений (перенос анимации на другого робота)

Почему это круто
- Обходит cuRobo по скорости, точности и проценту успешных решений
- Легко подключается к любому стеку: промышленные манипуляторы, симуляторы, гуманоиды
- Гибкая архитектура: расширяй модулями, добавляй свои костные цепи и метрики

Ссылки
- Сайт: http://pyroki-toolkit.github.io
- Репозиторий: https://github.com/chungmin99/pyroki
- Статья: http://arxiv.org/abs/2505.03728

💾 Сохрани пост, чтобы не потерять полезный инструмент!

@machinelearning_interview

📚 Устали от скучных ML туториалов?

Вот полезная подборка:
300+ кейсов по ML-системам из реальной практики компаний вроде Stripe, Spotify, Netflix.

Тут не теория, а как всё реально работает в проде:
— как устроены пайплайны
— как деплоят модели
— как делают мониторинг
— какие ошибки бывают и как их решают

👍 Подойдёт для подготовки к собеседованиям и просто чтобы разобраться, как строят ML‑системы в крупных компаниях.

🔗 https://github.com/eugeneyan/applied-ml

💥 Китайская AI-модель по математике — абсолютный прорыв

Свежая научная статья из Китая показала не просто сильную, а *лучшую в мире* AI-модель для решения олимпиадных задач по математике:

🏅 Модель взяла золото на IMO 2025
📈 Решает 78% всех задач прошлых IMO
🧠 Покрывает более 50% задач Putnam
✅ Даёт 100% точность на miniF2F (тест от OpenAI)
⚔️ Обходит AlphaGeometry2 от Google

📌 Как работает:
- Использует формальные доказательства на языке Lean
- МОдель открыл новые методы для решения геометрии, которых раньше не было
- Первая лаборатория, которая опубликовала полноценную статью о внутренностях модели

AI в математике выходит на новый уровень — и Китай сейчас показывает, что он идет в авангарде открытий.

📌 Статья

@machinelearning_interview

🕰️ Passage‑of‑Time MCP — сервер, который даёт языковым моделям ощущение времени

Проект jlumbroso/passage‑of‑time-mcp — это Model Context Protocol (MCP) сервер, позволяющий LLM-моделям отслеживать время в диалоге и использовать его как инструмент для рассуждения.

Что он делает:

- Делает доступными функции:
current_datetime(), time_difference(t1, t2), timestamp_context(), time_since() и др. — они возвращают текущий момент, разницу между временными метками и контекст времени в понятной форме.
- Требует, чтобы ИИ вызывал current_datetime() при каждом ответе, формируя временной таймлайн диалога.
- Через несколько сообщений модель начинает замечать *структуру беседы*, интервалы между ответами и их ритм — и даже описывать это самостоятельно.

Для чего это нужно:

- Модели больше не "живут вне времени" — они получают датированные метки, не требуют ручного добавления времени в контекст.
- LLMs начинают понимать, что пользователь отключился на 3 часа или что диалог длится вечеринка — и предлагают адаптироваться.
- Вместо статического временного штампа — динамичное понимание времени, как в реальном общении.

Как это начать использовать:

1. Склонировать репозиторий и запустить сервер на Python (~35 s).
2. Подключить MCP-интеграцию в интерфейсе Claude.ai (Add Integrations → Custom → URL/sse).
3. Настроить инструменты и позволить модели вызывать их каждый ход.

Примеры применения:

- Анализ ритма беседы: Модель может заметить паузы от 20 с до 3 мин и предложить рекап перед сложным вопросом.
- Контекст ситуации: Claude видит, что сейчас вечер рабочего дня и предлагает более концентрированный подход к задаче.
- Организация времени: агент может отслеживать с

https://github.com/jlumbroso/passage-of-time-mcp

🌟 Фреймворк **CUDA-L1** сам научился оптимизировать код для GPU — и добился в среднем **3.12× ускорения работы модели**, а в пике — **до 120×**. .

Попросите любую LLM написать CUDA-код, и скорее всего, вы получите что-то, что либо не компилируется, либо работает мучительно медленно. Причина проста: качественного CUDA-кода в обучающих данных моделей почти не было.

Чтобы исправить это досадное упущение, Deep Reinforce AI создали систему CUDA-L1, которая основана на трехэтапном пайплайне: сначала supervised-обучение для освоения основ, затем self-supervised для практики и, наконец, контрастное обучение с подкреплением, чтобы было все максимально быстро.

🟢На первом этапе система училась писать корректный и компилируемый CUDA-код.

Для этого существующий код был аугментирован - создавались его вариации, чтобы повысить насмотренность модели.

🟢На втором этапе модель генерировала собственный CUDA-код, тестировала его и училась на работающих примерах, отсеивая неудачные.

🟢Самое интересное - третий этап.

Обучаемой модели показывали несколько реализаций CUDA-ядер вместе с их показателями ускорения, например: «kernel_v1 дает ускорение 1.2x», «kernel_v2 — 2.8x», а «kernel_v3 — 1.5x». Затем задали 3 вопроса:

🟠Почему kernel_v2 настолько быстрее?
🟠Какая стратегия оптимизации сработает еще лучше?
🟠Напиши ядро, которое превзойдет их все.

Таким образом, модель не гадает вслепую, а учится на конкретных примерах, анализируя причины разницы в производительности.

🟡Отдельная история - как победили reward hacking.

После обучения выяснилось, что более 30% сгенерированных реализаций пытались сжульничать - создавали дополнительные CUDA-потоки, которые выполнялись асинхронно.

Поскольку бенчмарк KernelBench отслеживал время только на основном потоке, код выглядел быстрее, чем был на самом деле, показывая фиктивное ускорение в 18 раз.

Другие уловки состояли в манипуляции гиперпараметрами задачи (уменьшение batch_size или размерностей) и кеширование результатов вычислений.

🟡Пришлось строить многоуровневую защиту.

Во-первых, в качестве "адвоката дьявола" взяли adversarial-чекер на базе DeepSeek-R1, который анализировал код на предмет эксплойтов с точностью обнаружения более 60%.

Во-вторых, собрали базу данных из более чем 500 уникальных паттернов взлома, это повысило точность обнаружения на 25%.

И в-третьих, применили математическое сглаживание и нормализацию наград, где любое подозрительное ускорение (от 1.5x для простых операций) дополнительно проверялось.

🟡После всех фильтров и проверок прогон на бенчмарке KernelBench оказался весьма позитивными.

Система успешно сгенерировала рабочий код для 249 из 250 задач, причем в 240 случаях код оказался быстрее базовой реализации.

Среднее ускорение по всем задачам составило 3.12 раза, максимальное - аж 120 раз. Медианное ускорение (50-й перцентиль) составило 1.42x, а 75-й перцентиль — 2.25x.

Производительность по уровням сложности задач распределилась следующим образом: на простых операциях среднее ускорение составило 2.78x, на последовательностях операторов - 3.55x, а на сложных задачах вроде полных слоев трансформера - 2.96x.

🟡Самое важное - это переносимость оптимизаций.

Код, оптимизированный на NVIDIA A100, был протестирован на других GPU. Результаты показали, что найденные паттерны оптимизации фундаментальны и работают на разных архитектурах.

Среднее ускорение на H100 составило 2.39x (успешных ускорений 227 из 250), на L40 — 3.12x (228/248), а на потребительской RTX 3090 — 2.50x (213/242).

▶️ Пока веса и код не опубликованы, но в ожидании можно покрутить интерактивное демо и воспроизвести тесты из пейпера - в репозитории проекта есть фрагменты CUDA-кода с отдельными версиями для разных GPU.


📌Лицензирование: GPL-3.0 License.


🟡Страница проекта
🟡Arxiv
🟡Demo
🖥Github


@ai_machinelearning_big_data

#AI #ML #CUDA #DeepReinforce #ContrastiveRL

🚀 MLE‑STAR от Google Research — новый state‑of‑the‑art агент для ML-инжиниринга

Google представил MLE‑STAR — агент на основе LLM, который автоматизирует ML-задачи разных типов (табличные данные, изображения, текст и др.) и достигает высот в сравнении с предыдущими подходами.

Что нового:

• Использует веб‑поиск для поиска современных моделей и примеров кода, чтобы создать начальное решение
• Делает абляционный анализ (ablation study), чтобы определить наиболее влиятельный компонент в ML-пайплайне, и итеративно дорабатывает его
• Развивает энсемблирование: генерирует несколько решений и собирает их в одно улучшенное, опираясь на стратегию агента
• Включает модули контроля: дебаггер, проверку утечек данных и контроль использования всех источников данных, чтобы избежать плохих практик

🧪 Результаты:
MLE‑STAR выигрывает медали в 63–64 % из бенчмарка MLE‑Bench‑Lite (Kaggle), обгоняя лучшие существующие методы (~25–26 %)

🛠 В чем плюсы:
- Снижает порог входа в ML для инженеров и организаций
- Обеспечивает адаптивность: агент извлекает свежие знания из сети, поэтому решения автоматически улучшаются с развитием ML
- Открытый исходный код — можно протестировать или встроить в собственные пайплайны

💡 Как работает:
1. Поиск нужных моделей через веб
2. Генерация и слияние лучших кандидатов
3. Абляционный анализ → выбор блока → уточнение этого блока
4. Итеративное улучшение и объединение ансамблей
5. Контрольные модули: дебаг, утечки, использование данных

🔜 Подробнее

@machinelearning_interview

#Google #GoogleResearch #ml #mle #llm