Machine learning Interview

🤖 AITradeGame - Симулятор торговли с ИИ

AITradeGame - это открытый симулятор торговли, который позволяет пользователям тестировать стратегии с использованием ИИ. Доступны как локальная версия с полной конфиденциальностью, так и онлайн-версия с интерактивными функциями и таблицами лидеров.

🚀Основные моменты:
- Поддержка различных ИИ моделей, включая OpenAI и Claude.
- Локальное хранилище данных без облачного отслеживания.
- Интерактивные таблицы лидеров для соревнований с другими пользователями.
- Удобный интерфейс и возможность настройки торговых параметров.

📌 GitHub: https://github.com/chadyi/AITradeGame

🎥 Создание видео с LongCat-Video

LongCat-Video — это мощная модель генерации видео с 13.6 миллиарда параметров, способная выполнять задачи *Text-to-Video*, *Image-to-Video* и *Video-Continuation*. Она обеспечивает высокое качество и эффективность, особенно в создании длинных видео без потери качества.

🚀 Основные моменты:
- Унифицированная архитектура для различных задач генерации видео.
- Способность генерировать видео длительностью в минуты.
- Эффективный процесс генерации с высоким разрешением.
- Сравнимые результаты с ведущими коммерческими решениями.

📌 GitHub: https://github.com/meituan-longcat/LongCat-Video

#python

⚡️ Вышел подробный гайд по Gemini 3 - новой флагманской модели Google DeepMind, которая в ряде задач уже опережает другие топовые решения.

Внутри разбор возможностей модели, примеры создания реальных приложений, рекомендации по настройке промтов и системных режимов.

Добавлены готовые сниппеты на Python и JS - копируй и сразу запускай. Осваиваем автоматизацию и перенос рутины на Gemini 3 по ссылке.


https://ai.google.dev/gemini-api/docs/gemini-3?thinking=high&hl=ru

🚀 Uni-MoE-2.0-Omni - новый прорыв в омнимодальных моделях

Эта модель поднимает планку: от мультимодальности к полноценному омнимодальному пониманию и генерации: речь, текст, изображения, видео, аудио-видео взаимодействия.

✨ Главное нововведение

Разработчики показали, как эволюционно превратить обычные плотные LLM в эффективные MoE-модели, способные работать со всеми модальностями одновременно.

🧠 Архитектура

1️⃣ Omnimodality 3D RoPE + Dynamic Capacity MoE
- Унифицирует выравнивание речи, текста, изображений и видео в пространственно-временных измерениях
- Динамически распределяет вычисления в зависимости от сложности задачи

2️⃣ Глубоко слитый мультимодальный encoder-decoder
- Любые комбинации входных и выходных модальностей
- Настоящее омнимодальное взаимодействие и генерация

🛠️ Тренировка

1️⃣ Прогрессивная стратегия обучения
Cross-modal alignment → Warm-up экспертов → MoE + RL → Генеративное обучение
- Масштабирует плотные LLM в MoE-модели
- Всего 75B токенов
- Стабильная сходимость, особенно на RL

2️⃣ Языковая основа для задач понимания и генерации
- Все задачи сводятся к языковой генерации
- Пробивает барьеры между модальностями

🎨 Возможности

✔ Генерация и взаимодействие через речь
✔ Генерация и редактирование изображений
✔ Понимание изображений и видео
✔ Аудиовизуальное рассуждение
✔ 10+ мультимодальных задач

🔥 Результаты

Модель превзошла Qwen2.5-Omni (1.2T токенов) в 50+ из 76 задач, имея всего 75B токенов:
- Видео-понимание: +5%
- Омнимодальное понимание: +7%
- Speech QA: +4.3%
- Обработка изображений: +7%

🌍 Open Source

Model: https://huggingface.co/collections/HIT-TMG/lychee-uni-moe-20
Code: https://github.com/HITsz-TMG/Uni-MoE/tree/master/Uni-MoE-2
Homepage: https://idealistxy.github.io/Uni-MoE-v2.github.io/

🤖 Как объединить десятки экспертных моделей в одну универсальную- без дообучения и утечки данных?

Исследователи из CAS, HKISI-CAS, Sun Yat-sen и Peking представили новый подход: RobustMerge — метод бес-тренировочного, параметро-эффективного объединения моделей.

Проблема:
Каждая экспертная модель умеет своё — одна для OCR, другая для зрения, третья для диалога, четвёртая для кода.
Но как собрать их в одно универсальное MLLM так, чтобы:

- не было утечки данных
- не пришлось обучать всё заново
- не потерялась точность
- модель не развалилась из-за конфликтующих весов

🧠 Что делает RobustMerge
Метод сохраняет *direction robustness* - устойчивость направлений веса — с помощью двух ключевых техник:

- low-rank analysis — выделяет главное направление знаний
- cross-task normalization — нормализует вклад разных задач так, чтобы одна модель не «забивала» другую

Итог:
Разные специализированные модели становятся одним универсальным MLLM, который продолжает хорошо работать по всем направлениям и даже улучшает обобщение.

🚀 Почему это важно
Это решает главную боль индустрии: как собрать десятки экспертов в единую систему без огромных затрат на переобучение и без риска смешать приватные данные.

🔬 Подробности
Paper: arxiv.org/abs/2502.17159
Code: github.com/AuroraZengfh/RobustMerge

🧠 Почему у моделей пропадает «рандомность» во время RL-обучения - и как это чинится

Новая работа разбирает, почему у моделей во время RL для reasoning рушится энтропия (то есть исчезает разнообразие ответов) - и что с этим делать.

Главные выводы:

- 📉 Хорошего набора в ~600 задач хватает, чтобы догнать обучение на 17 000.
Ключ - разнообразие, а не размер датасета.

- 🎯 Reward сужает модель.
При обучении она начинает повторять несколько самых “прибыльных” токенов → энтропия падает → исследование ухудшается.

- 🔄 Меньше энтропии → меньше разнообразия, но измеренная энтропия по промптам почти не коррелирует с точностью.

- ⚙️ Адаптивный энтропийный регуляризатор удерживает «случайность» на целевом уровне, при этом точность продолжает расти.

- 🧪 Off-policy обновления усиливают коллапс, поднимают reward и ломают обобщение — классический overfitting.

- 🧩 Низкое разнообразие данных ускоряет коллапс, но маленький *разнообразный* датасет иногда работает так же хорошо, как полный.

- 🔧 Клиппинг и reweighting позитивных advantage-токенов (например, Progressive Advantage Reweighting) помогают управлять энтропией и борот

arxiv.org/abs/2511.05993

🔥 Подборка полезных ресурсов для программистов.

Здесь ты найдёшь всё это - коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Devops: t.me/DevOPSitsec
Собеседования DS: t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_1001_notes
Java: t.me/java_library
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy
Папка Linux:https://t.me/addlist/w4Doot-XBG4xNzYy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Сохрани себе, чтобы не потерять!

⚡️ OpenAI представила новый экспериментальный LLM, который раскрывает, как на самом деле работает ИИ.

Команда создала интерпретируемую модель - намного прозрачнее обычных трансформеров, которые ведут себя как «чёрный ящик».
Это важно, потому что такая модель помогает понять, почему ИИ галлюцинирует, ошибается или действует непредсказуемо в критичных ситуациях.

Новый LLM - разреженный трансформер: он намного меньше и проще современных GPT-5, Claude или Gemini. По уровню он ближе к GPT-1, но его цель не конкурировать, а быть максимально объяснимым.

Как это работает:
- модель обучают так, чтобы внутренние схемы становились разрежёнными,
- большинство весов фиксируется в 0,
- каждый нейрон имеет не тысячи связей, а лишь десятки,
- навыки отделяются друг от друга более чистыми и читаемыми путями.

У обычных плотных моделей нейроны связаны хаотично, признаки пересекаются, и понять логику сложно.
Здесь же для каждого поведения можно выделить маленькую схему:
достаточную, потому что она сама выполняет нужную функцию,
и необходимую, потому что её удаление ломает поведение.

Главная цель - изучить, как работают простые механизмы, чтобы лучше понять большие модели.

Метрика интерпретируемости здесь - размер схемы,
метрика способности - pretraining loss.
При увеличении разрежённости способность падает чуть-чуть, а схемы становятся намного проще.

Обучение «больших, но разрежённых» моделей улучшает оба показателя: модель становится сильнее, а механизмы легче для анализа.

Некоторые сложные навыки, например переменные в коде, пока разобраны частично, но даже эти схемы позволяют предсказать, когда модель корректно читает или записывает тип.

Главный вклад работы - рецепт обучения, который создаёт механизмы,
которые можно *назвать, нарисовать и проверить абляциями*,
а не пытаться распутывать хаотичные признаки постфактум.

Пределы пока есть: это маленькие модели и простые поведения, и многое остаётся за пределами картируемых цепочек. Но это важный шаг к настоящей интерпретируемости больших ИИ.

https://openai.com/index/understanding-neural-networks-through-sparse-circuits/

🧭 LinkedIn запускает новую систему поиска людей на базе ИИ — для всех своих 1.3 млрд пользователей.

Как это работает:
- ИИ переводит обычный запрос в связанные навыки и области.
Например, запрос *«curing cancer»* найдёт не только учёных, но и экспертов в онкологии и геномике — и при этом учитывает, насколько человек достижим в вашей сети.

Как обучали:
- Команда вручную собрала “золотой” набор из нескольких сотен–тысяч пар «запрос–профиль».
- На нём сгенерировали синтетические данные и обучили 7B модель-судью.
- Затем дистиллировали её в 1.7B учителя релевантности и отдельных учителей для пользовательских действий (connect, follow).
- Итоговая модель обучалась на мягких оценках через KL-дивергенцию.

Как устроен поиск:
- Первый этап — широкая выборка с помощью 8B модели.
- Второй — компактный ранкер, который обеспечивает точность и при этом дешёв в продакшене.
- Ранкер ужали с 440M до 220M параметров с потерей менее 1% качества — это позволило держать систему дешёвой на таком масштабе.

Технические решения:
- Индексацию пришлось перенести с CPU на GPU — граф людей ведёт себя иначе, чем поиск вакансий.
- RL-сжатие контекста уменьшает ввод почти в 20 раз, а связка ранкера и сжатия даёт ускорение в 10 раз.
- Отдельный LLM-router решает, использовать ли семантический стек или откатиться к классическому лексическому поиску.

Источник: venturebeat.com/ai/inside-linkedins-generative-ai-cookbook-how-it-scaled-people-search-to-1-3

🤖 Хочешь построить своего ИИ-агента? Вот ВСЁ, что нужно!

Один энтузиаст собрал все ресурсы для старта:
📺 видео,
📚 книги и статьи,
🛠️ GitHub-репозитории,
🎓 курсы от Google, OpenAI, Anthropic и других.

Темы:
- LLM (большие языковые модели)
- агенты
- memory/control/planning (MCP)

💡 Всё бесплатно и в одном Google Docs 👉
https://docs.google.com/document/d/1Z5SX89FV6bTy2KKnGGb61xCcS9iPg_fv2USQYi4Wc3g/mobilebasic

Оценки компаний становятся просто невероятными.

Mira Murati ведёт ранние переговоры о новом раунде инвестиций - по оценке около $50 млрд. Это в 4 раза больше, чем всего четыре месяца назад.

В июле её стартап уже объявил один из крупнейших сид-раундов в истории, привлекая $2 млрд при оценке $12 млрд.

Теперь разговор идёт о пятидесяти.
Безумие.

https://www.bloomberg.com/news/articles/2025-11-13/murati-s-thinking-machines-in-funding-talks-at-50-billion-value

Вышла новая работа Янна Лекуна о self-supervised обучении: LeJEPA.

Ранее модели типа JEPA требовали разных «хаков», чтобы не допустить коллапса признаков: stop-gradient, predictor-головы, схемы teacher-student.
LeJEPA убирает все эти трюки и заменяет их одним регуляризатором — SIGReg (Sketched Isotropic Gaussian Regularization).

Что делает SIGReg: заставляет векторные представления равномерно распределяться во всех направлениях, формируя «изотропное» облако.
Авторы показывают, что такая форма признаков минимизирует среднюю ошибку на будущих задачах — то есть это математически оптимальная геометрия, а не набор эвристик.

Почему это важно:
- обучение становится стабильнее и проще;
- легко масштабируется до больших моделей (проверено на 1.8B параметров);
- не нужны teacher-student схемы;
- модель можно оценивать без разметки — её loss хорошо коррелирует с качеством на линейном пробере.

Результат: 79% точности линейного пробера на ImageNet-1K при минимуме гиперпараметров.

Работа стабильно обучается на разных архитектурах и масштабах, а сам подход делает self-supervised предобучение более прозрачным и предсказуемым.

Paper: arxiv.org/abs/2511.08544

Google запустил 5-дневный курс по AI-агентам на Kaggle. Их прошлый курс прошли более 420 000 человек.

В новом курсе будут темы:

Агенты и их архитектуры
Интеграция инструментов и MCP
Контекстная инженерия
Оценка качества агентов
От прототипа к продакшну

📅 Даты: 10–14 ноября
🔗 Регистрация: hkaggle.com/learn-guide/5-day-genai

#AI #Agents #Google #Kaggle #Learning

⚡️ ChatGPT-5.1

OpenAI выпустила GPT-5.1, сделав основной упор на интеллект и качество диалога.

🟢GPT-5.1 Instant - модель с функцией адаптивного мышления. Она способна самостоятельно «задумываться» над сложными задачами, что позволило выбивать более высокие баллы по математическим задачам AIME 2025 и задачам по программированию Codeforces. Модель стала лучше следовать инструкциям и получила более «теплый» стиль общения по умолчанию.

🟢GPT-5.1 Thinking тоже была улучшена: она быстрее справляется с простыми запросами и выдает более четкие ответы с меньшим количеством жаргона.

Вместе с моделями OpenAI расширила возможности кастомизации тона ответов, добавив новые стили: «Профессиональный», «Откровенный» и «Необычный».

Обновление уже раскатывают на платных подписчиков, а доступ через API появится в ближайшие дни. Предыдущие версии GPT-5 останутся доступны в течение трех месяцев.

@ai_machinelearning_big_data

#news #ai #ml

📘 CocoIndex: Knowledge Graph for Documents

Отличный пример того, как можно создавать граф знаний в реальном времени на основе документов с помощью CocoIndex.

🔍 Основные идеи:
- Используется LLM для извлечения связей между сущностями и построения графа знаний.
- Поддерживается экспорт узлов и отношений в графовые базы данных, такие как Neo4j или Kuzu.
- Пример пайплайна на Python: добавление источников, извлечение сущностей, формирование связей и экспорт.
- После построения можно выполнять графовые запросы вроде MATCH p=()-->() RETURN p.

📎 Подробнее:
https://cocoindex.io/docs/examples/knowledge-graph-for-docs

#AI #KnowledgeGraph #RAG #CocoIndex

Открытый проект, цель которого — сделать 100 миллионов научных статей доступными с помощью LLM-генерированных структурированных саммари.

🧠 Набор данных из 100 000 саммари

🧩 Два дообученных LLM-моделя для анализа и структурирования

🌐 3D-визуализатор, который показывает взаимосвязи между научными работами

Blog: https://laion.ai/notes/summaries/
Models: https://huggingface.co/inference-net
Visualizer: https://aella.inference.net

Агент, который думает и действует одновременно

Исследователи из Stanford и Цинхуа представили подход для агентов, которым нужно принимать решения в реальном времени. В таких средах у каждого действия есть жёсткий дедлайн: не успел — выполняется безопасный ход по умолчанию.

Главная идея: смешать мгновенную реакцию и параллельное планирование. Когда мир постоянно меняется, чисто реактивные агенты действуют быстро, но глупо, а долгие планировщики — умно, но слишком медленно и часто опаздывают. Комбинация работает лучше обоих.

Новый метод называется AgileThinker. Он запускает два потока:
- быстрый — основывается на частичных планах и свежем наблюдении
- планирующий — постоянно обновляет стратегию и дополняет план

Время измеряется не секундами, а токенами — что почти идеально коррелирует с реальным временем исполнения.

Авторы собрали тестовый набор: Freeway, Snake и Overcooked.
Результаты просты: под нагрузкой и жёсткими таймингами AgileThinker стабильно обгоняет оба базовых подхода — и быстрый, и «долго думающий».

Итог: это шаг к агентам, которые сохраняют интеллект, не теряя скорость, и могут действовать в динамичных средах, где промедление = ошибка.

Источник: arxiv.org/abs/2511.04898