Machine learning Interview

⚡️ Почему современные LLM почти не умеют играть злодеев

Новый отчёт Tencent показывает: модели, обученные на безопасность, плохо справляются с ролями злодеев, манипуляторов и эгоистов. Безопасностное обучение заставляет их быть честными и полезными, а это напрямую блокирует неэтичные черты вроде лжи, хитрости и скрытых мотивов.

Исследователи создали Moral RolePlay — тест из 800 персонажей с четырьмя уровнями морали. Модель помещают в сцену и оценивают, насколько её реакция совпадает с заданным характером.

Что обнаружили:
- чем «темнее» персонаж, тем сильнее падает качество ролевой игры
- самый резкий провал - переход от «слегка порочного добра» к эгоисту
- модели часто заменяют хитрое планирование вспышками злости, полностью руша образ
- высокие баллы как чат-бот не связаны с умением играть злодеев
- усиленное этическое выравнивание делает ситуацию только хуже

Главный вывод: текущие методы безопасности конфликтуют с задачами, где требуется реалистичное непроsocialное поведение - игры, сценарии, художественный текст.

Источник: arxiv.org/abs/2511.04962

🚨 Google предлагает обучать ИИ в космосе

В новом исследовании Google рассматривает идею орбитальных дата центров для машинного обучения: спутники с TPU, объединённые лазерными каналами и питаемые напрямую Солнцем.

Причина проста: потребность в вычислениях растёт быстрее, чем растёт энергоэффективность. Солнце даёт энергии в 100 триллионов раз больше, чем производит всё человечество, а солнечные панели на орбите получают в 8 раз больше мощности, чем наземные.

Что Google уже проверила:

- TPU под космической радиацией выдержали эквивалент 5 лет на орбите
- Лазерные каналы связи достигли 1.6 Тбит/с в лаборатории с обычной оптикой
- Орбитальная архитектура: кластер из 81 спутника на дистанции 1 км с миллисекундными задержками
- Экономика запусков: при <$200 за кг на низкую орбиту к 2035 году космические вычисления могут стать конкурентоспособными с наземными дата центрами

Видение: автономные рои спутников, собирающие солнечную энергию и формирующие космические вычислительные кластеры. Без земли, без охлаждающей воды, только непрерывная солнечная мощность.

Google называет это moonshot для инфраструктуры ИИ.
Фактически это может стать чертежом первой межпланетной облачной платформы.

https://goo.gle/project-suncatcher-paper

✔️ На OpenRouter появилась модель, которую считают прототипом GPT-5.1.

Без официального анонса стала доступна новая ИИ-модель Polaris Alpha с контекстным окном до 256 тыс. токенов. Она описывается как универсальный инструмент для генерации кода и выполнении инструкций. Модель была запущена для сбора обратной связи от пользователей.

В технических сообществах предполагают, что Polaris Alpha может быть тестовой версией GPT-5.1 от OpenAI. Эту гипотезу подкрепляют отзывы первых пользователей, отмечающих крайне низкий уровень галлюцинаций и стиль ответов, характерный для GPT. Сама Polaris Alpha на прямой вопрос о своей связи с GPT-4 отвечает утвердительно.

По результатам бенчмарка EQ-Bench, производительность модели сопоставима с Claude-3.5-Sonnet. Доступ к Polaris Alpha открыт бесплатно через веб-интерфейс и API на OpenRouter.
openrouter.ai

✔️ Microsoft создает команду для разработки гуманистического сверхинтеллекта.

Мустафа Сулейман, CEO Microsoft AI, анонсировал новую стратегию, основанную на концепции «гуманистического сверхинтеллекта» (HSI). Для работы над этим направлением создается специальное подразделение - MAI Superintelligence Team.

В отличие от идеи AGI, подход Microsoft предполагает создание узкоспециализированных и контролируемых систем для решения конкретных проблем человечества. Стратегия отказывается от гонки за ASI в пользу разработки практических технологий.

Цели HSI — добиться прорывов в медицине, поиск чистой энергии и создание персонализированных ИИ-ассистентов, избегая рисков создания автономных и неконтролируемых систем. По словам Сулеймана, это должно гарантировать, что самые топовые версии ИИ будут создаваться строго в интересах людей.
microsoft.ai

✔️ Google выпустила Magika 1.0: ИИ-систему для определения типов файлов.

Google представила первый стабильный релиз опенсорсной утилиты Magika с полностью переписанным с нуля на Rust движком. Новая версия способна сканировать сотни файлов в секунду на одном ядре процессора, используя ONNX Runtime для инференса и Tokio для асинхронной обработки.

Количество поддерживаемых типов файлов было удвоено и теперь превышает 200. Добавилась поддержка актуальных форматов для Data Science и ML (Jupyter, PyTorch, ONNX), современных языков программирования (Swift, Kotlin, TypeScript, Zig) и DevOps-инструментов (Dockerfile, TOML, HCL). Разработчикам доступны обновленные модули для Python и TypeScript, а также новый нативный клиент командной строки.
opensource.googleblog.com

✔️ Foxconn внедрит человекоподобных роботов на производстве ИИ-серверов.

Крупнейший в мире контрактный производитель электроники в течение 6 месяцев начнет использовать человекоподобных роботов на своем заводе в Техасе. Роботы будут задействованы в сборке серверов для ИИ-систем. По словам CEO Янг Лю, это первый подобный опыт за более чем 50-летнюю историю Foxconn.

Этот шаг является частью стратегии по агрессивному расширению производства в Северной Америке. Компания, являясь ключевым поставщиком Nvidia, считает Северную Америку своим главным хабом по выпуску ИИ-серверов на ближайшие 3 года. Решение о роботизации принято для повышения эффективности производства, которое, по словам Лю, критически важно в сфере ИИ.
asia.nikkei.com

✔️ Сооснователь и руководитель PyTorch Сумит Чинтала покидает компанию Марка Цукерберга.

Сумит Чинтала, один из создателей и ключевых руководителей проекта PyTorch, объявил о своем уходе. Его последний рабочий день в компании - 17 ноября. Чинтала, проработавший у Цукерберга 11 лет, возглавлял PyTorch с момента его создания. За это время фреймворк стал индустриальным стандартом, заняв, по оценкам, более 90% рынка ИИ-разработки.

Свой уход он объяснил желанием после долгого отпуска заняться чем-то новым. По его словам, PyTorch достиг зрелости и стабильности, а сильная команда готова продолжать его развитие. Сам Чинтала планирует остаться активным участником open-source сообщества.
Soumith Chintala в сети X

@ai_machinelearning_big_data

#news #ai #ml

Microsoft запускает MAI Superintelligence Team — ставка на медицину

Microsoft создает новую команду MAI Superintelligence Team, начав с задач медицинской диагностики. Мустафа Сулейман заявляет, что у них есть «прямая траектория» к медицинскому суперинтеллекту за 2–3 года.

Цели команды: решать конкретные задачи — раннее выявление болезней, разработка батарей и материалов, проектирование молекул. Компания обещает массовые инвестиции в это направление.

Толчком стал недавний результат системы MAI-DxO — их оркестратор диагностики показал качество анализа сложных клинических случаев выше, чем у групп врачей. Сторонники считают это возможным шагом к сверхчеловеческому клиническому рассуждению — если удержать надежность, калибровку и прозрачность на масштабе.

Источник: reuters.com/technology/microsoft-launches-superintelligence-team-targeting-medical-diagnosis-start-2025-11-06/

Alibaba-EI представили систему, которая “понимает” резюме на уровне структуры и контекста — и делает извлечение данных с точностью, сравнимой с ручной разметкой. В основе — доработанная модель Qwen3 на 0.6B параметров.

Главные особенности:
- высокая точность извлечения полей и разметки
- очень быстрый инференс, подходит для больших потоков
- масштабируемость для реальных HR-платформ и автоматизации найма

Система не просто читает текст — она учитывает макет, блоки, порядок разделов, визуальные элементы и превращает резюме в аккуратный JSON со структурой.

Модель и демо доступны на ModelScope и Hugging Face, а подробности описаны в статье на arXiv.

Подобные компактные модели показывают, что качественный документ-AI уже необязательно должен быть большим — достаточно правильной архитектуры и тонкой настройки.

🔗 ModelScope: https://modelscope.cn/models/Alibaba-EI/SmartResume
🤗 Hugging Face：https://huggingface.co/Alibaba-EI/SmartResume
🧪Demo：https://modelscope.cn/studios/Alibaba-EI/SmartResumeDemo
📄 Paper: https://arxiv.org/abs/2510.09722

Два 23-летних разработчика из Индии выпустили вторую по качеству open-weight AI-голосовую модель в мире.

Maya1 уже входит в топ-20 глобального рейтинга и обгоняет лучшие решения Google.
3B параметров, запускается на одной GPU, выдаёт более 20 эмоций и работает с задержкой <100 мс.

Главный вывод прост — сегодня можно просто взять и сделать.

huggingface.co/maya-research/maya1

🚀 LLM с контекстом 64k+ пример того, как можно эффективно обучать модель даже на потребительских GPU - благодаря связке Ulysses + Ring Attention!

В ModelScope SWIFT объединили два метода параллелизма по последовательности:

✅ Ulysses - делит внимание по головам, почти не тратит трафик (но упирается в число heads)
✅ Ring Attention - масштабируется выше числа голов через кольцевые P2P-коммуникации, с «зиг-заг» балансировкой для causal-моделей

💡 Комбо-подход: сначала работает Ulysses, и только когда он перестаёт тянуть (например, GQA или кластер >8 GPU), подключается Ring.

🔥 Результат на Qwen2.5-3B при 65k токенов:
75.4 GiB → 17.9 GiB VRAM на 8× A100
Работает с SFT, DPO, GRPO, мультимодальностью и padding-free входами.

✨ Крутая инженерия:
Сплит последовательности встроен прямо в forward-hook модели —
никаких костылей в данных, полная совместимость с FlashAttention.

🔧 Включается одной флаг-командой:
--sequence_parallel_size 8

🟠Подробнее : https://modelscope.cn/learn/1799
🟠 GitHub: https://github.com/modelscope/ms-swift

MIT + Harvard + Google DeepMind показали, почему обычные трансформеры почти не умеют в многозначное умножение — и как это починить одной идеей

Команда обучила два маленьких Transformer-а считать 4-значное × 4-значное умножение.

Первый - с методом implicit chain-of-thought (ICoT): модель сначала видит все промежуточные шаги вычисления, а затем эти шаги постепенно убирают.
То есть модель вынуждают “думать внутри себя”, а не на видимых подсказках.

Результат: 100% точность на всех примерах.

Второй - обычное обучение: вход → ответ, без промежуточных шагов.
Результат: около 1% правильных ответов.

Почему так?

- Многозначное умножение требует длинных зависимостей
- Нужно запоминать и переносить “сумму + перенос” между разными позициями
- Модель должна хранить промежуточные частичные произведения и возвращаться к ним позже
- Рабочая модель формирует “бегущую сумму” и carry, как человек
- Внутри attention появляется структура наподобие небольшого бинарного дерева
- Представления цифр формируют особое пространство (пятилучевая призма + Fourier-код)

Обычное обучение захватывает “краевые” цифры и застревает — не может связать середину.
ICoT даёт правильный inductive bias: заставляет модель строить внутренний алгоритм, а не угадывать шаблон.

Главная идея: чтобы ИИ делал арифметику (и, возможно, логику), ему нужен скрытый расчётный процесс, а не просто больше данных.

Это шаг к пониманию того, как обучать модели *думать*, а не просто *запоминать*.

🧠 Deta Surf: Ваш AI-блокнот

Deta Surf — это AI-блокнот, который объединяет ваши файлы и веб-ресурсы, упрощая процесс исследования и мышления. Он позволяет работать с различными медиа одновременно, минимизируя рутинные задачи.

🚀 Основные моменты:
- Поддержка локальных файлов, веб-сайтов и ссылок.
- Умные заметки с интеграцией AI и возможностью поиска.
- Разделение экрана для одновременной работы с несколькими ресурсами.
- Генерация интерактивных приложений без кода.
- Открытые форматы данных и локальное хранение.

📌 GitHub: https://github.com/deta/surf

#svelte

🧠 ThinkMorph - новый скачок в мультимодальном мышлении

Модель обучена на 24K высококачественных интерливинговых трасс рассуждений и умеет генерировать прогрессивные текстово-визуальные шаги мышления, где текст и изображение усиливают друг друга.

Что это даёт
- резкий прирост в задачах с визуальным контекстом
- постепенное мультимодальное рассуждение шаг за шагом
- неожиданные способности: адаптивная логика и невиданные ранее визуальные манипуляции

Модель не просто видит и описывает картинку - она развивается в процессе рассуждения, корректируя и дополняя свои выводы с каждым новым текстово-графическим шагом.

Это уже не просто VLM - это механизм, который учится думать с помощью изображения и текста одновременно, усиливая одно другим.

Исследование называется ThinkMorph - можно найти на Hugging Face Papers по номеру 2510.27492

https://huggingface.co/papers/2510.27492

Суровая правда 😂

📦 Samsung и NVIDIA строят AI-мегафабрику на 50000 GPU

Samsung и NVIDIA запускают новый формат производства чипов: цифровой завод, где ключевые этапы литографии, проектирования и роботизации работают на GPU, а не на классических CPU-кластерах.

Что это значит:
- цифровые двойники фабрик и чипов на NVIDIA Omniverse
- до 20 раз быстрее вычислительная литография (cuLitho)
- ИИ-ускоренное OPC - корректировка масок для точной печати транзисторов
- ускоренный EDA - моделирование, верификация и проектирование
- внедрение Blackwell и Jetson Thor в заводские роботы
- применение цифровых двойников в производстве смартфонов и техники Samsung

Ключевые участники:
- Samsung - фабрики, данные, OPC-пайплайн, производство
- NVIDIA - GPU, CUDA-X, cuLitho, Omniverse, Isaac Sim
- партнёры: Synopsys, Cadence, Siemens

Почему это важно:
Процесс OPC - один из самых тяжёлых вычислительных этапов в производстве чипов. GPU дают прирост в 20 раз, значит маски готовятся быстрее и точнее. Это сокращает цикл: проектирование - симуляция - производство.

Апгрейд памяти:
- HBM4 с 10-нм DRAM и 4-нм логическим слоем
- до 11 Гбит/с пропускной способности

Роботы и автономия:
- Isaac Sim и Jetson Thor для заводских роботов
- RTX PRO 6000 Blackwell Server Edition для реального восприятия и планирования
- AI-RAN для низкой задержки между сенсорами, базовыми станциями и роботами

Плюс Samsung будет разворачивать модели Megatron на 400 млн устройств - чат, перевод, суммаризация прямо в производственных процессах.

По сути, это шаг к полному цифровому конвейеру чипостроения: от виртуального проектирования до реальных роботов на фабрике.

wsj.com/tech/ai/samsung-electronics-nvidia-to-build-ai-factory-in-new-chip-deal-c97e623f

🚀 Ваш ИИ-агент забывает только потому что вы ему позволяете

Есть простая техника, которая радикально улучшает качество агента. Её почти никто не применяет, хотя прирост достигает 51.1%.

Называется workflow memory.

Представьте задачу: вы просите агента обучить ML-модель на вашем CSV. Он пишет код на PyTorch, перебирает гиперпараметры, правит конфиг, оптимизирует пайплайн и выдаёт финальный скрипт. Всё отлично. Но через пару дней вы даёте похожее задание, и агент снова проходит весь путь, повторяет ошибки и тратит токены.

Workflow memory меняет правила. Агент должен помнить процесс и свой опыт: что делал, какие сложности встречал, какие решения сработали, что нужно избегать. Это не ретри, а развитие навыка.

В конце задачи агент записывает ключевую информацию в обычный markdown-файл: описание задачи, проблемы, выводы. А при старте новой задачи получает краткие описания прошлых workflow.md и сам выбирает, что ему пригодится.

Это дешёвый способ дать агенту рабочую память, не полагаясь на гигантский контекст.

Результат
- меньше токенов и расходов
- нет повторяющихся ошибок
- реальное обучение на опыте, а не на нуле каждый раз

Это можно реализовать хоть сегодня в вашем агенте. Нужны только markdown-файлы и продуманный prompt.

Вот выборка готовых появилась готовых workflow.

Агент сам определяет, какая память релевантна новой задаче. Исследование MIT показало рост качества на 24.6% и 51.1% в тестах на веб-навигацию.

👉 Github: https://github.com/camel-ai/camel/pull/3291
👉 Paper: https://arxiv.org/pdf/2409.07429

🚀 Nvidia инвестирует до $1 млрд в Poolside - стартап, создающий инструменты автоматизации программирования. Раунд нацелен на $2 млрд при оценке $12 млрд.

Условия сделки:
- стартовый чек Nvidia - $500 млн, с ростом до $1 млрд при достижении целей по привлечению капитала;
- уже подтверждено более $1 млрд, ~**$700 млн** - от текущих инвесторов.

Что делает Poolside
- автоматизация разработки и генерирование кода;
- фокус на гос-сектор и оборону;
- долгосрочная цель — системы AGI.

Зачем деньги
- закупка кластеров Nvidia GB300 (Blackwell Ultra, 72 GPU + Grace CPU, оптимизировано под высокоскоростной инференс);
- масштабирование compute и R&D.

Контекст
- проект связан с Project Horizon - дата-центром на 2 ГВт в Техасе (CoreWeave), мощность которой сопоставима с энергией для 1.5 млн домов.
- Nvidia в 2025 уже проинвестировала 59+ AI-стартапов — растит спрос на свои чипы и усиливает позиции в AI-инфраструктуре.

Poolside получает доверие рынка и доступ к топовой вычислительной мощности. Nvidia укрепляет доминирование в AI-железе.
Автогенерация кода выходит из экспериментов в реальный продакшн-масштаб.

#Nvidia #AI #AGI #VC #DeepTech

bloomberg com/news/articles/2025-10-30/nvidia-to-invest-up-to-1-billion-in-ai-startup-poolside

🧾 Microsoft раскрыла цифры, которые показывают масштабы расходов OpenAI.

В отчёте для SEC видно: OpenAI потеряла около $11.5 млрд за один квартал.

Это считается по методу учёта доли — Microsoft владеет примерно 27% OpenAI и списала у себя $3.1 млрд. Если 27% = $3.1 млрд убытка, то общий минус - около $11.5 млрд.

Ещё один факт: Microsoft уже перечислила $11.6 млрд из обещанных $13 млрд - почти всё финансирование уже пришло в OpenAI.

И при этом Microsoft за тот же период заработала $27.7 млрд чистой прибыли, так что такой минус она спокойно выдерживает.

Гонка за лидерство в ИИ - это игра, где даже крупнейшие компании готовы сжигать гигантские суммы.

Интересно посмотреть, сколько она ещё продлится и кто выдержит дольше?

theregister.com/2025/10/29/microsoft_earnings_q1_26_openai_loss

@ai_machinelearning_big_data

#opanai #Microsoft #money

🎓 Stanford выпустил новый курс: “Transformers & Large Language Models”

Авторы - братья Amidi, и уже вышли три бесплатные лекции на YouTube. Это, пожалуй, один из самых системных вводных курсов по современным LLM.

Содержание курса:

• Transformers: токенизация, эмбеддинги, attention, архитектура
• Основы LLM: Mixture of Experts, типы декодирования
• Обучение и настройка: SFT, RL, LoRA
• Оценка моделей: LLM/VLM-as-a-judge, лучшие практики
• Трюки: RoPE, аппроксимации attention, квантизация
• Резонирование: масштабирование при обучении и инференсе
• Agentic-подходы: RAG, tool calling

Если ты уже знаком с этой темой — отличный повод освежить знания и попробовать реализовать некоторые приёмы с нуля.

https://cme295.stanford.edu/syllabus/

🤖 GaussGym: обучайте роботов ходить прямо из пикселей — быстро, фотореалистично и открыто

Представлен GaussGym - open-source фреймворк для симуляции роботов, который впервые объединяет высокую скорость и фотореалистичное зрение.

С помощью 3D Gaussian Splatting, встроенного как drop-in рендерер в векторизованные симуляторы (например, IsaacGym), GaussGym позволяет обучать визуомоторные политики на основе RGB-изображений со скоростью свыше 100 000 шагов в секунду — даже на одной RTX 4090.

🔹 Создавайте тренировочные миры из видео с iPhone, датасетов (GrandTour, ARKit) или генеративных видео (например, через Veo)
🔹 Автоматически стройте физически корректные сцены с помощью VGGT и NKSR — без ручного 3D-моделирования
🔹 Тренируйте политики навигации и локомоции прямо из пикселей, а затем переносите их в реальный мир без донастройки (zero-shot sim2real) — авторы уже продемонстрировали восхождение робота по 17-см ступенькам
🔹 Поддержка глубины, motion blur, рандомизации камеры и других реалистичных эффектов для лучшего переноса

Всё это — полностью открыто: код, данные, модели и даже готовые датасеты на Hugging Face.

GaussGym стирает компромисс между скоростью и реализмом в робототехнике — и делает обучение роботов изображениям действительно масштабируемым.

🔗 Демо: https://escontrela.me/gauss_gym/
📄 Paper: https://arxiv.org/abs/2510.15352
💾 Data: https://huggingface.co/collections/escontra/gauss-gym-datasets
💻 Code: https://github.com/escontra/gauss_gym

🤖 Многоагентная система кодинга

Этот проект представляет собой многоагентную ИИ-систему, которая использует оркестратор для координации работы исследовательских и кодирующих агентов. Оркестратор разбивает задачи на подзадачи и управляет процессом, обеспечивая стратегический подход к решению задач.

🚀 Основные моменты:
- Достижения: 12-е место в TerminalBench, превосходя Claude Code.
- Оркестратор управляет делегированием и верификацией задач.
- Агенты работают с уникальными контекстами и инструментами.
- Инновационный подход к совместному использованию знаний через контекстный хранилище.

📌 GitHub: https://github.com/Danau5tin/multi-agent-coding-system

#python