Машиннное обучение | Наука о данных Библиотека

Один из лучших вводных материалов по прикладной линейной алгебре, который мне попадался.

Этот курс объясняет векторы, матрицы и метод наименьших квадратов с самых основ, а затем связывает их с реальными задачами:

• подгонка данных

• машинное обучение

• оптимизация

• обработка изображений

• системы управления

Это материал, который можно рекомендовать студентам, инженерам и всем, кто хочет понять математический фундамент современной data science.

PDF: http://web.stanford.edu/~boyd/vmls/vmls.pdf

В Оксфордском университете написали эссе, объясняющее, как работает «Бесконечность» Годзё Сатору.

В эссе “Mathematics Behind Jujutsu Kaisen: Gojo Satoru’s Infinity” разбирают технику Infinity как настоящий математический объект.

На поверхности всё похоже на парадокс Зенона: между атакующим и Годжо всегда остаётся расстояние. Его можно делить пополам бесконечно: половина, четверть, одна восьмая и так дальше. Кажется, что атакующий никогда не дойдёт до цели.

Но обычная математика быстро ломает эту “абсолютную защиту”. Геометрическая прогрессия сходится:

1/2 + 1/4 + 1/8 + ... = 1

То есть бесконечно много шагов могут дать конечное расстояние и конечное время. С этой точки зрения Infinity не должна останавливать атаку вообще.

Дальше начинается интереснее. Через меру Лебега автор показывает, что бесконечный набор точек деления может иметь нулевую длину. То есть “барьер” из бесконечного числа точек не занимает пространства как настоящая стена.

Тогда почему атака всё-таки тормозит?

Ответ даёт риманова геометрия. Infinity можно понимать не как стену, а как искажение самой метрики пространства рядом с Годжо. Чем ближе атакующий подходит, тем сильнее растягивается “линейка”, которой измеряется расстояние. Физически шаг может быть маленьким, но внутри такой геометрии он ощущается всё длиннее и длиннее.

Поэтому техника работает не как невидимая преграда, а как изменение правил измерения пространства.

И отсюда становится понятнее, почему Sukuna смог её обойти. Он не “пробил” Infinity обычной атакой. Он атаковал не Годжо как точку внутри пространства, а само пространство, в котором держалась техника. В терминах статьи, World Cutting Slash разрывает непрерывность метрики. Барьер не преодолевается, а теряет основу, на которой существовал.

Получается красивый разбор: Infinity Годжо можно описать через сходимость рядов, меру Лебега, риманову геометрию и топологию.

Редкий случай, когда аниме-способность реально тянет на мини-курс по современной математике.

PDF:
https://tomrocksmaths.com/wp-content/uploads/2026/06/achmad-roykhan-sabiq_essay_competition_2026-achmad-roykhan-sabiq.pdf

🐍 Python Парсинг: Большой продвинутый бесплатный курс

Полное практическое руководство по веб-скрейпингу на Python — от основ HTTP до production-grade пауков, обхода антибот-защит, асинхронности и проектирования надёжных пайплайнов. Каждый раздел содержит рабочие примеры, типовые ошибки и продвинутые практики.

https://github.com/justxor/Pythonparsing-/tree/main

“Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines”

В статье утверждается, что sparse autoencoders, возможно, не такие уж плохие инструменты для steering, как считалось раньше. Значительная часть прошлых неудач могла быть связана не с самими автоэнкодерами, а с тем, что исследователи выбирали и называли неправильные признаки.

Проблема в том, что ранние работы выставляли sparse autoencoders слабыми: их features размечали так, что названия могли не совпадать с тем, что эти признаки реально вызывают внутри модели.

Sparse autoencoder - это небольшая вспомогательная модель, которая раскладывает скрытую активность LLM на множество возможных «признаков»: тему, стиль, концепт или другое внутреннее направление.

То есть sparse autoencoder может найти направление внутри модели, но неназванное направление ещё не становится удобной ручкой управления.

Авторы заменяют размытые или унаследованные названия supervised-пайплайном: они проверяют, действительно ли активность конкретного feature стабильно совпадает с реальной меткой в данных.

Механизм примерно такой: если feature срабатывает на тему «алкоголь», а искусственное усиление этого feature заставляет модель чаще говорить об алкоголе, то метка перестаёт быть просто описательной. У неё появляется причинный смысл.

Ещё один важный вывод: экстремальная разреженность может быть не обязательна. Feature не обязан быть сверхредким, чтобы быть полезным для steering.

Важно и сравнение с prompting. И prompting, и feature steering пытаются подтолкнуть LLM к нужному поведению.

Но prompting обычно сильнее, потому что модель специально обучали следовать промптам. Feature steering работает грубее: мы как будто напрямую нажимаем на внутренний механизм модели и надеемся, что остальная система не развалится.

Prompting говорит модели во входе: «напиши про алкоголь». Feature steering делает иначе: он усиливает внутренний «alcohol-related» feature и проверяет, сдвинется ли ответ в эту сторону.

Ссылка: arxiv.org/abs/2605.31183

В Harvard Business Review вышел материал о том, как ИИ ломает найм сразу с двух сторон.

Резюме стало проще подделывать, а удалённые интервью - проще проходить с подсказками в реальном времени. В итоге система всё чаще награждает не тех, кто лучше справится с работой, а тех, кто лучше умеет проходить сам процесс найма.

Кандидат может за несколько минут сгенерировать вылизанный текст с нужными ключевыми словами, а AI-скринеры иногда сами предпочитают резюме, похожие на output модели. В статье приводится исследование, где такие резюме получали на 23-60% больше шансов попасть в короткий список.

Первый раунд удалённых интервью тоже теряет доверие. Live AI-ассистенты уже могут подсказывать ответы во время звонка, особенно на предсказуемые вопросы: конфликт в команде, мотивация, карьерный путь, «расскажите о сложной ситуации».

Проблема не только в false positives, когда слабый кандидат выглядит сильным. Есть и false negatives: нестандартные сильные кандидаты могут вообще не попасть к человеку, потому что их документы хуже оптимизированы под фильтры.

HBR предлагает уходить от шаблонных вопросов к живым рабочим симуляциям. Кандидату дают messy-сценарий из реальной работы, просят принять решение, а затем интервьюер меняет вводные: добавляет ограничение, противоречие или новый факт.

Так проверяется способность думать на ходу: защищать tradeoffs, менять решение и сохранять связную логику под давлением.

https://hbr.org/2026/06/ai-has-broken-hiring-heres-how-to-fix-it

MIT предложили интересную рамку для self-evolving AI scientists - систем, которые не просто ищут ответ, а умеют понять, что им не хватает самого языка для описания открытия.

Проблема в том, что большинство ИИ-систем для науки работают внутри заранее заданной схемы. Они могут перебирать гипотезы, искать статьи, запускать инструменты, сравнивать результаты, но всё равно остаются внутри фиксированного набора переменных, тестов и понятий.

А настоящая наука часто начинается там, где приходится менять саму схему:

- добавить новый тип переменной
- придумать новый инструмент измерения
- ввести новый класс объектов
- изменить способ проверки гипотезы
- сформулировать утверждение, которое раньше нельзя было выразить

Идея статьи в том, чтобы представлять каждый элемент работы агента как typed artifact: данные, модель, вывод инструмента, ошибку, промежуточный результат, гипотезу или финальный claim. Система должна знать не только «что это», но и как это было получено.

Так агент может различать три режима:

- retrieval - добавили уже известный факт
- search - поискали внутри старой схемы
- discovery - изменили саму схему, чтобы стало возможно выразить новое

Это попытка формализовать то, что ИИ-агенты пока чаще имитируют: разницу между «найти ответ внутри языка» и «заслужить право изменить сам язык».

arxiv.org/abs/2606.01444

✔️ Anthropic обнулила лимиты после сбоя в Claude Code

Компания сообщила, что полностью сбросила пятичасовой и недельный лимиты для всех подписчиков тарифов Pro и Max.

Это решение должно компенсировать платным пользователям повышенный расход ресурсов, вызванный программным сбоем.

Причиной проблемы стало то, что некоторые сессии Claude Code ошибочно запускали большое число параллельных субагентов. Из-за этого квоты расходовались заметно быстрее, чем предполагалось.

Пользователи жаловались в соцсетях на аномально быстрое исчерпание квот при работе с Claude Code: в ряде случаев дневной лимит заканчивался уже после нескольких простых запросов.

В сообществе разработчиком высказывались предположения, что резкое сокращение доступных квот связано с новой версией функции Dynamic Workflows. Anthropic это опровергла.

Согласно пояснению, причина кроется в особенностях обработки запросов к Opus 4.8: из-за них модель инициировала больше одновременных вызовов инструментов, чем было заложено.

Сам сбой, как утверждается, уже устранён.


@ai_machinelearning_big_data

#news #ai #ml

🖥 Сервисы крутятся. Прод вроде живой. Но когда тимлид спрашивает: «почему здесь лучше ValueTask, а не Task?» или «как GC поведёт себя под нагрузкой?» - ты начинаешь плыть.

И дело не в том, что ты плохо пишешь код. Просто большинство курсов заканчиваются ровно там, где начинается настоящий .NET.

Этот курс про то, что обычно остаётся под капотом:

- CLR
- JIT
- GC
- Span
- async state machine
- Source Generators
- lock-free подходы
- OpenTelemetry
- дампы в проде

На практике разбираем, как .NET реально работает внутри: что происходит с кодом после компиляции, как память живёт под нагрузкой, почему async иногда помогает, а иногда ломает производительность, как читать проблемы по дампам и метрикам, а не гадать по логам.

Если хочешь дойти до уровня, где система для тебя не чёрный ящик, а инструмент, который ты понимаешь до IL, - велкам.

Сейчас на stepik доступна скидка 55%: https://stepik.org/a/288694

ИИ начал писать «как великие авторы». И читатели выбрали ИИ

Представьте писателя, который 40 лет собирал свой стиль:

- ритм фраз
- способ начинать сцену
- интонацию
- вес каждого слова
- годы отказов, черновиков и переписываний

А потом исследователи берут все его книги, дообучают на них ChatGPT и просят написать новый текст в его голосе.

Дальше - слепой тест.

Без подписи. Без подсказок. Только два текста:

- один написан человеком
- второй сгенерирован ИИ

Оценивали не случайные люди. В исследовании участвовали MFA-авторы, обычные читатели, 50 известных писателей, 8 нобелевских лауреатов, лауреаты Пулитцера и Букера.

И вот где становится неприятно.

Когда ChatGPT просто просили «напиши как этот автор», эксперты быстро видели подделку. Текст звучал как ИИ.

Но когда модель дообучили на полном корпусе книг конкретного автора, всё перевернулось.

Эксперты чаще выбирали уже ИИ:

- как более похожий по стилю
- как более качественный по письму
- как текст, который звучит ближе к автору

AI-детектор тоже сломался.

Обычный AI-текст Pangram ловил в 97% случаев. Дообученный под автора - только в 3%.

Медианная цена дообучения и генерации под одного автора - около $81.

То есть модель может взять десятилетия чужого труда, стиль, голос, литературную ДНК - и за копейки начать писать так, что читатели предпочитают её оригиналу.

Если каждая новая книга автора становится обучающим материалом для системы, которая потом пишет следующую книгу без него, что именно защищает авторское право?

arxiv.org/pdf/2510.13939

⚙️ ASMLings - подробный гайд на русском

ASMLings - это набор из ~32 коротких упражнений на ассемблере Intel 8086, выстроенных по возрастанию сложности: от mov ax, 0x1337 до 32-битного сложения через carry flag, циклов, подпрограмм, работы с памятью и стеком.

Полный русскоязычный гайд по asmlings — интерактивной песочнице для изучения ассемблера Intel 8086, в которой 16-битный x86-эмулятор написан на Rust.

Внутри: что это, как устроено под капотом, как установить, как читать и решать упражнения, разборы реальных задач из репозитория, готовые примеры в examples/ и шпаргалки.

https://github.com/justxor/-ASMLingsru/

🤖 Machine Learning Roadmap: от базы до гуру вайбкодинга

Карта обучения машинному обучению (Machine Learning, Deep Learning, LLM, Generative AI, MLOps) - от первого import numpy до уровня инженера, который понимает, как ИИ работает внутри, и может писать прод‑системы, а не только дёргать API.

https://github.com/justxor/MachineLearningRoadmap/tree/main

Stanford холодно ломает миф про «толпу AI-агентов»

Новая статья Stanford разбирает популярную идею: если один LLM хорошо решает задачу, то несколько агентов с ролями, дебатами и пайплайнами должны решать её ещё лучше.

Оказалось, не всегда.

Если дать одиночному агенту и multi-agent системе одинаковый бюджет reasoning-токенов, один сильный агент чаще решает multi-hop задачи не хуже, а иногда лучше.

Причина почти неприятно простая: один агент держит всю цепочку рассуждения внутри себя. Multi-agent система вынуждена дробить её на сообщения, summary и handoff между агентами.

А каждый handoff - это сжатие.

Сжали мысль, потеряли часть контекста, передали дальше уже не полную картину. Потом это почти невозможно восстановить. Авторы объясняют это через Data Processing Inequality: обработка данных не создаёт новую информацию из воздуха, а чаще теряет её.

Эксперименты на Qwen, DeepSeek и Gemini показали похожую картину: при равном бюджете single-agent обычно догоняет или обходит sequential, debate, role-based и ensemble схемы на FRAMES и MuSiQue.

Но это не значит, что multi-agent бесполезен.

Он становится полезнее, когда контекст одиночного агента специально портят: маскируют данные, подмешивают отвлекающие факты или сбивают эффективное использование контекста. Тогда внешняя структура иногда помогает удержать задачу.

Больше агентов - не автоматический апгрейд.

Часто «победа multi-agent» означает только одно: системе дали больше test-time compute, больше токенов и больше попыток.

Для multi-hop reasoning дефолт теперь выглядит так: сначала один сильный агент. А несколько агентов - уже не магия, а ремонтная стратегия, когда контекст грязный, задача плохо структурирована или нужен внешний контроль.

Paper: arxiv.org/abs/2604.02460

@machinelearning_books

NVIDIA показала, что 4-bit обучение LLM больше не выглядит безумием

NVIDIA обучила 12-миллиардную LLM в 4-битной точности на 10 триллионах токенов. И это гораздо важнее, чем звучит на первый взгляд.

До сих пор индустрия жила с простым правилом: хочешь нормально обучать большую модель - используй 16-bit или хотя бы 8-bit. Уход в 4-bit считался почти гарантированной дорогой к нестабильности, развалу градиентов и деградации качества.

Но NVIDIA показала, что проблема была не в самой 4-битной точности, а в том, как именно числа представлены.

Ключевая штука - формат NVFP4. Вместо грубого универсального масштаба он использует micro-scaling: числа разбиваются на маленькие блоки, и для каждого блока применяется свой scale factor. Проще говоря, модель получает сильно сжатое представление данных, но без потери важных деталей.

Результат выглядит как сдвиг в экономике обучения:

- арифметика быстрее в 2-3 раза
- память режется примерно на 50%
- качество почти не проседает
- 4-bit модель идёт практически рядом с 8-bit baseline

На MMLU, GSM8K и coding-бенчмарках разница оказалась около 0.1%. То есть модель стала дешевле и легче, но почти не стала глупее.

https://arxiv.org/abs/2509.25149

@machinelearning_books

👣 На Stepik обновили курс «Rust: полный курс разработчика. С нуля до профи»

Представьте: через три месяца вы открываете чужой Rust-код и читаете его как книгу.

Arc<Mutex<T>> не вызывает панику. impl Future не пугает. Вы точно знаете, почему компилятор ругается и как это починить за 10 секунд.

Это не фантазия. Это результат 50 уроков, в которых каждая концепция объясняется через код и закрепляется практикой.

Ownership, traits, generics, async, unsafe - всё, что казалось магией, станет рабочим инструментом.

А бонусом - портфолио проектов: от CLI-утилит до REST API и WebAssembly.

Вы и так знаете, что Rust - ваш следующий язык. Этот курс просто сделает это реальностью.

Сегодня - 55% процентов от цены, торопись: https://stepik.org/a/269250/

⚡️ ИИ должен был разгрузить людей. В итоге он жарит мозг

Harvard Business Review описывает новый офисный синдром - AI brain fry. Это когда человек не отдыхает благодаря ИИ, а наоборот быстрее выгорает, потому что теперь управляет ещё и цифровыми помощниками.

По данным исследования на 1500 сотрудников, ИИ часто не снижает нагрузку, а разгоняет её. Вместо одной задачи у тебя появляется несколько параллельных потоков: поставить задачу модели, проверить ответ, исправить ошибки, сравнить варианты, принять решение и не пропустить галлюцинацию.

Больше всего достаётся тем, кто использует ИИ агрессивно: разработчикам, IT-специалистам, финансистам и другим людям, которые пытаются выжать из себя больше обычного.

Когда ты следишь за несколькими AI-выводами сразу, усталость растёт, а принимать решения становится сложнее.

Получается парадокс: инструмент для ускорения работы превращается в ещё одну работу.

Раньше ты делал задачу. Теперь ты ещё и менеджер маленькой армии стажёров, которые работают быстро, но требуют постоянной проверки.

hbr.org/2026/03/when-using-ai-leads-to-brain-fry

OpenAI запускает OpenAI Deployment Company - отдельную deployment-компанию для внедрения AI в корпорации.

В официальном анонсе всё выглядит спокойно: больше $4 млрд стартовых инвестиций, majority control у OpenAI, партнёры из private equity, консалтинга и системной интеграции, плюс покупка Tomoro, чтобы сразу получить команду примерно из 150 AI deployment-специалистов.

Axios пишет, что у инвесторов есть условия, которых нет в официальном анонсе: гарантированный минимальный возврат 17.5% и capped profits. То есть снизу доходность защищена, сверху прибыль ограничена.

И вот тут история становится намного интереснее.

OpenAI получает не просто деньги. Она получает доступ к портфелям private equity-фондов, а это тысячи компаний, куда можно заносить AI не через холодные продажи, а через уже существующих владельцев и совет директоров.

Схема выглядит так:

- private equity даёт капитал
- OpenAI даёт модели, инженеров и deployment-практику
- портфельные компании становятся каналом внедрения
- инвесторы получают понятную финансовую конструкцию
- OpenAI получает enterprise-дистрибуцию, которую нельзя быстро скопировать одним API

Frontier labs уже не хватает просто выпустить сильную модель и ждать, что бизнес сам всё встроит. Настоящие деньги будут там, где модель подключена к данным, процессам, безопасности, продажам, операционке и внутренним системам комп
Продуктом становится внедрение.

И OpenAI, похоже, строит свою версию Palantir-стиля: forward-deployed engineers, работа внутри клиента, AI как операционная перестройка, а не как подписка на чатик.

Поэтому за этой структурой стоит следить. Не из-за красивой цифры $4 млрд, а потому что frontier labs начинают использовать private equity одновременно как источник капитала и как канал распространения.

https://www.axios.com/2026/05/11/openai-deployco-private-equity