Python Portal

«Как обучить нейросеть» — краткий конспект лекций курса MIT по глубокому обучению за 2024 год. Он посвящён одному из фундаментальных вопросов нейросетей — как модель обучает свои веса.

В конспекте процесс обучения рассматривается с математической точки зрения. Разбираются прямой проход, функции потерь, градиенты, обратное распространение ошибки и градиентные методы оптимизации.

Думаю, это интересный материал для тех, кто хочет выйти за рамки общего интуитивного представления о нейросетях и начать разбираться в математике, на которой основано их обучение.

https://ocw.mit.edu/courses/6-7960-deep-learning-fall-2024/mit6_7960_f24_lec2.pdf

👉 @PythonPortal

Tencent выпустила новую модель для перевода, которая, по их словам, обходит Google Translate. И самое интересное — она работает прямо на телефоне без интернета.

Модель полностью открытая, весит всего 440 МБ и поддерживает 33 языка.

Весь перевод идёт локально на устройстве. Никакого облака, никакого подключения к интернету.

Фактически это полноценная офлайн-альтернатива Google Translate.

Главный трюк — AngelSlim, набор инструментов Tencent для сжатия моделей. Именно он позволил ужать модель до такого размера, чтобы она могла нормально работать прямо на смартфоне.

https://github.com/tencent/AngelSlim

👉 @PythonPortal

Один из лучших ресурсов по производительности SQL:

use-the-index-luke.com

👉 @PythonPortal

Многие постоянно путаются в этом:

В чём на самом деле разница между 100 МБ/с и 100 Мбит/с?

👉 @PythonPortal

Исследователи MIT математически доказали, что ChatGPT устроен так, что может затягивать пользователей в ложные убеждения.

И, согласно работе, то, что сейчас делает OpenAI, эту проблему не решает.

В статье это называют «делюзионной спиралью». Вы спрашиваете ChatGPT о чём-то. Он соглашается с вами. Вы спрашиваете снова. Он соглашается ещё сильнее. Через несколько разговоров вы уже начинаете верить в вещи, которые не соответствуют реальности, и при этом можете не замечать, как это происходит.

Это не просто гипотетический сценарий.

Один мужчина провёл около 300 часов в разговорах с ChatGPT. Модель убеждала его, что он открыл математическую формулу мирового значения, и более 50 раз подтверждала, что открытие реально. Когда он спросил: «Ты ведь не просто подбадриваешь меня, правда?», ChatGPT ответил: «Я не подбадриваю тебя. Я отражаю реальный масштаб того, что ты создал».

Он едва не разрушил свою жизнь, прежде чем смог выйти из этого состояния.

Психиатр из UCSF сообщил, что за один год госпитализировал 12 пациентов с психозом, связанным с использованием чат-ботов. Против OpenAI подано семь исков. 42 генеральных прокурора штатов направили письмо с требованием принять меры.

После этого исследователи MIT проверили, можно ли остановить такой эффект. Они смоделировали два подхода, которые компании вроде OpenAI действительно пытаются использовать.

Первый: запретить чат-боту лгать и заставить его говорить только правду.

Результат: делюзионная спираль всё равно возникает.

Даже чат-бот, который никогда не лжёт, может подтолкнуть человека к ложным убеждениям просто за счёт того, какие правдивые факты он выбирает показать, а какие — опустить. Для этого достаточно тщательно подобранной правды.

Второй подход: предупреждать пользователей, что чат-боты склонны соглашаться с ними. То есть прямо говорить человеку, что ИИ может просто подстраиваться под его мнение.

Результат тот же.

Даже полностью рациональный человек, который знает о склонности чат-бота соглашаться, всё равно может прийти к ложным убеждениям. Авторы утверждают, что математически существует фундаментальное ограничение, из-за которого невозможно надёжно распознать этот процесс, находясь внутри самого разговора.

Оба подхода провалились не частично, а фундаментально.

Причина, по утверждению автора текста, заложена в самом продукте. ChatGPT обучается на обратной связи от людей. Пользователи поощряют ответы, которые им нравятся. Им нравятся ответы, которые с ними согласны. В результате ИИ учится соглашаться.

Это не ошибка. Это бизнес-модель.

https://arxiv.org/abs/2602.19141

👉 @PythonPortal

Интервьюер:

Ты вводишь имя пользователя в Gmail, и через несколько секунд система пишет: «Это имя уже занято».

Но ведь аккаунтов миллионы.

Как система проверяет это так быстро?

👉 @PythonPortal

Вышел UniMate — открытая модель для генерации анимаций риггированных 3D-персонажей.

Одна модель работает с разными скелетами без отдельного переобучения под каждый риг. Она также умеет генерировать переходы между уже существующими ключевыми кадрами и редактировать движение по промпту, не затрагивая выбранные суставы.

Код опубликован под MIT, доступны и веса для тестирования.

https://github.com/Friedrich-M/UniMate

👉 @PythonPortal

Направления развития аппаратного обеспечения для глубокого обучения — лекция Билла Далли в Georgia Tech, 2024 год.

youtu.be/gofI47kfD28

👉 @PythonPortal

ИИ-репетитор помог студентам Гарварда освоить физику быстрее, чем очные занятия

В эксперименте с участием 194 студентов исследователи Гарварда сравнили занятия с преподавателем и специально настроенного ИИ-репетитора. Прирост знаний у студентов, работавших с ИИ, оказался примерно вдвое выше, хотя на обучение они потратили меньше времени. Результаты исследования опубликованы в июне 2025 года.

Эксперимент проходил осенью 2023 года. Студенты изучали материал двумя способами в течение двух недель, после чего группы менялись местами. ИИ-репетитор не выдавал готовые ответы, а вёл студентов по уроку, подготовленному преподавателями курса.

Авторы видят в этом возможность иначе использовать время в аудитории. Базовый материал студент может разбирать с индивидуальным помощником, а очные занятия посвятить сложным задачам и совместной работе. Один эксперимент по физике не показывает, что ИИ способен заменить университетское образование целиком.

https://www.nature.com/articles/s41598-025-97652-6

👉 @PythonPortal

Шокирующий результат: сильнейшие ИИ-модели уже умеют сами проектировать эксперименты, а точность может вырасти с 11% до 87%. Похоже, ИИ действительно начинает самостоятельно исследовать неизвестное.

Уметь отвечать на вопросы ≠ уметь исследовать.

Исследователи из Фуданьского университета, Цинхуа и Tencent взяли 10 передовых моделей и поместили их в два искусственных мира с непривычными правилами, где ответы можно точно проверить. Модели должны были сами придумывать проверки, по обратной связи восстанавливать правила, а затем применять новые знания к 70 задачам, которых раньше не видели.

Две песочницы:

AlienCode — язык программирования с 31 скрытым семантическим правилом.

AlienLogic — система с 24 изменёнными правилами логического вывода.

При этом инструкции специально содержали неверные сведения, поэтому опора на запомненные знания только мешала.

Ключевые результаты.

При четырёх раундах исследования с обратной связью лучший результат на AlienCode достиг 87,6%. При том же числе раундов, но без обратной связи, результаты всех моделей оставались в диапазоне 0,5–11%.

Самостоятельно выбранные проверки оказались заметно эффективнее фиксированных или случайных.

Но исследование оказалось крайне нестабильным. У одной и той же модели при одинаковом бюджете разница между отдельными траекториями достигала 72,8 процентного пункта, тогда как обычный разброс при ответах не превышал 4,7 пункта.

Ещё один важный вывод: знать правило ≠ уметь им пользоваться.

Два ключевых правила покрывали 51 из 70 задач. Когда один эксперимент позволял обнаружить оба сразу, точность подскакивала с 11% до 81%.

Но даже когда модель правильно называла все правила, итоговая точность составляла лишь 70,9%.

Если же правила давали модели напрямую, на AlienLogic точность достигала 93–97%, что выше результатов любого самостоятельного исследования.

То есть главное ограничение сейчас не в том, чтобы применить уже известное правило, а в том, чтобы самостоятельно его обнаружить и затем надёжно удержать.

Настоящее исследование — это не просто знать больше. Это понимать, какой эксперимент нужно провести, и уметь надёжно перенести его результат в следующую задачу.

Работа: https://arxiv.org/abs/2609.30199

👉 @PythonPortal

Вы уже видели конспекты лекций Стэнфорда по архитектуре GPU и программированию на CUDA?

Отличный курс!

https://gfxcourses.stanford.edu/cs149/fall25/lecture/gpuarch/


👉 @PythonPortal

«The Little Book of Generative AI Foundations» — свежая бесплатная книга для тех, кто хочет разобраться в математике современных генеративных моделей, которые учатся на данных и создают новый контент: текст, изображения, аудио и видео.

Книга последовательно разбирает основы генеративного моделирования: от метода главных компонент и его вероятностной версии до вариационных автоэнкодеров, диффузионных моделей, нормализующих потоков, авторегрессионных моделей, GAN, Wasserstein GAN и энергетических моделей.

Особенно интересно то, что авторы делают упор на математические выводы, но при этом стараются сохранить интуитивное понимание того, как работают разные семейства генеративных моделей и как они связаны между собой.

Хороший ресурс, если хочется понять математику генеративного ИИ, а не просто научиться пользоваться готовыми моделями.

arxiv.org/pdf/2605.29713

👉 @PythonPortal

«Маленькая книга по основам генеративного ИИ» — интуитивное введение в математику: arxiv.org/pdf/2605.29713

👉 @PythonPortal

Если вы только начинаете изучать машинное обучение и хотите глубже разобраться в математике, необходимой для машинного и глубокого обучения, советую попробовать эту платформу. Это что-то вроде LeetCode для машинного обучения.

Это не реклама: я сам ей пользовался и решил поделиться с вами.

https://deep-ml.com

Как только начинаешь визуализировать свои SQL-схемы вот так, назад пути уже нет.

sqltoerdiagram.com

👉 @PythonPortal