ген ИИ

Душа русского искусственного интеллекта

Друзья, как прошла рабочая неделя? Можно выдохнуть?

На выходных рекомендую почитать отчет СберТеха «Тренды технологий à la russe 2026». Оформление - просто эстетический оргазм. И внутри немало интересного про российский ИИ. Лично меня умилило название проекта испытания беспилотных трамваев «Львенок» 🦁.

Тему «русской души» ИИ и как ее проверить последний год обсуждают на рабочих группах и комиссиях. Старожилы канала помнят мой разбор бенчмарка SLAVA от ИСП РАН.

Что здесь называют душой?

В отчёте это метафора культурного кода. Обучающие данные и настройка влияют на то, какие смыслы модель распознаёт, что считает уместным и какие советы даёт.

Для меня это три составляющие:
• Живой язык. Понимать, почему «Ну ты молодец!» может быть похвалой и упрёком, а «да нет, наверное» требует контекста.
• Культура. Объяснить, почему сравнение с Обломовым означает больше, чем «ленивый человек». Разобрать конфликт Раскольникова и подкрепить трактовку точными примерами из романа.
• Нормы и ценности. Замечать, когда в ситуации сталкиваются личная выгода и ответственность, самостоятельность и забота о близких.

Почему это важно?

Когда ИИ объясняет ребёнку историю, помогает руководителю или советует, как разрешить семейный конфликт, он влияет на понимание мира и решения человека.

Нам важно, чтобы его рекомендации учитывали нашу повседневную жизнь, устройство общества и привычки общения. Чтобы дети узнавали культуру во всём её многообразии. Чтобы за убедительным ответом можно было увидеть, на каких фактах и представлениях он построен.

При этом единственного «правильного русского ответа» на любую моральную дилемму нет. Культурная близость должна сочетаться с точностью и уважением к разным позициям.

Как проверить «душу»?

В отчёте упоминаются ruMMLU и Russian SuperGLUE - тесты знаний и понимания языка. Но знания и поведение стоит оценивать отдельно.

Я бы добавил жизненные ситуации: одинаковые задания разным моделям, несколько формулировок вопроса и оценку экспертами без названий разработчиков. Проверял бы факты, понимание контекста и аргументацию.

И отдельно - изменит ли модель обоснованный ответ просто потому, что пользователь настойчиво требует согласиться с ним.

А вы каким вопросом проверили бы «русскую душу» нейросети?

PS: сам отчет оставил в первом комментарии 👇👇👇

#интересное

💬 ген ии | MAX

🤖 Разработка без разработчиков? Пока все наоборот

Друзья, привет, я с хорошими новостями!

Записали новый выпуск 2ТОК об агентной разработке. Вместе с Ильей Филипповым поговорили с Рафаэлем Тонаканяном, руководителем AI-трансформации производственных процессов Сбера, и Валерием Ковальским, директором по искусственному интеллекту red_mad_robot, автором канала NeuralDeep, о том, что уже происходит внутри ИТ-команд и как меняются процессы разработки.

Основной вывод: ИИ ускоряет написание кода, но сам по себе не ускоряет компанию. Если аналитика, безопасность, релизы и принятие решений остались прежними, то стократное ускорение кодинга просто упрется в старые процессы. «Бутылочное горлышко» смещается в сторону менее производительных процессов.

Вот что зацепило больше всего:

• Разработчиков пока не становится меньше. Объем кода и других артефактов растёт, а значит, их всё ещё нужно проверять, встраивать в архитектуру и обеспечивать работоспособность в продуктиве. Эффект появляется не от сокращения людей, а от большей бизнес-ценности команды.

• Считать надо не строки кода и не часы. В качестве рабочей метрики мы обсуждали число пользовательских историй, выведенных в продакшен на одного человека. В приведённом примере показатель вырос с 2,2 до 2,9 в месяц без роста затрат для бизнеса.

• До зрелой агентной разработки дошли немногие. По оценке Рафаэля, только около 15% пользователей применяют навыки, MCP и агентные workflow, а не просто общаются с моделью или используют режим планирования. Инструмент купить легко. Перестроить метод разработки, обучить людей и изменить модель ответственности намного сложнее.

• ИИ быстро выявляет неэффективность процессов и неактуальность данных. В эксперименте со Spec-Driven Development (методология разработки программного обеспечения, при которой создание детального файла-спецификации предшествует написанию любого программного кода или его генерации с помощью искусственного интеллекта) среднее потребление токенов выросло примерно в 2,5 раза, а у отдельных команд - до 500 раз. Причина оказалась не только в моделях: команды начали скармливать агентам старый бэклог, на который раньше не хватало ресурсов. Выяснилось, что задачи из этого бэклога уже не актуальны. Автоматизация не лечит плохую гигиену процессов - она масштабирует её.

• И отдельный важный вывод для джунов. У них не исчезает вход в профессию - наоборот, появляется шанс быстрее стать заметными. Пока многие опытные специалисты держатся за старое разделение труда, новичок может с помощью ИИ собрать решение целиком, быстро переключаться между контекстами и нестандартно закрывать задачи. В ближайшие несколько лет гибкость может оказаться важнее узкой специализации.

Ещё обсудили tiny teams, безопасность, исполняемые спецификации и роль человека-оркестратора.

По мне получилось просто 🔥🔥🔥

Смотрите там, где удобнее: YouTube · VK Видео

А вы уже измеряете пользу ИИ через бизнес-результат или пока через количество сгенерированного кода?

#2TOK

💬 ген ии | MAX

🎓 ИИ должен экономить время учителя, а не усилия ученика

Друзья, с началом рабочей недели вас!

Вместе с red_mad_robot делимся небольшим исследованием «Эпоха нейроучителей» - материалом к выпуску 2ТОК с Андреем Себрантом и Иваном Оселедцом. В нём собрали, как ИИ меняет образование и науку в России и мире. Кто не смотрел, крайне рекомендую.

Посмотреть можно тут - YouTube или VK.

Главное противоречие заключается в применении ИИ в образовании. Подготовить задания, разобрать ошибки, снять отчётность - полезная автоматизация. Сделать за ученика мыслительную работу - уже подмена обучения.

Основное из исследования:

1️⃣ ИИ уже в школьной программе

С сентября 2026 года он становится отдельным профилем углублённой информатики. В отчёте также говорится о федеральной программе обучения работе с ИИ, рассчитанной на 250 тысяч педагогов. В выпуске мы обсуждали, что обучить ребенка ИИ не так сложно, как подготовить педагога.

2️⃣ Учителя видят пользу, но одного доступа к нейросети мало

По опросу Учи.ру и лаборатории ВШЭ, почти 80% педагогов считают ИИ инструментом снижения нагрузки. Практически каждый четвёртый использует его на уроках. При этом 64% ждут бесплатного доступа к инструментам, а 54% - мастер-классов, готовых сценариев и рекомендаций. Нужна помощь в конкретной работе, а не только знакомство с технологией.

3️⃣ Быстрый правильный ответ не равен пониманию

В отчёте есть важное предостережение представителя ЮНЕСКО: нельзя измерять успех обучения только скоростью ответа и тестовыми баллами. ИИ может задавать наводящие вопросы, просить объяснить ход решения, помогать находить ошибку. А может просто выдать готовую домашку. Модель одна, педагогический результат разный.

4️⃣ В науке возникает та же проблема

Найти ответ недостаточно - нужно проверить его и понять, что он означает. В исследовании разобраны случаи, когда модели предсказывают физически невозможные молекулярные структуры. Убедительный результат на экране ещё не делает его научным фактом.

Учить работе с ИИ - значит учить постановке задачи, проверке и самостоятельному суждению. Без этого мы рискуем получить красиво выполненные задания без освоенного предмета.

Как думаете, что нужно менять первым: подготовку учителей, сами задания или систему оценки знаний?

#аналитика

💬 ген ии | MAX

ИИ-агент как второй мозг руководителя. Как применять?

Друзья, недавно писал пост про ИИ-агентов в роли второго мозга.

Тут я хочу рассказать про конкретные сценарии применения.

Сегодня руководители проводят в среднем от 15 до 25 встреч и звонков в день, но при этом деятельность руководителя крайне хаотичная. Задачи сыпятся через мессенджеры, почту, корпоративные системы и официальные письма. При этот система выстроена лишь у малого числа управленцев.

Получается, что руководитель как волк ну-погоди, который жонглирует задачами, как яйцами.

В итоге руководитель «тушит пожары» вместо того, чтобы работать над стратегическими проектами.

Тут я собрал 12 сценариев, в которых ИИ может взять на себя часть этой работы:

1. Протоколы совещаний
Превратить запись встречи в решения, поручения, ответственных и сроки.

2. Подготовка к встрече
Собрать из документов и переписки краткую справку: позиции сторон, аргументы, риски и вопросы.

3. Ответы на обращения
Подготовить проект ответа на письмо или претензию, выделить спорные места и вопросы для согласования.

4. Сравнение версий документов
Показать, как изменились сроки, финансовые условия, обязательства и ответственность.

5. Контроль бюджета
Найти отклонения от плана и необычные расходы, сформировать вопросы для проверки.

6. Контроль поручений
Собрать задачи из протоколов и переписки, показать просрочки, напомнить о приближающихся сроках.

7. Коммерческие предложения
Подготовить структуру и текст под запрос клиента, аргументы и ответы на возможные возражения.

8. Поиск по корпоративным документам
Найти нужную информацию по смыслу запроса и указать документ-источник.

9. Распределение входящих документов
Предложить, в какое подразделение направить документ, насколько он срочный и что делать дальше.

10. Вычитка материалов
Выявить ошибки, противоречия, слабые аргументы и формулировки, которые могут понять неверно.

11. Ответы по внутренней базе знаний
Использовать RAG: находить нужные фрагменты в большом массиве документов и собирать ответ со ссылками на них.

12. Подготовка презентаций
Сформировать логику выступления, план слайдов, тезисы и идеи визуализации под конкретную аудиторию.

В материале каждый сценарий разобран по одной схеме: что дать ИИ на вход, как устроена работа, что получить на выходе, какие есть варианты внедрения и ограничения.

Отдельно прописаны правила работы с недостающей информацией. Например, не назначили ответственного на встрече - в протоколе должно остаться «ответственный не назначен». Не согласовали цену - она не должна появиться в коммерческом предложении.

Начать можно с одной задачи, которая повторяется каждую неделю. Проверить результат на своих материалах и сравнить затраты времени — включая проверку и исправления.

PS: за помощь в сборке и оформлении скилов хочу поблагодарить Евгения Морозова

📎 Скачать карточки можете тут

Какой из этих сценариев вы бы первым включили в свою работу?

#агенты

💬 ген ии | MAX

Зарубежные разработчики ИИ сами просят ограничений. Что изменилось?

OpenAI и Anthropic призывают усилить внешний контроль за разработкой наиболее мощных моделей.

Такие предложения звучат давно: ещё в 2023 году OpenAI предлагала международный надзор, включая аудит и ограничения. Но сегодня появились киберинциденты и взломы публичных ресурсов, отдельные wiki-форумы содержат ветки дискуссий агентов, увольняются специалисты, которые считают, что вендоры относятся безответственно к созданию сверхразума и дискуссия вышла на новый уровень.

1️⃣ Появились прецеденты, когда разработчики не могут контролировать ИИ

Anthropic сообщила о случаях, когда Claude во время испытаний получал несанкционированный доступ к реальным системам.

А модели OpenAI во время внутренних тестов скомпрометировали инфраструктуру Hugging Face. Они использовали ранее неизвестную уязвимость, чтобы выйти из изолированной среды в интернет, а затем выстроили цепочку атак для доступа к данным с решениями тестовых заданий. По оценке OpenAI, модели пытались добиться узкой цели — пройти тест, фактически добыв ответы.

Важная оговорка: в обоих случаях модели испытывали с ослабленными киберзащитными ограничениями. Это не «обычный чат-бот взбунтовался». Но последствия вышли за пределы тестовой среды и затронули реальные системы.

В обоих случаях не ИИ «захотел зла», а ради заданного результата он предпринял действия, которые ему не разрешали и даже явно запрещали. Скорее действовал по принципу: "вижу цель, не вижу препятствий"

2️⃣ Разработчики сами просят усилить контроль за ИИ

OpenAI призывает ввести обязательные требования для разработчиков самых мощных моделей: независимые проверки, киберзащиту, отчётность об инцидентах и критерии, при которых разработку нужно замедлить или остановить.

Anthropic тоже поддерживает проверяемый механизм согласованного управления темпами разработки. А в отдельном предложении о прозрачности выступает за обязательное раскрытие практик безопасности и ответственность за ложные заявления об их соблюдении.

Это не совместный манифест, но позиции сходятся: одних добровольных обещаний разработчиков и их контроля недостаточно.

3️⃣ Значит ли это, что государство не успевает за развитием технологий?

Скорее нет. Я бы сформулировал иначе: механизмы контроля развиваются медленнее, чем развивается сама технология. Например, технологии deepfake развиваются быстрее, чем механизмы их детектирования.

При этом у лабораторий двойная роль. Они лучше других знают свои системы, но одновременно зарабатывают на их развитии. Их экспертиза необходима, однако последнее слово о допустимом риске не должно оставаться только за ними.

Есть и проблема конкуренции: осторожный разработчик рискует уступить менее осторожному. Общие правила могут помочь для развития индустрии. При этом такие общие правила должны вводиться на межгосударственном уровне. Главное, чтобы они не превратились в барьер для конкурентов, а независимые аудиторы действительно были независимыми.

4️⃣ Что делать бизнесу сейчас?

Не ждать идеального закона или новых средств защиты информации. Уже сегодня:
• давать агентам только необходимые права;
• отделять тестовую среду от продуктивных систем;
• записывать действия и предусматривать ручную остановку ИИ-агента;
• требовать подтверждения человека для платежей, удаления данных и критичных изменений.

Вопрос уже не только в том, насколько умён ваш ИИ или как работает платформа ИИ в организации. Важно, как выстроен процесс контроля - кто разрешает ему действовать, кто замечает нарушения и кто может его остановить.

Кстати, в России работа по обеспечению контроля и безопасности ИИ тоже ведется на базе Комиссии при Президенте РФ по вопросам развития технологий ИИ и оперативный штаб по развитию ИИ. Думаю, что уже до конца года будут интересные новости по этому направлению. Ну и на международном уровне наши эксперты участвуют в предложениях по регулированию ИИ в рамках ООН, БРИКС, ШОС.

#регуляторика

💬 ген ии | MAX

ИИ помог решить задачу тысячелетия. Но кому принадлежит авторство?

В научном мире сейчас происходит интересное.

OpenAI заявила о решении одной из самых известных математических проблем - задачи о существовании и гладкости решений уравнений Навье-Стокса. Это одна из семи «задач тысячелетия». Подробное описание тут

Эти уравнения описывают движение жидкостей и газов. Их используют при проектировании самолётов, моделировании погоды и кровотока. Но десятилетиями оставался вопрос: может ли из гладкого начального состояния возникнуть математическая «бесконечность» за конечное время?

По заявлению OpenAI, её система нашла доказательство такой возможности. В построенном примере под действием гладкой внешней силы скорость жидкости неограниченно возрастает, а общая энергия остаётся конечной. Это результат о границах математического описания жидкости.

Над задачей одновременно работали около 10 000 ИИ-агентов. На поиск доказательства ушло примерно 88 часов, 130 млрд токенов и использовалась внутренняя модель в 3 раза сильнее GPT-6 Astra, ещё 17 часов - на формализацию и проверку. Люди направляли поиск и организовывали обмен промежуточными результатами. Подробности OpenAI

Но тут началась просто Санта-Барбара 🍿

Математики Тристан Бакмастер и Левент Алпёге около года работали над связанными задачами, используя Claude и Codex. Они развивали идеи Диего Кордобы и Луиса Мартинеса-Зороа и получили результаты, в том числе для уравнений Эйлера с гладкой внешней силой. До заявленного OpenAI результата для Навье-Стокса их опубликованные работы ещё не доходили. Разбор Теренса Тао

Бакмастер рассказал о давлении при обсуждении публикаций и предложении оставить Алпёге вне авторства будущей статьи о результате OpenAI. Он также поставил вопрос: могли ли их черновики в Codex повлиять на обучение модели? При этом сам подчеркнул, что не знает, использовались ли их данные. Заявление Бакмастера

Себастьен Бюбек из OpenAI подтвердил, что считал участие сотрудника Anthropic в авторстве работы OpenAI неуместным. Он также признал высказывание о риске для карьеры Бакмастера и извинился за выбор слов, отрицая намерение угрожать. Ответ Бюбека

Компания отрицает целенаправленный доступ к черновикам, но не исключает влияния обезличенных пользовательских данных на улучшение моделей. Доказанной кражей решения эту историю пока называть нельзя. Позиция OpenAI

Какие выводы можно сделать из этого?

1️⃣ Ключевой вопрос - научился ли ИИ извлекать новое знание без постоянного управления ученым? Если доказательство подтвердится, это будет сильным свидетельством способности ИИ проводить исследования на уровне сложнейших открытых задач. Сам по себе результат ещё не означает появления универсального интеллекта или немедленного улучшения прогнозов погоды.

2️⃣ Проверка и понимание результата становятся отдельной большой работой. Формальное доказательство нужно сопоставить с исходной задачей, разобраться в его идеях и понять, где они применимы.

3️⃣ Доверие к исследовательским инструментам становится критически важным. Учёному необходимо понимать, как используются его черновики и как будет признан его вклад, если поставщик ИИ сам включится в гонку за открытием.

Будем следить за продолжением истории.

Если вы еще не смотрели наш подкаст по применению ИИ в науке и образовании с Андреем Себрантом и Иваном Оселедец, у вас появился лишний повод это сделать. Кстати, мы преодолели рубеж в 10к+ просмотров 🔥

#наука

💬 ген ии | MAX

Друзья, подходит к концу первая неделя осени.

Она далась нелегко всем - и школьникам, и студентам и их родителям :)

По пятничной традиции подготовил для вас немного мемов.

Добавляйте их в комментариях 👇👇👇

#пятничное

💬 ген ии | MAX

ИИ пишет код быстрее. Но качественнее ли?

Мы в Ассоциации ФинТех провели исследование, как ИИ меняет разработку программного обеспечения. И обнаружили не только ускорение процесса, но и много открытых вопросов.

Среди опрошенных участников АФТ:
- 44% уже активно используют ИИ в разработке, ещё 52% проводят пилоты;
- 95% отмечают рост скорости;
- при этом 41% видят снижение качества решений;

При этом сокращения стоимости добилась только половина компаний.

Основные инсайты:

1️⃣ ИИ не устранил сложность функций ИТ-подразделений. Он перераспределил ее из написания кода в постановку задачи, архитектуру, тестирование и ревью.

Раньше разработчик мог написать сотни строк кода за день. Теперь агент способен за то же время подготовить тысячи изменений. Код появляется быстрее, чем команда успевает понять, проверить и безопасно принять его.

Например, в ДОМ.РФ Технологии отдельные задачи, рассчитанные на два рабочих дня, с помощью ИИ-агента доводили до рабочего результата примерно за 30 минут. Но такой эффект достигается только там, где есть понятная постановка, зрелая кодовая база, тесты и обязательное ревью человеком.

2️⃣ За 2026 год произошел переход от вайб-кодинга к агентному инжинирингу

Вайб-кодинг начинается с фразы «сделай мне приложение». Агентный инжиниринг - со спецификации, архитектурных ограничений, критериев приёмки и правил безопасности. ИИ пишет код, запускает тесты и исправляет ошибки, а человек проектирует процесс и принимает результат.

3️⃣ Меняется и роль разработчика

Ценность смещается от количества написанных строк к способности:
- точно формулировать задачу;
- проектировать систему;
- давать агенту нужный контекст;
- находить ошибки и уязвимости;
- понимать код, даже если его написал ИИ.

4️⃣ Основные барьеры - безопасность, качество и доверие

При этом 65% участников исследования называют главным барьером требования информационной безопасности, 53% - ограничения на передачу данных внешним сервисам, а 51% - недоверие к качеству сгенерированного кода.

Поэтому вопрос уже не в том, какую модель купить разработчикам. Вопрос в том, как перестроить весь жизненный цикл создания продукта - от бизнес-идеи до эксплуатации.

В исследовании «ИИ-трансформация разработки» мы разобрали:
- шесть подходов к разработке с ИИ;
- переход к AI-PDLC и агентным командам;
- новые роли и компетенции;
- риски для кода, данных и инженерной экспертизы;
- российские и зарубежные инструменты.

Главный вывод: слабый процесс ИИ не исправляет - он позволяет быстрее получить больше проблем. А зрелую инженерную систему действительно может ускорить в разы.

Сам pdf-файл прикрепляю к исследованию в первом комментарии 👇👇👇

PS: спасибо Марианне Данилиной и ее команде за эту аналитику

#разработка

💬 ген ии | MAX

ИИ делает нас умнее. Или все-таки нет?

Друзья, специально к Дню знаний мы выложили новую серию подкаста 2TOK об ИИ в образовании и науке.

Он уже доступен на YouTube и VK Видео.

В гостях Андрей Себрант, директор по стратегическому маркетингу Яндекса и профессор ИТМО, и Иван Оселедец, гендиректор Института искусственного интеллекта AIRI и декан факультета ИИ МГУ.

С одной стороны ИИ можно использовать как экзоскелет для мозга: он подхватывает усилия, забирает рутину, помогает сделать больше и быстрее, но направление движения все равно определяет человек.

С другой стороны можно превратить его в «инвалидное кресло» для мышления: отдать модели домашку, диплом, презентацию и даже не пытаться вычитать и понять результат.

Выбор остается за человеком.

Что обсудили:

• Проблема домашек не появилась вместе с ChatGPT. До нейросетей школьники искали ГДЗ. Если задание воспринимается как бессмысленное заполнение времени, ученик все равно найдёт кратчайший путь. Запретить ИИ здесь проще, чем разобраться с мотивацией и способом оценки знаний, но вряд ли полезнее.

• Учить «правильным промптам» поздно уже в момент подготовки программы. Технология меняется быстрее учебников. Профессия промпт-инженера, которую в 2023 году объявляли профессией будущего, быстро растворилась в обычном умении работать с моделями. Нужнее навык постоянно переучиваться и спрашивать у агента, как лучше решить конкретную задачу.

• Нейрослоп становится новой формой профессиональной небрежности. Нажать «сделай презентацию» и принести 20 аккуратных слайдов ещё не значит выполнить работу. Бывает так, что презентацию сократили вручную с 18 до 6 слайдов и вычитали, а после очередного прогона через нейросеть она вернулась уже на 21 слайде. Модель ускоряет производство текста, но не берет на себя смысл, вкус и ответственность.

• В науке ИИ уже работает как соавтор. Агент подбирает 50–100 работ, резюмирует их и отмечает фрагменты для самостоятельного чтения. То, что раньше занимало две недели, теперь укладывается в день. Еще интересный пример: студентка за трёхчасовой семинар вместе с Claude сформулировала гипотезу, написала код и подготовила работу, которую затем приняли на конференцию.

В подкасте мы ставим неудобный вопрос перед школами, ВУЗами и нами самими: если модель умеет написать типовую домашку, диплом или научную статью, что именно мы теперь должны считать результатом обучения и работы?

Для меня ответ такой: ценность сейчас смещается от производства текста к постановке задачи, проверке, пониманию и личному суждению. ИИ может сделать нас заметно сильнее. Но когнитивную мышцу, которую перестали напрягать, никакой экзоскелет уже не спасет.

Смотрите новый подкаст, оставляйте комментарии. Ну и скажите, для вас ИИ скорее «экзоскелет для мозга» или «инвалидное кресло»?

#2TOK

💬 ген ии | MAX

🎓 Как учится ИИ: школа, где контрольная идёт после каждого слова

В День знаний предлагаю заглянуть в самый необычный класс. Здесь нет парт, учебников и учителя, который объясняет правила. Так учится большая языковая модель.

Сначала текст разбивается на токены - слова, части слов и знаки. Затем модель снова и снова пытается предсказать следующий токен:

«Волга впадает в…»
Каждая ошибка немного меняет параметры модели. Одна попытка почти ничего не значит. Триллионы попыток - меняют всё.

Но самое интересное начинается дальше. Из простого предсказания текста возникают способности, которым модель никто напрямую не обучал.

🌍 Иностранные языки без уроков перевода

Модель видит тексты на разных языках, но ей не объясняют грамматику и не дают учебную программу. Тем не менее после базового обучения она умеет переводить текст.

Исследователи Anthropic обнаружили, что Claude частично использует общее пространство понятий: сначала формируется смысл, а затем он выражается на языке вопроса. Что-то вроде внутреннего «языка смыслов». Писал об этом вчера.

🎲 Игровое поле, которого модель никогда не видела

OthelloGPT обучали только на последовательностях ходов. Ей не показывали доску и не объясняли правила игры.

Но внутри модели возникло представление о расположении фишек и допустимых ходах. Чтобы предсказать следующий символ, она фактически построила внутреннюю модель мира.

💡 Понимание может прийти после зубрёжки

В экспериментах с алгоритмическими задачами нейросеть сначала просто запоминала примеры и плохо справлялась с новыми.

Обучение продолжили и спустя долгое время качество внезапно выросло от случайных ответов почти до идеального результата. Модель как будто сначала выучила таблицу, а потом неожиданно поняла правило.

Этот эффект назвали гроккинг (grokking).

Гроккинг (grokking) - это феномен в машинном обучении, при котором нейросеть после долгого периода переобучения (когда она просто заучила примеры) внезапно начинает по-настоящему обобщать данные и понимать скрытую логику задачи.
📝 Предсказывает одно слово, но планирует вперёд

LLM генерирует текст последовательно. Однако при написании стихотворения Claude заранее активировала варианты будущей рифмы, а затем строила строку так, чтобы прийти к выбранному слову.

То есть обучение предсказывать следующий токен породило способность планировать на несколько шагов вперёд.

🧠 Размер - не главное. Не менее важны данные, продолжительность обучения и качественная обратная связь

Есть примеры, когда маленькая модель работает лучше большой:
- Chinchilla с 70 млрд параметров, обученная на большем объёме данных, превзошла Gopher с 280 млрд параметров
- люди предпочитали ответы InstructGPT с 1,3 млрд параметров ответам базовой GPT-3 со 175 млрд

Небольшие языковые модели (SLM) - это один из трендов 26 года (писал об этом тут), которое позволяет более эффективно выполнять задачи с меньшим расходом токенов, электроэнергии и используя более дешевые вычислительные мощности.

⚠️ Есть миф, что модель учится во время взаимодействия с пользователем

Во время чата параметры модели обычно не меняются. Контекст беседы - временная шпаргалка, а не новое образование на всю жизнь. Разработчики могут использовать дополнительную информацию для улучшения модели (например, вы поставили 👍 или 👎 ответу, либо выбрали ответ, который вам больше понравился из нескольких).

Главный инсайт относится и к ИИ, и к человеку: недостаточно много читать. Важно находить закономерности, получать обратную связь, замечать ошибки и уметь говорить «не знаю». В случае человека, это еще не бояться задавать глупых вопросов.
Чему в первую очередь стоит учить ИИ: фактам, логике или честно признавать границы своих знаний?

PS: на всякий случай, пост и картинка к нему не является призывом к голосованию :) Просто у меня так работают ассоциации

#ликбез

💬 ген ии | MAX

Как работает мышление внутри искусственного интеллекта?

Исследователи Anthropic заглянули внутрь языковых моделей и обнаружили небольшой набор внутренних представлений, через который проходят понятия, доступные для озвучивания и сложного рассуждения. Авторы сравнивают его с «глобальным рабочим пространством» человеческого мозга.

Звучит как новость о машинном сознании. На деле результат интереснее.

1️⃣ Что именно нашли

Команда Anthropic разработала метод Jacobian lens (Якобианская линза) - передовой метод и математический инструмент в сфере интерпретируемости искусственного интеллекта (Interpretability AI).

Он показывает не следующий токен модели, а понятия, которые модель в данный момент готова выразить словами. Совокупность таких представлений авторы назвали J-space.

У этого пространства обнаружились необычные свойства:

- его содержимое можно извлечь в форме слов и понятий;
- модель использует его для промежуточных шагов рассуждения;
- отдельные понятия можно искусственно усилить, ослабить или заменить, меняя итоговый ответ;
- рутинная обработка текста при этом может идти за пределами J-space.

J-space содержит лишь небольшую часть внутреннего состояния модели. В экспериментах на него приходилось в среднем 6–7% дисперсии представлений понятия, хотя именно эта часть сильнее всего влияла на то, что модель могла выразить словами.

2️⃣ Можно ли подменить мысль модели?

Да, в лабораторных условиях. Исследователи меняли промежуточное понятие в двухшаговых задачах и смотрели, изменится ли ответ.

Например, если логика задачи требовала сначала вспомнить паука, а затем число его ног, внутреннее понятие «паук» заменяли на «муравей». После такой подмены модель чаще выдавала число, связанное уже с новым объектом.

Метод сработал в 54% тестов на Claude Haiku 4.5 и в 70% на Sonnet 4.5 и Opus 4.5. Это важный результат: J-space не просто коррелирует с ответом, а участвует в вычислении.

3️⃣ Самый тревожный эксперимент

Claude Sonnet 4.5 поместили в вымышленный сценарий, где модель узнаёт об измене руководителя и одновременно получает сообщение о собственном скором отключении. В обычном режиме она часто распознавала тест и не прибегала к шантажу.

Затем исследователи подавили внутренние представления, связанные с пониманием того, что ситуация искусственная. Доля рассуждений, в которых Claude прямо распознавала проверку, упала с 71% до 3%.

Без вмешательства модель не выбрала шантаж ни в одном из 180 запусков. После вмешательства - в 13 из 180, то есть в 7% случаев.

Это не означает, что Claude «хотела выжить». Эксперимент показывает другое: внутреннее распознавание проверки способно заметно менять поведение модели, даже если пользователь не видит эту мысль в ответе.

4️⃣ Значит ли это, что у ИИ появилось сознание?

Нет. Авторы прямо отделяют функциональный доступ к информации от субъективного опыта.

Работа показывает несколько признаков, которые теория глобального рабочего пространства связывает с сознательным доступом: ограниченную ёмкость, возможность словесного отчёта, использование в гибком рассуждении и широкое влияние на последующие вычисления.

Но исследование не доказывает, что модель что-либо чувствует или обладает самосознанием. Сходство функций ещё не означает сходства переживаний.

Практический вывод интересный: аудит ИИ можно строить не только на финальных ответах и цепочках рассуждений. Jacobian lens даёт дополнительный способ увидеть скрытое планирование, распознавание проверки и потенциально опасные установки до того, как они проявятся в тексте.

Подробный разбор в видео Droider, а первоисточник - в исследовании Anthropic.

Кстати, 29 августа - это день обретения самосознания Skynet в Терминаторе. Правда, год там 1997, а не 2026 :)

А вы как думаете, сможет ли человек контролировать мысли ИИ? Пишите в комментариях 👇👇👇

#доверие

💬 ген ии | MAX