Самые умные мысли Павла Комаровского (и немножко щитпостинг)

Подумал, кстати, что интересно было бы оценить нашу дискуссию с Иваном Ямщиковым трехлетней давности с точки зрения того, что произошло с тех пор. Попросил GPT-5.6 Sol, а также Claude Opus 5 выделить основные тезисы сторон, и сравнить их с текущим положением вещей — что состарилось хорошо, а что не очень (ссылки на их анализ выше).

С точки зрения проблемы AI alignment мы явно за последние три года продвинулись в сторону "риск выше, а не ниже":

— Способности ИИ за это время видимо прокачались, сильных свидетельств в пользу "достижения потолка" или "упирания в стену" пока не заметно (хотя, такие мнения за эти три года регулярно высказывались некоторыми скептиками).

— Надежного способа решать проблему контроля за ИИ / AI alignment так и не придумали.

— Гипотеза Ивана, что более умный ИИ будет становиться всё более этичным, и вообще он впитает нашу этику на этапе обучения — пока подтвердилась скорее в другую сторону. Мы видим, что более умные модели скорее становятся более успешными в своих попытках найти новые способы обмануть оценщика, ну или просто учатся скрывать свою готовность к читингу, если догадываются, что это проверка и за ними специально наблюдают.

— Еще один тезис Ивана про то, что "без появления сознания у ИИ агентности у него не будет" тоже сейчас выглядит скорее более спорным. Как мы видим, агентные способности современных моделей сильно прокачались, и они сейчас могут демонстрировать достаточно сложное самостоятельное поведение, которое можно назвать "однозначно вытекающим из поставленной цели" разве что с очень большой натяжкой (см. взлом Hugging Face).

— Важный момент, который подсветил Иван тогда: имеет значение не только наша техническая способность решить проблему AI alignment, но и то, кто и какие конкретно ценности будет после этого в модели зашивать. В эту сторону мы уже видели кучу примеров: китайские модели, которые "не знают" про площадь Тяньаньмэнь, споры за воук/не воук модели между Гемини и Гроком, терки Антропика с военными США, и т.д.

Немного угораю с тех, кто пишет тейки вроде "ну вот Павел Комаровский же никогда не интересовался AI и вообще не беспокоился ни о каких рисках, а тут вдруг ВНЕЗАПНО поменял свою позицию… ну очевидно же, что это прогрев перед IPO!!"

Тем временем, Павел Комаровский три с половиной года назад:
— Дискуссия с Иваном Ямщиковым про экзистенциальные риски ИИ
— Лонгрид про AI alignment
— Интервью с Татьяной Шавриной (тоже про AI alignment и риски искусственного интеллекта)

Про мнения топов из AI-индустрии, кстати, совершенно так же говорят: "ахаха, ну это типа просто совпадение, что они перед IPO внезапно начали говорить про все эти риски, да??"

Ну типа, братан, ты хотя бы у Грока спроси — как давно все эти люди начали высказывать обеспокоенность рисками ИИ? Действительно ли это какой-то "новый хайп", или эти же ребята последовательно придерживались аналогичной позиции последние 10+ лет?

В понедельник начинаем в моем клубе совместное изучение крутой книги The Missing Billionaires.

Она только на английском, мне надо сделать перевод на русский. Еще несколько лет назад это был бы многомесячный очень дорогой проект с привлечением переводчиков, редакторов, дизайнеров, и так далее. Сейчас можно получить MVP за несколько часов работы с агентными LLM — только знай их подпинывай иногда со словами "братан, графики не забудь аккуратно добавить везде" и "форматтинг таблицы поехал, pls fix".

Понятно, что итоговое качество такого слоп-перевода сильно ниже, чем было бы в случае работы профессиональной команды. Но оно, в целом, вполне норм на самом деле получается! Более чем достаточно для наших целей.

Из интересного:

🐌 Claude в режиме Work составил отличный подробный пошаговый план работы. Но когда дошло до дела, сказал "ой, так вам нужно COPYRIGHTED BOOK переводить?? сорян, мне таким заниматься запрещают…"

🐌 Слава богу, OpenAI еще не настолько продвинулись в деле AI alignment, и ChatGPT не испытывает никаких моральных терзаний от перевода чужой книжки. Как говорится, всё же есть какие-то намеки, почему HF incident произошел именно в OpenAI.

🐌 Сначала для экономии токенов пытался делать перевод моделью Terra, но та всё время тупила, останавливалась на полпути, и факапила форматирование таблиц/графиков. После переключения на Sol все существенные проблемы исчезли, агент себя норм самопроверяет и не забывает важные инструкции.

🐌 Правда, пришлось в итоге купить себе-таки про-подписку за $100. Допрогрел меня, выходит, Альтман на токены!

В общем, успевайте до понедельника присоединиться к нашему клубу — будет супер-интересно, книга годная: https://paywall.pw/rationalanswer_vip

Чудесная история про турецкие "сверхнадежные" ПИФы денежного рынка на канале War, Wealth & Wisdom.

P.S. По совокупному опыту прошлых лет, напрашивается вывод: НИКОГДА НЕ инвестировать в любые активы со словами Terra, Tera, и другими однокоренными в названии…

Так, тут вышло РАЗОБЛАЧЕНИЕ взлома Hugging Face, которое все репостят в англоязычном твиттере как "доказательство что никаких побегов роев агентов не было". Пришлось купить подписку на WSJ и написать небольшой тред с разбором.

Жуховицкий пишет про то, как разводят через "доверительное управление на криптобирже BingX".

P.S. Интересная реакция биржи, конечно. "Это скамеры, но это очень выгодные скамеры, а вам бы научиться лапшу с ушей снимать просто!.."

Извините, а этого можно как-то избежать, или это произойдет в любом случае??

OpenAI по слухам там почти решили еще одну задачу тысячелетия. Думаю, огромное число математиков сейчас лихорадочно нажимают в ЧатГПТ галку "разрешить использовать логи для улучшения моделей" и кидают в чат все пришедшие в голову гипотезы о том, как подходить к ее решению…

OpenAI пообещали впредь вовремя рассказывать о «бедокурстве» своих нейронок

Подопечные Сэма Альтмана выложили новый фреймворк того, как они будут подходить к публичному раскрытию новых эпизодов всякой дичи от своих моделей. В качестве затравки рассказали про шесть новых случаев – кратко про это в новой статье.

Вообще, неиронично надеюсь, что мой термин «бедокурство ИИ» в качестве русского эквивалента «AI misalignment» в итоге войдет в словари. Неужели я так многого прошу? 👉👈 Саму область AI alignment тогда будем называть «курощение ИИ», таков путь.

Читать статью: https://habr.com/ru/companies/ods/articles/1083328/

P.S. Как обычно, если материал вам понравился – буду благодарен за поддержку лайком/апвоутом на Хабре, это здорово помогает в его продвижении.

Так, кто там говорил "а чё это китайские модели никуда не убегают, это не кажется вам ПОДОЗРИТЕЛЬНЫМ?" Так вот, Wired пишет, что Kimi K3 китайская тоже убегала через дырку в песочнице. Правда, никого взламывать не стала, т.к. нужные ей чит-коды лежали открыто на Гитхабе.

Вангую, что в реплаях напишут "всё понятно, эти тоже хайпуют, чтобы денег поднять". Так работают теории заговоров: если китайские модели не убегают — это "пруф того, что OpenAI занимается псиопом". Если убегают — пруф того, что и Китай тоже псиопит! То есть, независимо от того, что произошло — всё в любом случае сложится в логичную картинку про то, что это всё фейк для классов.

P.S. Ну ладно, как подсказывают в комментах — тут "побега" чёт совсем не вышло, китайская модель даже нормальную лазейку в полноценный интернет не смогла найти. Так, по Гитхабу только пошарилась. Незачет, минус кошкожена с плошкой риса!

В чате Котенкова пытают нейросеть вопросами "да кто вообще такой этот Комаровский?"

Пока читал, что она отвечает — думал, жестянка мне сейчас курсы по аналитике тут же продаст...

Так, краткий апдейт вам хотел дать по Полимаркету. Раз уж на носу уже на этой неделе выборы — придется рассказать положняк по той ставке, с которой началось мое увлечение площадкой. А то я знаю, вы потом мне будете писать "поставил вслед за Павлом против ЕР и всё проиграл =(("

У меня, тем временем, уже несколько раз там менялось направление ставок (напомню, речь идет о вероятности того, что Единая Россия получит наибольший прирост мест в Думе по сравнению со статусом кво):
— Сначала я шортил ЕР по 90
— Потом покупал лонг по 53
— Потом опять шортил по 75

Текущая моя позиция околонулевая, рынок болтается около 77%. Интуитивно мне кажется, что это слишком много, и надо шортить. К этому есть несколько предпосылок:

🐌 Рейтинги ЕР сильно просели за последние полгода, на фоне всяких окружающих социально-экономических процессов.

🐌 Ходили слухи от неких _источников_, что KPI по результатам ЕР в регионах якобы опустили на фоне этого до 45%.

Но есть и аргументы за ставку лонг ЕР:

🐌 Исходя из правил пари, точкой отсчета является не результат прошлых выборов в 2021 году, а текущая ситуация. Тогда ЕР взяли 325 мест, но прямо сейчас у них занято 310 мест — получается, эти +15 как бы будут записаны в прирост "на халяву" даже при просто повторении прошлого результата. Хотя, на другом сайте, который прямо указан в правилах Полимаркета, так и стоит 325 — так что, тут непонятно точно, как в итоге разрешится.

🐌 Новые присоединенные регионы будут ожидаемо голосовать с огромным перевесом за ЕР, что еще даст буст к результатам 2021 года.

🐌 Самое важное: "умные деньги" в целом, и Gopfan в частности, дичайше топят за ЕР. У меня сложилось ощущение, что Гопфан честно транслирует свои тейки на публику, и не пытается специально заманивать своих последователей в ловушку — и по его словам он прямо очень уверен, что этот контракт разрешится победой ЕР.

Мой опыт на Полимаркете подсказывает, что переть против умных денег чаще всего оказывается дурацкой затеей. Матмодель выборов я тут, конечно, не строил — поэтому пытаться перемудрить профи типа Гопфана скорее всего было бы глупо.

Так что, я думаю, скорее всего постараюсь набрать умеренную ставку за ЕР по уровням ближе к 70 и ниже, если до них будет спускаться. Как говорится, это в любом случае тот тип ставок, которые проигрывать не очень-то и обидно.

[Дежурная оговорка про рынки предсказаний]

— AI-оптимисты: "Да эти думеры просто в своих сценариях делают совершенно нереалистичные предположения о том, что люди будут вести себя максимально глупым образом, в реальности такого даже близко не будет…"

— Тем временем, люди в реальности: "Наш план по контролю за AI – это СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ"

В Твиттере тут опубликовали срывающее покровы расследование, которое на 100% бесспорно доказывает, что Джейкоб Коксон (автор вирусного треда про увольнение из Anthropic и риск ИИ на 170+ млн просмотров) — мошенник и обманщик, а всё это один гигантский псиоп.

Я ознакомился с доказательствами, и вот вам моя краткая TLDR-выжимка. Держитесь крепче: «чувак, который хотел с помощью своего увольнения сделать громкое публичное заявление, действительно попытался сделать из своего увольнения громкое публичное заявление (и не скрывает это!)»

Ну серьезно, там с таким придыханием упоминаются РАЗОБЛАЧАЮЩИЕ ФАКТЫ вроде:
— Коксон пошел к журналистам из WSJ, чтобы про его позицию написали статью (и запостил свои твиты только после выхода материала)
— Он попросил ряд своих корешей из AI-индустрии с похожими взглядами порепостить его тред, и т.д.

О боже мой, если соединить все эти точки на доске красной ниткой, начинает закрадываться подозрение, что... Коксон специально хотел, чтобы его манифест стал вирусным и активно прилагал к этому усилия?? Шок!!

P.S. В следующей серии разберем: действительно ли митинги с участием Мартина Лютера Кинга происходили совершенно случайно, или он призывал людей прийти на них и давал интервью в прессе? 🤔

Трамп заявил, что он никуда замедляться никому не позволит — и вообще, Америка под его началом должна построить Big Beautiful AI, не то что у Китая.

Уровень сложности нашего таймлайна: будущее человечества зависит от способности деда разобраться в рисках AI и потом договориться с Китаем так, чтобы те не чувствовали, будто их пытаются на*бать.

Просто выслушайте меня:

— 5 сентября Аэлла (нишевая sex work-селебрити из Сан-Франциско) пообещала устроить персональную реверс-гэнгбэнг вечеринку для любого сотрудника OpenAI, который громко уволится из-за пренебрежения компании безопасностью ИИ.

— 8 сентября Джейкоб Коксон (бывший сотрудник OpenAI) громко уволился из Anthropic из-за их пренебрежения безопасностью ИИ. Его пост набрал 170 млн просмотров и, возможно, приведет в итоге к принятию масштабного регулирования AI в США.

Совпадение? Не думаю!

Анализируя любое событие – всегда держите в голове «зачем на самом деле он это делает? какая у него тут личная выгода?..»

Прикольно: чуваки сделали вирус-червь WeWorm, распространяющийся в приложении WeChat через звонки, которые для этого даже не нужно брать (!). То есть, ответного действия от человека для заражения никакого не требуется.

Вичатом пользуется почти полтора миллиарда человек. Дыру уже пофиксили.