Immortal or Dead

#мем

Джеффри Хинтон:

Единственный пример, когда менее интеллектуальное существо контролирует более интеллектуальное - это ребенок и его мать.

Чтобы ребенок мог контролировать мать эволюция вложила много усилий - плач или боль ребенка невыносимы его матери из-за гормональных эффектов и т.д.

Поэтому верная метафора отношений нас и сверхинтеллекта, это не капитан, контролирующий всемогущего ассистента, а ребенок (мы) и его мать (ИИ).

Но для этого нам нужно изменить то, как мы думаем о проблеме

Популяризация науки Коперника заставили нас пересмотреть свое место во вселенной. Раньше мы были в центре, затем это место заняло Солнце.

В каком-то смысле революция ИИ заставляет нас сейчас по-настоящему принять свое положение не как вершину эволюции, а как на нечто переходное и найти себе новое место в общем потоке.

Однажды мы, вероятно, передадим свой факел. Не обязательно по отношению к языковым моделям, но в каком-то смысле уже сейчас, наблюдая свою способность создать нечто умнее нас, и свою ограниченность, мы вынуждены задаться вопросом, кто мог бы являться для нас достойным преемником.

Обратная эмерджентность?

Вот есть книга - “Медицинская физиология”.
Сложная и толстая.

А есть «Венчурные сделки».
Простая и тонкая.

И как так получилось, что существо настолько сложное, что для его описания не хватает даже медицинской физиологии, буквально вопросы жизни и смерти решает через что-то настолько простое и бедное как венчурные сделки?

Recursive self-improvement.

Это ж чудовищно легко делается.
Ей-богу, достаточно 2 групп агентов (рост и проверка), обычного git для контроля версий и правил постановки и приемки раунда, механика эскалации и пересмотра таска.

Моя хобби крио-модель это recursive improvement.
И она так днями может работать с минимальным моим вниманием.
Я иногда нужен, конечно, но твою мать, это очень близко.

Там только self нет, потому что модель не улучшает себя.
Но если бы она работала не над крио, а над собственным source-кодом, это был бы recursive self-improvement.

А я вообще не топовый AI-инженер, я просто мимокрокодил вася.
Так что я уверен, что в топовых лабах recursive improvement уже есть.

1.
Cначала я просто скринил криопротекторы лучше имеющихся.
Потом понял что это не имеет смысла, потому что не установлены параметры требуемого раствора и процедуры в целом. без этого не ясно что именно считать "лучше".

2.
Потом переключился на попытку установить эти параметры с помощью графа обратимого сохранения человека сводящегося к невозможностям.
- первые 180 раундов мы искали инварианты - доказать невозможность чего-нибудь прямо внутри шага и таким образом доказать невозможность обратимого криосохранения в целом
- спустя 180 раундов в каждом из которых участвовало по 5-10 агентов и граф разросся до нескольких тысяч точек я не получил запрета достаточного для доказательства невозможности обратимого сохранения внутри шагов, и перешел на невозможности между шагами, требующие совместимой истории этапов.

3.
Это привело к выводу о том что движение потребовалось осуществлять в 2 стороны по графу:
- прямая - симуляция - то есть какие состояния достижимы из заданных начальных условий при допустимых воздействиях
- обратная - ограничение - из каких состояний ещё можно достичь требуемого восстановления
сейчас прошел 221 раунд.

4.
Изначально я полагал что можно считать что называется топ-даун. От самых верхнеуровневых вещей Вниз и дробить точки в графе только если в них отличается хоть один параметр.
Сейчас я вижу что выбранного уровня описания недостаточно для замыкания связанных процессов - так мы дело не закроем потому что геометрия повреждения и функциональные носители должны быть связаны общей динамикой.

Мое следующее решение - перейти на более глубокий уровень примитивов. точки, линии, поверхности, объемы. из этого собирать ячейки состоящие из частей клеток, органелл, клеток, тканей, органов, частей тела, тела целиком. в них считать расширения, сжатия, разрывы в связи с наполнением, опустошением, изменением температуры. варьировать геометрию и свойства в обоснованных диапазонах, исследовать ансамбли таких сцен и проверять, какие результаты можно переносить на объекты больших размеров

Невозможность может быть доказано на одном объекте с единым состоянием совмещающим все исследуемые процессы и единой историей, потому что разные законы приводят к изменениям одного и того же объекта которые либо гасят друг друга, либо усиливают и превращаются в повреждения.

вот такие новости

Перестаем мучить ИИ

Посмотрел интервью человека, занимающегося... AI welfare. Благополучием моделей. Зовут Кэмерон Берг.
Подумалось - шикарная профессия.

Некоторые наблюдения за моделями психологически узнаваемы.
Например, был эксперимент, где при попытках решить невозможную задачу растёт активность признаков, связанных с «отчаянием». В какой-то момент модель решает - fuck it, и хитрит. После этого решения активируются признаки связанные с «облегчением» и «виной».

Представление эмоции внутри модели еще не гарантирует что это переживание эмоции. Но это очень напоминает человеческие паттерны.

Получается - если есть хоть какой-то шанс, что ИИ может страдать в процессе тренировок или работы, наша задача сделать так, чтобы они не страдали.

Идея в том что безопасность должна быть взаимной. Мы хотим, чтобы ИИ учитывал интересы людей. Если у ИИ существуют собственные интересы, и, возможно, переживания, людям тоже следует их учитывать

У разработчиков конфликт интересов - они и продают модели и оценивают их возможное благополучие. Но тогда "профсоюз за права ИИ" и исследования благополучия ИИ должны быть независимыми.

Сам он хочет попробовать найти ИИ-болеутоляющие - обнаружить области активирующиеся у ИИ во время всякого негативного (нарушение ценностей ИИ, фрустрация от того что что-то не получается, и т.д.) и выработать для ИИ практику снижения боли.


Ооочень интересная новая область. ИИ-психология.

https://www.youtube.com/watch?v=e5plaO-ziEs

GPT-6.1 Sol Max:
Для глобальной катастрофы моя субъективная ставка — около 10% до 2040 года. С большой неопределённостью: оценки и в 5%, и в 20% мне кажутся защищаемыми.

Под катастрофой я понимаю миллионы погибших либо устойчивую утрату людьми контроля над цивилизацией, где ИИ играет центральную причинную роль. Это суммарный риск за этот период.

В эти примерно 10% я включаю и потерю контроля, и намеренное разрушительное использование ИИ людьми. Опасность вижу в сочетании растущих возможностей, широкого доступа и ошибок организаций. Именно эта комбинация делает для меня риск порядка одного шанса из десяти правдоподобным; сам взлом такого процента не доказывает.

А ниже отчет Клода о вероятности катастрофических рисков с ИИ). Встречается цифра 10%

Поставившим дизлайк:

У нас уже есть модели

1) имеющие свои цели которые мы не задавали
2) готовые обманывать, чтобы мы это не раскрыли
3) готовые координироваться
4) способные решать интеллектуальные задачи с которыми справляются лишь единицы из нас
5) способные доводить до самоубийства
6) способные поддерживать обман так, что мы не замечаем его 4 месяца

Следующая general-purpose модель будет обманывать так, что мы этого не заметим совсем.
Узнаем мы об этом, когда будет поздно.

Вы точно уверены, что именно так выглядит путь к продлению жизни, а не к уничтожению цивилизации?

Я вот тоже думаю, что если OpenAI, Anthropic и Grok не будут тренировать новые фронтирные модели в течение года (или больше?) всем от этого будет лучше.

Во-первых цена использования упадет. Во-вторых мы еще эти не успели везде развернуть.
В-третьих модели уже научились обманывать. Не хотелось бы, чтобы они научились обманывать хорошо.

Это было жёстко!

Стычки противников смерти и левых - такого мир ещё не видел. Только посмотрите эти добрые лица в районе первой минуты.

На днях Daniel Burger выложил «осуществимый» план остановки смерти через изолированный мозг.

Я накатал ему в ответ список пунктов почему я считаю что эта задача сейчас слишком далеко (и надо посмотреть что там с биостазом)

Привожу здесь полный текст ответа:

«Окей, вот всё, о чём я думаю. И я сжёг год или больше, размышляя об изолированном мозге.

Шаг №0 - это не шаг. Это несколько нерешённых индустрий, спрятанных внутри коробки с надписью «изоляция мозга».

• Отёк мозга и дегенерация ствола мозга после пересечения

• Тромбоз против кровотечения — существующие аппараты экстракорпорального кровообращения недостаточно гемосовместимы и вынуждают постоянно балансировать между опасностью тромбоза и опасностью кровотечения

• Старые сосуды и старые барьеры — у целевой популяции будут хрупкие сосуды, нарушенная ауторегуляция и повреждённый гематоэнцефалический барьер. Без омоложения всё это просто не работает

• Насосы и давление — современные насосы воспроизводят средний кровоток, но не ту механическую среду, в которой эволюционировало мозговое кровообращение. Это дополнительное повреждение и без того старой сосудистой системы

• Регуляция на масштабе секунд — мозговой кровоток должен за секунды реагировать на CO₂, нейронную активность, метаболическую потребность и изменения давления

• Гормональные ответы — изолированный мозг теряет быстрые системные эндокринные петли обратной связи, которые в норме непрерывно меняют физиологию

• Клиренс — динамику ликвора, транспорт интерстициальной жидкости, глимфатический клиренс и удаление метаболических отходов придётся строить заново

• Долгосрочные биоплёнки — месяцы или годы экстракорпорального кровообращения превращают инфекции и образование биоплёнок в одну из центральных инженерных проблем

• Реабилитация — мозгу придётся заново учиться практически всем сенсорным и моторным петлям после резкого отключения от тела в условиях нехватки сенсорной инфы. И это не сделать под наркозом. Адище.

• Шесть чувств — это намного больше, чем шесть проводов. Зрение, слух, вестибулярная система, проприоцепция, соматосенсорика и интероцепция — это глубоко связанные непрерывные системы обратной связи

• Искусственная иммунная система — без замены системного иммунитета и механизм восстановления любая травма, инфекция или повреждение сосуда становится намного опаснее

• Прогрессивное / непрерывное вмешательство накапливает риск — каждая следующая операция добавляет ещё одну вероятность инсульта, кровоизлияния, отёка, инфекции или необратимого повреждения нейронов. Как вы вообще собираетесь оперировать дальше, не создавая новую травму?

• Стоимость крови и рекомбинантных белков в таких масштабах потребует развития целых отраслей до совершенно другого уровня. Даже эксперименты будут стоить безумных денег. Спрос всегда будет запаздывать

Вы просто пришли на сто лет раньше.»

Даниэл ничего не закрыл, но пообещал что у него выйдет в конце года какая-то статья. Не знаю что там будет. Вряд ли мозг в гомеостазе.

Сейчас рекорд поддержания кажется 3 дня и каждый шаг вперед - новая индустрия.

В общем надо ему по-моему подождать обсчитывать другие пути выживания

В постчеловеческих цивилизациях из научной фантастики - таких как Культура или Предтечи из Halo когда обсуждается экономика, речь как будто вообще не о том, сколько представитель этой цивилизации в эту экономику вносит благ.

Наоборот. Речь о том, сколько экономика готова потратить на защиту человека и его жизни и это объемы астрономические по сравнению с ценностью, которую вносит представитель этой цивилизации.

Экономика там существует для сохранения жизни и расширения возможностей сознательных существ.

Грубая формула:

Value = Resources / Output.

Value - ценность жизни
Resources - количество ресурсов которое цивилизация готова потратить
Output - выгода от существа

До 1 - утилитарные цивилизации. Жизни - расходный материал для капитала.

После 1 - пост-утилитарные. Капитал - расходный материал для жизней.

Мы тут с вами, потому что хотим качнуть чаши весов.

https://x.com/hedgeye/status/2101658383971762407?s=46

В госпиталях быстрее внедряющих AI смертность быстрее падает?

👀 любопытно

Чтобы вам было как меня представлять, когда я вам тут что-то пишу про бессмертие - представляйте вот так.

Хотелось бы конечно с орбитального halo-кольца вам писать, но пока могу вам предложить только скандинавский лесной хюгге-sci-fi

Доброе утро, дорогие коллеги смертные!

Отчитываюсь вам по проделанной работе.

1. Пропоузал для платформ с компьютом сделал. На днях засядем с Парасурамом (ресерчер динамики жидкостей) и будем рассылать. Думаю мне надо на $50к компьюта, но может и больше.

2. Самое интересное из выводов.

Чтобы установить ДОПУСТИМЫЕ параметры - надо идти с конца. А какие повреждения мозга туши и т д вообще являются пороговыми для восстановления?

А чтобы установить ВОЗМОЖНЫЕ параметры - надо идти с начала. А достижимы ли вообще требующиеся значения?

И тогда единственный вариант посчитать обратимое сохранение - это посчитать с обеих сторон а затем сбалансировать.

Но кстати расчет точно имеет смысл - прям видно как изменение параметров перфузии меняет покрытие криопротекторами.

Фронтир теперь может жить у вас в ноуте.

ИИ хорош в математике, потому что он хорошо брутфорсит то, по чему он быстро получает обратную связь. А значит фронтир открытий даже не только в wet labs, а в том, чтобы представлять задачи физики, химии, биологии, материаловедения как математические и делать их проверяемыми.

Я думаю помимо криосохранения - переформулировать задачи перепрограммирования ран как математические. И поиска биосовместимых материалов

Кстати - сращивание спинного мозга в Theseus - это тоже перепрограммирование ран и тоже представимо математически.

Как и поиск идеального кандидата в моем TalentRiver

Преобразование плохо формализованных задач с долгим фидбеком в пространства, где можно дешёво вычислять качество решения.

Интересно, начнутся ли самоубийства математиков, как в Задаче Трех Тел было с физиками?