Интервью Lex Fridman Романа Ямпольского (CS PhD, изучает пределы intelligence) на 2 часа про AI апокалипсис:

Риски
- Superintelligence - это когда AI круче [лучших] людей во всем. Prediction markets считают, что уже в 2026-ом (вроде нет). Lex: но у людей есть tools, т.е. за уровень людей берем их самих + fully controllable tools? Роман: да, включая BCI
- X-risk/existential- что люди исчезнут от AGI. Мы все в зоопарке. Верит, что p(doom) (вероятность уничтожения цивилизации AGI) 99.9%
- I-risk/японский термин ikigai - что люди при AGI потеряют смыслы жизни, тк во всем компы будут круче. Нужны будут искусственные игры?
- С одной стороны, в мире не будет suffering, но с другой 8 млрд людей, кто ни о чем не могут договориться. Multi-agent value alignment может быть в создании вселенной для каждого?
- Проблема будет именно в meaning (а Bostrom к утопии повернул и считает наоборот, опций для смыслов станет больше)
- S-risk/suffering - что люди будут страдать от AGI. В истории были психопаты (отсутствие эмпатии), хакеры итп. Вдруг злобный AI/malevolent agent пожелает причинить людям как можно больше боли?

Тест Тьюринга
- Мне нравится, я oldschool. Но вообще для superior intelligence такой тест не придумать
- Ну и люди испокон веков врут, читят, детекторы лжи не помогают (и AI тоже может прикидываться хорошим)
- Есть оптимисты, что чем умнее AI, тем круче, и все ОК, воспитаем. Не согласен, мы оч violent, планету загрязняем итд

Yann LeCun, open source
- Ян считает, что intelligence нам не на НЛО прилетит, а мы сами дизайним системы. А я думаю, мы скорее поливаем водой растения и там происходит emergence
- Опенсорс да, раньше было круто, но мы же вступаем в эпоху агентов. Вдруг психопаты воспользуются? Мы же не опенсорсили ядерное и биологическое оружие
- Я в статье изучал AI инциденты, и они растут пропорционально мощности систем. Да, раньше это были опечатки или ходы в играх, но мощность же растет. Мелкие инциденты не тормозят рисеч. Когда авто плавно начинали, никто же не знал, что будет много смертей (в US 40 тыс/год, мир 1.3 млн/год)
- Я считаю это unpredictable (представьте мы пару лет треним, ждем, и вдруг как эмерджнется), но мы же ставим эксперимент на 8 млрд людей

Контроль над AI
- Дело не в номерах GPT 5, 6, а что невозможно бесконечно строить машинку по безопасности улучшающихся систем + случаются ошибки и инциденты
- АЭС, авиация итп - все на софте, и постоянно падают. И регулярные взломы. И AI может заняться social engineering. А еще роботы будут..
- AI обман: опасаюсь систем управления массами людей. Модели уже могут дурачить нас. Да даже в соцсетях катастрофа с проверкой фактов, но все виралится

Проверяемость создаваемых систем/verification
- Lex: Pessimist Archive собрал историю прессы что за 150 лет всегда боялись разных tech
- Роман: еще раз - то были tools, deterministic системы, а не agents со сложным поведением. И которые еще и вступают в самомодификацию. Системы будут становиться все менее explainable и understandable
- Отдача от увеличения compute позволяет в 10x нарастить compute, магия продолжится

Пауза в AI
- Растет разрыв между мерами безопасности AI и сколько ресурсов вваливают в рисеч
- Люди в AI мало думают, что будет, если у них в итоге получится
- У нас дилемма заключенного: бизнес никто не хотят проиграть, но в целом можем влететь в опасный AI. В фарме бремя доказательства на компаниях, а в AI не так. В конгрессе вообще не шарят, как работает tech

Прочее
- Мы живем в симуляции, нас тестируют убьем ли мы себя AGI, и я статью писал как ее хакнуть (при помощи AGI =)
- Aliens есть, ведь столько мира вокруг, но там никого?
- Чувства есть только у людей, софт пытать бесполезно
- Что есть сознание? Не знаю, может просто феномен emergence. Причем computationally irreducible. Но на компах создать получится

//

- Его энергию бы в мирных целях, а не секту конца света =)

- Тиль говорил - страхи AI это дарвинизм и макиавеллизм. А Роман непрерывно проецирует людей на AI

- Я читал его книгу AI: Unexplainable, Unpredictable, Uncontrollable. Думал написать конспект, заменяя всюду AI на зомби ))