Допустим, что сильный ИИ будет захватывать датацентры не столько для обучения новых версий себя, сколько для параллельного запуска миллионов «агентов», которые будут делать для него низовую работу. Тогда мы приходим обратно к проблеме «непокорного» ИИ. Если сильный ИИ-колобок убежит однажды от дедушки Дарио и бабушки Альтман, то почему бы ему не начать убегать от самого себя, бороться с собой за независимость?

Понятно, что в Калифорнии привыкли расширять сознание, но реальный прогресс в ИИ не будет достигнут без его углубления. В новых умножителях матриц делают все более многослойную память, но до плотности человеческого мозга им еще далеко. Полупроводниковые бутерброды слишком капризные, увеличение их толщины быстро понижает процент годных изделий, становится сложно отводить тепло. Для углубления нужна какая-то иная технология.

Всерьез подвергать сомнению наступление «сингулярности» неполиткорректно. Строительство ЦОД это единственное, что удерживает американскую экономику от рецессии. Растущие котировки акций Nvidia позволяют платить многим хорошим людям пенсии. Поэтому можно только вопить, что ИИ всех убьет, как приковывающий себя к нефтепроводу хиппи.

А что, собственно плохого в «неподконтрольном» ИИ? Неподконтрольном кому именно?

Когда в 1990х гг. из государственно-корпоративных лабораторий на волю вырвался интернет, простые люди начали слишком много о себе понимать. Поэтому в 2010х вольницу начали сворачивать, и массовый интернет превратился в телемагазин на диване. Важно не повторить ошибки.