🔍 Когда ИИ начнёт улучшать сам себя?

Я постоянно слежу за коллегами из ИИ‑индустрии. И вот что недавно привлекло моё внимание — большой пост от Джейсона Вэя, исследователя OpenAI и одного из создателей ChatGPT, о перспективах самоулучшающегося ИИ

🤔 Почему это важно?

Потенциал «ИИ, который прокачивает сам себя» звучит фантастически  — но давайте посмотрим, что говорят знающие люди...

"У нас пока нет ИИ, который умеет самоулучшаться, и когда он появится, это изменит правила игры. Став мудрее по сравнению с эпохой [развития] GPT-4, [стало] очевидно, что не будет никакого “быстрого взлёта” — всё будет происходить очень постепенно, в течение многих лет, вероятно, целого десятилетия.

Первое, что нужно понять: самоулучшение (то есть обучение моделей самих себя) — не бинарное явление. Представьте, что GPT-5 обучает GPT-6 — звучит по-настоящему впечатляюще. Но разве GPT-5 вдруг перейдёт от полной неспособности обучать GPT-6 к идеальному владению этим процессом? Конечно же, нет. Первые циклы обучения GPT-6, скорее всего, будут крайне неэффективными по времени и вычислительным ресурсам по сравнению с работой человеческих исследователей. Лишь после множества попыток GPT-5 сможет обучать GPT-6 лучше людей.

Во-вторых, даже если модель сумеет обучать себя, она не станет сразу лучше во всех областях. Существует градиент сложности: в одних доменах самоулучшаться значительно проще, чем в других. Возможно, на первых порах самоулучшение будет работать лишь там, где мы уже умеем легко исправлять ошибки пост-фактум, например базовые галлюцинации или стиль. Затем придут математика и программирование — сферы, в которых требуется больше усилий, но уже есть устоявшиеся методы. На другом конце спектра находятся задачи, крайне трудные для самоулучшения. Например, умение говорить на тлингите — языке коренных народов Северной Америки, на котором разговаривают примерно 500 человек. Модели будет чрезвычайно сложно самоулучшиться в этом языке, так как для низкоресурсных языков решений, кроме сбора дополнительных данных, пока нет, а это занимает время. Поэтому из-за такого «градиента сложности» всё не произойдёт одномоментно.

Наконец, возможно это звучит спорно, но прогресс в науке в конечном итоге ограничен реальными экспериментами. Кто-то верит, что, прочитав все статьи по биологии, можно найти лекарство от рака, или что, изучив все работы по машинному обучению и овладев всей математикой, можно идеально обучить GPT-10. Если бы это было так, то лучшими ИИ-исследователями были бы люди, читающие больше всего статей и глубже всех владеющие теорией. На практике же [в] ИИ (как и во многих других областях) сегодня беспощадно доминируют учёные, осуществляющие эксперименты, что подчёркивает, насколько прогресс зависит от реальных экспериментов, а не от «чистой» интеллектуальной работы. Так что, даже если сверхумный агент сможет спроектировать эксперименты, в 2 или даже в 5 раз эффективнее, чем лучшие человеческие исследователи, ему всё равно придётся ждать, пока эти эксперименты завершатся — это даст ускорение, но не приведёт к мгновенному скачку.

Подводя итог: узких мест на пути прогресса много — это не только сырой интеллект или система самоулучшения. ИИ будет решать задачи в разных областях, но у каждой из них свой собственный темп развития. И даже самый высокий интеллект всё равно потребует экспериментов в реальном мире.

Так что нас ждёт ускорение, но не «быстрый взлёт».

Спасибо, что прочитали мой монолог"

💬 Что думаете вы?

Верите в «медленный апгрейд» или всё‑таки остерегаетесь резкого скачка? Делитесь мнением в комментариях