Коллеги недавно упоминали эссе, разбирающее вот этот аргумент против скорого изобретения человеческого интеллекта:
Интеллект придумала природа, и мы не знаем, как он работает, следовательно, мы не близки к его изобретению.Автор утверждает, что может существовать некий "объективный" фактор, который при доведении до определённого значения переворачивает игру, делая нерелевантным конкретный дизайн. Приводится аналогия с изобретением полёта:
Наши самолёты не повторяют дизайн крыльев птиц, однако, при достижении некоторой мощности двигателя (по отношению к массе) устройства начинают летать. Так же будет и с ИИ. Но уже в этот момент начинаются первые проблемы.
Мало того, что неочевидно, что является таким фактором, так мы ещё и не сходимся в том, что именно хотим изобрести. Пока рассмотрим популярную точку зрения:
Цель - уметь выполнять все те функции, что и человек (или конкретный список функций); фактор - вычисления
Её сторонники, видимо, полагают, что мы ещё не достигли нужного значения фактора. Но, во-первых, непонятно - а как именно мы сравниваем с мозгом компьют? Когда можно будет сказать, что метод совсем не работает? Не всё, если дать ему много компьюта, будет обладать интеллектом.
А во-вторых, с таким фактором встаёт проблема прототипирования. Чтобы построить свои первые самолёты из говна и палок, братья Райт не тратили миллиарды долларов. Непонятно, насколько возможно изобретать сразу на таких масштабах, тратя безумные ресурсы и время на проверку одной итерации. При этом, в обозримом будущем нельзя будет в гараже обучить GPT-4 за неделю. Так что это всё может растянуться надолго.
Лично я считаю, что цель - это человеческая обучаемость, и data-эффективность алгоритма - отличная метрика для этого. Нам нужно добиться прорыва в data-эффективности в небольшом масштабе, а потом уже масштабировать подход. Но этим публику не впечатлишь и денег не поднимешь, так что, пока наслаждаемся цирком с языковыми моделями.
@knowledge_accumulator