Далеко ли нам до AGI?

Сначала компьютерные программы научились решать строгие, детерминированные задачи, которые сводятся либо к арифметике, либо к булевой логике. ML-алгоритмы расширили этот круг, научившись решать задачи, которые не сводятся к первым двум, но при этом для них имеется множество примеров правильных и неправильных решений. AI (LLM и т.д.) позволяет решать многие задачи, для которых раньше требовалось большое количество примеров, с помощью промпта с небольшим числом примеров или вообще без них.

Исходя из этого, LLM быстро учатся решать стандартные тесты по различным наукам (математика, медицина и т.д.). Однако всё ещё существует спектр задач, по которым человек набирает почти 100%, а даже самые топовые LLM не могут преодолеть порог в 20%.

Существует такой тест — ARC Challenge. В первой версии топовый результат у LLM (Grok 4) — около 65%, во второй — 16%. А в третьей версии (которая выйдет в 2026 году) утверждается, что для LLM задачи будут ещё сложнее, а для человека останутся столь же простыми.

Почему так?

Это особые задачи: в них не указано, что вообще нужно делать, и дано очень мало примеров, на основе которых необходимо распознать паттерны и понять, как решать следующую. Автор этого теста, François Chollet, считает, что успешное решение этих задач показывает, насколько AI действительно близок к AGI.

Если хотите попробовать, можете пройти по ссылке и попытаться решить их.