Иллюзия темных веков: почему ИИ забыл старую логику

В сети регулярно всплывают философские манифесты о том, что современные нейросети это шаг назад. Критики сокрушаются - разработчики ИИ впали в темные века, забыли диалектическую логику, растеряли формализмы шестидесятых и восьмидесятых (эвристики, нечеткую логику, экспертные системы) и наплодили бездумных статистических попугаев, и все потому, что у них упало качество образования.

Это классический нарратив как мы тут любим. Автор такого поста берет верную, но устаревшую базу из одной архитектуры и с обидой натягивает ее на совсем другой класс систем. Уберем публицистский пафос и сам нарратив и посмотрим на историю ИИ через оптику вычислительной физики и архитектурных издержек их применний.

1. Почему умер классический символьный ИИ (GOFAI)

Старые инструменты, дискретную логику, семантические графы, экспертные системы, никто не забывал. Они и сейчас точечно работают там, где среду можно жестко описать правилами - в закрытом, конечном и стабильном мире.

Провалилась не сама логика, а попытка собрать на ней универсальный интеллект - проекты вроде Semantic Web и большого GOFAI. Уперлись они не в глупость инженеров, а в математический потолок. Жесткая формализация через предикаты мгновенно дает комбинаторный взрыв. Если у тебя N атомарных сущностей, пространство их состояний растет как 2 в степени (N x (N-1)). Пятьсот проверок правил вывода машина считает за миллисекунды, а попытка просчитать несколько тысяч сложных правил уводит время расчета за пределы тепловой смерти вселенной. Детерминизм старой логики оказался физически немасштабируемым на изменчивую динамическую реальность. Эти инструменты не забыли, их списали в тупиковую ветвь для общих задач и оставили для узких.

2. Эпоха узких нейросетей и барьер времени

Поняв это, индустрия еще с начала девяностых пошла в нейросетевые модели. Никакой амнезии не было, шла жесткая практическая обкатка. Как пример из моей практики - французский крупный ритейл (Ашан, Перекресток-Карефур и тд) уже в середине девяностых массово внедрял нейросети для оптического распознавания текста (OCR) и дигитальному документообороту, уходя от бумажной логистики что экономило сотни миллионов евро.

Но со смыслом, то есть с семантикой, старые нейросети (RNN, LSTM) работали плохо. Их главный архитектурный баг это последовательность. Они читали текст по одному слову, как человек, и на длинной дистанции у них наступала амнезия, они забывали начало фразы. Вдобавок последовательное чтение почти невозможно эффективно распараллелить. Индустрия жила в эпохе узких решений - нужен переводчик с языка А на язык Б, учи одну модель, нужен перевод с Б на С, собирем новую. И была огронмная проблема разметки данных для обучения - по сути ручной сложный труд.

3. Революция трансформеров - пространство вместо времени

В 2017 году Google выкатил архитектуру Transformer. Это не была новая волшебная логика. Наоборот, это было резкое архитектурное упрощение.

Проблему контекста решили, заменив время на пространство. Трансформер сказал - мы больше не ждем очереди слов, мы смотрим на все слова текста сразу через матрицу внимания. Одно это изменение сняло вычислительный барьер. Оно позволило переложить расчет на параллельную архитектуру видеокарт и убрало ручную разметку данных, потому что любой текст стал сам себе разметкой.

4. Эмерджентность против логики

Универсальность GPT-моделей оказалась побочным эффектом. Их никто специально не учил ни переводу, ни программированию, ни правилам Аристотеля. Модель синтезировала и грамматику, и логику программирования через оптимизацию одной примитивной функции, угадывания следующего токена. Оказалось, что дешевле не прописывать логику правилами вручную, а дать модели сжать терабайты текста и позволить логике проявиться самой, как побочному продукту сжатия.