Про большие языковые модели.
Часть 3. Холистическая обработка информации

Второй поинт, который я хотел бы сделать – про когнитивные способности LLM в целом: LMM имитируют/эксплуатируют холистическую переработку информации, то есть обработку информации, основанную на быстром восприятии и принятии решений на основе первого впечатления. Антоним холистической обработки информации – аналитическая, то есть основанная на деталях поступающей информации.

Изображения и тексты, сгенерированные LMM вызывают сильное первое впечатление: вау, это именно то, что я хотел увидеть в ответ на свой запрос! Но если затем присмотреться к деталям, то там часто бывает полная ерунда: то семь пальцев у человека на картинке, то правдоподобно выглядящие, но не существующие ссылки в тексте.

Холистичность видна не только по поведению моделей, но продиктована их природой: они натренированы давать лучший ответ на данный запрос на основа огромного количества примеров. Холистическое восприятие у людей устроено так же: это быстрая реакция на В ЦЕЛОМ знакомый стимул. Такая реакция подготовлена либо многократной встречей с таким стимулом, либо прошита эволюционно (ускоренная реакция избегания на опасные стимулы).

В недавней короткой лекции на эту тему я привёл пример мимикрии как стимула, сгенерированного в расчёте на холистическую обработку информации. Вспомните бабочку Павлиноглазку Атлас, которая мимикрирует под змей: расчёт именно на быструю реакцию “змея – беги!”. Этого достаточно, чтобы хищник отпрянул и было время улететь. Примерно такой же эффект производят (во всех смыслах) сегодня большие языковые модели.

И это круто! Холистическая обработка – важная часть нашего познания. Однако, некоторые вещи трудны без аналитической обработки: выделение нескольких отдельных объектов, перепроверка своих решений, подавление нерелевантных репрезентаций, фокусировка внимания, удержание целей, истинная абстракция, не завязанная на визуальные признаки и тд. Подробности смотрите в лекции по ссылке выше.

Ну и традиционно завершу пост ссылкой на ЛеКуна: он недавно озвучил очень близкую идею – что LMM имитирует работу системы 1 по Канеману. Если соединять две разные области исследований, то можно как раз привязать холистическую обработку к работе системы 1 – это примерно про то же.

Что ж, последние три поста в канале содержат основные мысли, которыми я хотел поделиться относительно больших языковых моделей. Надеюсь вам было интересно, и это простимуировало какие-то собственные мысли на эту тему. Дальше буду ещё скидывать некоторые посты / наблюдения на эту тему, но лоугридов в ближайшее время не будет. Следим за развитием LMM!