И почему без ошибок предсказания обучения не происходит.
Один тип обучения не требует от нас действий. Собака Павлова слышит звонок, видит пищу и начинает выделять слюну. Если повторять это достаточно часто, собака начнёт выделять слюну уже просто услышав звонок. Мы говорим, что звонок предсказывает появление пищи, и именно поэтому собака начинает слюноотделение. Такой тип обучения происходит автоматически: собаке не нужно ничего делать, кроме как бодрствовать.
Другой тип требует нашего активного участия. Кошка Торндайка бегает по клетке, пока случайно не нажимает на защёлку, после чего выбирается наружу и получает возможность поесть. Еда оказывается приятным вознаграждением, поэтому кошка снова нажимает на защёлку — и затем делает это ещё раз. Тут необходимо собственное действие субъекта: в противном случае вознаграждение не будет получено и обучение не произойдёт.
Обе формы обучения связаны с ошибками предсказания. Чтобы понять, что такое ошибка предсказания, мы сначала различаем предсказание будущего вознаграждения (либо отсутствие конкретного предсказания, что тоже можно считать предсказанием, но плохо определённым) и последующее фактическое вознаграждение. Затем мы сравниваем полученное вознаграждение с предсказанием [которое, кстати, продукт внутренних моделей]: вознаграждение может оказаться лучше, таким же или хуже, чем ожидалось.
Эта разница и есть ошибка предсказания. И если она вообще есть, не совпали ожидания с реальностью, мы должны обновить модель и изменить поведение.
В частности, если вознаграждение оказывается лучше, чем ожидалось (положительная ошибка предсказания), что приятно, модель корректируется в сторону более высокой оценки, и мы будем чаще повторять поведение, которое привело к этому вознаграждению.
Если же вознаграждение оказывается хуже, чем ожидалось (отрицательная ошибка предсказания), чего никто не хочет, предсказание корректируется в сторону более низкой оценки, и в следующий раз мы будем избегать такого поведения.
В обоих случаях меняются и наше предсказание, и наше поведение — мы обучаемся.
Напротив, если вознаграждение оказывается ровно таким, каким мы его и предсказывали, ошибки предсказания нет, поэтому наше предсказание и поведение остаются неизменными — мы ничему не учимся.
[Мы часто боимся сделать ошибки, хотим всё угадывать сразу, ибо так безопасно, не придётся испытывать ничего неприятного. Чаще всего это невозможно, и тогда именно ошибки помогают нам в конечном итоге разобраться и получить вознаграждение (если не брать какие-то очень жёсткие сценарии, где одна ошибка и ты ошибся; к сожалению, многим из нас их перепало в детстве, откуда и страх).] Если дальнейших ошибок не возникает, поведение не изменится до тех пор, пока не появится следующая ошибка.
Это относится как к обучению, направленному на получение вознаграждений, так и к обучению движениям.
(Schultz, 2016; перевод)
Наука как водится тут многое оставила за скобками, чтобы сделать конкретный механизм ясным и доступным для изучения. Например, тут в описании (как и в экспериментах) подразумевается точная своевременная обратная связь.
А мы ведь уже обсуждали, что в повседневных условиях с точностью и своевременностью фидбека очень-очень большие вопросы. И как можно понять, если мозг в обучении (и обновлении моделей) ориентируется на ошибку предсказания, которую вычисляет как разницу предсказанного (ок, к этому у него есть доступ) с произошедшим (тот самый фидбек, где частенько трудно разобраться, в чём он состоит и к чему относится), то обучение резко перестаёт быть тривиальным.
И тогда становится понятным вот этот типичный случай не обновляющихся моделей в психотерапии: где человек подчас не связывает одно с другим, либо просто игнорирует фидбек (если ошибку не замечать, то её вроде вот и нет, ничему не учимся, ок), либо наоборот связывает то, что связывать не стоило бы. Потому что обратная связь поступает мозгу без внятной разметки и когда угодно. А потом вот мы на терапии размечаем.
#клуб_исследования🐻❄️ #уруру🐙 #популяризавр🦕 #полезные_модели🐘