Как я научил кота давать лапу за банан

В ковид мы с бывшей женой и нашим котом сфинксом оказались втроём на 42м2 почти круглосуточно. Через неделю домоседства наш беспокойно тревожный кот сильно изменил свое поведение - стал ещё более ласковым заечкой, перестал орать ночами и вообще успокоился. Так мы поняли, что он ооочень сильно скучал дома один, когда мы работали и он тусил по 8-10 часов в одиночестве :(

Котяра любил поесть. Это мы и так давно знали, но у него была жуткая аллергия почти на весь корм. И предыдущие полгода мы бережно подбирали такой корм, на который у кота бы не просыпалась многодневная диарея. Параллельно кот интересовался почти всей едой, которая оказывалась у нас на столе. И одно из блюд, на которые не триггерилась аллергия, и которые с удовольствием поглощал зверь были бананы.

Мне как то попадались видео про то, как тренировать животных, что можно суперкрохотными кусочками поддерживать желаемое поведение. Что важно, чтобы животное было немного голодное / очень заинтересованное и сфокусированное вниманием на какой-то еде. А дальше неспешно и постепенно, забегами по 15-20 минут можно начинать тренировку. Суть тренировки в том, чтобы замечать и поддерживать такие движения животного, которые хочется привязать к командам.

Например, хотим научить животное сидеть по команде. Наблюдаем: кот шел, остановился, сел. В этот момент говорим команду и даем крохотный кусочек подкрепления. Так постепенно у него появляется связь движения, команды, и вкусняхи. И дальше убираем подкрепление из мест, которые нам не интересны - не сел - не даем, не сел без команды - не даем, сел, потом сразу лег - не даем.

Как только начало получаться - дальше задача очистить эту связь - убирать лишние контексты. Чтобы команда "сидеть" и подкрепление работала в любых условиях - утром-вечером, на полу, столе и стуле. Если контексты не менять, то в голове у кота могут появиться супержесткие связи условий, которые нам не нужны. А параллельно можно заменять подкрепление едой на поглаживание.

Нейросетка внутри кота постоянно распознает паттерны действий, контекстов, обстоятельств, в которых она получает кайфушки. И потихоньку мы вносим нужный контекст - команду в нужное место действия, и с другой стороны всё отодвигаем подкрепление - даем еду все реже. И добавляя и убирая подкрепления из нужных последовательностей, можно обучать зверя все более сложным действиям.
Благодаря этому всему кот начал давать лапу за еду уже через пару дней. Я был в восторге.

И вот сейчас через несколько лет я так кайфанул, когда за полчаса научил дворового пса выполнять пяток команд. Даже собаку захотелось :)

Удивительно работает обучение через подкрепление. Оказалось, что в основе мягких моделей обучения кого угодно - это похвала в то место, которому обучающееся существо наиболее довольно. Очень подробно об этом пишет Карен Прайор в книге "Не рычите на собаку". Оттуда можно забрать кучу классных подходов и взглядов на обучение любых животных. Я ее читал с фокусом в менеджмент, т.к. оказалось что модели из книжки абсолютно универсальные. Интересно будет поисследовать, как это применять к обучению больших систем - рабочих, коллективных, семьи и тд.