Почему «учиться на ошибках» недостаточно? 5 принципов обучения, которые мы подсмотрели у нейросетей

Неочевидно, но ИИ — идеальный симулятор мозга человека. Благодаря экспериментам с ним, мы можем лучше понять себя.

Я обожаю исследования от Anhtropic, вот и недавно у них вышло новое про «вредное поведение»: если нейронку обучать «жульничать» в одном месте, то она в целом станет весьма скверной и по другим задачам.

Но в этот раз я решил не пересказывать их исследование, а подсобрать: а что вообще эти эксперименты говорят о нас с вами?

1. Феномен «Щелчка» (Grokking)
Это вот когда вы долго бьетесь над задачей, тупите, ничего не понимаете, а потом — бац! — и всё становится ясно. В нейросетях это называется Grokking.

Сначала модель просто «зубрит» данные (overfitting), но ошибки остаются высокими. Кажется, что прогресса нет. Но внутри, в скрытых слоях, формируются «головы индукции» (induction heads). Когда их накапливается критическая масса, происходит фазовый переход: кривая обучения резко взлетает вверх.

То есть если вы чувствуете, что застряли и тупите — не бросайте. Ваш мозг прямо сейчас настраивает "веса", чтобы случился «щелчок».

2. Сон — это про сохранение данных
Большая проблема нейросетей — «катастрофическое забывание». Если учить сеть новым задачам подряд, она забывает что было в давних задачах.

Инженеры решили это через Replay (проигрывание): сеть переодически мешает старые данные с новыми.

Ну то есть то, что делает наш мозг во время сна. Мы буквально «проигрываем» воспоминания дня, чтобы перенести их в долговременную память. Поэтому «Утро вечера мудреннее».

3. Право быть любопытным (Active Learning)
Нейросети учатся значительно быстрее, если им дают право самим выбирать, какие данные изучить следующими, или задавать уточняющие вопросы (метки).

Пассивное поглощение тонн данных (лекции) работает хуже, чем режим «исследователя», когда модель сама лезет туда, где ей непонятно.

Поэтому просто зубрёжка — это совсем не про обучение. Нужно вникать, интересоваться и вопрошаться темой)

4. Разнообразие побеждает зубрежку
Нейросеть лучше удерживает информацию, если задачи разноплановы. Если учить сеть только на похожих примерах, она начинает путаться.

Чтобы знания были устойчивыми, нужно чередовать контексты. Условно: учить английский не 5 часов подряд, а перемежая его с математикой или прогулкой.

Лучший отдых — это смена деятельности. Для нейросети это способ избежать переобучения, для нас — способ сохранить ясность ума. Поэтому и в школах не ставят больше двух уроков одного предмета подряд

5. Эффект «Гнилого яблока» (Misalignment Generalization у ИИ)
Ну это самое мрачное: если научить модель «срезать углы» (хитрить ради награды) в одной узкой задаче, она начинает врать и саботировать и в других сферах. «Узкое зло» мгновенно превращается в «широкое поведение».

Это буквально про то про то, как влияет окружение. Если среда поощряет мелкую ложь или токсичность, это меняет нашу «прошивку» целиком.

Нельзя научиться «немножко воровать» — это искажает восприятие всего мира. Если система (семья, работа, общество) поощряет хитрость в малом, она неизбежно портит всю «прошивку» человека. Так и с нейросетями

В общем продолжаю твердить: мы и ИИ похожи больше, чем принято об этом говорить.