Забудьте всё, чему вас учили в школе
(спойлер: вы не сможете)

Наверное, фраза «забудьте всё, чему вас учили в школе» — самая популярная, которую люди слышат в университете.
А потом ты приходишь на работу — и тебе говорят: «забудь всё, чему тебя учили в университете». И так далее.

Я недавно, буквально сегодня, узнал прикольный факт про обучение больших языковых моделей и университеты.
Можно довольно долго и дорого чему-то учить — но разучить их чему-то ещё сложнее, дороже и практически нереально.

То есть если вы хотите, чтобы нейросеть, обученная на огромном количестве данных, не умела поддерживать разговор об оружии, наркотиках и самоубийствах — вам будет очень сложно это сделать. Вычленить эти темы из модели — почти невозможно.

И эта проблема, на удивление, решается очень просто.
Люди, в тщетных попытках заставить нейросеть что-то забыть, просто решили поставить над ней надсмотрщика.
Ещё одну нейросеть, которая стоит на уровень выше — прослойкой между моделью и пользователем.

И просто не пропускает сообщения, содержащие запрещённые темы: наркотики, суицид, оружие.

В итоге наша изначальная нейросеть всё знает, всё умеет и всем пользуется.
Но над ней — цензор.
И это, на удивление, оказалось эффективнее, надёжнее и дешевле, чем заставить модель забыть, чему её учили.

Интересно, а сколько слоёв цензоров достаточно?
Потому что кто-то же, наверное, должен контролировать, чтобы цензор правильно справлялся со своей работой.
А кто будет контролировать того, кто контролирует цензора? И так далее.

У меня нет ответа на этот вопрос.
Да, кажется, он особо и не нужен.
Но подумать над этим интересно.