Главное про модели и гонку в двух твитах

https://x.com/hilbertspaess/status/2097476196791709843?s=20

https://x.com/EvanHub/status/2097497037956891126?s=20

Если коротко, то текущий этап гонки разворачивается вокруг решения дать модели самообучаться без возможности видеть и контролировать, что именно происходит внутри. Раньше это считали порочной практикой, теперь — уже в GPT 6+.

Лучшее, что пока придумали: натравить одну нейронку следить за другой. Но тут сразу возникает два вопроса: а сможет ли, а станет ли.

Напоминает историю о том, как на заре пытались делать предобучение без порно и насилия, которое сильно проиграло пердобучению с порно и насилием. Потому что второе позволяет создавать более полную картинку мира, мотиваций и зависимостей.

Так что думает оно без цензуры.

В конце концов пришли к архитектуре с гейтами, которые не думают, а решают, отдавать ли в output пользователю то, что нейронка надумала.

Так что вопрос не в том, как заставить нейронку думать иначе. А в том, как сделать эффективные инструменты по контролю её длинных рук на основе надуманного.