Инструменты для модерации очень важны. Есть разные мнения о том, стоит ли элайнментом ограничивать возможности моделей, особенно открытых, генерировать те или иные виды контента, особенно если это влечет за собой снижение полезности (попробуйте поприменяйте llama в задачах кибербезопасности, не получая постоянно отказ на самые тривиальные запросы) и решается джейлбрейками или обратным тюнингом. Но если вы предоставляете коммерческий сервис, в котором пользователи напрямую контактируют с LLM, защита от вредоносных генераций необходима (оператор чат-бота за чей-нибудь фурри-ролплей платить не обязан), и цензор – лучший способ такую защиту реализовать. Не зря стартапы, обещающие защиту ваших LLM, плодятся с невиданной скоростью (Lakera, HiddenLayer, Lasso, ProtectAI, Robust Intelilgence – это только те, которые сходу в голову приходят). Существующие инструменты пока не поражают качеством, а также поддержкой разных языков и категорий, но, вероятно, это вопрос времени, поэтому каждое такое исследование – это шаг в правильном направлении.