Дообучение детектора промпт-инъекций: пять раундов, четыре неудачи и гейты против регресса — clck.ru/3VaMoQ
Дообучили модель на реальном корпоративном трафике — и обнаружили, что улучшение одной метрики легко ломает всё остальное.
В своей статье CTO AGIMA Андрей Непряхин рассказывает:
• как собирать корпус из реальных окон запросов;
• почему нужны три класса: allow, warn, block;
• как перекошенные данные заставляют модель забывать атаки;
• зачем сравнивать кандидата с продом;
• какие гейты и проверки помогают безопасно выкатывать модель.
Post #2769
196
