#fyi Вы тоже встречали в LLM проблемы с идентичностью? Модели путаются, кто они. Почему такое может происходить?
Первое, что приходит на ум — дистилляция на синтетических данных, сгенерированных Claude. Ответ кажется простым, но на деле мы не можем знать точно, как именно попали данные о Claude в модель.
Еще вариант — «вирусные данные», когда в общедоступные датасеты намеренно закладываются триггеры в духе «я модель Claude», которые ИИ бездумно заглатывает при обучении. Если компания жжет книги, чтобы они не достались другим, я уже ничему не удивлюсь.
Еще есть вероятность простой замусоренности самих данных — будь то миллиарды страниц из интернета или базовые модели и веса, которые уже забиты контентом от Anthropic. Возможно, все эти факторы накладываются друг на друга, ломают ассоциативные связи, и модель выдает чужой шаблон идентичности.
Post #1904
199

- 🔥 4