Stealing Part of a Production Language Model
Carlini et al., 2024
Статья, блог, код

Одна из статей-лауреатов Best Paper Award с прошедшего недавно ICML 2024 демонстрирует, что с небольшим знанием линала можно украсть веса последнего слоя модели через API. Что потом с этим слоем делать – это уже ваши проблемы, но такая атака не только позволяет примерно прикинуть, зная размерность этого слоя, сколько параметров в модели, но и показывает, что давая доступ к сырым выходам модели, можно столкнуться с неожиданными проблемами 🔪🔪🔪