Что получили, не работает:
На джейлбрейках уязвимость минимум на 1% запросов — у всех методов без исключения. Под адаптивным ред-тимингом FNR выбранного авторами зонда — 42%. Так что против обычного трафика зонд — хорошо, а против думающего противника — нет.

Общий нюанс: зонду нужен доступ к внутренностям. То есть это инструмент владельца модели или того, кто крутит открытые веса. Сидя на API, зондов нет, но какова идея!

Нюанс два:
Слой снимаем один и фиксированный, обычно из середины модели. Она (середина) богаты на всякие представления. Ибо активации тяжёлые. Один пример на миллион токенов при d в несколько тысяч и float32 — десятки гигабайт на один промпт.

Обучать дорого, в статье с этим парятся. А потом не парятся и учат только на коротком контексте, а длину обрабатывают архитектурой агрегации.

P. S. Пока думала над названием поста, в голове возникла песня Хованского «Батя в здании». Такие артефакты молодости.

Почему она тут уместна — потому что по своей природе зонд — бинарный классификатор, а бинарный классификатор — потомок линейной модели, а линейной модели больше лет, чем всему DL.

И я такие отсылки в базовую базу люблю всем сердцем. Сколь бы много автоматизации в нашем мире ни возникало, всегда есть это — красивое и старое.

В общем, получается любим базу, друзья! Надеюсь вам будет также красиво от этой работы, как мне : )