ByteDog наконец в PT Sandbox и PT Email Security! (ссылка)

Мы уже рассказывали про саму концепцию байтового подхода, теперь — коротко о том, что под капотом:

- Бинарная классификация на сырых байтах. Модель работает без предварительного парсинга, распаковки и ручного выделения признаков. Чтобы обучить сеть в условиях сильного дисбаланса классов, мы кастомизировали функцию потерь под жесткие ограничения на ложноположительные срабатывания (FP).

- Трансформер для супердлинных последовательностей. Для обхода квадратичной сложности O(N^2) по памяти на больших файлах используется Windowed Attention. Модель обрабатывает контекст локальными окнами, а размер последовательности дополнительно оптимизируется за счет сжатия избыточных токенов на промежуточных слоях трансформера.

- Детерминированный байтовый токенизатор. Работает по фиксированным правилам без предварительного обучения. Он агрегирует байтовый поток в компактные токены, уменьшая исходную длину последовательности еще до передачи в энкодер.

- Устойчивое представление файлового пространства. За счет комбинации supervised и self-supervised обучения модель не просто классифицирует файлы, а строит эмбеддинги, где похожие по логике и структуре объекты группируются в кластеры.

- Оптимизация инференса. Граф вычислений оптимизирован и скомпилирован в единый артефакт ONNX. Для механизмов self-attention используются аппаратно оптимизированные вычисления. На проде это дает ~30 ms на файл при потреблении памяти в пределах ~200 MB в пике.

- Результаты в бою: На реальном потоке это принесло +10% к уникальным детектам когда в продукте используется только статический анализ, +2% в совокупности с поведенческим анализом и 400+ уникальных детектов угроз за первый месяц работы на нашей инфраструктуре.

#ml_team