Segment anything ... Fast

GPU-poor актуалочка

Взяли segment-anything, навалили всего, до чего дотянулись git clone руки:

- bfloat16
- torch.compile with max-autotune
- torch.scaled_dot_product_attention
- A custom Triton kernel that implements SDPA for relative positional encodings for long sequence lengths
- NestedTensors
- Dynamic int8 symmetric quantization
- 2:4 sparse format

Ускорили х2.5 по сравнению с BF16,
точность падает только на sparse, 0.53 -> 0.48

С fp32 сравнивать не буду, они б еще fp64 за бейзлайн взяли

git
blog