Одна из участниц команды лаборатории — Анна Решетняк — дебютировала со статьей на Хабр! 🔥

В материале Аня рассказывает об опыте ускорения Guard модели на основе NER‑классификатора. Модель была нетривиальной, отсюда её ускорение не влезало в классические пути.

В статье протестировано 5 инструментов: TensorRT, NVIDIA Triton, vLLM, Ray Serve и отдельно — смена бэкбона на Flash DeBERTa. Такой зоопарк ценен сам по себе, но не менее ценно то, что описаны также найденные Аней сложности и их решения.

Приглашаем поддержать сильный дебют: https://habr.com/ru/articles/1067008/
И конечно воспроизвести эксперименты в репо.

Ане огни за упорство и результаты!