Prime Intellect берёт на себя грязную работу

Компания запустила Hosted Evaluations — сервис, который берёт на себя всю инфраструктуру для бенчмарков AI-моделей. Песочницы, вычислительные мощности, оркестрация — всё управляется на их стороне. Среди поддерживаемых моделей уже заявлен Claude Opus.

Тестирование сложных моделей - это боль. Поднять окружение, настроить изоляцию, выделить GPU, прогнать бенчмарки, собрать результаты. Каждый раз заново. Prime Intellect предлагает это как услугу: приходишь с моделью, уходишь с цифрами.

Кому выгодно. Командам, которые разрабатывают модели, но не хотят содержать собственную инфраструктуру для оценки. А Prime Intellect получает поток данных о том, какие модели тестируются и как они себя ведут - неплохой побочный актив.

Рынок инфраструктуры для AI постепенно дробится на узкие ниши. Обучение, инференс, файнтюнинг, теперь вот отдельно эвалюации. Через пару лет будет отдельный стартап для каждого глагола в ML-пайплайне 🔧