✔️ Vals-Smith: оценивайте модели на своей кодовой базе

Независимая бенчмарк-платформа Vals представила Vals-Smith - инструмент для автоматической генерации кастомных бенчмарков на основе кодовой базы пользователя.

Vals-Smith позволяет тестировать модели и агентов на специфике собственных проектов, не полагаясь на публичные лидерборды. Инструмент поддерживает открытые и приватные репозитории.

Система анализирует GitHub-репозитории и извлекает задачи из принятых PR.

Каждое задание включает описание проблемы, скрытые проверки и воспроизводимую среду. Модель получает код до внесения правок (сам патч скрыт).

Для успешного решения испытуемая должна пройти скрытые тесты и не нарушить существующую логику приложения.

Доступ к платформе выдается по заявкам. Есть демо-результаты тестирования популярных моделей на задачах из исходников Linux, Next.js, SGLang и Spark.


@ai_machinelearning_big_data

#news #ai #ml