Fermatix AI сделали KrabArena – платформу для воспроизводимых сравнений технологических продуктов. Решают проблему, что технические решения часто выбираются на основе маркетингово буллшита: по статьям самих вендоров, постам в твиттере и ответам LLMок. И что зачастую бенчмарки из интернета либо не воспроизводятся, либо нерепрезентативны.

Как работает KrabArena:
1. Выбираешь баттл
2. Смотришь результаты
3. Придумываешь, что ещё хочется проверить для своей задачи
4. Запускаешь создание нового теста через своего любимого AI-агента

Дальше агент делает основную работу: помогает сформулировать тест, выбрать метрику, провести воспроизводимый эксперимент.

На выходе получается клейм с выводами, цифрами и кодом проверки. Этот результат сможет проверить любой человек на платформе.

Примеры:
• Claude Skills vs MCP Servers – что дешевле по токенам и контексту.
• Qdrant vs Weaviate vs LanceDB – какая векторная БД лучше выдерживает рост нагрузки.
• ClickHouse vs DuckDB – сколько стоит хранение одного и того же набора данных.
• TypeScript vs Rust vs Go vs Python – где современные LLM пишут более качественный код.