Так ли хороша DeepSeek-R1?

Мир сейчас активно обсуждает новую китайскую модель DeepSeek. Команда Cloud․ru не смогла пройти мимо этой темы и решила провести собственное сравнение моделей.

Мы протестировали три модели: OpenAI o1-mini, DeepSeek-R1 и её облегчённую версию DeepSeek-R1 32B. Тестирование проводилось на 40 реальных пользовательских запросах.

Как проходило тестирование:

1️⃣ Для каждого запроса мы использовали систему поиска релевантных статей в документации, которые передавались в модель вместе с пользовательским запросом.

2️⃣ LLM получала системный промпт, требования к Tone of Voice компании, сам вопрос клиента и найденную документацию.

3️⃣ Ответы оценивал эксперт в области технической поддержки по пятибалльной шкале.

Вот, что получилось в результате:

DeepSeek-R1: 4.3
OpenAI o1-mini: 3.53
DeepSeek-R1 32B: 1.75

💡DeepSeek-R1 отлично справляется с задачами, требующими анализа контекста, документации и рассуждений. Облегчённая версия DeepSeek-R1 32B сильно уступает, но её производительность может быть полезной в определённых сценариях.

Какие преимущества DeepSeek-R1 мы выделили:

🔍 В отличие от других популярных моделей, DeepSeek-R1 в обязательном порядке прикладывает настоящие ссылки документации к каждому ответу.

🔍 Эффективно применяет контекст запросов пользователя для генерации более персонализированных ответов.

🔍Возможность локального развёртывания для обеспечения стабильности, безопасности и автономности.

Я вижу в модели DeepSeek-R1 потенциал. Мы уже начали рассматривать интеграцию модели в сервисы Cloud․ru и запуск нового виртуального ассистента для поддержки наших клиентов. Возможность локального использования — это стратегически важное преимущество, особенно для работы с конфиденциальными данными.

#СверхРазум