Мой опыт использования DeepSeek для серьезных задач и в проектах

Когда в начале этого года вышла DeepSeek R1, многие радовались выходу этой модели, говоря, что “вот она, замена GPT o1” в бенчмарках работает наравне и вообще классная модель. Изначально я отнесся к таким заявлениям скептически.

Сам DeepSeek я использовал от силы две недели, и модель меня вообще не удовлетворила. По уровню ответов модель отставала в моих задачах от Gemini и GPT года на полтора, плюс к этому, сама скорость ответа меня не удовлетворяла из-за очень долгих размышлений, бонусом к этому шли рандомные иероглифы. И если с точки зрения вклада в развитие AI и новых методов обучения DeepSeek делает реально крутые штуки, то с точки зрения реального пользования модель оказалась для меня бесполезной. Просто потому что я привык использовать лучшее и у меня есть доступ к этому лучшему.

Однако, это были мои личные задачи, и наиболее объективно на места все расставляет все же время. Прошло уже полгода с момента выхода R1, и что мы видим?
- Трафик у DeepSeek ожидаемо пошел на спад;
- Cкорость ответа из-за нагрузки в сервисе еще дольше;
- Часть сложных запросов заканчиваются ошибками.
- Кроме того, модель является самой цензурированной. Попробуйте спросить у нее, чей Тайвань или другая спорная территория 🙂

Но модель же OpenSource, скажете вы. Действительно. DeepSeek можно развернуть у себя на сервере, но много ли вы видели кейсов? Мне известен только один - Perplexity на волне хайпа в начале года очистили от цензуры захостили модель у себя, после, выложив ее в опенсорс. Много ли вы ей пользуетесь? Уверен, что большинство использует либо DeepResearch либо предпочитает другие модели, вроде Claude и Gemini, ибо зачем выбирать то, что работает хуже?

В остальных случаях я вижу просто повальное доминирование QWEN. У себя в проектах мы используем QWEN, Тинькофф Банк использует QWEN, в Avito - QWEN. Никто не использует DeepSeek, потому что в малой размерности эта модель оказывается еще тупее, а ее Reasoning нельзя отключить. В итоге, на выходе мы получаем тупую модель, которая спамит иероглифами, и к тому же, нереально долго отвечает.

Может быть, DeepSeek лучше работает с задачами для Китая?
Ко мне попал проект, тесно связанный с китайской культурой, и логично было предположить, что вот тут-то DeepSeek преуспеет. Но нет, проблема не в языке. Эту модель нереально сложно промптить. Чтобы создать ассистента на базе нее и добиться выполнения определенных флоу - ей нужно писать просто ОГРОМНУЮ, максимально подробную инструкцию. Если не прописать детали - она просто ей не следует нормально. Также, в процессе модель путает языки. Ситуация становится чуть лучше, если писать промпт на китайском, но даже тогда, в выдаче она периодически выдает символы и фразы на английском. Модель ужасна в плане следования инструкциям. Я не помню, чтобы писал такие подробные инструкции со времен GPT 3.5, и то, она мне казалась умнее. В данном проекте в итоге мы частично заменили DeepSeek на QWEN, дальше планируем окончательно выпилить DeepSeek оттуда.

В общем, вся история с DeepSeek с точки зрения практического использования оказалась просто хайпом. Если у вас нет доступа к нормальным LLM, то да, это лучше, чем ничего, хотя я настоятельно рекомендую попробовать QWEN, по моим ощущениям, она отстает от западных аналогов где-то на 8 месяцев, а не на 1.5 года. Но если у вас есть доступ к топовым моделям, вы просто не захотите возвращаться к китайским моделькам.