Я Ruslan Dev, амбассадор immers.cloud, и этот пост я подготовил на основе собственного опыта использования моделей OpenAI и DeepSeek V3 в одном приложении.
Я написал достаточно простой агент для автономной обработки текста средствами LLM.
Сразу стоит сказать, что есть открытые бенчмарки, которые показывают, какая из моделей на каких задачах справляется лучше.
Но — при использовании LLM в реальном приложении есть большой нюанс: стоимость генерируемых токенов.
На бенчмарках видно, что DeepSeek V3 и GPT-4o дают очень близкие результаты, и DeepSeek незначительно превосходит в большинстве случаев.
Однако стоимость инференса официального API DeepSeek V3 в 8–10 раз меньше, чем GPT-4o. Она ближе к стоимости GPT-4o-mini — именно последнюю я и использовал для своего агента.
И разница между v3 и mini уже очевидна, особенно для русского языка. GPT-4o-mini малопригодна для генерации сложных текстов на русском, с которыми DeepSeek справляется достаточно хорошо.
Но есть нюанс — для многих прикладных задач LLM необходимо файнтюнить.
И для малого бизнеса файнтюнинг модели уровня DeepSeek — неподъёмная задача:
я показывал развертывание 4bit-кванта этой модели в облаке immers.cloud, и мне понадобилось три видеокарты H100, чтобы выгрузить на GPU лишь половину слоёв модели.
Для файнтюнинга же вам понадобится деплоить несжатые веса в fp8, которые весят около 720 гигабайт.
@ruslandevlive — мысли о современных AI/ML-технологиях