На выходных потестил
pi.dev в связке с DeepSeek v4 Pro 🇨🇳. Хотел проверить качество модели, которая в 20 раз дешевле, на повседневных кодинг-задачах 💻.1⃣ Анализ цен на акции 📈
Первая задача была простая и в лоб. Я сравнивал Claude и DeepSeek на одном и том же запросе: написать скрипт для парсинга цен акций, вытащить данные по нескольким компаниям за неделю и подготовить отчёт 📊.
Результат:
- DeepSeek сработал в два раза медленнее 🐢
- Выдал в два раза больше лишнего текста (более verbose) 🗣️
- Claude Code в конце сам нашёл, что можно улучшить, и сразу поправил ✨
2⃣ Добавил поддержку второго харенеса в Minimise CLI ⚙️
Вторая задача была чуть по сложнее. Я решил добавить поддержку
pi.dev harness в minimise cli 🛠️.Результат:
Задачу сделал, но с оговорками:
- На относительно небольшую фичу ушло 60 млн токенов 💰
- Для сравнения: у меня за последние 30 дней ушло 80 млн в Claude Code, на котором я поднял целый проект, а не просто фичу 🏋️♂️
- DeepSeek часто ошибается: приходится «держать за руку», чтобы довести до нужного результата 🤝. Пришлось рефакторить 🧹
- Агент спешит сдать задачу, лишь бы работало, и совершенно не учитывает edge cases ⚠️
Итог 📝
Тестировал всего пару дней — возможно, делать окончательные выводы пока рано. Но на данный момент вижу, что экономия на токенах — лишь иллюзия 🪞.
Да, цена за 1 млн токенов ниже 🏷️. Но в конечном счёте достижение нужного результата обходится значительно дороже — как по времени ⏳, так и по суммарному расходу токенов 📉.
Думаю посмотреть как будет работать с Kimi K3, GLM, etc.
Если есть идеи, что еще потестить, пишите.