Память агентов без облака
Tencent открыла Agent Memory — слой долгосрочной памяти для ИИ-агентов. Вместо отдельной векторной базы данных и облачных API всё хранится в обычном SQLite и работает 100% локально. Память читаемая: агент может указать на исходный диалог, а не ссылаться на «чёрный ящик» эмбеддингов.
Зачем это нужно: раньше долговременная память агентов требовала внешних сервисов, раздувала контекст и плохо поддавалась отладке. Теперь её можно развернуть на своей машине, с аудитом и меньшим расходом токенов.
Выгода: до 61% меньше токенов, в тесте PersonaMem точность удержания информации о пользователе выросла с 48% до 76%. Кому полезно: разработчикам агентов, которым нужны локальные/on-prem-решения, экономия на API и прозрачность памяти.
Оговорка: цифры — собственные отчёты Tencent, независимых замеров пока нет.
Старые V100 против новых мини-ПК
Энтузиасты LocalLLaMA сравнили связку из четырёх подержанных Tesla V100 (GPU 2016 года) на NVLink-плате — прямом скоростном мосте между GPU — с современными компактными ИИ-системами. В ряде бенчмарков инференса 4×V100 обгоняют DGX Spark и Apple M5 Ultra до 230%.
Зачем: новые компактные ИИ-системы дороги, а серверные GPU на вторичке могут дать больше производительности на доллар, если не нужны новейшие форматы данных.
Кому полезно: тем, кто собирает бюджетные локальные серверы для LLM, исследователям и практикам, которые готовы мириться с серверным охлаждением и энергопотреблением.
Оговорка: результат зависит от набора бенчмарков, V100 не поддерживает часть новых оптимизаций и потребляет много энергии.
Источники: r/AI_Agents, r/LocalLLaMA.
━━━━━━━━━━━━━
📎 Источники:
• NVIDIA’s 9-Year-Old Tesla V100 Still Packs Some Inference Muscle; 4 GPUs On An NVLink Board Can Outperform M5 Ultra, DGX Spark In Various AI Benchmarks By Up To 230%
• China just made AI memory startups sweat 💀 Tencent open-sourced Agent Memory and it runs 100% locally on SQLite