Post #608 7.4K Apr 3, 2023, 03:20 UTC #AI工程 llama.cpp 和 whisper.cpp作者,在M1 Pro 32G的电脑上同时运行了4个聊天AI,模拟真人Podcast场景。每个AI都独立运行whisper和 LLaMa 13B4 个 AI 通过 mmap共享 LLM weights,节省大量内存,允许并行运行多个单独的实例-- 来源 👍 60 🤯 8 ❤ 2 🔥 2 🥰 1