Shimmy──无需 Python 的 Rust 推理服务器

Shimmy：轻量、免费、强大的本地 AI 推理服务，推理库比 Ollama 小 100 倍、启动快 50 倍、内存小 4 倍！支持 OpenAI API 兼容性、自动发现模型、热模型切换和 LoRA 适配器。 ####核心亮点 - 超轻量：相比 Ollama 的 680MB，Shimmy 只有 5.1MB，启动时间不到 100 毫秒，内存占用不到 50MB。 - 即插即用：无需复...