Shimmy──无需 Python 的 Rust 推理服务器

poctopus 2025-09-16 PM 4℃ 0条

Shimmy：轻量、免费、强大的本地 AI 推理服务，推理库比 Ollama 小 100 倍、启动快 50 倍、内存小 4 倍！支持 OpenAI API 兼容性、自动发现模型、热模型切换和 LoRA 适配器。

####核心亮点
- 超轻量：相比 Ollama 的 680MB，Shimmy 只有 5.1MB，启动时间不到 100 毫秒，内存占用不到 50MB。
- 即插即用：无需复杂配置，自动发现模型（支持 Hugging Face、Ollama 或本地目录的 GGUF 模型），自动分配端口，避免冲突。
- OpenAI API 兼容：100% 兼容 OpenAI API，能无缝对接 VSCode Copilot、Cursor、Continue. dev 等开发工具。
- 隐私与成本：完全本地运行，数据不出你的电脑，没有按 token 计费的成本，查询无限制。
- LoRA 支持：从训练到生产，30 秒内即可通过 LoRA 适配器增强模型，灵活高效。
- 跨平台：支持 Linux、macOS 和 Windows。

####为什么选择 Shimmy？
Shimmy 的设计理念是“基础设施应该是隐形的”，它希望开发者专注于开发，而不是配置复杂环境。相比其他工具（如 Ollama 或 llama.cpp），Shimmy 在以下方面更胜一筹：
- 更小的体积：5.1MB vs. Ollama 的 680MB。
- 更快启动：不到 100 毫秒 vs. 5-10 秒。
- 更低内存占用：50MB vs. 200MB+。
- 更简单的使用体验：零配置、自动发现模型、动态端口管理。

####适合谁用？
- 开发者：如果你用 VSCode、Cursor 或 Continue. dev，Shimmy 能无缝集成，让你快速调用本地 AI 模型。
- 隐私敏感用户：数据完全本地处理，适合对隐私要求高的场景。
- 预算有限团队：免费且无限制的查询，适合个人开发者或小型团队。
- LoRA 爱好者：支持快速训练和部署 LoRA 适配器，适合实验和生产环境。

####技术架构
- Rust + Tokio：内存安全，异步高性能。
- llama.cpp 后端：使用业界标准的 GGUF 模型推理框架。
- 动态端口管理：避免端口冲突，零配置启动。
- WebSocket 支持：提供流式生成，适合实时应用。

```csharp
https://github.com/Michael-A-Kuykendall/shimmy
```

标签: rust, Shimmy, python, ollama

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：https://aladown.com/archives/Shimmy-%E6%97%A0%E9%9C%80-Python-%E7%9A%84-Rust-%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E5%99%A8.html

上一篇一键安装Linux内核并开启BBR或者BBR Plus

下一篇没有了

评论已关闭

一	二	三	四	五	六	日
◄ ►
1	2 1	3 1	4 1	5	6	7 1
8	9 1	10	11	12	13 2	14 1
15 2	16 4	17	18	19	20	21
22	23	24	25	26	27	28
29	30

Shimmy──无需 Python 的 Rust 推理服务器

评论已关闭

日历

栏目分类

标签云

Shimmy──无需 Python 的 Rust 推理服务器

评论已关闭

日历

 栏目分类

标签云

日历

栏目分类

标签云