magnitudedev/magnitude
Open source inference server that runs the best local models for your hardware, plugged into the agent you already use. Works with Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, and Cline.
Star 增长趋势（本站收录历史）
magnitudedev/magnitude
深度介绍
它是什么
Magnitude 是一个开源的本地推理服务器，专为在自有硬件上运行最佳本地模型而设计。它无缝接入你日常使用的 AI 代理工具，让本地模型与工作流融为一体。
核心亮点
- 硬件自适应：自动检测 GPU/CPU 配置，推荐并加载最适合的本地模型，无需手动调参。
- 零改造接入：原生兼容 Pi、OpenCode、Claude Code、Codex 等主流代理，一条命令即可切换后端。
- 轻量高效：基于 TypeScript 构建，内存占用低，支持流式输出与并发请求，适合长期驻留。
为什么火
短短一天斩获 600+ star，核心在于它解决了“本地模型难用”的痛点——过去配置本地推理需要折腾环境、对齐 API 格式，而 Magnitude 把复杂留给自己，把简单交给用户。在数据隐私与离线需求升温的当下，它让“本地优先”从极客玩具变成顺手工具。
适合谁用
- 隐私敏感型开发者：不愿将代码或对话发送至云端。
- 硬件玩家：拥有个人 GPU 工作站，想榨干性能。
- 代理工具重度用户：希望摆脱 API 费用，但不想更换现有工作流。
快速上手
# 安装并启动服务
npx @magnitude/server start
# 在 Claude Code 中指定本地端点
claude --model local --endpoint http://localhost:8080
无需额外配置，Magnitude 会自动探测硬件并拉起最优模型。