API 调着调着就 429 限流了，请求直接报错
免费平台额度不够用，3 RPM 根本不够塞牙缝
DeepSeek 便宜但不稳定，OpenAI 稳定但太贵，没法灵活切换
多个 AI 平台 API 格式不同，代码里一堆 if-else
想用 Claude 又想用 GPT，SDK 和 Base URL 管不过来
AI Gateway 就是为了解决这些痛点而生的。
一个网关覆盖你的所有 AI 接口管理需求
多个 API Key 轮询/加权/分流，N 个 Key = N 倍吞吐量。免费额度乘以 N，告别限流瓶颈。
OpenAI + Anthropic 协议原生适配，一个入口全搞定。零代码改造，只改 base_url 即可。
后端挂了？自动切换到健康后端。被限流？429/5xx/超时自动重试 + 指数退避。
Web UI 可视化配置，15+ 平台预设一键添加，远程模型自动拉取，无需手动输入。
macOS / Windows / Linux 原生桌面应用，下载即用。也支持独立服务器模式部署。
统一入口，智能路由，透明代理
为什么选择 AI Gateway？
| 特性 | AI Gateway | Nginx 反代 | One API | LiteLLM |
|---|---|---|---|---|
| 开箱即用 | ✅ 桌面App + 服务器 | ❌ 需要写配置 | ✅ | ✅ |
| 可视化管理 | ✅ Web UI | ❌ | ✅ | ❌ |
| 负载均衡 | ✅ 5 种策略 | ⚠️ 有限 | ⚠️ 简单 | ✅ |
| Anthropic 协议 | ✅ 原生支持 | ❌ 需额外配置 | ⚠️ 转换 | ⚠️ 转换 |
| 自动故障切换 | ✅ | ⚠️ 需配置 | ⚠️ | ⚠️ |
| 远程模型获取 | ✅ 自动拉取 | ❌ | ❌ | ❌ |
| 桌面应用 | ✅ 全平台 | ❌ | ❌ | ❌ |
| 语言 / 部署 | Rust · 单二进制 | C | Go · Docker | Python · pip |
改一行代码就能接入，无需其他任何修改
选预设 + 填 API Key → 保存
选策略 + 添加后端 → 启动
指向 http://localhost:1994/v1 → 完事
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:1994/v1", # ← 就改这一行
api_key="your-token"
)
response = client.chat.completions.create(
model="your-virtual-model",
messages=[{"role": "user", "content": "hello"}]
)import anthropic
client = anthropic.Anthropic(
base_url="http://localhost:1994", # ← 就改这一行
api_key="your-token"
)
response = client.messages.create(
model="your-virtual-model",
max_tokens=1024,
messages=[{"role": "user", "content": "hello"}]
)# OpenAI 兼容格式
curl http://localhost:1994/v1/chat/completions \
-H "Authorization: Bearer YOUR_TOKEN" \
-H "Content-Type: application/json" \
-d '{"model":"your-virtual-model","messages":[{"role":"user","content":"hello"}]}'
# Anthropic 兼容格式
curl http://localhost:1994/v1/messages \
-H "x-api-key: YOUR_TOKEN" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model":"your-virtual-model","messages":[{"role":"user","content":"hello"}],"max_tokens":1024}'简洁直观的管理界面
主界面 — 虚拟大模型管理
平台管理 — 添加与配置 AI 平台
虚拟模型 — 后端配置与负载均衡策略
统计概览 — Token 用量与请求统计
设置页面 — 端口配置与主题切换
不同场景，同样受益
多个免费 Key 轮询
DeepSeek 优先 + GPT 兜底
多后端 + 自动故障切换
OpenAI + Claude + Qwen 统一入口
统一网关 + API Key 管理
是的，AI Gateway 完全开源免费（MIT 协议）。你只需要为你使用的 AI 平台（如 OpenAI、Anthropic 等）支付 API 费用。
内置 15+ 平台预设：OpenAI、Anthropic、DeepSeek、通义千问、Gemini、智谱 GLM、月之暗面、豆包、Ollama、NVIDIA NIM、Azure、云硅 SiliconFlow、Groq、零一万物、百川等。也支持自定义任意 OpenAI 兼容的平台。
不需要。你只需要把 SDK 的 base_url 从原来的 API 地址改成 http://localhost:1994/v1，其他代码完全不用动。
你为同一个虚拟模型配置多个后端（不同的 API Key 或不同平台），AI Gateway 根据你选择的策略（轮询/加权随机/最少连接/优先级/延迟优先）将请求分发到不同后端。如果某个后端失败，会自动切换到其他健康后端。
可以。从源码编译后直接 cargo run 即可启动独立服务器模式，通过浏览器访问管理界面。适合服务器部署场景。
所有数据（平台配置、模型配置、统计数据）存储在本地 SQLite 数据库中，不会上传到任何服务器。API Key 使用 AES-GCM 加密存储。