什么是OmniRouteOmniRoute 是当下热门自托管 AI 网关LLM 代理 / 路由中间件基于 Next.js/ TypeScript 开发。只用一个 OpenAI 兼容地址统一调度上百家大模型服务商自动故障切换、优化 token 消耗。为什么要用目前手里很多中转站, 各站点为了拉新会推出优惠倍率, 如0.08/0.06. 随着用户增多优惠倍率会出现不可用或下架的情况.为了最大限度的白嫖, 就需要一个自动检查低倍率是否可用然后进行切换的软件. OmniRoute就可以解决这个问题docker安装官方命令:docker run -d --name omniroute --restart unless-stopped --stop-timeout 40 \ -p 127.0.0.1:20128:20128 -v omniroute-data:/app/data diegosouzapw/omniroute:latest转换为docker-compose.ymlversion:3.8services:omniroute:image:diegosouzapw/omniroute:latestcontainer_name:omnirouterestart:unless-stoppedports:-127.0.0.1:20128:20128volumes:-omniroute-data:/app/datavolumes:omniroute-data:结合自己的实际情况选择部署的服务器, 我只需要中转站, 为了访问速度所以部署到了国内服务器中. 国内服务器可使用轩辕镜像加速, 解决无法下载的网络问题之后启动镜像, 绑定域名, 设置反代等基础操作跳过… 安装成功后如下图:使用教程最终实现的效果是通过OmniRoute自动路由, 优先使用中转站的低倍率模型, 支持容错处理举例说明, 现在有A/B两个中转站, 各有0.06/0.08低倍率节点和普通节点. 需要先创建不同的api使用, 如下图配置OmniRoute创建一个api key,打开cc switch, 添加一个供应商, 模型为auto测试后可以使用, 因为软件提供免费的模型, 日志中也可以看到使用的模型添加中转站点击添加openai兼容, 输入基本信息(这个页面的API 密钥不需要填)进入详情之后, 点击添加, 这个里面才需要填api密钥, 可使用倍率作为名字区分添加组合第一步中输入组合名称第二步选择模型, 依次添加多个中转站的低倍率模型, 点添加步骤才是成功添加, 下放会有模型列表第三步设置路由策略为优先级路由时按照添加顺序依次调用, 模型一失败后调用模型二, 依次类推第四步汇总配置cc switch打开配置, 设置模型为组合的名称测试效果打开codex, 测试效果. 可以手动禁用低倍率模型, 检查是否会自动路由到后续模型优缺点优点自动路由方便管理多中转站中转模型掉线/跑路不需要手动维护缺点内存占用大, 600兆没办法管理多个账号, 单用户使用无法分享给朋友使用出现的问题没有按照预设的模型使用猜测他可能有一个计算方式比如说你第一个模型用的是 A 中转站的但是失败了那么他会把后续该中转站里的其他模型都标记为失败。解决方式是只保留你想要它运行的这个模型还有前面的低倍率模型让它只能运行这个正常模型。具体逻辑不太清楚,可以多测试几次.