AI中转站-三层架构与模块职责
按 API茶馆这篇文章的划分,中转站把多家模型服务转换为统一入口,业务可以分为三层。
| 层次 | 职责 |
|---|---|
| 接入层 | 通过适配器转换供应商请求参数、协议与响应结构 |
| 核心层 | 处理用户、计费、模型路由、负载、缓存和监控 |
| 输出层 | 向调用方提供统一接口;文中以兼容 OpenAI 格式为例 |
适配器处理双向转换:请求进入时转换为供应商格式,响应返回时转回统一格式。接口版本变化、视频时长与比例等专有参数,是持续维护的重点。
文章把实现进一步拆为五个模块:适配器、计费、路由、缓存、日志与监控。搭起可调用的入口后,仍需处理稳定性、成本与用户信任。
以上是原文架构概括,不是接口兼容性测试。原文提到 One API、New API、LiteLLM,但本笔记未验证其当前功能,也不把“更换地址和密钥即可无缝切换”视作所有模型的保证。