容量与扩容
先量什么
| 指标 | 意义 |
|---|---|
| RPM / TPM | 请求与 token 吞吐（管理端「Token 使用统计」） |
| 并发 | 同时在途请求数 |
| 上游配额 | 各渠道自身限流（超过会被上游拒绝） |
扩容手段
- 加渠道：同一模型多来源，用优先级/权重分流；用户可用「智能路由」选择；
- 容量保护：为渠道设置 RPM/TPM/并发上限，避免把上游打爆（拒绝发生在打到上游之前）；
- 网关水平扩展：无状态多实例 + Nginx 负载；注意限流计数用 Redis 共享；
- 缓存：稳定前缀提高缓存命中，降低实际算力消耗。
压测建议
- 用可控的测试 Key 做压测，避免影响生产 Key 的额度；
- 观察 429（本平台限流）与上游 5xx（上游限流）的比例，判断该扩哪一层。