黑马天启 · 多模型 Token 平台

限流与容量常见问题

  • 平台的限流有几层? 三层:模型请求限流(RPM)、渠道容量保护(RPM/TPM/并发)、临时黑名单。
  • 被限流会扣费吗? 不会:拒绝发生在请求入口或选路之后、打到上游之前。
  • 怎么优雅重试? 对 429/5xx 指数退避(0.5s→1s→2s,最多 3 次);对 400/401/403 不要重试。
  • 能提高阈值吗? 联系平台,结合你的用量与渠道容量评估。

相关