生产接入检查清单
上线前逐项确认,可以避免绝大多数"上线后才发现的坑"。
密钥与权限
- 每个环境(测试/生产)各用一把 Key,不共用。
- 生产 Key 设置了模型白名单与额度上限。
- Key 只存在服务端(环境变量 / 密钥管理服务),不进代码库、不进前端。
- 有轮换预案:能随时禁用旧 Key 并切换新 Key。
稳定性
- 对 429 / 5xx 实现了指数退避重试(对 400/401/403 不重试)。
- 设置了请求超时与最大重试次数,避免线程/连接池被拖死。
- 流式场景处理了中途断开(已产生的用量仍会计费)。
- 关注「性能看板」的成功率与延迟,设置告警阈值(成功率下降/延迟升高)。
成本
- 所有请求都显式设置
max_tokens。 - 稳定前缀放在消息前部,以提高缓存命中。
- 批量/离线任务安排在平峰时段。
- 已配置额度告警(钱包页)与每日用量自查。
合规
- 需要实名的模型(图像/视觉类)已确认账号已通过实名。
- 用户数据与模型输入输出符合你所在行业的合规要求。
- 需要发票时提前在控制台提交开票申请。
降级方案
- 关键路径准备备选模型(不同来源的同能力模型),主模型故障时可切换。
- 应用侧有"失败可重试"与"失败即降级"的明确策略(而不是无限重试)。
- 记录 request id,便于事后追溯。