黑马天启 · 多模型 Token 平台

生产接入检查清单

上线前逐项确认,可以避免绝大多数"上线后才发现的坑"。

密钥与权限

  • 每个环境(测试/生产)各用一把 Key,不共用。
  • 生产 Key 设置了模型白名单与额度上限。
  • Key 只存在服务端(环境变量 / 密钥管理服务),不进代码库、不进前端。
  • 有轮换预案:能随时禁用旧 Key 并切换新 Key。

稳定性

  • 对 429 / 5xx 实现了指数退避重试(对 400/401/403 不重试)。
  • 设置了请求超时与最大重试次数,避免线程/连接池被拖死。
  • 流式场景处理了中途断开(已产生的用量仍会计费)。
  • 关注「性能看板」的成功率与延迟,设置告警阈值(成功率下降/延迟升高)。

成本

  • 所有请求都显式设置 max_tokens。
  • 稳定前缀放在消息前部,以提高缓存命中。
  • 批量/离线任务安排在平峰时段。
  • 已配置额度告警(钱包页)与每日用量自查。

合规

  • 需要实名的模型(图像/视觉类)已确认账号已通过实名。
  • 用户数据与模型输入输出符合你所在行业的合规要求。
  • 需要发票时提前在控制台提交开票申请。

降级方案

  • 关键路径准备备选模型(不同来源的同能力模型),主模型故障时可切换。
  • 应用侧有"失败可重试"与"失败即降级"的明确策略(而不是无限重试)。
  • 记录 request id,便于事后追溯。