AI 大模型 API 并发优化：TPM/RPM 限制与智能重试策略

限流参数

• TPM (Tokens Per Minute)：每分钟最大 token 消耗
• RPM (Requests Per Minute)：每分钟最大请求数

指数退避

import time, random
for attempt in range(5):
  try:
    return call_api(...)
  except RateLimitError:
    time.sleep(2 ** attempt + random.random())

多 Key 轮询

申请多个 Key 用 round-robin 分发，单 Key 限流时自动切换。