技术文章

外部链接将在新标签页打开。

限流放行数与账单对不上:先查计量键、窗口边界与重试幂等

一句话回答

限流与计费对不上,多数原因不是算法选错,而是放行与记账用了不同的键、不同的时间窗,或重试被重复计数。本文给出两类事实的精度差异、计量键应包含的字段、四种窗口策略的偏差来源、重试与并发下的去重方式,以及组件故障时的取舍和一份可复核的验收清单。全文为通用设计说明,未在具体系统上运行验证;API.PLUS 的限额粒度与计费单位本次材料未提供,标为待核实。

限流和计费对不上,通常不是算法选错了,而是两个环节用了不同的键、不同的时间窗,或者同一次重试被算了两次。要让系统稳定,先接受一个前提:放行是毫秒级的近似判断,计费是可回溯的账目记录。二者可以共享同一份用量事件,但不能互相替代。下面是一份设计约束与排查顺序,属于通用工程说明,不构成对任何具体平台的实测;API.PLUS 的限额粒度、计费单位与超额策略需以其文档为准,本次材料未提供,标为待核实。

一、放行与记账是两种精度的事实#

限流器回答“这次要不要拒”,允许误差、要求低延迟,状态丢了最多多放几个请求。计费回答“这个账号这个周期用了多少”,要求可对账、可重放、不能丢。把两者塞进同一个 Redis 计数器很省事,但计数器一旦过期或被清理,账单就失去了依据。

建议(属设计建议,非行业结论):网关在放行时写一条只追加的用量事件,限流器读聚合计数,计费读明细事件。两份数据可以同源,但保留策略与精度不同。

二、计量键要能回答“按什么算”#

限流键和计费键往往不是同一个维度。限流常按 IP、端点、账号做多维桶;计费常按账号、模型或接口、计量单位(请求数、token、字节)组合。如果账单只存一个总数,事后无法判断差额来自哪个维度。下面是一个字段示意,未执行,仅用于说明命名与结构,不含真实数据:

{
  "event_id": "evt_<uuid>",
  "request_id": "req_<uuid>",
  "meter_key": "acct:<id>|endpoint:/v1/chat|unit:token",
  "window": {"start": "2026-11-01T00:00:00Z", "granularity": "month"},
  "quantity": 0,
  "billable": true,
  "source": "gateway"
}
  • 每个事件带 request_id,作为幂等键,重试时复用同一个值;
  • 键里显式写窗口起点与粒度,避免“按天”和“按自然月”混用;
  • 保留 billable 标志,把免费额度、内部调用、压测流量分开,否则对账时无法解释差额。

三、窗口策略决定偏差出现在哪里#

策略偏差来源主要代价
固定窗口窗口交界处允许短时双倍通过实现最简单
滑动窗口日志边界精确需存每条记录,内存随流量增长
滑动窗口计数按前一个窗口加权估算,属近似值内存固定,结果不精确
令牌桶 / 漏桶允许突发,瞬时值与长期均值不同需维护桶状态,参数需调

常见的错配是:限流窗口是滑动 60 秒,账单周期是自然月。用限流计数直接汇总成账单,会在窗口边界和时区上产生系统性偏差。账单应从明细事件重新聚合,而不是复用限流器的计数。

四、重试与并发是重复计数的主要来源#

客户端超时重试、网关内部重试、SDK 自动重试,都可能让同一次逻辑请求产生多条事件。在服务端用幂等键去重,比在客户端“尽量不重试”更可靠。按量计费场景可以用预扣再结算:先冻结额度,请求结束后按实际用量落账,失败则释放冻结。流式响应的用量口径(按已下发片段还是按上游生成的 token)各家不同,需以平台文档为准,本次未提供,待核实。

五、组件故障时的取舍要提前写死#

限流器不可用时,放行并记录(fail-open)通常比一律拒绝更适合读接口;计费写入不可用时,是落本地队列延迟补写,还是直接拒绝请求,取决于业务能否接受“用了但没记账”。这两条应写进运行手册,而不是等故障发生时临时决定。

六、验收时该核对什么#

  1. 重放同一个 request_id,账单是否只增加一次;
  2. 把系统时钟推过窗口边界和月边界,计数与账单是否连续;
  3. 停掉计费写入,观察是拒绝服务还是堆积,堆积上限是多少;
  4. 抽查一条账单明细,能否追回到具体的用量事件与 request_id;
  5. 退款、免费额度、负数调整是否有独立事件类型,而不是修改原记录。

以上是设计约束与排查顺序,未在具体系统上运行验证,示例代码未执行。真实上线前,仍需用平台文档确认限额粒度、计费单位与超额策略,这些信息本次材料未提供,不作推断;本次也没有可核验的外部来源,因此不附引用链接。

作者:沐小悠

本文约 5 分钟读完 · 关键词:API 限流、计费系统、令牌桶、滑动窗口、幂等键

更多文章 GET 示例接口

「」标签下的其他文章