技术文章

外部链接将在新标签页打开。

如何设计一个稳定的 API 限流与计费系统:口径、原子性与对账

一句话回答

限流与计费应拆成两个可独立失败、可对账的环节,共享同一份计数口径。文章给出计数单位选择、多实例下的原子扣减、幂等键、降级语义与验证顺序,并说明无外部资料时哪些参数需查官方文档。

核心要点 TL;DR
  • 先固定计数口径(请求数、字节、token、并发),限流与计费都用它,否则两边数字永远对不上。
  • 多实例下计数的读-改-写必须在同一原子单元完成;单机内存计数只适合做前置粗限速。
  • 限流器不可用时的放行或拒绝、计费写入失败后的补写与对账,都要事先写成明确规则,而不是留给故障时临场决定。

稳定的关键,重点不在于把限流和计费都塞进一次请求调用,而在于先把“准入判断”和“计费入账”拆成两个可以独立失败、事后可以核对的环节,并让它们共用同一份计数口径。口径不统一,后面再精致的算法也只是把误差藏得更深。

第一步:把“计什么”写死#

限流的单位常和计费的单位不同:入口按每秒请求数(RPS)拦,账单按 token 或字节算。这不是问题,问题是没有写明换算关系。设计时要先回答三件事:一次请求消耗多少单位、不足一个单位如何取整、被拒绝的请求是否计数。

计数口径适合拦什么代价
请求数高频小请求、防刷无法反映单次请求的真实成本
字节数上传下载、带宽型接口需要在流式读取中累计
token 数模型类接口用量在响应后才确定,只能预估后结算
并发数长连接、慢查询与总量配额是两套账,需要分别限

取整规则建议写进契约:按单位向上取整还是保留小数累计,直接影响月末账单能不能对上。

限流求快,计费求准#

限流位于请求路径上,目标是低延迟和可控的误判;计费位于路径之后或旁路,目标是可重放、可核对。两者共享同一份“用量事件”,但消费方式不同。一个常见做法是:本地内存令牌桶做第一层粗限速,挡掉明显超量的流量;中心存储做第二层配额扣减,作为唯一权威。第一层可以短暂不一致,第二层不行。

多实例下的原子扣减

单机内存计数在多实例部署下必然发散。跨实例计数需要把“读余量—判断—写入”放在同一个原子单元里完成,常见做法是共享存储加脚本。下面示例仅示意结构,未执行、未验证,环境假设为 Redis 7.x:

-- 未执行的示例:仅示意原子扣减,不可直接用于生产
local key  = KEYS[1]
local cost = tonumber(ARGV[1])
local cap  = tonumber(ARGV[2])
local used = tonumber(redis.call('GET', key) or '0')
if used + cost > cap then
  return {0, cap - used}
end
redis.call('INCRBY', key, cost)
return {1, cap - used - cost}

这个片段有意省略了过期策略。若每次调用都刷新过期时间,窗口会变成滑动的,与固定窗口的语义不一致;窗口边界处的突刺如何计算,需要在设计文档里明确,并单独验证。

幂等与对账#

重试是超时的常规后果,计费侧必须能识别同一次请求。给每个请求分配调用方可见的请求 ID,把它作为计费记录的唯一键,重复写入按幂等处理而不是累加。对账任务则定期比较三条线:限流侧记录的放行量、计费侧的入账量、上游实际处理的量。差异超过阈值就告警,而不是等用户来问。

故障时的语义要提前定#

  • 限流器不可用:按接口分级,读接口可考虑放行,写接口或高成本接口倾向拒绝。两种选择都要有记录,事后能量化影响。
  • 计费写入失败:先落本地或队列,标记为待补写,不要让请求因此失败;补写失败进入人工核对队列。
  • 时钟:多机时间窗对齐依赖时钟同步,窗口长度越短,漂移影响越明显。

验证顺序#

  1. 单实例下的计数正确性,包括取整边界。
  2. 多实例并发下的总量是否守住上限。
  3. 注入存储延迟与失败,观察降级是否按预期执行。
  4. 窗口边界与突发流量,确认突刺不超过设定。
  5. 对账任务能否发现人为制造的差异。

本文未引用外部资料;具体平台的配额单位、计费规则与速率上限以其官方文档为准,在未取得文档前应标为待核实,不要凭经验填入数字。

常见问题(FAQ)

限流服务和计费服务可以合并成一个吗?
规模小时可以部署在一起,但失败语义要分开定义:限流判断失败通常允许按接口分级放行或拒绝,计费写入失败则必须留下可补写的记录。合并实现不等于合并语义。
用 Redis 计数就一定准吗?
原子性解决的是并发读改写冲突,不解决持久性。进程崩溃、过期策略、主从切换都可能让计数与真实用量偏离,所以仍需要定期对账,把差异暴露出来。

作者:沐小悠

本文约 4 分钟读完 · 关键词:API 限流、API 计费、令牌桶、固定窗口、幂等

更多文章 GET 示例接口

「」标签下的其他文章