技术文章

外部链接将在新标签页打开。

为什么选一个从未大规模部署的共识算法:QuePaxa 的工程取舍与边界

一句话回答

Cloudflare 为跨洲控制面 Meerkat 选用 QuePaxa,原因不是它在通用意义上更成熟,而是 Raft、Multi-Paxos 等成熟协议依赖 leader,在广域网延迟抖动和断连下会因选举竞争与故障误判反复停摆。代价是 QuePaxa 缺少部署样本,需要以实验性定位、验证和回退控制风险。本次材料为摘要与截断正文,QuePaxa 的具体机制与性能数据待核实。

核心要点 TL;DR
  • 选 QuePaxa 的核心动机是绕开 leader 恢复路径,而非追求通用性能优势。
  • Paxos 的 ballot 竞争与 Raft 的选举竞争,都会在网络抖动时自我维持。
  • “从未部署”意味着失效模式库和运维经验为空,必须用实验性隔离来控制爆炸半径。
  • 多数团队若集群不跨广域网,成熟 leader 方案仍是默认选项。

如果只看成熟度,这个选择并不合理:Raft、Multi-Paxos、Viewstamped Replication 都有多年生产验证,而 QuePaxa 按 Cloudflare 的表述是一个此前没有部署记录的协议。Cloudflare 仍然选它,理由不在“新算法更快”,而在 Meerkat 的主要风险不是机器崩溃,而是跨洲网络抖动让 leader 反复失效;成熟协议把可用性绑在 leader 和选举上,QuePaxa 则被用来绕开这条恢复路径。代价是把未知的实现风险引入控制面,因此 Cloudflare 把 Meerkat 定位为实验性共识服务(Cloudflare Blog)。

Meerkat 把问题定位在网络,而不是机器#

Meerkat 是 Cloudflare 的内部全局控制面。副本要对一份有序日志达成一致,共识算法保证副本不会决定冲突的值,日志不会分叉,应用据此构造一致的键值状态。同类系统包括 Consul、etcd 和 Apache ZooKeeper,但 Meerkat 的部署半径不同:集群可能横跨多个洲,链路延迟高且变化大。

Cloudflare 用一次事故说明这种环境的特殊性:2020 年,一台核心网络交换机部分故障,导致一个依赖共识的系统降级,仪表盘比平时慢 80 倍,持续六小时。系统没有丢数据,但写入在问题解决前不可用。这个例子里没有副本崩溃,失效来自网络。对跨洲控制面来说,这类故障比机器宕机更常见,也更难通过“换一台机器”解决。

成熟协议为什么会“越恢复越糟”#

常见共识算法在正常网络下工作得很好。问题出在网络退化时的恢复路径,而不是安全性本身。

破坏性干扰:Paxos 的 ballot 竞争

Paxos 有两个阶段:Prepare 和 Accept。提议者先向多数接受者发送一个 ballot 编号,接受者承诺只接受不低于该编号的提案;随后提议者带着提案和编号再次请求多数接受。并发提议者可以在两个阶段之间插入更高的 ballot,使较低 ballot 的提案被阻塞。两个提议者可以反复互相阻塞,这就是破坏性干扰。

材料指出,Paxos 在不假设“部分同步”的情况下不保证活性:系统不保证提案最终被决定。部分同步的意思是,存在某个时刻之后,消息能在有限时间内到达。换句话说,Paxos 的正确性不依赖这个假设,但它的进展依赖它。广域网的延迟尖峰恰好会破坏这个假设。

Leader 把竞争压下去,也把可用性绑在一个人身上

为避免多个提议者持续竞争,Raft、Multi-Paxos 和 Viewstamped Replication 引入一个 leader,只有 leader 能提案。这为并发请求规定了顺序,避免竞争,还能把一次决策压缩到最优的单次网络往返,而不是两次。leader 健康、网络正常时,这类协议很快。

代价是 leader 必须保持可运行、可到达。leader 故障、变慢或断连,系统就停住,只能等其余副本检测到故障并选出新 leader。

选举与故障检测:两次误判可以互相喂养

Raft 用多数票选举新 leader。怀疑 leader 故障的副本可以宣布参选并请求投票;超过半数同意就成为 leader,否则重新选举。多个副本都可能同时参选,互相争夺多数票,于是 Paxos 里的破坏性干扰又回到选举阶段:两个副本可以互相阻止对方获得多数票。选举失败越多,越多副本愿意参选。

材料把这种现象称为亚稳态故障:初始原因消失后,故障模式仍能自我维持。一次两秒的网络中断足以让 leader 看起来故障,触发选举;选举可能失败,再触发更多选举。网络早已恢复,选举仍在继续。

故障检测本身也无法给出确定答案。进程不能直接观察远程进程是否失败,只能观察预期消息是否按时到达。异步网络没有消息到达时间的上界,于是“机器坏了”和“网络慢了”在网络层面不可区分。任何故障检测器都只能根据等待时间与预期做猜测。跨洲链路上的延迟尖峰会让这种猜测更容易出错,而一次错误猜测就可能启动一轮选举。

QuePaxa 被选中的理由,以及材料没覆盖的部分#

Cloudflare 对 QuePaxa 的描述集中在一点:它承诺在网络波动下更稳定,很大程度上是因为不依赖 leader 来取得进展。对 Meerkat 来说,这正好对应主要失效模式——不是副本崩溃,而是 leader 恢复流程本身成为停机来源。选型逻辑可以概括为:与其优化一条已经成熟的 leader 路径,不如避开这条路径。

但“避开 leader”不等于没有协调成本。以下是工程上需要核实的问题,本次材料因截断无法回答,不能据此推断官方没有说明:

  • 没有 leader 时,并发提案如何定序,是否仍存在某种 ballot、优先级或冲突退避机制;
  • 一次决策需要几轮网络往返,跨洲 RTT 下的提交延迟和吞吐特征;
  • 冲突频繁时,系统是降级还是进入某种恢复流程;
  • 是否有可用的开源实现、形式化验证或模型检验结果;
  • Cloudflare 的部署范围:文章称 Meerkat 是实验性服务,是否已承载生产流量待核实。

“从未部署”本身不是缺点,但它意味着几类工程资产为空:没有长期生产事故样本,没有经过验证的运维手册,缺少多语言成熟库和社区排错经验。这些是推断,不是材料事实,却是评估时必须计入的成本。

给类似选型的判断框架#

是否应该跟随这个选择,取决于你的部署条件,而不是算法的新旧。可以把问题拆成几项:

评估项成熟 leader 方案QuePaxa(据现有材料)需要核实
主要失效模式leader 故障或抖动触发选举声称降低对 leader 的依赖无 leader 时的冲突解决与活性
实现与生态Raft/Paxos 实现多、文档全2023 年发表,部署记录少可用实现、维护状态、许可证
正常路径性能leader 正常时单轮网络往返材料未给数据跨洲提交延迟、吞吐、冲突率
运维经验选举、快照、成员变更经验成熟未知可观测指标、升级与回滚流程
适用条件低延迟、相对局部的网络高抖动广域网(据选型动机)集群是否真的必须跨洲

基于这个框架,可以给出几条克制的建议:

  1. 先测量部署半径和故障来源。如果集群在同一区域,leader 方案的恢复成本通常更低,换算法解决的不是你的问题。
  2. 先缩小共识域,再考虑换协议。分层控制面、分区或把共识限制在低延迟网络内,可能比引入新算法更便宜。这是工程建议,不是材料结论。
  3. 若评估新协议,要求可复现的验证。至少包括模型检验、确定性网络模拟、延迟与分区故障注入、灰度发布和双轨对比。本文没有执行任何代码或基准测试,以上是方法建议,不是实测结论。
  4. 把“实验性”写进爆炸半径。限定在控制面、保留回退路径、明确故障时的降级行为,再谈替换。

结论:这是一次有边界的风险交换#

Cloudflare 选 QuePaxa 的合理性,不在于它被证明优于 Raft 或 Paxos,而在于它针对的失效模式恰好是 Meerkat 的主要风险:跨洲网络抖动触发 leader 失效,选举和故障误判又把短暂抖动放大成持续不可用。用一个不依赖 leader 推进的协议,是用未知的实现风险,换掉一条已知会反复出问题的恢复路径。

这个交换对多数团队并不成立。只有在部署条件确实把 leader 恢复变成主要停机来源,并且团队有能力验证新协议、隔离其影响时,才值得考虑。本文依据的是 Cloudflare 博客的摘要与截断正文,未阅读全文,未运行代码;2020 年事故细节为 Cloudflare 自述,未独立核验;QuePaxa 的完整机制、性能数据和生产部署状态均待核实。

常见问题(FAQ)

QuePaxa 是不是完全不需要 leader?
材料中的表述是“在很大程度上不依赖 leader 取得进展”,并未说明它没有任何协调角色。它具体如何解决并发提案冲突,本次截断材料无法确认,待核实。
是否应该把 etcd 或 Raft 换成 QuePaxa?
仅凭“算法更新”不应替换。先确认集群是否真的跨洲、故障是否主要来自网络而非机器,以及团队能否承担形式化验证、故障注入和双轨运行的成本。

参考来源

  1. Choosing QuePaxa, an unusual consensus algorithm

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 8 分钟读完 · 关键词:QuePaxa、共识算法、Cloudflare Meerkat、Raft、Paxos

更多文章 GET 示例接口

「」标签下的其他文章