技术文章

外部链接将在新标签页打开。

QuePaxa 为何被选中:把 leader 失效当常态后,共识算法该怎么取舍

一句话回答

Cloudflare 为实验性共识服务 Meerkat 选择了此前未大规模部署的 QuePaxa,原因不是性能数字更好,而是基于 leader 的共识算法在全球广域网上会把"leader 变慢或短暂失联"变成常态失效:破坏性干扰与不可靠的故障检测会互相放大,甚至形成亚稳态故障。这个取舍成立的前提是服务定位为实验性、失效代价可控;在单机房或低延迟环境中,成熟算法仍是更稳的选择。QuePaxa 的具体协议机制在本次材料中被截断,待核实。

核心要点 TL;DR
  • 共识算法在全球广域网上首先暴露的是可用性问题,不是正确性问题。
  • Paxos 的并发 proposer 竞争和 Raft 的选主竞争,本质是同一种破坏性干扰。
  • 异步网络中无法区分"机器宕机"与"网络慢",故障检测只能靠猜,猜错就会触发不必要的恢复。
  • 选择未大规模部署的算法,代价是放弃成熟实现与运维经验,收益是绕开 leader 这一结构性单点。

Cloudflare 给 Meerkat 选了 QuePaxa,一个此前没有大规模部署记录的共识算法。理由不是它在基准测试里更快,而是 Meerkat 跑在全球广域网上,"leader 变慢或短暂失联"在那里是常态而非异常;而基于 leader 的算法在这种环境里的恢复过程本身会成为新的故障源。代价是放弃成熟实现与运维经验,所以它被明确放在实验性服务的定位上。

本文讨论的是这个取舍的结构,不是 QuePaxa 的协议细节。需要先说明:本次材料的正文在故障检测部分被截断,QuePaxa 具体如何做到"不依赖 leader 推进"没有得到说明,本文不对其内部机制做推断。

先把问题定义清楚:不是数据会错,是会卡住#

共识算法提供的核心保证是副本永远不会决定冲突的值,因此 Meerkat 各副本的事件日志不会分叉,可以在此之上构造一致的键值状态。这与 Consul、etcd、Apache ZooKeeper 属于同一类系统。

差别在部署环境。Meerkat 被设计为跨洲部署,链路延迟高且波动大;而共识系统通常部署在较小、较局域的网络中,并有严格延迟要求。Cloudflare 给出的一个具体例子是:2020 年一次核心网络交换机的部分故障,导致某个由共识驱动的系统性能下降,仪表盘比平时慢 80 倍,持续六小时;期间没有数据丢失,但写入不可用,直到问题解决(来源:Cloudflare Blog)。

这个例子的价值在于它标定了失效模式:正确性没破,可用性破了。对控制平面来说,这已经足够不可接受。而这类故障的源头往往在网络,不在服务器本身。

弱点一:破坏性干扰不只在 Paxos 里#

Paxos 分 Prepare 与 Accept 两个阶段,proposer 用 ballot 号向多数派 acceptor 提出承诺与提案。当两个以上 proposer 并发提交时,后到的更高 ballot 可以插进前者的两个阶段之间,把它挡掉;两者可以反复互相阻塞。材料把这种现象称为破坏性干扰。并发 proposer 越多,卡在反复提案上的概率越高,即使没有任何副本崩溃。形式上,这意味着 Paxos 在不假设"某一时刻起所有消息在有界时间内到达"(即部分同步)的前提下,不保证 liveness。

主流部署方案是引入单一 leader:Raft、Multi-Paxos、Viewstamped Replication 都这么做。把提案权集中到一个副本,强制并发请求排队,顺带把决策压到单次网络往返。leader 健康、网络规矩时,这类协议很快。

问题在于 leader 必须一直可用且可达。它一旦失效、变慢或与集群断开,系统就停住,唯一出路是让其余副本判定 leader 失效并重新选主。而选主本身又把破坏性干扰放了回来:在 Raft 中,任何怀疑 leader 失效的副本都可以自荐为候选人并拉票,多个候选人同时拉票就会互相阻止,选举失败后重试,重试又吸引更多候选人。

材料由此引出亚稳态故障(metastable failure):一种自我延续的失效模式,即使最初原因已被移除,故障仍会持续。文中举例说,一次两秒的网络中断或一台短暂异常的网络交换机,就足以让 leader 看起来失效、触发选主、选主失败、触发更多选举——中断早已结束,选举还在继续。

弱点二:故障检测在异步网络里只能靠猜#

进程无法直接观察远端进程是否宕机,只能观察"预期消息是否按时到达"。心跳和确认机制把这件事变成对超时的判断,而真实网络尤其是广域网没有消息延迟的保证上界。突发的延迟尖峰和连接中断会在没有预兆的情况下拉长传输时间。

后果是:某台服务器没有在给定时间内回复时,无法区分它是宕机了还是网络只是慢——这两件事在网络上不可分辨。任何实用的故障检测器都必须根据等待时长与预期做猜测,而猜测有时会错。

在基于 leader 的算法里,猜错的代价被放大:误判会触发本不必要的选主,而选主期间系统不处理请求。材料在此处截断,后续关于故障检测的讨论未能获取。

于是取舍变成这样#

维度基于 leader 的算法(Raft / Multi-Paxos / VR)不依赖 leader 推进(QuePaxa 的设计目标)
稳态延迟优,决策可压缩到单次往返材料未给出数据
网络抖动下的可用性依赖故障检测与选主,可能进入亚稳态设计上不依赖 leader 推进
实现成熟度高,有多套成熟实现材料称此前从未部署
运维经验与工具丰富少
适合的部署环境局域、延迟可控、leader 稳定广域、延迟高且波动

这张表的读法是:两者不是"快与慢"的比较,而是把风险放在哪一端的比较。选成熟算法,风险在网络抖动时的可用性;选新算法,风险在实现正确性、边界条件覆盖和长期运维经验。Cloudflare 选择后者,是因为前一种风险在它的部署环境里已经反复发生。

这个取舍成立需要几个前提

  • 定位是实验性服务。材料明确 Meerkat 是实验性的共识服务,用于内部全球控制平面,而不是直接替换既有的成熟生产系统。实验性定位允许把"算法本身尚未被大规模验证"作为可接受风险。
  • 失效代价可控。内部控平面出问题影响面大,但不直接等于用户侧计费或交易数据出错。
  • 团队有能力自行验证。选择没有成熟实现的算法,意味着要自己读原始论文、自己实现、自己做压力与故障注入测试。材料未说明 Cloudflare 的验证方法,这一点属于推断,待核实。

什么情况下不该这么选

如果集群在单机房或延迟可控的专网内,leader 长期稳定,那么选主的破坏性干扰很少被触发,Raft 或 Multi-Paxos 的成熟实现、备份工具、社区排障经验带来的收益,通常大于绕开 leader 的收益。同理,如果团队没有余力做长期的混沌测试和形式化验证,选一个尚未大规模部署的算法,等于把未验证的边界条件留给生产流量去发现。

待核实#

  • QuePaxa 的具体协议机制,以及它如何在没有 leader 的情况下保证安全性。本次材料在故障检测部分被截断,未提供。
  • QuePaxa 的原始论文、形式化验证情况和开源实现状态。
  • Meerkat 的实际部署规模、性能数据与可用性指标。
  • 该服务从实验性转为生产可用的时间表与判定标准。

在这些信息补齐之前,能确定的只有一件事:这是一个关于"把哪种不确定性留在系统里"的决定,而不是一个关于算法优劣的排名。

常见问题(FAQ)

QuePaxa 比 Raft 快吗?
本次材料没有给出任何性能对比数据,不能这样表述。材料支持的说法只是:QuePaxa 在设计上不依赖 leader 推进,因而在广域网波动下预期更稳定。具体吞吐、延迟与可用性指标待核实。
什么情况下不该选不依赖 leader 的共识算法?
当集群位于单机房或延迟可控网络、leader 长期稳定时,Raft、Multi-Paxos 等成熟算法的实现质量、运维工具和社区经验带来的收益,通常大于绕开 leader 带来的收益。这是一个基于取舍逻辑的推断,不是材料中的结论。
什么是亚稳态故障?
材料给出的定义是:一种自我延续的失效模式,即使最初引发故障的原因已经消失,故障仍会持续。文中举例说,一次两秒的网络中断可能触发选主,而选主过程本身的竞争会延续得比中断更久。

参考来源

  1. Choosing QuePaxa, an unusual consensus algorithm

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 7 分钟读完 · 关键词:QuePaxa、共识算法、Raft、Paxos、Meerkat

更多文章 GET 示例接口

「」标签下的其他文章