技术文章

外部链接将在新标签页打开。

QuePaxa 进入实验性共识服务:未大规模部署的算法,验证边界该怎么先划

一句话回答

Cloudflare 的实验性共识服务 Meerkat 选用 2023 年发表的 QuePaxa,公开理由是它不依赖 leader 推进,可缓解广域网中 leader 选举与故障检测引发的退化。依据该博客截至抓取点的正文片段,本文梳理 Paxos 的破坏性干扰、Raft 选举中的元稳定故障,以及异步网络下故障检测无法区分“慢”与“坏”的结构性困难;并说明“未大规模部署”意味着哪些结论目前只能待核实。

先给结论:Cloudflare 在 2026 年 11 月 11 日的博客文章中说明,它正在构建一个名为 Meerkat 的实验性分布式共识服务,用来管理内部全球控制平面,底层选用 2023 年发表、此前未大规模部署过的共识算法 QuePaxa(作者包括 Tennage、Băsescu 等)。选择理由是:常见共识算法依赖单一 leader 推进,在延迟高且抖动的广域网里容易因 leader 故障或选举竞争而长时间不可用,而 QuePaxa 的一大特点是不依赖 leader 取得进展。

但“实验性”三个字才是这篇文章真正的题眼。它意味着当前阶段要回答的不是“QuePaxa 好不好”,而是“在把它放进生产路径之前,先划清哪些边界可验证、哪些结论还不能下”。需要说明:本次抓取的正文片段在故障检测一节被截断,QuePaxa 的具体机制、Meerkat 的部署规模与验证方案都在未提供部分,本文不对这些内容作推断。

Meerkat 要解决的问题:把共识放到广域网上#

按博客描述,Meerkat 是一个副本就有序日志达成一致的分布式系统,日志中的每个事件由共识算法决定。共识算法提供的关键保证是:机器永远不会决定互相冲突的值,因此各副本的日志不会分叉。基于这份日志,Meerkat 可以对外提供键值存储这类应用——日志里每条记录是一次 get 或 put,日志不分叉,各副本最终构建出的 KV 状态就一致。博客把 Consul、etcd、Apache ZooKeeper 列为同类系统。

不同之处在于部署形态。Meerkat 集群可能横跨多个大洲,链路经常表现出高且变化的延迟;而共识系统通常部署在更小、更局部的网络中,延迟要求也更严格。

博客举了一个自身经历作为动机:2020 年,Cloudflare 一个核心网络交换机的部分故障导致某个基于共识的系统性能下降,控制台操作比平时慢 80 倍,持续六小时。文章强调该系统没有丢数据,但在问题解决前写入不可用。这个案例的要点不是“共识不可靠”,而是故障来源在网络而非机器时,传统算法的降级幅度与故障本身不成比例。

常见算法在广域网里为什么退化#

破坏性干扰:Paxos 的 ballot 竞争

博客用 Paxos 说明第一个机制。Paxos 有两类进程:proposer 和 acceptor;目标是一个多数派 acceptor 对某个 proposer 提出的值达成一致,过程分 Prepare 与 Accept 两个阶段。Prepare 阶段中,proposer 把 ballot 号发给多数派 acceptor,acceptor 承诺只接受不低于该 ballot 号的提案;Accept 阶段中,proposer 带着提案和 ballot 号再次发送,若多数派仍持有该 ballot 号,提案被接受。

问题出在并发:另一个 proposer 可以在两个阶段之间插入更高的 ballot 号,从而阻塞所有更低的 ballot。两个 proposer 可以反复互相阻塞,博客把这种现象称为破坏性干扰(destructive interference)。并发 proposer 越多,卡在反复提案上的概率越高——即使没有任何副本崩溃。形式化地说,Paxos 在不假设“某个时刻起所有消息都在有界时间内到达”(即部分同步,partial synchrony)的情况下,不保证活性(liveness)。

leader 把竞争挪进了选举

为避免多个 proposer 持续竞争,实际部署的系统——Raft、Multi-Paxos、Viewstamped Replication——引入一个特殊的 leader proposer,只有它能提案。集中提案权给并发请求强制排序,避免竞争,还能把决定压缩到一次网络往返而不是两次。只要 leader 健康、网络正常,这类协议很快。

代价是 leader 必须保持运行且可达。当它故障、变慢或与集群失联,系统就停摆,唯一出路是让其余副本检测到 leader 失效并重新选举。而据博客的观察,leader 恢复过程恰恰是破坏性干扰重新潜入的地方:Raft 出于安全考虑用多数票选 leader,多个副本只要都判定 leader 失联,就可能同时竞选,互相阻止对方拿到多数票;选举失败次数越多,参选的副本越多。

更麻烦的是这种状态会自持。博客称之为元稳定故障(metastable failure):故障模式在最初诱因消失后仍持续。一次两秒的网络中断、一个瞬间失常的交换机,足以让 leader 看起来失效并触发选举,选举失败再触发新的选举——中断早已结束,选举却可能持续很久。

故障检测无法区分“慢”和“坏”

上述问题被过于敏感的故障检测放大。分布式系统中,进程无法直接观测远端进程是否失效,只能观测“预期消息是否按时到达”,因此需要心跳或确认这类可预期的通信模式。真实网络,尤其是广域网,不保证消息到达时间的上界;大多数消息确实按时到达,但延迟突增和连接中断会毫无预警地拉长传输时间,博客称这类网络为异步(asynchronous)。

由此产生一个结构性困难:某台服务器没有在给定时间内回复,你无法判断是它坏了还是网络慢了——这两件事在网络层面不可区分。任何实用的故障检测器都只能根据已等待时长与预期做猜测,猜错就让系统把时间花在恢复上而不是处理请求。

QuePaxa 在其中的位置,以及不能替它说的话#

博客摘要给出的定位是:QuePaxa 承诺在波动环境下更稳定,很大程度是因为它不依赖 leader 来取得进展。这直接对应上面两个退化来源:没有 leader,就没有 leader 失效后的选举竞争;也就不需要一套“先判定 leader 已死”的故障检测来驱动恢复。

但边界必须说清楚:“不依赖 leader 推进”不等于“不需要故障检测”,也不等于“在完全异步网络下保证活性”。分布式共识的基本限制不会因为换算法而消失。QuePaxa 具体用什么机制保障安全性与活性、它对网络时序作了什么假设、恢复路径如何设计,本次抓取的片段未覆盖,属于待核实。把 QuePaxa 简化为“无 leader 的 Paxos”是不准确的概括。

“未大规模部署”如何影响验证边界的划法#

以下是基于上述材料的方法建议,不是博客原文,也不构成对 Meerkat 现状的描述。

第一,把陈述分层。论文承诺、工程博客的自述、生产环境证据是三件事。博客能证明的是“Cloudflare 选了它、并给出了理由”,不能证明“它在全球规模下稳定”。在没有运行数据前,公开材料只支持前者。

第二,验收指标要选能被破坏性干扰影响的那几个。平均延迟对这类故障不敏感:系统可能大部分时间很快,却在抖动期间整体停摆。“2020 年那次慢 80 倍、持续六小时”正说明要看尾部延迟与恢复时长,而不只看均值。

第三,专门测“诱因消失后是否恢复”。元稳定故障的定义特征就是自持,因此测试要在注入扰动后停止扰动,观察系统回到正常处理状态所需时间,而不是在扰动期间观察报错率。

第四,明确故障模型。博客对 Paxos 的结论建立在部分同步假设上;对异步网络的讨论则说明现实中没有消息延迟上界。验证方案应写清“假设什么、违背假设时降级成什么行为”,否则测出来的结论无法外推。

第五,保留回退路径。一个从未大规模部署的算法进入控制平面路径,可回退性本身就是验证边界的一部分;这部分的具体设计在本次材料中未涉及,待核实。

给开发者的判断顺序#

  1. 先确认选型理由针对的是哪类故障:这里针对的是网络抖动与 leader 失效,不是数据损坏或磁盘故障。
  2. 再确认新算法省掉的是哪一环:省掉的是 leader 选举驱动的恢复,不是共识本身的安全保证。
  3. 然后确认代价:材料未提供 QuePaxa 在吞吐、延迟、消息复杂度上的对比数据,不作推测。
  4. 最后确认证据等级:当前公开信息是“实验性服务 + 算法论文”,不是规模化运行报告。

尚待核实的部分#

  • QuePaxa 的具体协议机制与其网络时序假设——抓取片段在故障检测一节被截断,结论可能在未提供部分。
  • Meerkat 当前的部署范围、承载的流量类型与是否已有生产写入。
  • Meerkat 与 etcd、Consul、ZooKeeper 在同类负载下的对照数据。
  • QuePaxa 已有实现的开源情况与成熟度。

在这些问题有可核验材料之前,合理的表述是:Cloudflare 公开了一个基于未大规模部署算法的实验性共识服务及其选型理由;这个理由在故障模型层面是自洽的,但它是否在真实全球网络中成立,仍待运行证据。

常见问题(FAQ)

QuePaxa 是 Cloudflare 自研的吗?
不是。据 Cloudflare 博客正文片段,QuePaxa 是研究者 Tennage、Băsescu 等人于 2023 年发表的共识算法;Cloudflare 是用它构建实验性服务 Meerkat。
Meerkat 已经在大规模生产环境运行了吗?
博客把 Meerkat 描述为 experimental(实验性)服务,用于管理内部全球控制平面。“实验性”与“已大规模生产验证”不是一回事;它当前承载的流量规模、SLA 与回滚方案,在本次抓取到的片段中没有说明,待核实。
为什么不在广域网里直接用 Raft?
按该博客的说法,Raft 这类基于 leader 的协议在 leader 健康、网络稳定时很快(一次网络往返即可决定),但 leader 变慢、失联或故障时系统会停摆,必须靠故障检测加重新选举恢复;而选举本身会出现多个候选者争抢多数票的破坏性干扰,网络抖动还可能触发持续时间远超故障本身的元稳定故障。

参考来源

  1. Choosing QuePaxa, an unusual consensus algorithm

以上为本文写作时的参考资料,引用观点以原文为准。

作者:沐小悠

本文约 9 分钟读完 · 关键词:QuePaxa、共识算法、Cloudflare Meerkat、Raft、Paxos

更多文章 GET 示例接口

「」标签下的其他文章