拓扑感知限流：从 Grace Blackwell 调度到 API 配额分配
把同一 API Key 的限流计数留在本机、跨节点合并压到 100ms 一次批量对账，p99 从 1.6ms 降到 0.03ms，代价是千分之二左右的配额误差。GPU 拓扑感知调度的放置、切片、反碎片三件事，可以直接搬到 API 限…
创建记录 2026-10-30 · 沐小悠 · 约 22 分钟
223 次阅读 阅读 →