Cerebras 下一代 CS-4：快上加快（不构成投资建议）性能翻倍，功耗翻倍，乐趣也翻倍

Cerebras 本周披露了 CS-4，更多细节将在 Hot Chips 大会上公布。CS-4 是该公司的第四代机架级系统，仍然采用第三代、5nm 制程的晶圆级引擎 WSE-3。CS-4 通过提高每片晶圆的功耗和时钟频率，以及提升机架级部署密度，实现了相比 CS-3 翻倍的性能。
这一切意味着，CS-4 每片晶圆、每位用户的 tokens/s 可以达到 CS-3 的两倍，而成本与上一代大致相同。对于客户而言，这显然是一个无需犹豫的选择：在硬件支出保持不变的情况下，可以获得两倍的 token 收入。变快的不只是 token，产品上市和交付速度也会加快：机架架构本身经过重新设计，采用了更加模块化的方案，从而提升制造效率并缩短部署时间。最后但同样重要的是，一款新的 I/O 模块将为未来开放、异构、解耦式的推理架构提供支持。通过将 CS-4 与基于 HBM 的系统配对，这类解耦式推理配置将在很大程度上帮助 CS-4 克服内存容量方面的限制。
CS-4 使用与 CS-3 相同的 5nm WSE-3，但 Cerebras 通过将时钟频率提高一倍，从中榨取出了两倍的性能。这是通过向晶圆输入显著更多的电力实现的，而 CS-4 在供电和冷却技术上的改进使之成为可能。虽然继续使用相同的 5nm 芯片听起来并不令人兴奋，但 Cerebras 仍然可以把最重要的指标——内存带宽——提高一倍。在其他条件相同的情况下，内存带宽翻倍应当可以带来接近翻倍的每用户 tokens/s，而这正是客户希望从 Cerebras 获得的。
时钟频率翻倍还会带来两倍的理论峰值 FLOPs，以及两倍的 WSE 晶圆外并行 I/O 能力，使 CS-4 的晶圆外 I/O 带宽从 CS-3 的 1.2Tb/s 提升至 2.4Tb/s。不过，保持不变的是每片晶圆 44GB 的 SRAM 容量，因为这一容量取决于每片晶圆上可用的 SRAM 位单元数量。因此，我们必须等到下一代芯片，才能看到这方面的改善。这也是继续使用 WSE-3 的主要缺点：较低的单晶圆内存容量，是 Cerebras 架构内在的关键权衡之一。
正如我们在上一篇关于 Cerebras 的文章中所描述的那样，由于采用 SRAM，这块晶圆拥有极其独特的架构，非常适合运行算术强度较低的计算内核，例如低批处理规模的解码任务。
网络改进
除了将晶圆外 I/O 带宽提高一倍，Cerebras 还通过新的 Wafer I/O 接口进一步改进了晶圆外通信。该接口是一块升级后的 FPGA 卡，可作为 NIC 使用，将 Cerebras 的专有 I/O 转换为标准以太网。从下图可以看到，晶圆的北侧和南侧分别连接着一个 I/O 模块，共计两个。
这一 I/O 模块可以在现场升级，因此 Cerebras 无需重新设计机箱，就能迁移至新的网络标准。这看起来似乎只是一个小变化，但其影响十分重大：它使 CS-4 能够更轻松地与其他系统连接，构建解耦式推理配置。
将 CS-4 与基于 HBM 的 XPU 配对，构建注意力模块与前馈网络解耦的推理系统，是克服 CS-4 内存容量不足的一种方式，就像英伟达正在为 Groq LPU 规划的方案一样。我们将在下文进一步讨论这一点。这一设计似乎尤其考虑到了 AWS 的需求：AWS 希望能够在 CS-4 上使用自己的 EFA 网卡，使其与 Trainium 服务器连接，从而构建解耦式推理系统。
此外，通过采用新的低延迟数据包处理流水线，由 Arista 以太网交换机构建的二层胖树网络，其通信延迟从 CS-3 的 5 微秒降低至 3 微秒。现在，晶圆之间也可以直接连接，而不必经过交换网络，从而进一步将延迟降低至 2 微秒。晶圆间的直连路径同样可以配置，这意味着 FPGA 具备交换能力，可以通过不同的晶圆路由数据。
这确实是一项改进，但如今 Cerebras 的许多竞争对手所宣称的交换机全程延迟已经以纳秒计算，因此，“超高速”网络是一个相对概念，我们认为这只是一项幅度有限的改进。我们认为，3 微秒的延迟和带宽限制仍然构成瓶颈，使 Cerebras 无法采用 EP、ETP 等将专家层横跨多片晶圆部署的并行方案。从路由器到专家的 token 分发与汇总对延迟十分敏感，而专家负载不均衡问题再叠加一次额外的网络跳转，使流水线并行成为唯一可行的方案。
“背包式”机架
在系统层面，CS-4 最醒目的变化体现在物理结构上。Cerebras 将机架分为两部分：前半部分专门负责供电，后半部分负责计算，并将计算部分封装成模块化、可插拔的“背包”。每个背包容纳一个晶圆级引擎，一台 CS-4 机架可以容纳三个背包，高于 CS-3 每机架两片晶圆的配置。水泵、热交换器等冷却基础设施也被移出机架，因为如今的数据中心通常已经具备支持全液冷机架的能力。
“背包”是一个垂直式封装，其供电、冷却、I/O 和 WSE-3 模块彼此独立，这使整套系统的制造明显比 CS-3 更加简单。WSE-3 晶圆采用垂直放置，供电侧朝向机架前方。供电模块将通过晶圆正面供电，这一点与 CS-3 相同。晶圆的冷却则从背面进行。I/O 模块安装在晶圆的顶部和底部边缘，与晶圆共同形成一个矩形平面。
背包式设计可以使部署流程更加顺畅。客户可以先安装带有供电模块的机架，然后在现场直接将晶圆背包插入机架。由于每台机架的晶圆级引擎数量增加到三个，而且每个引擎都运行在更高的时钟频率下，一台 CS-4 机架的 TDP 将达到 125～135kW，相比单台 CS-3 的 23kW 功耗增加至大约两倍，或略低于两倍。总体而言，这意味着 CS-4 的每瓦性能相比 CS-3 最多只有小幅改善。
真正显著的代际改善应当来自成本。虽然更高的冷却和供电需求本身会推高物料成本，但 CS-4 减少了组件数量，并简化了组装流程，这些改进应当能够在很大程度上抵消新增成本。我们认为，CS-4 的单晶圆有效物料成本最终可能与 CS-3 大致相当。对客户而言，这意味着能够以相近的总体拥有成本，获得接近两倍的交互速度和 token 收入，是一个非常有吸引力的方案。
Cerebras 最喜欢宣传的 CS-4 数字，是 43PB/s 的片上内存总带宽。该公司将其描述为大约相当于英伟达 Rubin 内存带宽的 2,000 倍。由于晶圆内 SRAM 带宽会随着功耗的提升而增长，这一数字很可能会成为大多数有关此次发布的报道所采用的核心指标。
最终，尽管 Cerebras 拥有高出 2,000 倍的内存带宽，但该公司宣称，相比 GPU，CS-4 所能实现的交互速度提升是一个更加合理的“最高 30 倍”，并将其包装为一个新的“ultrafast（超高速）”性能档位。
我们认为，在前沿模型上，CS-4 的单用户生成速度将接近 4,000 tokens/s，而 CS-3 可以达到 2,000 tokens/s。与此同时，我们预计 Blackwell GPU 的理论极限仍然只有约 200 tokens/s/用户——实际上没有人会以这种配置运行——而在维持合理并发量的情况下，更现实的数字约为 100 tokens/s/用户。
这样算下来，CS-4 的交互速度大约是 GPU 的 20～40 倍。那么，为什么不宣传“最高快 40 倍”呢？在我们看来，这样说也完全合理。
并行策略
由于单个 WSE 的片上 SRAM 容量不足以容纳一个完整模型的全部权重，Cerebras 在 CS-4 上仍然将重点放在流水线并行推理上。在 CS-4 中，一个给定模型的每个 MoE 专家都会以交错方式放置在同一片晶圆上。
默认采用流水线并行，这与 GPU 不同。GPU 为了让大型模型能够装入可用的 HBM，最常见的是采用张量并行和专家并行。Cerebras 一直认为，与在一片晶圆上完成所有计算相比，使用 GPU 的 HBM 存储权重速度更慢、功耗更高、成本也更高。
当然，在比较一组 WSE 与一组 GPU 的性能、功耗和成本时，结果实际上高度取决于所选择的并行策略。GPU 拥有非常广泛的配置选择——从高吞吐量、低交互速度的配置，到高交互速度、低吞吐量的配置——而晶圆级系统的配置范围则更加有限。这里所考虑的只有高交互速度、低吞吐量的配置。
为了直接比较 WSE 与 GPU，我们尤其关注英伟达即将发布的 TileRT。TileRT 将把高交互速度、低吞吐量的配置带到 GPU 集群中。我们在上周发布的 TileRT 文章中讨论了其中一部分内容。