今天，AMD宣布已达成最终协议，收购人工智能推理芯片领域的先驱Taalas。

AMD表示。随着人工智能推理成为人工智能市场增长最快的领域之一，且工作负载日益专业化，此次收购将凭借差异化的推理技术和世界一流的工程技术专长，进一步强化AMD的长期人工智能发展路线图。

Taalas 成立于 2023 年，总部位于加拿大多伦多，其技术优化了推理数据流，显著减少了与通用架构相关的计算和内存瓶颈，并实现了高度优化的 AI 推理能力。

AMD认为，Taalas 的技术将与 AMD 的全栈式 AI 平台形成互补，该平台包括 AMD Helios™ 机架式解决方案、AMD Instinct GPU、AMD EPYC™ CPU、AMD ROCm™ 软件以及 AMD 不断扩展的 AI 生态系统。AMD 计划将这项技术整合到其加速器路线图中，并利用 AMD Instinct GPU 开发系统级解决方案。

AMD人工智能事业部高级副总裁Vamsi Boppana表示：“AMD正在构建一个全栈式AI平台，让客户能够灵活地为每项AI工作负载部署合适的计算解决方案。Taalas的技术和世界一流的工程团队通过提供差异化的推理性能和效率，增强了我们的AI产品组合。”

“我们创立 Taalas 的初衷是围绕模型构建硬件，从根本上重新思考人工智能推理，”Taalas 联合创始人兼首席执行官 Ljubisa Bajic 表示。“我们位于加拿大的团队拥有深厚的技术专长，并且勇于挑战传统方法。加入 AMD 将为我们提供规模、工程资源和全球影响力，从而加速我们的创新。”

随着人工智能向更多实时、高容量应用领域迈进，AMD 和 Taalas 将帮助客户在日益丰富的应用场景中更高效地部署推理工作负载。此次收购旨在加速人工智能创新，巩固了 AMD 在加拿大的长期布局——AMD 一直是加拿大半导体和人工智能生态系统的重要贡献者——并体现了其对留住和培养加拿大本土人才的持续承诺。此次收购尚需满足惯例成交条件并获得监管部门批准。

将大模型写进芯片的Taalas

如上所述，Taalas 成立于 2023 年，总部位于多伦多，是一家专注于推理芯片的公司。但其推理方法与传统的 GPU 或支撑 Groq LPU 或 Cerebras 晶圆级加速器的数据流架构截然不同。这家初创公司的芯片不依赖HBM来存储模型权重，而是直接将权重蚀刻到硅片上。从某种意义上说，Taalas的芯片实际上是模型专用集成电路（MSIC：model-specific integrated circuits ）。

或许更重要的是，Taalas 的技术并非停留在概念阶段。今年二月，这家初创公司发布了其首款采用台积电 6nm 工艺制造的测试芯片 HC1。初步基准测试显示，该芯片能够以惊人的每秒 16,960 个token的速度处理 Meta 的 Llama 3.1 8B 模型——在去年二月发布时，这一速度比英伟达的 GPU 快 48 倍，比 Cerebras 的加速器快 8.5 倍。 虽然按照今天的标准来看，Llama 3.1 已经非常古老了，它早在 2024 年年中就首次亮相，但这款光罩大小的芯片实际上是为了验证这一概念而设计的。

Taalas 对其芯片的实际工作原理一直非常保密，但我们知道其处理器由两个主要区域组成：模型权重蚀刻所在的掩模 ROM 调用结构，以及 KV cache和微调适配器存储所在的 SRAM 调用结构。

Taalas计划在今年夏季推出的第二代HC2芯片中，将参数数量提升至200亿。这听起来或许不多，但就像使用GPU处理大型模型一样，权重是通过流水线并行技术分配到多个加速器上的。每个芯片有 200 亿个参数，只需要 50 个加速器就能支持万亿参数模型，而 AMD 恰好拥有机架级计算平台和内部系统设计团队，可以轻松满足这一需求。这比英伟达最近发布的 LPX 系统在空间和电力效率方面要高得多，后者需要几十个 GPU 和至少2000 个 Groq LPU才能满足相同的模型需求。

据我们了解，AMD 打算将基于 Instinct 的Helios 机架与基于 Taalas 技术的芯片搭配使用，这意味着一种解耦架构，其中计算密集型的提示处理在 GPU 上完成，而token生成则卸载到基于 Taalas 的加速器上。AMD 也可能采用类似“tick-tock”式的迭代节奏，即客户先在 Instinct 加速器上部署和验证模型，一旦满意，再过渡到 Taalas 加速器。

目前我们只能猜测，但 AMD 人工智能高级副总裁 Vamsi Boppana 在一份事先准备好的声明中对此发表了如下看法：“AMD正在构建一个全栈式AI平台，使客户能够灵活地为每个AI工作负载部署合适的计算解决方案。”虽然这项技术发展迅猛，但如果你还没意识到，它也存在一个相当大的缺点。一旦芯片部署完毕，你就只能使用这个型号。任何比 LoRa 适配器更大的改动都需要重新设计芯片，这不仅成本高昂，而且耗时费力。

人工智能热潮已持续近四年，新型号几乎每月都有新品推出。为了能够从Taalas的技术中获益，AMD 的客户必须对所选型号非常有把握，而这对于某些客户来说会比其他人更容易。然而，如果这家初创公司的说法属实，情况并没有听起来那么糟糕。虽然新型号需要重新绕线，但并非要从头开始。实际上，只需要更换两层金属，这要便宜得多，也省时得多。

综上所述，我们强烈怀疑这项技术将主要由人工智能模型开发者、其基础设施提供商以及少数推理提供商部署。AMD当然有能力洽谈这些交易。OpenAI、Anthropic和Meta都是Instinct的主要客户。考虑到模型公司和芯片设计商之间密切的合作关系，如果看到GPT或Claude模型部署在Taalas和Instinct加速器的组合上，也并不令人意外。

这项技术也对模型开发产生了影响。开发人员减少模型出现异常反应的方法之一是用时间换取准确性。这种被称为测试时间缩放的技术在实践中非常简单，它允许模型在做出反应之前有更长的“思考”时间。测试时扩展的一个缺点是它会消耗大量的令牌，这不仅成本高昂，还意味着用户需要等待更长时间才能收到聊天机器人、代码助手或代理的响应。

如果 AMD 收购 Taalas 能够降低每个令牌的成本，并将输出速度提升 10 倍或 20 倍，模型开发者或许会选择进一步延长推理时间。无论如何，我们或许无需等待太久就能看到 Taalas 如何融入 AMD 的宏伟愿景。该交易尚需获得监管部门批准，预计将于第四季度完成。

Taalas技术的深度揭秘

今天二月，Nextplatform采访这家公司。

采访文章表示。将大块 SRAM 添加到 AI 张量引擎集合中，或者更好的是，添加到晶圆级的此类引擎集合中，可以极大地提升 AI 推理能力，AI 初创公司 Cerebras Systems、SambaNova Systems（据传英特尔去年底曾试图收购该公司）、Groq（被英伟达以 200 亿美元收购）和 Graphcore（一年半前被软银以 6 亿美元收购）在与英伟达和 AMD 的 GPU 进行比较时，已经一次又一次地证明了这一点。

但 Taalas表示，如果你真的想突破人工智能推理的极限，那么应该做的就是停止瞎折腾，将完成的人工智能推理的权重直接编码到芯片的晶体管中，并摆脱所有试图使计算引擎可塑性强，以便公司可以不断调整和优化其模型而产生的软件冗余。通过这样做，还可以从根本上简化 AI 设备的架构，并且像 Taalas 所做的那样，可以消除困扰所有串行和并行计算引擎的计算和内存之间的壁垒——尤其是那些不得不求助于 HBM 堆叠 DRAM 以获得与其浮点和整数性能相称的带宽的 GPU 和 AI XPU。

截止今年二月，成立两年半的Taalas已完成三轮风险投资，融资总额超过2亿美元。公司总部位于多伦多，这里是人工智能研究的热点地区之一，也是芯片技术人才的聚集地，包括Tenstorrent——Taalas的三位创始人均曾在此工作。

Ljubisa Bajic是Taalas的联合创始人兼首席执行官，他同时也是Tenstorrent的创始人，广为人知。鲜为人知的是，在互联网泡沫破灭后的几年里，Bajic曾先后在 Teralogic 和 Oak Technology 担任视频编码器设计师，之后加入 AMD，并一路晋升，最终成为公司面向 PC 和服务器的混合 CPU-GPU 芯片设计的架构师和高级经理。Bajic曾在英伟达担任高级架构师一年，之后重返 AMD 担任集成电路设计总监两年，随后创立了 Tenstorrent。2022 年秋季，芯片界泰斗Jim Keller加入后，Bajic决定离开，休息六个月后，他开始着手研究一个完全不同的 AI 推理计算理念，并在多伦多创立了 Taalas 公司。

Lejla Bajic是Ljubisa 的妻子，现任Taalas首席运营官。在互联网泡沫时期，她曾是FPGA制造商Altera的软件工程师，之后加入ATI担任高级工程师。ATI是一家加拿大GPU制造商，于2006年7月被AMD以54亿美元收购。多年来，Lejla Bajic在AMD的工程部门步步高升，最终成为系统工程高级经理。2017年10月，她加入Tenstorrent担任同样的职位，并在丈夫离职后也离开了公司。

Taalas的第三位联合创始人是Drago Ignjatovic，他曾是AMD APU和GPU的高级设计工程师，在Ljubisa Bajic离职创办Tenstorrent后接任ASIC设计总监一职。九个月后，Ignjatovic加入Tenstorrent担任硬件工程副总裁，并与Bajic兄弟共同创立了Taalas，担任这家初创公司的首席技术官。

值得一提的是，曾担任数据中心业务产品管理和市场营销高级总监三年，之后又担任谷歌云人工智能基础设施产品管理总监（负责管理其GPU和TPU硬件及其软件栈）的Paresh Kharya已加入Taalas，担任产品副总裁。

该公司截止今年二月拥有25名员工，其中大多数是曾在AMD、苹果、谷歌、英伟达和TensorRent等公司工作的工程师，他们在芯片从概念到系统的开发过程中拥有丰富的经验。该公司仅投入3000万美元用于研发，便成功在今年二月发布了产品，并且截止今年二月仍有超过1.7亿美元的资金储备。

大多数好想法事后看来似乎显而易见，而创建一个能够体现人工智能模型权重和算法的数据流引擎，然后将上下文和查询数据导入其中，也并非什么新鲜事。在某种程度上，FPGA 和第一代人工智能加速器正是如此，GPU 以及 TPU 和 Trainium 等专用加速器也同样如此。

截止这个稿子发布时，Taalas 对其硬编码推理架构的具体运作机制仍秘而不宣，但 Bajic 和 Kharya 为我简要概述了其工作原理。不过在此之前，Kharya 和我们一样都是历史爱好者，他展示了一张有趣的图片，完美诠释了“一切照旧”的道理。请看：

左上角是 1961 年 IBM 7030 Stretch 超级计算机的晶体管计算框架之间相互连接的大量铜缆，右下角是 1946 年 ENIAC 真空管超级计算机的机架，它最终催生了 Sperry Rand 计算机业务（现为 Unisys 的一部分）。

那么，硬编码推理芯片究竟是什么，它是如何工作的呢？

Kharya是这样解释的：“我们基本上采用了一种嵌入式架构，将模型和权重硬编码到我们称之为掩模ROM调用架构的结构中，该架构与SRAM调用架构配合使用。它们共同能够存储模型并执行KV缓存的所有计算。我们提供适配器和定制方案——我们支持所有这些。这种设计使我们能够在计算和存储方面实现超高密度，并且我们可以在该存储上进行极快的计算，这正是提高密度和降低成本的关键所在。”

“在当前一代产品中，我们芯片硬连线部分的参数密度为 80 亿，再加上 SRAM，使我们能够实现键值缓存、微调等自适应功能。在下一代产品中，我们能够在一个芯片上实现高达 200 亿个参数。即使参数数量达到数万亿，我们也只需要几十个芯片，这与目前市场上任何其他产品相比，都是一个非常非常小的规模。”

Bajic没有具体说明架构结构——Taalas希望它目前保持某种程度的神秘感——他补充道：“我们有一个用于掩模ROM调用结构的方案——也就是硬连线部分——我们可以用一个晶体管存储四个比特，并完成与之相关的乘法运算——所有操作都用一个晶体管完成。所以密度简直高得惊人。这可不是什么核物理——它是完全数字化的。这只是一个我们不想公开的巧妙技巧。但是一旦你把所有东西都硬连线，你就有机会以与处理可变数据截然不同的方式进行数据填充。重要的是，我们可以在一个晶体管中设置权重并完成与之相关的乘法运算。你知道，乘法器是计算机的核心部件。”

“我们发明的东西其实并不难。只是因为没人走过这条路，所以才显得很巧妙。两年前，我们开始着手解决这个问题，目标是彻底打破内存和计算之间的壁垒。这就是一切的起源。当时，我们想到的第一个方法——也是我们当时唯一能想到的、能在可预测的时间内推出产品的办法，因为我们不想成为只会钻研三年却搞出个半成品的科研教授——就是迅速转向基于ROM（只读存储器）的方法。我们开始深入研究，然后发现这实际上比我们想象的还要好。”

“实际上，所有这些东西都是我们内部从零开始设计的。我们没有使用任何现成的产品，我们做了很多晶体管级别的设计、手工布局——基本上，我们所有的努力最终都回到了20世纪70年代。”

显而易见的是，模型的每一次更新，例如从 Llama 3.1 到 Llama 4，都需要重新设计 HC 芯片。目前，Taalas 专注于将开源模型的权重蚀刻到其 HC 芯片上，但我们不难想象 Anthropic 和 OpenAI 会联系 Taalas，为其模型定制加速器。甚至谷歌也可能想尝试一下。顺便一提，据我们所知，Taalas 已根据 Bajic 的名义申请了 14 项专利来保护其技术；由于专利检索效率低下（即使是谷歌专利也难以检索到），实际数量可能更多。

在HC推理引擎上蚀刻新模型只需要更改HC芯片设计中的两层金属，而不是完全废弃。考虑到训练模型的成本高达数十亿美元，支付相对较低的费用将HC推理引擎适配到新发布的模型或完全不同的模型并不算什么大问题。Kharya表示，训练一个模型的成本是Taalas公司批量定制HC芯片成本的100倍。

同样重要的是，主要模型发布之间的间隔时间正在延长，人们对现有模型也越来越依赖——例如，OpenAI 将客户从 GPT 4.5 升级到 GPT 5 时就引起了不少不满，因为最新版本略显矫揉造作。鉴于此，订购几十万到几百万台 HC 推理引擎或许是个明智之举。

Taalas 与台积电合作开发的“代工厂最优工作流程”，让客户能够在两个月内从模型权重生成可部署的 PCI-Express 卡，并真正进行推理。

第一代HC1芯片采用台积电的6纳米N6工艺制造。其面积为815平方毫米，已经接近目前芯片光罩尺寸的极限（在我们转向高数值孔径工艺之前，高数值孔径工艺会将光罩尺寸减半，但这并非我们所期望的）。每颗HC1芯片封装内包含530亿个晶体管，其中大部分很可能用于ROM和SRAM存储器。据Bajic称，HC1卡的功耗约为200瓦，而一台配备十张HC1卡的双路X86服务器的功耗则高达2500瓦。

顺便一提，由于 HC1 卡速度极快，无需批量处理查询即可实现低延迟推理，这意味着 Taalas 设备的带宽压力很低。低到即使将多张卡并联运行更大的模型，PCI-Express 总线也完全够用。Taalas 将在今年晚些时候允许客户使用流水线并行技术将工作负载分配到多张 HC 卡上。事实上，到今年夏天，Taalas 将推出一款硬编码到 HC 芯片中的 Llama 3.1 模型，该模型包含 200 亿个参数；到今年年底，Taalas 将推出一款前沿的大型语言模型——可能是 Llama，也可能是 DeepSeek，或者两者兼而有之——该模型将在多张 HC 卡上运行推理。这种架构将被命名为 HC2。

那么，这张 Taalas HC1 卡的速度和价格究竟如何呢？让我们一起来看看，首先是Artificial Analysis评估的 Llama 3.1 8B 型号的最新吞吐量：

值得一提的是，HC1 的这些初始性能结果是由 Taalas 自己运行的，而不是 Artificial Analysis 运行的。

与“Blackwell”B200 GPU（Taalas 本身就使用这种 GPU）相比，这存在相当大的差距；即使与 Grow、SambaNova 和 Cerebras 的 SRAM 密集型 AI 计算引擎所能提供的性能相比，也存在相当大的差距。

为了好玩，Taalas 将 Llama 3.1 8B 和 DeepSeek R1 671B 两款主机上的 Nvidia B200 显卡与其 HC 显卡进行了对比。（我们估计，在 Taalas 的测试机上运行 DeepSeek R1 671B 时，大约需要 35 张显卡才能填满显存。）以下是它们的性能对比：

现在，您需要了解的是吞吐量、延迟和每个token的成本，这张图表汇总了所有这些信息：

在GPU系统中，交互性——即能够同时支持多少用户提出查询并获得答案——取决于你所需的延迟。如果你想要低延迟，就不能支持太多用户；如果你想要降低成本，就必须以增加输入或输出token的处理延迟为代价。

从测试结果来看，Taalas 在这两款机型上都展现出了更低的成本和更低的延迟。我们期待HC卡投入量产后进行独立测试，并看看Taalas会为这些AI推理引擎定价多少。

这看起来无疑将彻底改变AI推理领域的格局。