ZAC / NOTES
← 返回文章

AMD 收购 Taalas：押注推理新方案，模型权重写入芯片

·12 分钟阅读·AI 推理 · 芯片架构 · AMD

AMD 收购模型专用芯片公司 Taalas。HC1 的 17,000 token/s 说明了什么，哪些性能与成本问题仍未被公开数据回答。

AMD 这次收购的是一家只有原型产品、但技术路线很特别的芯片公司。Taalas 的 HC1 把 Llama 3.1 8B 的权重和数据流固化到芯片上，在公开演示中达到了每秒约 17,000 个 token。这个速度足以让人注意到它，但也很容易掩盖几个基本事实：模型较小，量化方式激进，测试主要来自厂商，而且还没有前沿模型的多芯片实测。

这些信息还不足以说明 Taalas 可以取代 GPU。AMD 先把一种模型专用的推理技术，以及把模型较快转换成定制芯片的工具链和团队纳入了自己的产品体系。它以后可能与 Instinct GPU 分担不同类型的推理任务，也可能只适用于少数流量足够大、模型版本足够稳定的场景。

收购已经确认，产品形态还没有

AMD 于 2026 年 8 月 6 日宣布签署收购 Taalas 的最终协议。官方确认的信息包括：Taalas 的专用推理技术将进入 AMD 加速器路线图，并与 Helios、Instinct GPU、EPYC CPU、ROCm 及 AMD 的 AI 生态形成系统级方案。交易条款没有披露，完成仍取决于常规交割条件和监管批准。AMD 官方公告

HC1 已经真实流片并能在线运行，这让 Taalas 比仍停留在架构设想的项目更进一步。不过，公开产品目前只能运行经过激进量化的 Llama 3.1 8B。第二代 HC2、大模型的多芯片扩展以及成本数据，大多仍来自路线图、模拟或公司自己的测算。

AMD 没有公布具体产品、交付时间或系统拓扑，也没有说将由 Taalas 芯片承担解码。因此，媒体所说的“GPU 负责预填充、Taalas 负责解码”有技术上的合理性，但还不是 AMD 已经宣布的方案。

技术到底改变了什么

自回归模型在解码阶段一次生成一个 token。低并发时，每一步都需要让活跃权重参与计算，GPU 经常先受制于从 HBM 搬运权重的速度，而不是矩阵单元的峰值 FLOPS。可以粗略写成：

text
单 token 时间 ≈ max（需要搬运的权重字节 / 有效内存带宽，
                    所需运算量 / 有效计算吞吐）
              + 通信与调度开销

Taalas 选择把这个权衡推到极端：HC1 用 mask-ROM recall fabric 固化模型权重和数据流，用可编程 SRAM 保存 KV cache、微调权重或适配器。公司称一个晶体管可同时编码一个 4-bit 权重并完成相关乘法，而且整个实现仍是数字电路。这样做大幅减少了外部 HBM 取权重、通用指令调度和软件栈的开销。Taalas 产品页，EE Times 技术访谈

因此，“把模型刻进芯片”是一个便于传播但不够精确的说法。更准确的描述是：用少量金属掩膜把特定模型的权重与数据流编译成模型专用数字电路，同时保留一小块可编程状态。 它不是完全没有内存，也不是所有计算和数据移动都消失了；KV cache、激活、跨芯片传输和服务调度依然存在。

HC1 的公开规格也说明它首先是数据中心技术验证器：TSMC N6、815 mm²、530 亿晶体管，一个服务器 10 张卡约 2.5 kW。它证明了架构方向，但并不能直接推出手机或汽车芯片也会采用同样形态。Taalas 产品页，EE Times 技术访谈

17,000 token/s 是什么水平

Taalas 公布 HC1 在 Llama 3.1 8B 上达到约 17,000 token/s/user；其产品页注明比较采用 1K 输入、1K 输出。EE Times 实际访问在线演示时观察到超过 15,000 token/s，公司内部在部分条件下接近 17,000 token/s。这个结果足以说明原型的低延迟解码能力非常强。Taalas 产品页，EE Times 技术访谈

“比 NVIDIA 快 48 倍”则需要谨慎理解。这是厂商 benchmark，不是完整的生产系统对比。这组数字至少要和下面的条件放在一起看：

  • 测试模型是 2024 年发布的 8B 稠密模型，Taalas 也承认采用了激进量化，模型质量是否与基线相当尚未公开。
  • 17,000 token/s/user 衡量的是单用户交互速度，不等于每张卡或每个机架的总吞吐。
  • GPU 在高并发和 batching 下可以让多个请求复用权重读取，单位 token 成本会下降，HC1 的相对优势也可能随并发变化。
  • NVIDIA B200 的数据由 Taalas 自行测试，其他竞品数据来自第三方榜单，软件栈和测试方法并不完全统一。
  • 目前还看不到同模型、同精度、同质量、同输入输出长度下的首 token 延迟（TTFT）、逐 token 延迟（TPOT）、吞吐/瓦和吞吐/美元曲线。

目前能够确认的是，HC1 在这个特定模型上的单用户输出速度快了一个数量级。这样的优势能否延伸到其他模型、高并发服务和多芯片系统，还没有答案。

原文中几处需要澄清的表述

原文主张判断更准确的表述
每生成一个权重都要从内存搬运数十至数百 GB 数据表述错误是每个解码步需要读取活跃权重；稠密模型低 batch 时通常接近读取整套权重，MoE 只读取活跃专家，batching 可摊薄这部分成本。
固化权重后“没有内存读取、没有带宽瓶颈”过度绝对外部 HBM 权重带宽瓶颈被显著削弱，但 SRAM、KV cache、激活、I/O 和多芯片通信仍可能成为瓶颈。
模型发现越狱或提示注入后无法打补丁方向成立，结论过强基础权重不能像软件一样热更新；但 LoRA/适配器、系统提示、路由、输入输出过滤、RAG 和服务层防护仍可更新。提示注入本身也常是系统边界问题，不只是权重问题。
AMD 会让 GPU 做 prefill、Taalas 做 decode合理推演，非官方产品承诺AMD 只确认会把 Taalas 技术纳入加速器路线图并与 Instinct 开发系统级方案；具体 P/D 拆分来自媒体推演。AMD 已公开推进 P/D 解耦，并与 Cerebras 宣布类似混合方案，所以这条路线有战略一致性，但尚未落成 Taalas 产品。

原文还引用了一个容易产生误解的数字。Taalas 管理层说，训练一个模型的成本约为定制 HC 芯片的 100 倍。这里比较的是前沿模型的训练投入和定制流片的一次性工程成本（NRE），只能说明大型模型厂商可能承担得起这笔定制费用，不能据此认为 HC 系统比 GPU 便宜 100 倍。计算完整 TCO 时，还要计入晶圆、良率、封装、服务器、利用率、备件、模型换代和报废库存。The Next Platform 访谈

AMD 为什么要买

一条不依赖堆 HBM 的推理路线

GPU 适合训练、快速变化的模型和通用推理。模型专用芯片面对的则是另一类任务：模型相对稳定、请求量大，而且延迟或能耗很重要。Taalas 为 AMD 补上了这条路线，即使它最后只能覆盖一部分推理负载，也可能成为 Instinct 之外有用的补充。

从模型到硅片的工具链

Taalas 已经建立了把模型转换成 RTL、完成整模型仿真并通过两层金属掩膜完成定制的流程。公司称，目前从模型到 RTL 大约需要一周工程工作，定制芯片的目标交付周期约为两个月。这两个时间表都还需要量产验证。如果能够兑现，它会明显缩短传统 ASIC 与模型发布节奏之间的差距。EE Times 技术访谈

与 Instinct 组成异构推理系统

AMD 官方没有宣布具体拓扑。不过，它已经在研究预填充与解码分离：预填充更依赖计算，解码更受数据移动和 KV cache 影响。2026 年的 Advancing AI 页面也公布了 Helios 与 Cerebras 的混合推理方案，由两种硬件分别处理不同阶段。Taalas 被纳入类似的系统并不意外，只是现在还不能把这种推测当作产品路线图。AMD P/D 技术说明，AMD Advancing AI 2026

面向模型厂商的定制能力

Taalas 的团队来自 AMD、Tenstorrent 等芯片公司。AMD 本身已有 CPU、GPU、网络、FPGA、系统设计和半定制业务。把这些能力放在一起后，AMD 可以和大型模型客户讨论针对具体模型的芯片及机架设计，而不只是供应通用加速卡。这样的项目数量未必很多，但单个客户的部署规模可能很大。

可能的落地场景

从 HC1 目前的尺寸、功耗和定制方式来看，较早出现的应用更可能在数据中心：

  • 数据中心里稳定运行一年左右、请求量极大的开放权重模型；
  • 延迟价值很高的代码补全、agent 工具调用或实时语音链路；
  • 模型厂商自己控制权重、评测、流量和芯片采购的大规模专用服务；
  • 在 GPU 池旁边承担特定 decode 流量的专用资源池。

机器人、汽车和边缘设备以后也可能采用这类架构。不过，“模型固定”在安全产品中既可能带来可预测性，也会放大无法快速修复基础模型的风险。现有公开资料还没有提供车规、可靠性、功耗和 OTA 生命周期方面的证据，无法说明这些领域会成为近期市场。

还有哪些问题没有回答

Taalas 能不能从演示芯片走到可采购的产品，主要取决于下面这些问题：

  • 激进 4-bit 量化后的 HC1 或 HC2，在标准任务上与原始模型有多大差距。
  • 同模型、同精度和同样输入输出长度下，TTFT、TPOT、并发吞吐、尾延迟、功耗和成本能否由第三方复现。
  • HC2 或更大模型何时真实流片，多芯片运行时的流水线气泡、KV 传输和跨卡可靠性如何。
  • 芯片售价、良率、服务器 BOM、利用率、每年换版和库存报废如何影响完整 TCO。
  • LoRA 或其他 adapter 能改变多少行为，上下文长度、工具调用、多模态、MoE、推测解码和安全修补受到哪些限制。
  • AMD 会把这项技术放进哪一代产品，怎样接入 Instinct、ROCm 和 Helios，以及谁会成为第一个公开客户。

Taalas 把一种常见的体系结构取舍推到了极端：放弃大部分通用性，让模型权重和执行路径直接成为芯片的一部分。HC1 已经证明这种做法能让一个固定的小模型生成得非常快，但它还没有证明同样的方法适合前沿模型或多租户生产环境。

在现阶段，这笔收购更多代表 AMD 提前布局专用推理。Taalas 还没有成熟的量产产品。后续如果 HC2 能按计划完成，并在多芯片实机上保持速度和成本优势，它才会对 AMD 的推理产品线产生实质影响。目前还没有必要据此调整采购方案。

来源与证据等级