1. 从“巨无霸”到“乐高积木”为什么AI推理芯片必须走向Chiplet架构如果你最近在关注AI芯片的动态尤其是那些部署在数据中心、边缘设备里日夜不停地处理着我们对话、图片和决策的推理芯片可能会发现一个明显的趋势大家都不再热衷于谈论如何把晶体管做得更小、把单颗芯片做得更大了。取而代之的是“Chiplet”芯粒、“异构集成”、“先进封装”这些词频繁出现。这并非偶然而是一场由底层物理规律和上层应用需求共同驱动的、正在发生的架构革命。简单来说传统的“巨无霸”式单片芯片Monolithic Chip在AI推理这个战场上已经越来越力不从心而像搭乐高积木一样将不同功能的芯粒组合起来的Chiplet架构正在成为新的设计基线。为什么是推理而不是训练因为当AI模型从实验室走向千家万户、工厂车间和云服务器时真正的成本和能耗压力来自于推理——也就是模型实际干活的过程。无论是你手机里的语音助手工厂里的质检机器人还是云上处理海量请求的推荐系统它们99%以上的生命周期都在进行推理运算。这个环节直接关系到电费账单、服务器机柜的散热以及最终服务的响应速度和可靠性。然而许多系统仍基于为通用计算或训练优化的单片架构这就像用一台高油耗的赛车去跑城市快递动力过剩且效率低下导致大量的能源浪费在芯片内部的数据“搬运”上而非实际的计算上。Chiplet架构的核心思想是“分而治之”与“专业分工”。它将一个复杂的片上系统SoC分解成多个较小、功能明确的独立裸片Die比如专门负责矩阵计算的“计算芯粒”、高带宽的“存储芯粒”、负责芯粒间高速通信的“互连芯粒”以及“控制芯粒”。这些芯粒通过先进的封装技术如2.5D、3D封装紧密集成在一起形成一个性能强大的虚拟大芯片。这种模式并非为了炫技而是为了解决单片架构在AI推理时代面临的几个根本性困局。2. 单片架构之殇推理工作负载下的三重枷锁要理解Chiplet的必要性首先得看清传统单片架构在应对现代AI推理时究竟卡在了哪里。这不仅仅是工艺制程的挑战更是系统级设计的结构性矛盾。2.1 光罩尺寸与良率的物理天花板第一个枷锁是物理尺寸。半导体制造中一片晶圆是通过一个叫做“光罩”的模板进行曝光来刻画电路的。这个光罩的尺寸是有限的目前业界主流的最大光罩尺寸大约在858平方毫米左右。这意味着单颗芯片的尺寸不能超过这个范围即所谓的“光罩极限”。为了追求更高性能芯片设计者曾试图在单颗芯片上集成更多的CPU核心、GPU流处理器、专用加速器和高速缓存但很快就会触及这个天花板。一旦芯片面积过大就必须采用更复杂、成本更高的多光罩拼接技术这直接推高了制造难度和成本。更严峻的是良率问题。在晶圆制造中缺陷是随机分布的。芯片面积越大单颗芯片包含缺陷的概率就越高良率随之急剧下降。一颗接近光罩极限的大芯片其制造成本并非线性增长而是指数级上升。对于需要大规模部署的AI推理芯片来说这种成本是不可承受的。Chiplet通过将大芯片拆分成多个小芯粒每个芯粒的面积较小从而显著提升了单个芯粒的制造良率从源头上控制了成本。2.2 “内存墙”与功耗失衡第二个也是最关键的枷锁是“内存墙”问题在推理场景下的极端化。AI推理特别是Transformer等大模型推理其计算模式对内存带宽和延迟有着近乎贪婪的需求。模型参数需要从片外存储如HBM加载到片上缓存中间计算结果也需要频繁存取。在单片架构中计算单元如AI加速核和内存如SRAM缓存被固化在同一块硅片上它们之间的数据通路受到芯片布局和全局互连延迟的限制。这就导致了一个严重问题大量的功耗并非消耗在有用的计算上而是消耗在数据的长距离搬运上。有分析指出在典型的AI推理工作负载中数据搬运的能耗可能占总能耗的60%以上。单片架构由于结构的僵化很难为计算单元配备足够近、足够大的专用内存。计算核可能为了获取一个数据需要穿越整个芯片经历多层片上网络这产生了巨大的动态功耗和延迟。Chiplet架构则允许将计算芯粒与高带宽内存芯粒通过硅中介层或3D堆叠的方式进行超短距离、超高带宽的互连比如使用硅通孔技术将数据传输距离从毫米级缩短到微米级从而极大降低了数据搬运的能耗和延迟直接击中了推理能效比的要害。2.3 功能耦合与迭代僵化第三个枷锁是系统迭代的灵活性。单片芯片是一个高度耦合的系统。任何功能的更新例如升级I/O接口标准如从PCIe 4.0到5.0、更换更先进的内存控制器如支持HBM3e、或者优化某一代AI计算核的微架构都意味着需要重新设计、流片整个芯片。这个过程动辄耗费上亿美元和18-24个月的时间。在AI算法和应用场景快速演进的今天这种缓慢的迭代速度是无法接受的。相反Chiplet架构实现了功能的解耦。I/O、内存、计算、控制等功能模块被设计成独立的芯粒。当需要升级时可以只重新设计其中某一个芯粒而复用其他经过验证的芯粒。例如下一代产品可以沿用成熟的I/O芯粒和内存芯粒只更新计算芯粒来适配新的AI算子。这极大地加速了产品迭代周期降低了研发风险和市场准入成本使得芯片设计公司能够更敏捷地响应市场需求。注意转向Chiplet并非没有代价。它引入了芯粒间互连的设计复杂性、先进封装带来的成本、以及多芯片系统在测试、良率管理和散热设计上的新挑战。但这属于“可解决的工程问题”而单片架构面临的则是“不可逾越的物理与经济学限制”。两者的权衡高下立判。3. Chiplet如何重塑AI推理芯片架构、互连与生态理解了“为什么”接下来我们深入看看“怎么做”。Chiplet架构并非简单地把芯片切碎它背后是一套完整的、从设计到封装的系统工程。3.1 模块化架构设计像搭积木一样构建芯片在Chiplet范式下AI推理芯片的设计思路从“一体化设计”转变为“模块化集成”。一个典型的面向推理的Chiplet系统可能包含以下核心模块计算芯粒这是AI加速的核心通常包含高度优化的张量处理单元、向量计算单元以及相关的本地缓存。由于专注于计算它可以采用最先进的工艺节点如3nm来追求极致的能效和性能密度。内存芯粒通常指高带宽内存堆栈如HBM。在2.5D封装中多个HBM芯粒通过硅中介层与计算芯粒并排放置通过数以千计的微凸块实现超高速互连。在3D封装中内存可以直接堆叠在计算芯粒之上实现更极致的带宽和能效。I/O与互连芯粒负责芯片与外部世界的通信包括PCIe控制器、以太网或InfiniBand接口等。这个芯粒可能采用成本更优的成熟工艺如12nm或16nm因为其对晶体管密度和性能的要求相对计算部分较低。基础芯片与网络芯粒在一些更复杂的架构中还可能存在一个集成了片上网络、系统缓存和一致性控制器的“基础芯粒”其他计算和内存芯粒像“小芯片”一样贴装其上。这种分工允许每个芯粒“术业有专攻”。计算芯粒拼命追求算力密度内存芯粒专注提供带宽I/O芯粒确保连接性。设计团队可以并行开发不同芯粒甚至从不同供应商处采购经过验证的芯粒称为“IP芯粒”大幅缩短开发周期。3.2 互连技术Chiplet系统的“神经系统”芯粒间的互连性能直接决定了整个系统的效率。目前主流的技术路径有几种2.5D集成与硅中介层这是目前最成熟的高性能Chiplet互连方案。计算芯粒、HBM内存芯粒等被并排安装在一个硅中介层上。中介层内部有高密度的布线层实现芯粒间超短距离、超高带宽的通信其互连密度和带宽远高于传统的有机基板。AMD的MI系列加速器、英特尔的Ponte Vecchio都采用了此类技术。3D堆叠这是更激进的方案将不同功能的芯粒在垂直方向上堆叠起来并通过硅通孔直接连接。这能实现最高的互连密度和最低的延迟特别适合计算与内存的紧耦合。但散热挑战巨大是目前研发的前沿。先进封装下的高密度互连如台积电的CoWoS、英特尔的EMIB、Foveros等它们提供了不同粒度、不同成本目标的互连方案允许设计者混合使用2.5D和3D技术。互连标准也至关重要。为了促进芯粒生态的发展行业联盟如UCIe致力于定义开放的芯粒间互连标准旨在让不同厂商、不同工艺节点的芯粒能够像USB设备一样“即插即用”。虽然完全实现这一愿景还需时日但标准化无疑会降低设计门槛繁荣Chiplet生态系统。3.3 成本与能效模型算一笔经济账从商业角度看Chiplet的核心优势在于优化了总拥有成本。虽然先进封装增加了单颗封装体的成本但它通过以下方式带来了更大的节约良率提升如前所述小面积芯粒的良率远高于大面积单片芯片。假设单片芯片良率为50%而将其分成四个等面积芯粒后每个芯粒良率可能达到90%。通过封装集成最终得到一颗功能完好“大芯片”的总体良率将显著高于50%。工艺节点混合使用并非所有模块都需要最昂贵的尖端工艺。可以将对性能敏感的计算部分用3nm对成本敏感的I/O和部分控制逻辑用12nm或16nm。这种“混合工艺”策略在单片设计上无法实现而在Chiplet中则很自然能大幅降低整体硅成本。能耗节约通过计算与内存的紧耦合设计减少数据搬运距离直接降低了单位推理任务的能量消耗。有行业评估指出针对相同工作负载优化后的Chiplet架构相比传统单片设计可实现30-40%的能耗降低。在数据中心规模下这直接转化为巨额的电费节省和碳减排同时允许在相同的功耗预算下部署更强的算力。4. 面向未来Chiplet如何支撑“智能体”与边缘AIAI推理的需求正在向两个看似相反的方向演进一是云端和数据中心对高吞吐、低延迟的极致追求二是边缘侧对低功耗、小体积、高能效的严苛要求。Chiplet架构在这两个方向上都展现出独特的适应性。4.1 赋能“智能体”推理与动态工作负载未来的AI系统正从简单的“输入-输出”模式向能够自主规划、决策和行动的“智能体”模式演进。这类工作负载对芯片架构提出了新挑战它们可能需要动态地在不同模型如视觉识别、语言理解、决策规划间切换工作负载具有不可预测的突发性并且对推理链路的端到端延迟极其敏感。Chiplet的模块化特性为此提供了理想硬件基础。可以设想一个由多个不同类型计算芯粒如视觉处理芯粒、语言模型芯粒、规划模型芯粒组成的系统通过一个高带宽、低延迟的片上网络互连。系统可以根据任务需求动态地将数据路由到相应的计算芯粒上甚至可以将多个芯粒临时组合成一条专用流水线。这种“可重构性”是僵化的单片架构难以实现的。此外为智能体提供工作记忆Working Memory可能需要新型的、高带宽、非易失的存储芯粒Chiplet架构也能灵活地集成此类新兴技术。4.2 实现边缘AI的定制化与能效比在边缘侧场景碎片化严重。自动驾驶汽车、智能摄像头、工业网关、AR眼镜……每个场景对算力、功耗、体积和成本的要求组合都不同。为每个场景从头设计一款单片SoC成本高昂且周期漫长。Chiplet使得“定制化”变得可行。芯片设计者或系统厂商可以从一个“芯粒库”中选取合适的计算芯粒如不同算力级别的NPU、内存芯粒如LPDDR控制器、I/O芯粒如车载以太网、MIPI接口像拼装乐高一样快速组合出一款满足特定边缘场景需求的芯片。这不仅加快了产品上市时间还能实现极致的能效比因为系统中的每一个组件都是为特定任务精准匹配的没有无用的冗余逻辑。实操心得对于计划采用Chiplet架构的团队我的建议是“自上而下规划自下而上验证”。首先要从系统应用和软件栈的需求出发明确带宽、延迟、功耗的预算以此定义芯粒间互连的协议和性能指标。然后在芯粒设计阶段就要充分考虑测试访问、功耗管理、时钟同步等跨芯粒协同的挑战。早期引入封装和系统团队进行协同设计至关重要避免芯粒设计完成后才发现无法集成或性能不达标。5. 挑战与应对拥抱Chiplet时代的工程实践尽管前景光明但转向Chiplet设计绝非易事。它要求设计团队具备跨领域的系统级视角并解决一系列新的工程挑战。5.1 设计、验证与测试复杂度的激增单片芯片的设计验证已经非常复杂而Chiplet系统将复杂度提升了一个数量级。你需要验证的不仅是单个芯粒的功能还包括芯粒间互连协议确保不同芯粒之间的电气特性、时序和协议完全兼容。系统级功能如跨芯粒的一致性缓存、全局中断传递、电源管理协同等。封装效应信号在硅中介层或再分布层中的完整性、散热路径、机械应力等。传统的EDA工具和验证方法学需要升级。需要采用更强大的系统级建模和仿真工具在早期进行架构探索和性能评估。硬件仿真和原型验证平台也变得更为关键用于在流片前对整个多芯粒系统进行软硬件协同验证。5.2 先进封装的选择与成本控制封装从“保护壳”变成了“性能定义者”。选择哪种封装技术CoWoS? EMIB? Foveros?直接决定了系统的带宽、功耗、尺寸和成本。这些先进封装技术目前产能紧张、成本高昂且供应链相对集中。设计团队必须与封装厂早期深度合作理解各种技术的设计规则和成本结构。在性能、成本和量产可行性之间做出精细的权衡。考虑采用多种封装技术组合的异构集成方案。5.3 供应链与生态的构建单片时代设计公司主要与晶圆厂打交道。Chiplet时代供应链变得网状化你需要与多个IP芯粒供应商、封装测试厂、中介层供应商等协同。这带来了新的挑战质量与可靠性如何确保来自不同供应商、不同工艺节点的芯粒在长期可靠性上保持一致安全与信任如何保证第三方芯粒中没有安全后门库存与物流管理多种芯粒的库存和组装流程比管理单颗芯片更复杂。构建或融入一个健康的Chiplet生态至关重要。参与UCIe等标准组织与可靠的合作伙伴建立长期关系是降低风险的关键。常见问题与排查思路实录在实际探索Chiplet设计时团队常会遇到一些典型问题。以下是一些实录问题系统仿真性能达标但原型板实测带宽远低于预期。排查首先检查互连的物理层设计。使用示波器或误码率测试仪测量芯粒间高速串行链路的信号完整性。重点观察眼图是否张开是否有过大的抖动或码间干扰。这很可能是由于封装寄生参数、阻抗不连续或电源噪声导致信号质量恶化。需要回溯检查封装模型和电源完整性仿真是否充分。问题多芯粒系统在高温下运行时出现偶发性计算错误。排查这通常是热致时序违规或电源噪声问题。使用红外热像仪检查封装表面温度分布确认是否有局部热点特别是计算芯粒下方。热点会导致晶体管速度变慢可能违反建立/保持时间。同时监测各芯粒的电源轨纹波大电流动态负载可能导致瞬间电压跌落引发逻辑错误。需要优化散热设计和电源配送网络。问题从不同批次供应商处采购的同一型号内存芯粒系统稳定性不同。排查这凸显了多源供应链的挑战。即使符合同一标准不同晶圆厂或不同批次的芯片在参数上可能存在细微差异工艺角漂移。需要在系统设计时预留足够的时序和电压裕量。建立严格的入厂检验标准对关键参数如驱动强度、输入电容进行测试。与供应商共同分析根本原因推动其工艺控制。这场从“单片”到“芯粒”的范式转移其驱动力并非来自工程师对新颖技术的偏爱而是源于一个冷酷的现实摩尔定律和登纳德缩放的红利已经耗尽但AI对算力的渴求仍在指数级增长。当纵向缩放把晶体管做小变得艰难且昂贵时横向缩放把芯粒组合起来就成了必然的选择。它不仅仅是延续了性能增长的曲线更是在能效、成本、迭代速度等多个维度上重新定义了芯片设计的游戏规则。对于任何正在或计划设计AI推理硬件的工程师和决策者而言深入理解并拥抱Chiplet架构不再是一个前瞻性的选项而是一项关乎产品竞争力与生存的必修课。这不再是关于“是否”采用的问题而是关于“如何”更快、更稳健地掌握这项新基线技术。