2024 年最令台湾人印象深刻的科技人物,可能非「黄仁勋」莫属。NVIDIA CEO 黄仁勋在今年 5 月来台参与 COMPUTEX 引起一阵黄仁勋炫风,除了他烙台语、逛夜市的亲民形象之外,台湾人更为所谓 COMPUTEX 之后,一份「被黄仁勋点名的台厂」名单而疯狂。其中最引人注目的,莫过于 AI 服务器供应链。
随着人工智能(AI)技术快速发展,支撑 AI 运算的内核基础建设——AI 服务器,正成为全球科技产业的焦点。
研调机构 Counterpoint Research 最新报告显示,第 2 季全球服务器市场强劲成长,全球服务器收入达 454.22 亿美元,较去(2023)年同期大增 35%,其中,AI 服务器扮演主要成长动能,已占整体服务器营收近三成,创下 131.72 亿美元产值。
在这波 AI 革命中,台湾电子代工产业凭借深厚的技术实力,成为全球 AI 服务器供应链中不可或缺的重要伙伴。根据经济部统计,台湾占全球服务器代工出货量的 83%,其中 AI 服务器占比高达九成,若是美国品牌供应商更达到 100%。
《INSIDE》将在本文带您深入了解什么是 AI 服务器、AI 服务器的关键技术、台湾 AI 服务器供应链在全球市场的战略地位,以及它们与 AI 芯片龙头 NVIDIA 的紧密合作关系。
什么是 AI 服务器?与传统服务器的差异在哪?
在探讨 AI 运算基础设施之前,必须先厘清传统服务器与 AI 服务器在系统架构及运算能力上的本质差异。
传统服务器主要采用以 CPU 为内核的同质运算架构,专注于运行串行化的一般计算工作,如文件读写、网络服务处理及基本的数据运算等。这类服务器的运算模式主要处理结构化数据和预定义的运算逻辑,具有高度的确定性和稳定性。
相较之下,AI 服务器采用异质运算(Heterogeneous Computing)架构,通过多样化的运算单元协同运作,以因应复杂的 AI 工作负载需求。这种架构不仅具备传统服务器的基本功能,更能通过专业的运算加速器运行大规模的并行运算工作。
其内核优势在于能同时处理非结构化数据,并运行诸如深度学习、机器学习等高度复杂的 AI 算法。根据《 DIGITIMES 》的数据显示,传统 x86 服务器的总成本略微超过 1 万美元,但搭载 8 颗 GPU 的 NVIDIA DGX H100 系统,总成本则达到将近 27 万美元。
在内存技术方面,AI 服务器和传统服务器也有明显的差异。传统服务器主要使用 DDR4 等标准内存,就像是一般的数据高速公路,能满足日常运算需求。
而 AI 服务器除了是使用 DDR5 外,还需要特殊的高带宽内存(HBM),这种内存采用创新的 3D 堆栈设计,能提供更快的数据传输速度,就像是为 AI 运算开辟的超级高速公路,特别用于支持 GPU 等 AI 加速器的大量运算需求。
正是这些特殊的内存配置,加上各种专业运算芯片,使得 AI 服务器的成本远高于传统服务器。
GPU、ASIC、FPGA、TPU 等芯片共同打造的超级大脑
而且,AI 服务器的「大脑」其实不只靠 GPU,除了常见的 GPU 外,AI 服务器中还集成了多种特殊应用芯片,包括 ASIC、FPGA 和 TPU 等多芯片架构。这些专用芯片各具特色,在 AI 运算中扮演重要角色,为不同应用场景提供优化的运算性能。
ASIC(特殊应用集成电路)是为特定用途量身打造的芯片。在 AI 运算中,ASIC 以其高性能、低功耗的特性著称。由于其硬件架构完全针对特定算法优化,因此在运行特定 AI 模型时,能达到极高的运算效率。然而,ASIC 的局限性在于其缺乏灵活性,一旦 AI 算法更新,可能需要重新设计芯片。
FPGA(现场可程序化闸数组)则提供了硬件层级的可程序化弹性。这种特性使其成为 AI 算法开发和验证的理想平台。相较于 ASIC,FPGA 的运算性能略低,但其可重构性使其特别适合研发阶段使用,能快速因应算法的调整与优化。
Google 研发的 TPU(张量处理单元)则是专门针对深度学习和机器学习优化的处理器。TPU 在矩阵运算和张量运算方面表现优异,适合处理大规模神经网络的训练和推论工作。相较于传统的 CPU 和 GPU,TPU 在运行这类运算时能提供更高的性能和更好的能源效率。
而 AI 服务器不仅仅由运算芯片构成(以上仅说明其与传统服务器的关键差异),还包括 CPU、内存(内存)、保存设备、电源供应单元(PSU)、散热系统(气冷、水冷)、机柜及扩充插槽与 I/O 连接端口等多个关键部分。
AI 服务器制造过程是什么?
AI 服务器又是怎么制造出来的呢?根据运算解决方案公司 AMAX 官网介绍,服务器制成层级分为 L1 至 L12,L1 到 L6 为基础制造,L7 到 L12 则为系统集成阶。此为经由 Claude 简化过后的表格:
具体来说:
L1 到 L5 主要是基本的物理零件制造与组装,例如机箱、金属和塑料零件、电源、线材等,这些阶段专注于把物理零组件一一组装起来。
L6 到 L9 开始进入服务器的关键零组件集成,包括主板、扩充卡、硬盘、CPU 和内存的集成与测试,这些是服务器的运算与保存主要部分。
L10 则进一步进行完整系统的组装,并进行组件级别的测试,同时安装操作系统与相关软件,确保服务器功能正常,可以交付给客户。
L11 是节点级别的组装,这代表着把多个服务器节点装入一个机架,进行更大规模的系统集成与网络配置,适用于数据中心等大型基础设施。
L12 是最终阶段,处理多机架系统的集成与测试,这些系统通常是数据中心或云端服务中使用的服务器架构,包括多台服务器之间的网络设置和管理。
黄仁勋点名的 AI 服务器供应链有谁?
大致了解了 AI 服务器的构成以及制造过程,让我们说回文章开头的「黄仁勋炫风」以及那份引起台湾人高度兴趣的台厂清单。
这份清单总共有 43 家,本次《INSIDE》「黄仁勋与他们 AI 服务器好伙伴」专题将聚焦在与「AI 服务器供应链」有关的企业,包括鸿鸿海、广达、纬创(纬颖)以及英业达等 4 家厂商。
鸿海是全球服务器组装代工的龙头厂商,2023 年在全球市占率高达 43%,领先第二名的广达约 26%。
鸿海近年来积极拓展 AI 服务器业务,旗下子公司鸿佰科技(Ingrasys)更于 2023 年被世界经济论坛(WEF)认定为全球首家 AI 服务器灯塔工厂,并且取得辉达 GB200 服务器的订单。
鸿海在 AI 服务器供应链中,积极进行垂直集成,从分歧管、快接头到 CDU 都是自制。集团董事长刘扬伟以 GB200 服务器为例,除了绘图处理器(GPU)和中央处理器(CPU)等半导体组件外,鸿海在 GB200 服务器关键零组件的集成供应程度介于 80% 到 90% 之间。
今年鸿海科技日上,刘扬伟也表示,鸿海成为第一个量产出货 GB200 服务器的厂商。AI 服务器在集团整体服务器占比可提升至四成,刘扬伟也预估,2025 年鸿海 AI 服务器营收目标超过 1 兆元,「AI 服务器将是鸿海集团下一个新台币兆元营收产品」。
广达是全球第二大的服务器组装代工厂,市占率约 17%。
广达旗下云达则是黄仁勋在 COMPUTEX 首日多次提到的公司,黄仁勋甚至还至云达的记者会上站台亲自介绍云达与 NVIDIA 合作打造的超大规模 GPC-AI 服务器,该公司也是首批取得 GB200 NVL72 机柜设计的厂商之一。
不只如此,黄仁勋在 2016 年亲自将全球首台 AI 超级电脑 DGX-1 捐赠给当时的 OpenAI,那台 AI 电脑就是由云达与 NVIDIA 共同打造的。事实上,这两家公司已经合作了 20 年之久,更是首家采用 NVIDIA NVLink 技术来打造服务器系统的业者。
今年 8 月的法说会上,广达指出,AI 服务器动能「超乎预期」,占整体服务器营收逾 5 成的目标已提前达标,今年 AI 服务器营收会大增「三位数」百分比。
另外,根据《 经济日报 》报导,以 AI 服务器供应链来看,广达在 L6 的占比居次(仅次于英业达),超过两成,且是台厂当中最为积极布局 L10、L11 以及 L12 者。
根据《 MoneyDJ 》目前,广达的主要客户涵盖多家 CSP 大厂,包括 Google、AWS 以及 Meta,并且在 GB200 组装份额上拥有高市占率,与鸿海并列二大。
纬创(纬颖)——与广达相同,早早布局服务器领域
纬创与广达相同,很早就在布局服务器代工领域,且都属于参与设计,非纯代工模式,纬创客户包括 NVIDIA,子公司纬颖则拥有 Meta、微软。纬创在服务器代工的市占率为 14%,仅次于鸿海、广达。
根据《 TEJ 台湾经济新报 》纬创已取得辉达 HGX Level 6 以及 DGX Level 10 的订单,并取得 AMD 新一代 MI300 系列的 AI 服务器基板订单。除了四大 CSP 的订单之外,纬创也取得其他非云端厂商的 AI 服务器订单。纬创也取得最新 GB200 MGX 服务器部分组装代工的订单。
其旗下子公司纬颖主要提供大型云端数据中心硬件及解决方案,以强化其在 AI 服务器供应链中的地位。目前营收主要来自整机柜。
纬颖的下游客户主要以 CSP 厂为主,并取得辉达最新 GB200 服务器的订单。
近年,纬颖积极分散客户结构,原本集中在微软、Meta 等两大客户,根据《 经济日报 》,去年亚马逊的占比扩大,成为第三大客户,亚马逊旗下 AWS 特殊应用 IC(ASIC)服务器项目逐步发现,可能带动纬颖 Q4 AI 服务器占比冲破五成。
英业达——主板制造与组装霸主,持续扩大影响力
英业达在 L6 阶段拥有 60% 的市场占有率,是全球主要的 AI 服务器主板供应商之一。该公司也是戴尔第三大服务器代工厂,双方合作多年。
英业达也积极跨足 L10 和 L11,扩大其在 AI 服务器市场的影响力,并且也在墨西哥积极布局。
英业达 AI 服务器已占现阶段出货量的 2 成,营收比重达到 4 成。
根据《 自由时报 》,英业达企业级客户包括联想(Lenove)、戴尔、惠普(hp)等,且也网罗 4 大北美云端供应商作为 NVIDIA H、B、GB200 等 AI 服务器的终端客户。也通过美系 CSP 厂重要系统集成商 ZT 打入 AWS 供应链,在后者受 AMD 并购之下,渴望对集团投资利益做出显著贡献。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com),另:文中部分素材可能会引用自其他平台,如有侵权或其它,请联系 admin@eiefun.com,我们会第一时间配合删除