来源:全球半导体观察 原作者:韦思维
ai服务器浪潮席卷全球,带动ai加速芯片需求。dram关键性产品hbm异军突起,成为了半导体下行周期中逆势增长的风景线。业界认为,hbm是加速未来ai技术发展的关键科技之一。
近期,hbm市场动静不断。先是sk海力士、美光科技存储两大厂释出2024年hbm产能售罄。与此同时,hbm技术再突破、大客户发生变动、被划进国家战略技术之一...一时间全球目光再度聚焦于hbm。
hbm(全称为high bandwidth memory),是高带宽存储器,是属于图形ddr内存的一种。从技术原理上讲,hbm是将很多个ddr芯片堆叠在一起后,再和gpu封装合成,通过增加带宽,扩展内存容量,组成ddr组合阵列,以此实现让更大的模型、更多的参数留在离核心计算更近的地方,从而减少内存和存储yb体育app官方下载的解决方案所带来的延迟。
图片来源:sk海力士yb体育app官方下载官网
通俗来讲,传统ddr内存芯片是一层平房结构,具备hbm结构的内存是现代化的摩天大楼,在占地面积不变的基础上,向三维高度发展。
与传统dram芯片相比,hbm具有高带宽、高容量、低延时与低功耗等优势,可以加快ai数据处理速度。业界指出,hbm可以将专用数据处理器直接集成在dram中,将部分数据计算工作从主机处理器转移到存储器当中,从而满足ai芯片训练的高宽带要求,也因此更适用于chatgpt等高性能计算场景。
目前,hbm市场高度集中,呈现三足鼎立的态势。此前据trendforce集邦咨询研究显示,2022年三大原厂hbm市占率分别为sk海力士(sk hynix)50%、三星(samsung)约40%、美光(micron)约10%。
图片来源:拍信网
从技术迭代上看,自2014年全球首款硅通孔(tsv, through silicon via)hbm产品问世以来,hbm已经从hbm、hbm2、hbm2e,发展至被业界认为即将成为市场主流的hbm3、hbm3e。未来或将到达hbm4,甚至hbm4e。
图表来源:全球半导体观察制表
从存储大厂hbm布局路线来看,率先走在起跑线上的是sk海力士。2013年,sk海力士与amd合作开发了全球首款hbm。作为领跑者,sk海力士不负众望陆续成功研发出hbm迭代产品hbm2、hbm2e、hbm3、hbm3e。该公司计划在2024年上半年将hbm3e投入量产。
三星则从hbm2起跑,虽是后起之军,却也不堪落后。三星于2016年推出hbm2,2020年2月hbm2e,2021年2月推出了hbm-pim(存算一体),实现内存半导体和ai处理器合二为一,其hbm3也于2020年量产。今年2月27日三星发布了首款36gb hbm3e 12h dram,这是三星目前为止容量最大的hbm产品。目前,三星已开始向客户提供hbm3e 12h样品,预计于今年下半年开始大规模量产。
另一大厂美光科技开始出击,该公司选择跳过第四代hbm3,直接布局第五代hbm3e。美光于2023年9月推出hbm3e,并于今年2月26日宣布已开始批量生产hbm3eyb体育app官方下载的解决方案。其中24gb 8-high hbm3e将成为nvidia h200 tensor core gpu的一部分,该gpu将于 2024 年第二季度开始发货;而36gb 12-high hbm3e样品扩大了其领先地位,与竞争yb体育app官方下载的解决方案相比,该产品预计将提供超过1.2 tb/s的性能。
图表来源:全球半导体观察制表
从规格上看,目前hbm市场主流为hbm2e,包含nvidia a100/a800、amd mi200以及多数csps自研加速芯片皆以此规格设计。不过随着各大原厂不断加速突破技术堡垒,业界称未来hbm3与hbm3e将挑起大梁。
trendforce集邦咨询预估,2024年hbm供给情况可望大幅改善。以规格而言,伴随ai芯片需要更高的效能,hbm主流也将在2024年移转至hbm3与hbm3e。整体而言,在需求位元提高以及hbm3与hbm3e平均销售价格高于前代产品的情形下,2024年hbm营收可望有显著的成长。
此外,关于业界十分关心的hbm4问题,据trendforce集邦咨询预计,hbm4有望于2026年推出。目前包含nvidia以及其他csp(云端业者)在未来的产品应用上,规格和效能将更优化。例如,随着客户对运算效能要求的提升,hbm4在堆栈的层数上,除了现有的12hi (12层)外,也将再往16hi (16层)发展,更高层数也预估带动新堆栈方式hybrid bonding的需求。hbm4 12hi产品将于2026年推出;而16hi产品则预计于2027年问世。
ai模型复杂化正推动hbm发展。从应用领域看,hbm主要应用领域ai服务器在单条模组上则多采用64~128gb,平均容量可达1.2~1.7tb之间。trendforce集邦咨询认为,相较于一般服务器而言,ai服务器多增加gpgpu的使用,因此以nvidia a100 80gb配置4或8张计算,hbm用量约为320~640gb。未来在ai模型逐渐复杂化的趋势下,将刺激更多的存储器用量,并同步带动server dram、ssd以及hbm的需求成长。并预期ai服务器2023~2027年出货量年复合成长率约12.2%。
从大头客户产品规格来看,ai服务器gpu市场中配备了hbm的主要以nvidia h100、a100、a800以及amd mi250、mi250x系列为主。展望2024年,英伟达的产品所采用的hbm将升级至hbm3e,此外新一代b100产品将进一步拉升市场对hbm的容量需求;amd产品仍采用hbm3,预计下一代mi350将升级为hbm3e;而英特尔产品仍将使用hbm2e。
具体来看,自去年发酵至今,hbm市场仍旧火热,而上游关键客户英伟达的h100与200依旧是市面上最抢手的gpu产品。据trendforce集邦咨询最新预估,以2024年全球主要云端服务业者(csp)对高端ai服务器(包含搭载nvidia(英伟达)、amd或其他高端asic芯片等)需求量观察,搭载nvidia gpu的ai服务器机种占大宗。
根据去年11月底trendforce集邦咨询的研究数据显示,2023年,nvidia高端ai芯片(采用hbm)既有产品包括a100/a800以及h100/h800,2024年该公司将再推出使用6颗hbm3e的h200以及8颗hbm3e的b100,并同步整合nvidia自家基于arm架构的 cpu与gpu,推出gh200以及gb200。
trendforce集邦咨询最新研究指出,nvidia 2024年起将正式替换a100产品,而以价格更高的h100系列为主轴。除h100,预估自今年第二季末开始小量出货搭载更高hbm3e规格的h200产品。另预估nvidia未来在价格上将更积极采差别订价,h100采部分折价策略,h200应维持约h100原价格水位,以提供更高性价比方式,稳固云端csp客户。除此之外,nvidia将采用nre(一次性工程费用;non-recurring engineering expense)模式,与meta、google、aws及openai等厂商展开洽谈,并将目标扩及电信、车用及电竞客户。
trendforce集邦咨询预期,nvidia自2024年下半年将推出新一代b100产品,相较h系列可望在效能上又有所提升,在hbm存储器容量将高出h200约35~40%,以应对更高效能hpc或加速llm ai训练需求。而在中低端产品上,除l40s针对企业客户做边缘端较小型ai模型训练或ai推理外,另亦规划以l4取代既有t4,作为云端或边缘ai推理应用。
值得注意的是,为避免2023年gpu供应不足问题,nvidia亦积极参与cowos及hbm等扩建产能需求,预期今年第二季在相关原厂产能逐步开出后,原交付lead time平均约40周也将减半,逐步去除下游供应链因gpu短缺而使ai服务器供应进度受阻问题。
在amd和intel方面,trendforce集邦咨询此前指出,amd 2024年出货主流为mi300系列,采用hbm3,下一代mi350将采用hbm3e,预计2024下半年开始进行hbm验证,实际看到较明显的产品放量(ramp up)时间预估应为2025年第一季。intel habana 2022下半年推出的gaudi 2采用6颗hbm2e,2024年中预期在新型号gaudi 3持续采取hbm2e,但将用量升级至8颗。
存储器是韩国的支柱型产业之一,2024年ai浪潮更顺势拉动了hbm的市场比重,在此背景下,韩国将hbm指定为国家战略技术,并列出多项措施鼓励相关企业。
2月27日,韩国企划财政部公布了《2023年税法修正案后续执行规则修正案草案》,旨在对被纳入韩国国家战略技术的高带宽存储器(hbm)、有机发光二极管(oled)和氢相关设施,进一步扩大税收支持。
其中,韩国国家战略性技术产业研发投资税收抵免,中小企业为40%至50%,大中型企业为30%至40%。据悉大中型企业包括三星、sk海力士等。
值得一提的是,大厂财报透露,营收亏损幅度均有所收窄,其中hbm已成为拉动大厂们业绩回升的主力。目前消费电子已出现复苏信号,行业新的转机正在孕育生成,ai催生存力新需求,2024年存储市场有望迎来新的转机。
总体而言,受生成式ai大模型等领域的驱动,hbm逐渐发展成为新兴热门产业之一,随着上游客户不断发出新的需求,目前hbm市场正释放出供不应求的信号。对此,上述各方瞄准hbm积极布局,大厂们继续埋头攻破技术壁垒,以迅速抓住市场新机遇,属于hbm市场的一场争夺战正式开启。
封面图片来源:拍信网