英伟达h200带宽狂飙！hbm3e/hbm3时代即将来临-yb体育app官网

当地时间11月13日，英伟达（nvidia）宣布推出nvidia hgx™ h200，旨为世界领先的ai计算平台提供强大动力，将于2024年第二季度开始在全球系统制造商和云服务提供商处提供。

h200输出速度约h100的两倍

据介绍，nvidia h200是基于nvidia hopper™架构，配备具有高级内存的nvidia h200 tensor core gpu，可处理海量数据，用于生成式ai和高性能计算工作负载。

图片来源：英伟达

与h100相比，nvidia h200对llama2模型的推理速度几乎翻倍。据悉，基于meta的llama 2大模型的测试表明，h200的输出速度大约是h100的两倍。

英伟达表示，h200还能与已支援h100的系统相容。也就是说，已经使用先前模型进行训练的ai公司将无需更改其服务器系统或软件即可使用新版本。英伟达服务器制造伙伴包括永擎、华硕、戴尔、eviden、技嘉、hpe、鸿佰、联想、云达、美超微、纬创资通以及纬颖科技，均可以使用h200更新现有系统，而亚马逊、google、微软、甲骨文等将成为首批采用h200的云端服务商。

不过，英伟达暂时并未透露该产品价格。据国外媒体《cnbc》报道，英伟达上一代h100价格估计为每个2.5万美元至4万美元。英伟达发言人kristin uchiyama透露称，最终定价将由nvidia制造伙伴制定。

随着chatgpt等推动ai应用发展，nvidia芯片被视为高效处理大量资料和训练大型语言模型的关键芯片，当下市场供不应求，产量问题成为业界关注的重点。

据《金融时报》8月报道指出，nvidia计划在2024年将h100产量成长三倍，产量目标将从2023年约50万个增加至2024年200万个。

关于h200的推出是否会影响上一代h100的生产，kristin uchiyama指出，未来全年的整体供应量还将有所增加。

hbm3e/hbm3时代将至

值得一提的是，此次英伟达发布的h200是首次采用hbm3e存储器规格，使gpu存储器带宽从h100的每秒3.35tb提高至4.8tb，提高1.4倍，存储器总容量也从h100的80gb提高至141gb，容量提高1.8倍。

此外，据媒体引述业内人士称，三星电子计划从明年1月开始向英伟达供应高带宽内存hbm3，hbm3将被应用在英伟达的图形处理单元（gpu）上。

“整合更快、更广泛的hbm存储器有助于对运算要求较高的任务提升性能，包括生成式ai模型和高性能运算应用程式，同时优化gpu使用率和效率”英伟达高性能运算产品副总裁ian buck表示。

近年来，ai服务器需求热潮带动了ai加速芯片需求，其中高频宽存储器——hbm，成为加速芯片上的关键性dram产品。以规格而言，据trendforce集邦咨询研究指出，当前hbm市场主流为hbm2e，包含nvidia a100/a800、amd mi200以及多数csps自研加速芯片皆以此规格设计。同时，为顺应ai加速器芯片需求演进，各原厂计划于2024年推出新产品hbm3e，预期hbm3与hbm3e将成为明年市场主流。

近期，三星、美光等存储大厂正在不断加快扩产步伐。据此前媒体报道，为了扩大hbm产能，三星已收购三星显示（samsung display）韩国天安厂区内部分建筑及设备，用于hbm生产。三星计划在天安厂建立一条新封装线，用于大规模生产hbm，该公司已花费105亿韩元购买上述建筑和设备等，预计追加投资7000亿-1万亿韩元。 

而美光科技位于台湾地区的台中四厂于11月初正式启用。美光表示，台中四厂将整合先进探测与封装测试功能，量产hbm3e及其他产品，从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。该公司计划于2024年初开始大量出货hbm3e。

从hbm不同世代需求比重来看，据trendforce集邦咨询表示，2023年主流需求自hbm2e转往hbm3，需求比重分别预估约是50%及39%。随着使用hbm3的加速芯片陆续放量，2024年市场需求将大幅转往hbm3，而2024年将直接超越hbm2e，比重预估达60%，且受惠于其更高的平均销售单价（asp），将带动明年hbm营收显著成长。

trendforce集邦咨询此前预估，由于hbm3平均销售单价远高于hbm2e与hbm2，故将助力原厂hbm领域营收，可望进一步带动2024年整体hbm营收至89亿美元，年增127%。

封面图片来源：拍信网