全球数字财富领导者

英伟达GTC大会,主要有哪些看点?

2024-03-20 00:31:12
金融界
金融界
关注
0
0
获赞
粉丝
喜欢 0 0收藏举报
— 分享 —

《启航·求索前行之路——百位投资实战派预见2024》

作者:大摩数字经济混合基金经理雷志勇

3月19日凌晨,英伟达创始人黄仁勋在美国加州圣何塞SAP中心,发表了GTC 2024的主题演讲《见证AI的变革时刻》。发布会上介绍了新一代AI芯片架构BlackWell架构平台,搭载B200的GB200芯片,搭配第二代Transformer模型和第五代Nvlink,推出Nvidia Inference Microservice帮助开发者快捷部署AI模型。GB 200 NVL72推理性能更强,预计主要针对万亿参数大模型、推理端大客户(匹配推理需求目前占比将逐步超过训练系统)。

回顾过去8年,英伟达AI芯片性能从2016年发布的DGX-1以来提升了10倍。而未来10年会远超过去10年的性能提升速度,黄仁勋曾在3月斯坦福商学院SIEPR经济峰会以及View From The Top 系列活动提到在未来的10年里,英伟达将会把深度学习的计算能力再提高100万倍,相当于内每6个月性能提升1倍。英伟达加快加速芯片架构的迭代,从Hopper架构开始销售到Blackwell架构发布不到1年时间,Blackwell架构芯片在训练性能提升4X以上,推理30X,有机会让人工智能Scaling law不断推进。随着英伟达AI GPU芯片的每一次迭代,不仅性能、性价比会提升,而且对能源的消耗也会减少。发布会上黄仁勋举例,如果要训练一个1.8万亿参数量的GPT模型,需要8000张Hopper GPU,消耗15兆瓦的电力,连续跑上90天。但如果使用Blackwell GPU,只需要2000张,同样跑90天只要消耗四分之一的电力。当然不只是训练,生成Token的成本也会随之降低。单GPU每秒Token吞吐量翻了30倍。

Blackwell以美国数学家和博弈论学家 David Blackwell命名,继承了 Hopper GPU 架构,拥有2080亿个晶体管,是英伟达首个采用多芯片封装设计的 GPU,在同一个芯片上集成了两个GPU。集群层面这次性能的提升主要通过更大的芯片面积和NVLINK升级实现。典型的1个Blackwell GPU(B100)由2个DIE组成,采用台积电N4P(4nm)工艺,192GB HBM3e,单个die 1040亿晶体管、4nm工艺、10TB/s interface速率,通过C2C方案连接打破内存限制。单卡训练性能是Hopper 2.5倍,推理(Generation)是Hopper架构的30倍。

英伟达同时发布GB200 Superpod:1个Grace CPU加上2个Blackwell GPU以及800G Infiniband Supernic和Bluefield-3 DPU。GB200 NVL72服务器由36个GB200以及36个NVLink Switch构成,功耗为120kw,需要标配液冷。技术上看更高速率和规格的互联芯片、更高速率的光模块、液冷都将持续成为渗透率提升的主要方向,也是值得重点关注的方向。

敬告读者:本文为转载发布,不代表本网站赞同其观点和对其真实性负责。FX168财经仅提供信息发布平台,文章或有细微删改。
go