您现在的位置是：主页 > 科技圈快讯 > 最新 >
英伟达年终巨献：全新B300专为o1推理模型设计，同时曝光RTX5090的相关信息
发布时间：2024年12月27日 15:11:10 最新 人已围观
简介英伟达CEO黄仁勋被称为“圣诞老黄”，因其发布了新一代AI芯片大礼包。其中包括高性能GPU B300和集成CPU的超级芯片GB300，显著提升了计算能力，相较于B200在FLOPS表现上提高了50%，并将显...
英伟达的创始人黄仁勋，成为了今年的“圣诞老黄”。
最新的AI芯片信息刚刚披露：
B300这款GPU新核弹，以及配有CPU的超级芯片GB300。
在算力方面，新品在FLOPS的表现上比B200提升了50%。
显存容量更是从192GB增至288GB，同样上涨了50%。
△Grok AI绘图
包括72个GB300的“新一代计算单元”GB300 NVL72，被称为“唯一能使OpenAI o1/o3推理大模型在高batch size下的思维链长度达到10万tokens的解决方案”。
这一更新距离今年3月发布的B200系列仅有几个月的时间。
根据SemiAnalysis的透露，自第三季度起，多家AI巨头已经将订单从B200转向B300（只有微软在第四季度仍继续购买部分B200）。
不少网友惊叹更新速度之快！
这不仅解决了之前传闻B200因设计缺陷导致延迟的问题，还回应了AMD MI300系列计划于2025年提升显存容量的消息。
又一款AI巨型芯片
既然都是基于Blackwell架构，没有跨代的变化，B300的性能提升来源于何处呢？
此次曝光揭示了三大主要改进：
采用与B200相同的台积电4NP工艺，但为全新流片。
功率提升，GB300和B300 HGX的TDP分别达到1.4KW和1.2KW，较B200系列分别提高了0.2KW。
架构上的微小创新，比如CPU与GPU之间的动态功率分配。
B300系列在显存方面也进行了升级：
显存从8层HBM3E提升至12层的12-Hi HBM3E。
显存容量提升至288GB。
显存带宽保持在8TB/s不变。
同时，产品交付模式也发生了重要变化：
GB200系列提供完整的Bianca Board，包括两块GPU、一颗CPU及所有其他组件，而GB300系列则仅提供参考板，客户需自行采购B300 GPU、Grace CPU以及HMC（限混合内存立方体）等组件。
这为供应链中的OEM和ODM制造商带来了新的机遇。
专为推理大模型设计
显存的提升对OpenAI o1/o3这类推理大模型至关重要，因为它能够增加KVCache的思维链长度，进而影响batch size和延迟。
以一个GB300 NVL72计算单元为例，其使得72个GPU能以极低的延迟并共享显存来处理相同问题。
从GB200到GB300的升级还带来了众多优势：
每个思维链的延迟降低。
可实现更长的思维链。
推理成本降低。
在解决同一问题时能够检索到更多样本，从而增强模型能力。
上一篇：没有了
