我们之前提到过,NVIDIA新一代显卡会转向FP4标准,从Blackwell开端固然也支撑FP4、MXFP4这两种标准,但重点推的是NVFP4,它跟E2M1 FP4构造差不多,但精度几乎没有若干损掉。
GB300在支撑FP4后机能晋升了50%,精度比FP8几乎没有损掉,内存占用大年夜幅削减2-3倍,能效则是50倍晋升。
然则在FP64上面,这几年的显卡,尤其是顶级产品不仅没晋升,还在倒退,HPCWire做了这几代显卡的比较,如下所示:

A100时代FP64机能还有9.7TFLOPS,H100及H200是34TFLOPS,B100、B200是30、37TFLOPS,B300则是大年夜幅降低到了1.2TFLOPS。
这已经引起了学术圈的抱怨,SC25大年夜会时代,TOP500的提议人、田纳西大年夜学传授Jack Dongarra就表示NVIDIA在从Hopper架构转向Blackwell时没有本质性晋升FP64机能。
AI机能固然重要,但在科学计算上,比如材料科学、气候建模、流体力学模仿等研究中,FP64机能是无可替代的。
对于这些质疑,NVIDIA负责HPC、AI超大年夜范围基本举措措施解决筹划的高等总监Dion Harris强调他们并没有放弃64位计算,它依然是核心。
他提到10月份推出的cuBLAS,这是一个CUDA-X数学库,可以在矢量核心上模仿FP64计算,应用这个库可以让FP64机能晋升1.8倍。
至于专业人士等待的FP64机能晋升,Dion Harris提到NVIDIA将来的GPU会在核心底层上晋升FP64计算,但具体信息临时不克不及说。
来岁3月份会有GTC大年夜会上,NVIDIA应当会颁布下一代GPU架构了,或许会在这方面有所变更。

发表评论 取消回复