大模型也要比参数,英特尔巨型模型AuroraGPT基础参数达1万亿

速途网5月23日讯(报道:乔志斌)今日,英特尔成功完成了为美国阿贡国家实验室设计的超级计算机Aurora的开发。值得一提的是,英特尔、HPE和Argonne共同开发了一种名为AuroraGPT的大型语言模型,专门用于科学计算。与基于GPT-3的ChatGPT相比,AuroraGPT建立在一个拥有1万亿个参数的基础模型之上,规模约是前者的5倍。

Aurora系统采用英特尔Xeon CPU Max和Xeon GPU Max系列芯片提供支持,并将其算力从最初的1 Exaflop目标升级为2 Exaflop,使其与基于AMD芯片的Frontier超级计算机媲美(IT之家注:Frontier是目前已公布的地球上最强超级计算机)。

据英特尔透露,Aurora超级计算机由10624个节点组成,其中包括基于Sapphire Rapids-SP系列的21,248个Xeon CPU和基于Ponte Vecchio设计的63,744个GPU。该系统具备每秒2.12 PB的峰值带宽和每秒0.69 PB的峰值二分带宽。

在内存方面,Aurora超级计算机配备了10.9 PB的DDR5 DRAM、1.36 PB的CPU HBM和8.16 PB的GPU HBM。因此,该系统的DRAM峰值带宽达到5.95 PB/s,CPU HBM提供30.5 PB/s的峰值带宽,而GPU HBM的峰值带宽则为208.9 PB/s。在存储方面,该系统配置了230 PB的DAOS容量,以每秒31 TB的峰值带宽运行,并共计配置了1024个节点。

(0)
上一篇 2023年5月23日 10:32
下一篇 2023年5月23日 10:53