摩爾線(xiàn)程首個(gè)千卡KUAE智算中心落地

據摩爾線(xiàn)程官網(wǎng)消息，12月19日，摩爾線(xiàn)程首個(gè)全國產(chǎn)千卡千億模型訓練平臺——摩爾線(xiàn)程KUAE智算中心揭幕儀式在北京成功舉辦，宣告國內首個(gè)以國產(chǎn)全功能GPU為底座的大規模算力集群正式落地。與此同時(shí)，摩爾線(xiàn)程聯(lián)合國內眾多合作伙伴發(fā)起并成立了“摩爾線(xiàn)程PES - KUAE智算聯(lián)盟”和“摩爾線(xiàn)程PES - 大模型生態(tài)聯(lián)盟”，共同夯實(shí)從智算基礎設施到大模型訓練與推理的國產(chǎn)大模型一體化生態(tài)，持續為我國大模型產(chǎn)業(yè)發(fā)展加速。

據官方介紹，摩爾線(xiàn)程KUAE智算中心解決方案以全功能GPU為底座，是軟硬一體化的全棧解決方案，包括以KUAE計算集群為核心的基礎設施、KUAE Platform集群管理平臺以及KUAE ModelStudio模型服務(wù)，旨在以一體化交付的方式解決大規模GPU算力的建設和運營(yíng)管理問(wèn)題。該方案可實(shí)現開(kāi)箱即用，大大降低傳統算力建設、應用開(kāi)發(fā)和運維運營(yíng)平臺搭建的時(shí)間成本，實(shí)現快速投放市場(chǎng)開(kāi)展商業(yè)化運營(yíng)。

摩爾線(xiàn)程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在內的業(yè)界主流分布式框架，并融合了多種并行算法策略，包括數據并行、張量并行、流水線(xiàn)并行和ZeRO，且針對高效通信計算并行和Flash Attention做了額外優(yōu)化。

目前，摩爾線(xiàn)程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類(lèi)主流大模型的訓練和微調?；谀柧€(xiàn)程KUAE千卡集群，70B到130B參數的大模型訓練，線(xiàn)性加速比均可達到91%，算力利用率基本保持不變。