12 月 19 日，摩尔线程首个全国产千卡千亿模型训练平台 —— 摩尔线程 KUAE 智算中心揭幕仪式在北京成功举办，宣告国内首个以国产全功能 GPU 为底座的大规模算力集群正式落地。与此同时，摩尔线程联合国内众多合作伙伴发起并成立了摩尔线程 PES -KUAE 智算联盟和摩尔线程 PES-大模型生态联盟，共同夯实从智算基础设施到大模型训练与推理的国产大模型一体化生态，持续为我国大模型产业发展加速。
摩尔线程 CEO 张建中在主题演讲中带来重磅发布，包括大模型智算加速卡 MTT S4000，以及专为千亿参数大模型训练和推理提供强大支持的摩尔线程 KUAE 平台，他表示：“摩尔线程 KUAE 智算中心的正式启用，是公司发展的重要里程碑。摩尔线程构建了从芯片到显卡到集群的智算产品线，依托全功能 GPU 的多元计算优势，旨在满足不断增长的大模型训练和推理需求，以绿色、安全的智能算力，大力推动 AIGC、数字孪生、物理仿真、元宇宙等多模态应用的落地和千行百业的高质量发展。”
全新智算加速卡 MTT S4000：训推兼顾，专为大模型打造
摩尔线程大模型智算加速卡 MTT S4000，采用第三代 MUSA 内核，单卡支持 48GB 显存和 768GB/s的显存带宽。基于摩尔线程自研 MTLink1.0 技术，MTT S4000 可以支持多卡互联，助力千亿大模型的分布式计算加速。同时，MTT S4000 提供先进的图形渲染能力、视频编解码能力和超高清 8K HDR 显示能力，助力 AI 计算、图形渲染、多媒体等综合应用场景的落地。尤为重要的是，借助摩尔线程自研 MUSIFY 开发工具，MTT S4000 计算卡可以充分利用现有 CUDA 软件生态，实现 CUDA 代码零成本迁移到 MUSA 平台。
摩尔线程 KUAE 智算中心解决方案：软硬一体，开箱即用
摩尔线程 KUAE 智算中心解决方案以全功能 GPU 为底座，是软硬一体化的全栈解决方案，包括以 KUAE 计算集群为核心的基础设施、KUAE Platform 集群管理平台以及 KUAE ModelStudio 模型服务，旨在以一体化交付的方式解决大规模 GPU 算力的建设和运营管理问题。该方案可实现开箱即用，大大降低传统算力建设、应用开发和运维运营平台搭建的时间成本，实现快速投放市场开展商业化运营。
・基础设施：包含 KUAE 计算集群、RDMA 网络与分布式存储。此次发布的摩尔线程 KUAE 千卡模型训练平台，建设周期只需 30 天，支持千亿参数模型的预训练、微调和推理，可实现高达 91% 的千卡集群性能扩展系数。基于 MTT S4000 和双路 8 卡 GPU 服务器 MCCX D800，摩尔线程 KUAE 集群支持从单机多卡到多机多卡，从单卡到千卡集群的无缝扩展，未来将推出更大规模的集群，以满足更大规模的大模型训练需求。
・KUAE Platform 集群管理平台：用于 AI 大模型训练、分布式图形渲染、流媒体处理和科学计算的软硬件一体化平台，深度集成全功能 GPU 计算、网络和存储，提供高可靠、高算力服务。通过该平台，用户可灵活管理多数据中心、多集群算力资源，集成多维度运维监控、告警和日志系统，帮助智算中心实现运维自动化。
・KUAE ModelStudio 模型服务：覆盖大模型预训练、微调和推理全流程，支持所有主流开源大模型。通过摩尔线程 MUSIFY 开发工具，可以轻松复用 CUDA 应用生态，内置的容器化解决方案，则可实现 API 一键部署。该平台意在提供大模型生命周期管理，通过简洁、易操作的交互界面，用户可按需组织工作流，大幅降低大模型的使用门槛。
摩尔线程 KUAE 千卡集群：多重优势，助力大模型高效训练
分布式并行计算是实现 AI 大模型训练的关键手段。摩尔线程 KUAE 支持包括 DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale 在内的业界主流分布式框架，并融合了多种并行算法策略，包括数据并行、张量并行、流水线并行和 ZeRO，且针对高效通信计算并行和 Flash Attention 做了额外优化。
目前，摩尔线程支持包括 LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。基于摩尔线程 KUAE 千卡集群，70B 到 130B 参数的大模型训练，线性加速比均可达到 91%，算力利用率基本保持不变。以 2000 亿训练数据量为例，智源研究院 700 亿参数 Aquila2 可在 33 天完成训练；1300 亿参数规模的模型可在 56 天完成训练。此外，摩尔线程 KUAE 千卡集群支持长时间连续稳定运行，支持断点续训，异步 Checkpoint 少于 2 分钟。
摩尔线程 KUAE 千卡计算集群凭借高兼容性、高稳定性、高扩展性和高算力利用率等综合优势，将成为大模型训练坚实可靠的先进基础设施。
智算和大模型生态联盟：多方协作，促进生态融合
大模型时代，以 GPU 为代表的智能算力是基石，也是生成式 AI 世界的中心。摩尔线程联合中国移动北京公司、中国电信北京分公司、联想、世纪互联、光环新网、中联数据、数道智算、中发展智源、企商在线、北电数智北京数字经济算力中心、紫光恒越、瑞华产业控股（山东）、赛尔网络、中科金财、中耘智算、金舟远航（排名不分先后）等十余家企业，共同宣布“摩尔线程 PES - KUAE 智算联盟”成立。联盟将大力建设和推广从底层硬件到软件、工具到应用的全国产智算平台，旨在实现集群的高利用率，以好用、易用的全栈智算解决方案成为大模型训练首选。
活动现场，摩尔线程分别与中联数据和数道智算进行了现场签约，并共同为摩尔线程 KUAE 智算中心揭牌。现场 200 多名与会嘉宾一同见证了这一重要时刻。
人工智能应用的突破，生态是关键。为此，摩尔线程携手 360、飞桨、京东言犀、智谱 AI、超对称、无问芯穹、滴普科技、网易、清华大学、复旦大学、浙江大学、北京理工大学、凌云光、瑞莱智慧、南威软件（排名不分先后）等多家大模型生态伙伴，发起并成立“摩尔线程 PES - 大模型生态联盟”。摩尔线程将以 MUSA 为中心的软硬一体化大模型解决方案，积极与广泛的生态伙伴开展兼容适配及技术调优等工作，共同推动国产大模型生态的全面繁荣。
在最后的圆桌对话环节，摩尔线程副总裁董龙飞与中能建绿色数字科技（中卫）有限公司董事长墙虎、智谱 AI CEO 张鹏、京东云首席 AI 科学家裴积全、中金资本董事总经理翟赢、超对称创始人吴恒魁、数道智算董事长甄鉴等重磅嘉宾，就当前大模型的算力需求和智算中心的建设与运营等话题展开了深入探讨。嘉宾一致认为，智算中心不应只是硬件的堆积，更是对软硬一体化的 GPU 智算系统整合能力的考验，GPU 分布式计算系统的适配、算力集群的管理和高效推理引擎的应用等，都是提高算力中心可用性的重要因素。国产智算中心的发展，更是依托于将各方需求和优势充分融合，产业聚力才能实现整个生态的协同，推动国产事业往前发展。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。