大模型、AI、算力，是科技行业当前最热门的词汇。大型科技企业纷纷入局，腾讯作为 AI Infra 的主流玩家，在 9 月 5 日开幕的 2024 腾讯全球数字生态大会上发布了新一代大模型“混元 Turbo”，以及 AI Infra 品牌“腾讯云智算”，加速释放 AI 生产力。
其中，腾讯云在大会的“AI 基础设施专场”重磅发布了智能高性能网络 IHN。作为“腾讯云智算”的网络底座，IHN 为“腾讯云智算”的卓越性能提供了坚实的基础。腾讯云网络 VPC 产品负责人王营对 IHN 进行了全面解析，深入分享了 IHN 产品的网络架构和技术创新。
算力集群依赖网络性能
2017 年 Transformer 时代开启，AGI 展现出变革经济社会的巨大潜能，各类基于大模型的 AI 应用，例如聊天机器人、文生图、文生视频纷纷面世。大模型从 GPT3.0 逐步迭代至 GPT4，集群规模也从百卡、千卡、万卡逐步提升至十万卡，展现出 AI 对算力的强劲需求。
数据显示，在过去四年间，推理算力提升了 32 倍，训练算力提升了 16 倍，两者均呈现出陡峭的增长曲线。然而，相比之下，网络带宽的增长仅为 4 倍，这一增速远不及算力的飞跃，导致了网络带宽在支撑快速增长的算力性能时显得力不从心，陷入“拖后腿”的尴尬境界；此外随着芯片厂商加大 GPU 布局，智算中心内出现了越来越多来自不同厂商、不同型号的 GPU，网络侧的“担子”愈加沉重，亟待支持高效的异构组网方案，提高算力性能。
王营谈到了四个挑战：
一是通信带宽，AI 大模型场景需要支撑 PB 级训练数据，GPU 卡间需要频繁通信，训练过程中通信占比最高可达 50%，通信带宽影响算力性能发挥。
二是网络丢包，训练情况下通常使用 RDMA 网络进行加速数据的传输，RDMA 对丢包比较敏感，根据相关研究报告，网络持续出现 0.1% 的丢包，可能会导致 50% 的算力损失。
三是网络延时，AI 训练依赖的 RDMA 网络对延时极度敏感，不同的网络架构延时差最高能够达到 5 倍。
四是网络故障，大规模集群使得网络故障概率水涨船高，算力卡、光模块、线缆均会导致 AI 训练任务出现中断，需要从上次存档点重新训练，将造成算力的巨大浪费。
可以说，算力集群的实战表现，严重依赖底层网络性能，大集群不等于大算力。
高性能网络 IHN 特征详解
面向智算时代，业界首先需要一套大带宽、低延时的无损网络支撑 GPU 的超强算力；其次，需要极简的运维，提供网络自愈和快速排障能力，提升训练效率；最后，需要具备超强的兼容性，满足异构算力接入和上下游计算、存储协同，构建“算存网”一体化方案。
王营指出，腾讯云智能高性能网络 IHN 是基于支撑腾讯万卡集群的星脉网络技术，打造的卓越性能与创新价值的商业化产品，旨在解决传统以太网架构与算力基础设施匹配度低的难题。从架构看，腾讯云智能高性能网络 IHN 分为四个部分：建设系统、控制系统、运维系统、业务网络。
首先是建设系统，一套千卡的 GPU 集群，一天的空闲最高可产生七十万元的闲置成本，可见网络搭建效率的重要性。IHN 提供了从建设到验收到交付的自动化建设系统，通过建模和自动化等多重手段，将千卡集群规模的建设时间控制在 30 天以内。
其次是控制系统。如同建设高速公路需要有信号控制系统，IHN 打造的网络控制系统和端侧控制系统，可实时控制发送报文的路径和效率，提前规避在网络中出现拥塞，实现全局业务流的精准监控、决策和调度，实现分钟级的网络拥塞消除，打造“算力高速公路”。
再次是运维系统。腾讯云 IHN 运维系统，基于端到端全链路信息采集，实现 360 度立体无死角监控，支持毫秒级调度、分钟级定位故障和快速自愈。基于系统化的运维流程，配合大量的自动化排障工具，IHN 可做到网络故障 1 分钟发现、3 分钟定位，最快 5 分钟恢复。
最后是业务网络。IHN 采用了腾讯全自研的网络设备，包括支持 25.6T / 51.2T 容量交换机，200G / 400G 硅光模块。基于多轨道网络架构，实现 AI 流量亲和，路径延时降低 40% 以上。配合腾讯自研的 TCCL 集合通信库，实现异构并行通信，训练效率提升 20%。同时兼容多个厂商、多种 GPU 卡，实现异构卡混合部署。
为适配不同场景下客户的需求，如产权独立、自主可控、按需订阅等，IHN 支持公有云和私有云的交付形态，提供多产品深度协同，一站式的解决方案。王营透露，IHN 产品已在腾讯集团内部深度使用，作为混元大模型 infra 网络底座，支持超万卡集群规模、多型号异构算力接入、分钟级故障自愈能力，向上支撑了超过 700 种集团业务。
基于在腾讯现网业务中的 IHN 应用，每一轮训练迭代，网络利用率基本稳定在 90% 以上高位，相比标准以太网架构提升了 60%；通信在训练过程中占比降至约 6%；各类性能指标均有不同幅度的提升。
结语
面向未来，腾讯云将继续秉承科技创新的理念，持续升级 AI 基础设施能力。据悉，下一代 IHN 产品将推出单网口支持 800G、整机 102.4T 容量的自研交换机，具备单 GPU 直出 3.2T 超节点特性，并支持在网计算能力，为客户提供更高带宽、更强性能的 AI 网络方案，成为企业拥抱智算时代的重要帮手。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。