在当今数字化浪潮汹涌澎湃的时代背景下, 大模型技术犹如一颗璀璨的明星, 照亮了科技发展的广阔苍穹, 而存储技术的变革, 作为这一进程中的坚实基石, 正日益成为产业界与学术界共同瞩目的核心焦点。
为此, 浪潮信息联合 DOIT 推出《有数・高端对话》栏目, 分布式存储产品线总经理姜乐果及 DOIT 传媒主编李祥敬, 与特邀嘉宾上海交通大学吴晨涛和中科闻歌陈思含共同围绕大模型的存储需求变化, 展开了一场深度对话。深入探讨大模型时代背景下数据存储的变革之道, 共话数字经济的创新发展, 进一步夯实数据基础设施, 充分释放数据资源的巨大价值, 为广大行业同仁及用户提供价值参考与启示。
大模型驱动存储变革
大模型技术的迅猛发展对存储系统提出了极为严苛的要求。以 GPT-4 为例, 其参数量达到了 2200 亿, 每张 GPU 配备的 HBM 显存带宽达 1.6TB/s, 整体训练所需的显存容量接近 400TB。根据 Meta 等公司的调研数据显示, 大模型在运行过程中会频繁遭遇内存故障, 平均每 2-3 小时便可能导致一次训练中断, 这无疑对存储系统的安全可靠性提出了极高的标准。吴晨涛教授以 GPT-4 等前沿模型作为实例, 清晰阐明了大容量 HBM 显存、高带宽以及高可靠性是存储系统不可或缺的三大核心特性。
同时, 从宏观角度出发, 吴教授呼吁建立开放的数据生态。在这一生态中, 通过强化监管与隐私保护, 旨在打破数据孤岛, 促进数据的流动与共享, 为高质量数据的充分涌流开辟道路, 从而为行业大模型的发展提供持续不断的动力。
作为存储厂商的代表, 姜乐果从存储技术进化的视角出发, 详细阐述了在大模型驱动下, 传统计算与当前智算中心存储设施的全方位变革。在性能层面, 智算中心对存储性能的要求已从百 GB 级跃迁至 TB 级, 与算力协同攀升; 在容量维度, 存储系统已从 PB 级大步迈向 EB 级, 轻松应对海量数据洪流的冲击。同时, 数据格式与协议的多元化与复杂性日益显著, 这对存储系统突破兼容壁垒提出了迫切需求。
姜乐果还展示了企业在数据要素市场的积极布局与创新探索。浪潮信息紧跟政策导向, 与多方合作伙伴携手, 深入挖掘行业需求, 精心研发端到端的解决方案及高性能存储新品。例如, 新一代分布式存储平台 AS13000G7 系列产品在 MLPerf™AI 存储基准评测中表现出色, 在 3D-UNet (医学图像分割) 和 CosmoFlow (宇宙学参数预测) 两个应用场景共计 8 项测试中, 斩获 5 项全球第一, 彰显强大的性能实力, 为行业大模型数据存储难题提供有力支撑。
中科闻歌作为一家专注于复杂数据解析和 AI 辅助决策的人工智能公司, 陈思含分享了中科闻歌在大模型实践中的宝贵经验。在大模型的发展历程中, 存储需求经历了显著的动态演变: 从早期对训练速度的追求导致存储性能需求激增, 到参数量膨胀带来的数据量与参数规模指数级增长, 再到多模态数据处理对存储复杂性的严格要求, 以及混合读写模式和多样化应用场景引发的多元化需求。
数据质量作为行业大模型发展的核心驱动力, 中科闻歌在此方面进行了创新实践。集成了全球多语言媒体数据的闻海大数据平台, 运用跨模态 AI 技术融合信息, 构建了垂直领域知识库, 并提供模块化的智能大屏工具。这一平台不仅具备全球范围内高效、安全获取和处理高质量数据的能力, 还成为训练大模型所需高质量数据的主要数据源和知识库。
在为客户提供大模型落地产品和系统时, 中科闻歌采取了混合模式, 即结合公司自身海量数据与用户的私有行业数据进行模型训练和应用构建, 确保了客户的数据安全, 避免了数据出域的风险。
协同创新下的趋势展望
展望未来存储发展, 吴晨涛教授立足学术前沿, 前瞻性地预判了关键技术走向。他认为, 跨域资源调度共享技术, 特别是基于 CXL 协议的内存池创新, 将打破资源限制, 实现全域资源的灵动调配。同时, 优化元数据管理将提升数据检索与处理效率, 而内存故障预测及 Checkpointing 技术则能确保系统稳定运行, 最大限度地减少故障对数据处理连续性和完整性的影响。这些技术的迭代升级将为存储技术的发展指明方向。
作为存储厂商的代表, 浪潮信息积极拥抱变革, 从 Storage for AI 深度适配需求, 到 AI for Storage 智能赋能提效, 再到与大模型企业紧密合作, 精准挖掘系统性能潜能, 为用户提供更贴合业务的产品。
作为大模型企业的代表, 中科闻歌致力于打造高效、安全和可靠的存储系统, 以适应大模型时代的新要求。在架构上, 采用存算分离架构部署 AI-Ready 数据基础设施, 以加速智能应用。在效率提升方面, 全闪存存储凭借其卓越性能成为破局关键, 能够加速数据流转, 激活数据价值。而在安全防护层面, 中科闻歌构建主动防御体系, 从内核强化存储安全, 筑牢安全防线。
此次对话栏目的成功举办, 不仅搭建了产学研用之间的沟通桥梁, 还为各方的深度合作提供了宝贵的机会。各方代表能够相互交流思想、碰撞火花, 共同探讨大模型时代下的存储技术变革。这一举措为产学研用四方携手共进创造了难得契机, 共同迎接大模型时代带来的存储变革浪潮, 推动我国存储产业的繁荣发展。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。