设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

利用固态硬盘降低 AI 微调训练显存需求,群联展示 aiDaptiv+ 平台

2024/3/27 16:03:23 来源:IT之家 作者:溯波(实习) 责编:汪淼

IT之家 3 月 27 日消息,据外媒 Tom's Hardware 报道,群联在英伟达 GDC2024 上展示了同 Maingear 合作的 aiDaptiv+ 硬件平台,可降低中小型企业 AI 模型微调训练成本。

群联表示中小型企业在模型微调训练方面面临各种困难:采用云服务不仅昂贵也存在数据隐私的不稳定性;而在本地运行又需要复杂的构建过程,电力需求也不能忽视。

而群联 aiDaptiv+ 方案采用超耐用型 aiDAPTIVCache 固态硬盘,可扩展系统的可用内存容量,容纳更大模型,同时也方便易用。

具体来说,aiDaptiv+ 包含的中间件软件库可将 GPU 显存中不活跃的 AI 模型层切片分离,在 aiDAPTIVCache 缓存固态硬盘上暂放待处理的这些切片,并将 GPU 上已完成的部分与待处理的切片交换。此过程无需对 AI 应用本身进行修改。

群联 aiDaptiv+ 方案介绍

▲ 图源 Tom's Hardware

群联 aiDaptiv+ 方案组成

▲ 图源 Tom's Hardware

群联表示,其 aiDaptiv+ 方案可在一台 4 卡工作站平台中完成 Llama 70b 模型的微调训练,容纳显存总量 7 倍以上的数据

群联 aiDaptiv+ 方案性能

▲ 图源群联官方

而为了实现这种显存外数据存储,方案中的固态硬盘必须要有足够高的耐久。

群联此次推出的 aiDAPTIVCache 系列固态硬盘 ai100E,其采用 SLC 闪存,每根容量 2TB,拥有 5 年内 100DWPD(IT之家注:每日整盘写入次数)的写入耐久

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知