设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

摩尔线程开源 vLLM-MUSA,通过 MUSA 软件栈对 CUDA 接口兼容

2024/11/5 18:53:45 来源:IT之家 作者:沛霖(实习) 责编:沛霖
感谢IT之家网友 菜鸟N号C si not 的线索投递!

IT之家 11 月 5 日消息,摩尔线程官方今日发文,称已上线了大语言模型高速推理框架开源项目 vLLM 的 MUSA 移植版本,为开发者提供一个基于摩尔线程全功能 GPU 进行开源项目 MUSA 移植的范例。

vLLM 是一个高效且易用的大模型推理和服务框架,已在各种大语言模型中得到广泛应用,并成为业界常用的开源大模型推理框架。

摩尔线程团队基于 vLLM v0.4.2 版本进行了移植适配,为 vLLM 框架添加了摩尔线程 GPU 后端 Device 支持,并将移植适配后的 vLLM-MUSA 版本开源

开发者可以基于摩尔线程 GPU 及 vLLM-MUSA,进行二次开发、升级 vLLM 到社区更新版本等。

摩尔线程称通过 MUSA 软件栈对 CUDA 软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期。并提供 MUSIFY 自动代码移植工具等一系列工具和脚本,降低开发者在 MUSA 平台进行大语言模型训练和推理应用适配的难度。

IT之家附 vLLM-MUSA 开源地址:https://github.com/MooreThreads/vLLM_musa

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:摩尔线程vLLMMUSA

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知