设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

AMD Ryzen AI CPU 和 Radeon RX 7000 GPU 现支持本地运行 LLM 和 AI 聊天机器人

2024/3/7 14:43:35 来源:IT之家 作者:故渊 责编:故渊

IT之家 3 月 7 日消息,AMD 公司今天发布公告,表示用户可以本地化运行基于 GPT 的大语言模型(LLM),从而构建专属的 AI 聊天机器人。

AMD 表示用户可以在包括采用 AMD 新 XDNA NPU 的 Ryzen 7000 和 Ryzen 8000 系列 APU,以及内置 AI 加速核心的 Radeon RX 7000 系列 GPU 设备上,本地运行 LLM 和 AI 聊天机器人。

AMD 在公告中详细介绍了运行步骤,例如运行 70 亿参数的 Mistral,搜索并下载“TheBloke / OpenHermes-2.5-Mistral-7B-GGUF”;如果运行 70 亿参数的 LLAMA v2,搜索并下载“TheBloke / Llama-2-7B-Chat-GGUF”。

AMD 并不是第一个这样做的公司,英伟达(NVIDIA)最近也推出了 "Chat with RTX",这是一个由 GeForce RTX 40 和 RTX 30 系列 GPU 支持的人工智能聊天机器人。它采用 TensorRT-LLM 功能集进行加速,基于本地化数据集提供快速生成的人工智能结果。

IT之家附上公告原文地址,感兴趣的用户可以访问阅读。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:AMDAI

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知