设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

微软开源 1.58bit 推理框架:千亿参数模型量化后单 CPU 可跑,速度每秒 5-7 个 token

量子位 2024/10/22 18:54:45 责编:汪淼

微软开源 1bit 大模型推理框架!

现在 1000 亿参数大模型量化后单 CPU 可跑,速度可达每秒 5-7 个 token。

比如在苹果 M2 新品上运行 BitNet b1.58 3B 模型,be like:

就是今年爆火论文 The Era of 1-bit LLMs 的官方代码实现,开源不到一周 GitHub 已揽获 7.9k Star

传统大模型参数以 16 位浮点数(如 FP16 或 BF16)形式的存储,而 BitNet b1.58 将其统统变成了三进制,也就是 {-1, 0, 1}

这里的“1.58 bit”指每个参数可以用 1.58 位的信息来表示。

转换之后,矩阵中的计算就只会涉及到加法,因此会让大模型在保持一定精度的同时,显著减少所需的存储空间和计算资源,也显著提升了在本地设备上运行 LLM 的可能性。

这个项目开源后,在 X 上也受到了一波高度关注。

千亿参数模型量化后单 CPU 可跑

bitnet.cpp 是 1bit LLM(例如 BitNet b1.58)的官方推理框架。

该框架配备了一系列优化内核,支持在 CPU 上进行快速且无损的 1.58bit 模型推理,未来将扩展支持 NPU 和 GPU。

bitnet.cpp首版主要支持 CPU 推理

具体性能改进方面,在 ARM CPU 上,该框架可实现 1.37 至 5.07 倍的加速,而且更大的模型将有更显著的性能提升。

同时,它能将能耗降低 55.4% 至 70.0%,进一步增强效率。

在 x86 CPU 上,加速效果介于 2.37 至 6.17 倍之间,能耗减少 71.9% 至 82.2%

网友们也发现了华点,在 x86 上的性能增益量比 ARM 更大。

此外,bitnet.cpp 能使千亿参数模型量化后单 CPU 可跑,速度可达每秒 5-7 个 token,接近人类阅读速度。

微软还展示了使用 bitnet.cpp 推理框架支持的不同 1 bit LLM。

6 页论文,引入 1 bit LLM

1 bit LLM 的实现方法,微软在一年前就有相关研究,称为 BitNet(一种 Transformer),用 BitLinear 替换了 nn.Linear

今年二月,BitNet 原班人马在上一篇论文的基础之上做了优化,提出 BitNet b1.58,在原始 BitNet 的基础上增加了一个额外的 0 值

然后这篇内容只有 6 页的论文引发热议:

BitNet b1.58 模型的权重被量化为三元值 {-1, 0, 1},相当于在二进制系统中使用了 1.58 bit 来表示每个权重

采用了 absmean 量化函数来约束权重,将权重矩阵通过其平均绝对值进行缩放,然后四舍五入到最接近的整数值(-1、0 或 1)。

激活量化中,激活值被缩放到 [−Qb, Qb] 的范围,以此来消除零点量化。

在架构设计上,BitNet b1.58 借鉴了 Llama,使用了 RMSNorm、SwiGLU、旋转位置编码等组件,并移除了所有偏置项。这种设计使其能够轻松集成到主流的开源框架中。

实验中,与 Llama 相比,BitNet b1.58 在矩阵乘法方面节省了 71.4 倍的计算能耗。

这种方法发布后,也有不少人在这项研究的基础之上进行探索。

其中一个问题是,BitNet b1.58 将每个参数仅用三元值表示,但是所有这些都需要从头开始训练模型,并不是谁都有预算来进行 LLM 预训练。

而 Huggingface Transformers 最近整合了 BitNet b1.58,运用了一些技巧,使得现有模型可以直接微调到 1.58bit

感兴趣的童鞋可以自行查阅。

不过也有网友指出了这种方法的局限:

总之,1 bit LLM 具有巨大的潜力。

但也正如网友所言,1 bit LLM 关键还得是能在实践中证明自己。

参考链接:

  • [1]https://github.com/microsoft/BitNet

  • [2]https://x.com/rohanpaul_ai/status/1847814379657462201

  • [3]https://x.com/rohanpaul_ai/status/1848172443258728860?s=46&t=iTysI4vQLQqCNJjSmBODPw

  • [4]https://huggingface.co/blog/zh/1_58_llm_extreme_quantization

本文来自微信公众号:微信公众号(ID:QbitAI),作者:西风,原标题《微软开源爆火 1.58bit 大模型推理框架!千亿参数模型量化后单 CPU 可跑,速度每秒 5-7 个 token》

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知