设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

支持 100 万 Tokens 上下文,阿里通义千问推出 Qwen2.5-1M 开源模型

2025/1/27 7:14:12 来源:IT之家 作者:浩渺 责编:浩渺
感谢IT之家网友 Skyraver 的线索投递!

IT之家 1 月 27 日消息,阿里通义千问今日宣布,正式推出开源的 Qwen2.5-1M 模型及其对应的推理框架支持。

IT之家从官方介绍获悉,通义千问本次发布了两个新的开源模型,分别是 Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M,这是通义千问首次将开源的 Qwen 模型的上下文扩展到 1M 长度

为了帮助开发者更高效地部署 Qwen2.5-1M 系列模型,Qwen 团队完全开源了基于 vLLM 的推理框架,并集成了稀疏注意力方法,使得该框架在处理 1M 标记输入时的速度提升了 3 倍到 7 倍

  • 长上下文任务

在上下文长度为 100 万 Tokens 的大海捞针(Passkey Retrieval)任务中,Qwen2.5-1M 系列模型能够准确地从 1M 长度的文档中检索出隐藏信息,其中仅有 7B 模型出现了少量错误。

图片

对于更复杂的长上下文理解任务,选择了 RULER、LV-Eval 和 LongbenchChat 测试集。

图片

图片

从这些结果中,Qwen 得出以下几点关键结论:

显著超越 128K 版本:Qwen2.5-1M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本,特别是在处理超过 64K 长度的任务时表现出色。

性能优势明显:Qwen2.5-14B-Instruct-1M 模型不仅击败了 Qwen2.5-Turbo,还在多个数据集上稳定超越 GPT-4o-mini,为长上下文任务提供了开源模型的选择。

  • 短序列任务

图片

可以发现:

Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M 在短文本任务上的表现与其 128K 版本相当,确保了基本能力没有因为增加了长序列处理能力而受到影响。

与 GPT-4o-mini 相比,Qwen2.5-14B-Instruct-1M 和 Qwen2.5-Turbo 在短文本任务上实现了相近的性能,同时上下文长度是 GPT-4o-mini 的八倍。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知