设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

阿里云百炼上线 Qwen2.5-Turbo 模型,可支持 100 万超长上下文

2024/11/20 15:55:30 来源:之家网站 作者:- 责编:-

11 月 20 日消息,最新的 Qwen2.5-Turbo 已在阿里云百炼上线,该模型支持 100 万超长上下文,相当于 100 万个英文单词或 150 万个汉字,在多个长文本评测集上的性能表现超越 GPT-4。即日起,所有用户可在阿里云百炼调用 Qwen2.5-Turbo API,百万 tokens 仅需 0.3 元。

图片 1

全新的 Qwen2.5-Turbo 在 1M 长度的超长文本检索(Passkey Retrieval)任务中的准确率可达到 100%,在长文本评测集 RULER 上获得 93.1 分,超越 GPT-4;在 LV-Eval、LongBench-Chat 等更加接近真实场景的长文本任务中,Qwen2.5-Turbo 在多数维度超越了 GPT-4o-mini;此外,在 MMU、LiveBench 等短文本基准上 Qwen2.5-Turbo 的表现也非常优秀,在大部分任务上的表现显著超越之前上下文长度为 1M tokens 的开源模型。

图片

图片

Qwen2.5-Turbo 在长文本、短文本任务评测集上均表现优秀

在推理速度方面,通义千问团队利用稀疏注意力机制将注意力部分的计算量压缩了约 12.5 倍,将处理 1M tokens 上下文时的首字返回时间从 4.9 分钟降低到 68 秒,实现了 4.3 倍的速度提升。

图片 2

Qwen2.5-Turbo 推理速度可提升 4.3 倍

Qwen2.5-Turbo 可应用于长篇小说深入理解、仓库级别代码助手、多篇论文阅读等场景,可一次性处理 10 本长篇小说,150 小时的演讲稿,3 万行代码。针对该模型,阿里云百炼免费为用户赠送 1000 万 tokens 额度。

该团队表示,长文本任务处理依然存在诸多挑战,未来将进一步探索长序列人类偏好对齐,优化推理效率以减少运算时间,并继续研发更大、更强的长文本模型。

据介绍,阿里云百炼已上线 Qwen、Llama、Flux 等超 200 款国内外主流开源和闭源大模型,用户可选择直接调用、训练微调或打造 RAG 应用。目前,一汽、金山、哈啰集团、国家天文台等超 30 万企业和机构在使用阿里云百炼。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:业界动态

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知