设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

在火山引擎用 DeepSeek,更稳更快:500 万 TPM、30ms 低延迟

2025/2/14 11:03:50 来源:之家网站 作者:- 责编:-

「高并发」是企业用户在应用 DeepSeek 这款现象级大模型重要需求,为了更好地助力企业、开发者们在业务场景中应用 DeepSeek 全系列模型和豆包大模型 1.5,火山引擎将原本 80 万的初始 TPM,再次提高至 500 万,全网最高!

    我们对比了目前主要 DeepSeek 三方服务商的 TPM 规模,我们期望越来越高的 TPM 规模,能够让客户低门槛地做出更有深度、更大并发的创新应用。

    此外,除了 500 万的初始 TPM,火山引擎还提供全网首家「50 亿初始离线 TPD 配额」,可满足企业信息打标以及其他大使用量的离线场景。

TPOT 代表的是吐字间隔,为了让 DeepSeek 更快、更准确地与用户交互,火山引擎不断完善推理层性能优化,将其降低到接近 30ms,并将持续优化,未来将 TPOT 进一步压低至稳定 15ms~30ms 区间,成为国内最低延迟的大规模 DeepSeek-R1 推理服务,帮助用户畅享流畅的交互体验。

通过全栈自研的推理引擎,火山引擎在 DeepSeek 系列模型上进行了算子层、推理层、调度层的深度优化,与此同时,火山方舟还提供了完善的大模型调用监控与告警能力,充分保障模型应用的高流量、低延迟和稳定性。

此外,在联网内容上,提供头条图文和抖音百科海量优质实时内容,帮助搜索内容更丰富地呈现。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:业界动态

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知