设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

小扎自曝砸重金训 Meta Llama 4 模型:24 万块 GPU 齐发力,预计 2025 年发布

新智元 2024/8/5 13:30:22 责编:汪淼

Llama 3.1 刚发布不久,Llama 4 已完全投入训练中。

这几天,小扎在二季度财报会上称,Meta 将用 Llama 3 的十倍计算量,训练下一代多模态 Llama 4,预计在 2025 年发布

这笔账单,老黄又成为最大赢家

十倍计算量,是什么概念?

要知道,Llama 3 是在两个拥有 24,000 块 GPU 集群完成训练。也就是说,Llama 4 训练要用 24 万块 GPU

那么,Meta 存货还够不够?

还记得小扎曾在年初宣布,计划到年底要部署 35 万块英伟达 H100

他还透露了更多的细节,Meta 内部将为训练 LLM 打造两个单集群,一个配备 22,000 块 H100,另一个集群配备 24,000 块。

有网友曾回顾了 Llama 模型迭代过程中,GPU 的用量如何增长的:

  • Llama 1:2048 块 GPU

  • Llama 2:4096 块 GPU

  • Llama 3.1:16384 块 GPU

或斥资 400 亿美金,小扎不愿为时已晚

可见,训练大模型是一项代价高昂的业务。

财报显示,Meta 第二季度在服务器、数据中心和网络基础设施上,资本支出增长了近 33%。从去年同期 64 亿美元,增至 85 亿美元。

现在,预计年度支出将达到 370 亿-400 亿美元,高于之前预估的 350 亿-400 亿美元。

Information 一份报告称,OpenAI 在训练模型上花费了 30 亿美元,另外还花费了 40 亿美元以折扣价从微软那里租用服务器。

可见,训练大模型算力花费,是多么地讽刺。

不过意义在于,Llama 3.1 的开源将成为 AI 行业的一个重要转折点,开源人工智能开始像 Linux 一样成为行业标准。

Meta 正在规划未来几年的计算集群和数据中心,以支持未来几代 AI 模型。

小扎承认,很难去预测未来 AI 技术的发展路径,但基建不是速成的。尽管存在不确定性,他愿意冒险提前建立,也不愿意因准备不足而落后于竞争对手。

小扎这种先见之明,曾带领公司在元宇宙浪潮中,坚挺而出。

在 2022 年公司股价遭遇重创之际,小扎还是铤而走险,购买了大批 H100

当年第三季度财报显示,Meta 资本支出高达 320 亿-330 亿美元。其中一部分大多流向数据中心、服务器和网络基础设施构建,以及在元宇宙上的巨额投入。

在采访中,小扎解释道,「当时 Meta 正大力发展短视频工具 Reels,因此需要更多的 GPU 来训模型」。

因为模型推理对 Meta 来说,是至关重要的一件大事,需要为 Facebook、Ins 等自家应用的用户提供服务。

用小扎的原话来说就是:

我们所需的推理计算与训练的比率,可能远高于其他从事这一领域的公司,这是因为我们所服务的社区用户量非常庞大。

人手一个 AI 智能体

前段时间 Meta AI 科学家 Thomas Scialom 在一次博客采访中,同样提到了,6 月份已经开始训练的 Llama 4

他表示,新模型可能重点在智能体技术上,并且已经在 Toolformer 等 agent 工具上进行了一些研究。

小扎相信,AI 智能体很快将成为在线企业的「标配」。

「随着时间的推移,我认为,就像每个企业都有网站、社交媒体账号和电子邮件地址一样,未来每个企业也都会有一个 AI 智能体,让客户可以与之互动」。

Meta 的目标是,让使每个小企业,最终甚至每个大企业,都能轻松地将自身的内容和产品整合到 AI 智能体中。当这项技术大规模投入到现实应用中,这将大大加速商业信息收入。

尽管投资者对 Meta 在 AI 和元宇宙上的高额支出提出批评,但小扎仍旧坚持自己的战略。

虽然在 Meta 最近几个季度,虚拟现实似乎已经退居次要地位,但扎克伯格确实提到,Quest 3 的销量超出了公司的预期。二季度数显示,这一领域的收入增长 22% 至 391 亿美元,利润增加 73% 至 135 亿美元。

对于第三季度,Meta 预计收入在 385-410 亿美元之间。

消息人士表示,该公司将在 9 月份的 Connect 大会上宣布推出一款更便宜的耳机

此外,AI 助手 Meta AI 越来越受欢迎,小扎表示,它有望在年底前成为使用最广泛的 AI 助手。

参考资料:

  • https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/

  • https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg

本文来自微信公众号:微信公众号(ID:null),作者:新智元,原标题《小扎自曝砸重金训 Llama 4,24 万块 GPU 齐发力!预计 2025 年发布》

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:metaLlama开源模型

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知