设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

谷歌发布多模态直播 API:解锁看、听、说,开启 AI 音视频交互新体验

2024/12/13 8:44:18 来源:IT之家 作者:故渊 责编:故渊
感谢IT之家网友 咩咩洋 的线索投递!

IT之家 12 月 13 日消息,谷歌昨日在发布 Gemini 2.0 的同时,还发布了全新的多模态直播(Multimodal Live)API,帮助开发人员开发具有实时音频和视频流功能的应用程序。

该 API 实现了低延迟、双向的文本、音频和视频交互,以音频和文本形式输出,带来更自然流畅、如同人类对话般的交互体验。用户可以随时打断模型,并通过共享摄像头输入或屏幕录像与其进行互动,就内容提问。

该模型的视频理解功能扩展了通信模式,用户能够使用摄像头实时拍摄或共享桌面并提出相关问题。该 API 已经向开发者开放,同时也向用户提供了一个多模态实时助手的演示应用。IT之家附上演示如下:

该 API 支持集成多种工具,开发者只需一次 API 调用,即可完成复杂的用例。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:谷歌AI

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知