昆仑万维宣布,旗下 AI 短剧平台 SkyReels 将于 12 月 10 日正式在美国上线。这标志着昆仑万维在全球 AI 娱乐市场的进一步扩张,同时也将为北美观众带来全新的智能短剧体验。
今年 8 月 19 日,昆仑万维发布全球首个集成视频大模型与 3D 大模型的 AI 短剧平台 SkyReels。SkyReels 对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让“一人一剧”的梦想真正成为现实。
SkyReels 平台集成了昆仑万维自研剧本大模型 SkyScript、自研分镜大模型 StoryboardGen、自研 3D 生成大模型 Sky3DGen,以及业界首个将 AI 3D 引擎与视频大模型深度融合的创新平台 WorldEngine。
在过去的几个月中,SkyReels 取得了多项突破性的进展。
在剧本生成方面,SkyReels 丰富了海量的爆款创意模板。其中剧本大模型生成能力大幅提升,尤其是优化了短剧的爽点生成能力,当前生成效果平均在人工剧本评级中可达到 A 甚至 S 的评级。
图丨(部分展示)SkyReels 向用户提供的剧本生成库(来源:昆仑万维)
在角色生成方面,研发团队增加了海量的 AI 演员库,写实逼真。同时构建了细粒度的演员属性标签,基于多模态大模型能力,智能帮助用户找到最适合剧本人物的形象。
图丨(部分展示)SkyReels 向用户提供的角色生成库(来源:昆仑万维)
在分镜生成方面,我们将分镜师的专业经验输入至分镜生成大模型,大幅提升了分镜连贯性和故事呈现能力。此外,也基于上下文增强的分镜图像生成,提高了分镜人物一致性。
在视频生成方面,SkyReels 基于对分镜内容的精细化理解,构建了更加智能的视频生成智能体,不同镜头类别调度使用不同参数量级的视频生成模型,视频生成成功率大幅提升 21%;5s 30fps 的视频生成时长从平均 5 分钟降至平均 2 分钟级别;精准运镜控制能力得到了大幅增强。
在 BGM 和 TTS 匹配方面,我们构建了海量带情感的演员音色库以及短剧 BGM 库,并基于多模态大模型和我们构建的细粒度标签体系,让匹配精准度提升了 35%。SkyReels 致力于让每一个演员、每一个视频片段,都能实现更加合理的音色和 BGM 的匹配。
在视频内容创作过程中,生成速度是影响用户体验非常重要的因素。为了让用户有更流畅的创作体验,SkyReels 团队进行了大版本的迭代:实现了 10 分钟可以完成一键从剧本到角色、到分镜生成和完整的两分钟短剧生成。
此外,还新增 3D 交互编辑、AI 全身动辅、演员教学库、演员衣橱、人物定制能力等特色功能:
・3D 交互编辑:实现在 web 端实时 3D 交互,进行分镜画面和人物的精细编辑和生成。
・AI 全身动捕:区别于传统的 3D 动捕,不依赖任何 3D 模型,我们支持用户使用任意摄像头或者视频,驱动视频中 AI 演员的头部表情和口型和全身,让创作者可以精细的教 AI 演员表演。
・演员教学库:内置了海量的高质量影视演员面部表演和肢体表演的动作库,基于多模态大模型支持智能剧本表演要求,从库中匹配对应的肢体动作和面部表情;也支持用户自定义动作库,实现更加可控的表演生成,让 AI 演员的表演不再僵硬。
・演员衣橱:基于虚拟试衣的底层技术,我们大胆创新并改造为支持分镜生成,支持用户自定义分镜中演员的服装造型,在分镜中支持服装造型的统一。
・人物定制能力:新增了人物的 lora 模型定制,实现在分镜和视频中的人物一致性大幅增强。
SkyReels AI 短剧平台不仅为专业内容创作者提供了强大的创作工具,更极大地降低了 AI 短剧创作的门槛,使得非专业用户也能轻松上手。AI 视频和短剧的生产形式已经得到了市场的验证,拥有巨大的商业想象空间。
SkyReels AI 短剧平台计划在未来几个月内,通过与北美当地的内容创作者和制作团队合作,进一步丰富内容,提升用户体验。同时,平台也将积极探索与北美各大媒体平台的合作机会,以实现更广泛的市场覆盖。
昆仑万维作为一家领先的人工智能公司,一直致力于利用先进的 AI 技术为全球用户提供高效的 AI 产品。SkyReels AI 短剧平台 12 月的北美上线,不仅是公司全球化 AI 战略的重要一步,也是对北美娱乐市场的一次重要布局。我们期待与北美观众共同开启一段精彩的短剧之旅。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。