OpenAI的Sora视频生成模型也能用来渲染视频游戏

发布时间: 2024-02-16 12:20:40 来源: 196世界之最 栏目: 奇趣发现 点击: 13

OpenAI新推出的首个视频生成模型-视频生成模型索拉(Sora)可以完成一些真正令人印象深刻的影片生成壮举。不过,至少从今天晚上发表的一篇技术论文来看,这个模型比OpenAI最初想象的还要厉...

OpenAI 新推出的首个视频生成模型- 视频生成模型索拉(Sora)可以完成一些真正令人印象深刻的影片生成壮举。不过,至少从今天晚上发表的一篇技术论文来看,这个模型比 OpenAI 最初想象的还要厉害。

这篇题为《作为世界模拟器的视频生成模型》(Video generation models as world simulators)的论文由多位 OpenAI 研究人员共同撰写,揭开了 Sora 架构关键方面的神秘面纱--例如,Sora 可以生成任意分辨率和长宽比(最高 1080p)的视频。根据论文所述,Sora 能够执行一系列图像和视频编辑任务,从创建循环视频、向前或向后延伸视频到更改现有视频的背景。

但最吸引笔者的还是 Sora"模拟数字世界"的能力,OpenAI 的合著者如是说。在一次实验中,OpenAI 将 Sora 放到 196世界之最Minecraft 上,让它在控制玩家的同时渲染世界及其动态(包括物理)。

Sora 在 Minecraft 中控制一名玩家,并渲染视频游戏世界,请注意,颗粒感是由视频到 GIF 的转换工具造成的,而不是 Sora。图片来源:OpenAIOpenAI

那么,Sora 是如何做到这一点的呢?正如 NVIDIA 高级研究员 Jim Fan(通过 Quartz)所说,与其说 Sora 是一个创意引擎,不如说它是一个"数据驱动的物理引擎"。它不仅能生成单张照片或视频,还能确196世界之最定环境中每个物体的物理特性,并根据这些计算结果渲染照片或视频(或交互式 3D 世界,视情况而定)。

合著者写道:"这些功能表明,继续扩展视频模型是开发物理和数字世界以及其中的物体、动物www.196nk.cn人的高能力模拟器的一条大有可为的途径。"

现在,Sora在视频游戏领域也有其通常的局限性。该模型无法准确模拟玻璃碎裂等基本互动的物理过程。即使在可以建模的互动中,Sora 也经常出现不一致的情况,例如在渲染一个人吃汉堡时,却无法渲染汉堡上的咬痕。

不过,如果我没www.196nk.cn看错的话,Sora 似乎可以为更逼真(甚至可能是逼真)的程序生成游戏铺平道路。这既令人兴奋,又令人恐惧(考虑到Deepfake的影响)--这也许就是为什么 OpenAI 选择暂时将 Sora 关在一个非常有限的访问程序后面的原因。www.196nk.cn

本文标题: OpenAI的Sora视频生成模型也能用来渲染视频游戏
本文地址: http://www.196nk.cn/qiqufaxian/319088.html

如果认为本文对您有所帮助请赞助本站

支付宝扫一扫赞助微信扫一扫赞助

  • 支付宝扫一扫赞助
  • 微信扫一扫赞助
  • 支付宝先领红包再赞助
    声明:凡注明"本站原创"的所有文字图片等资料,版权均属196世界之最所有,欢迎转载,但务请注明出处。
    一名乌克兰男子因参与 Zeus 和 IcedID 恶意软件行动而认罪研究发现听力损失与痴呆症风险增加有关 佩戴助听器可以预防或延缓
    Top