登录注册
效果非常惊艳!OpenAI发布文生视频模型“Sora”
林不再
2024-02-16 15:24:34

北京时间凌晨,OpenAI 发布了一个AI模型——Sora,可以根据文本指令创建现实且富有想象力的视频。此前,Runway、Pika、G oogle和 Meta都有涉足此领域,如今OpenAI终于也来了。

看了下官网给出的视频(非常多),超厉害,超逼真,超级王炸。这里发不了视频,可以出去的话,去官网看有更多视频,地址:https://openai.com/sora,或者去隔壁“林不再的选股思路”看。

 

看完上面,大概能感受到Sora的厉害之处,那到底厉害在哪里?

1、能生成60S视频,远超之前10S。对视频数据进行生成建模,方法有循环网络、生成对抗网络、自回归变压器和扩散模型等。他们通常关注一小类视觉数据、较短的视频或固定大小的视频。Sora 能生成不同时长、不同长宽比和不同分辨率的视频,还有图像。

2、超强自然语言理解能力,能够准确理解提示,并生成引人注目的符号,来表达充满活力的情感;

3、高度模拟现实世界交互;

4、在单个生成的视频中创建多个镜头、多个角色、复杂场景,准确地保留角色和视觉风格。

当然,Sora也有一些问题,难以准确模拟复杂场景的物理原理;可能无法理解因果关系的具体实例;可能混淆提示的空间细节;可能难以精确描述随着时间推移发生的事件。

我们看一个例子。这个视频的提示语是:一位白发梳得整整齐齐的老奶奶站在木制餐桌上的彩色生日蛋糕后面,蛋糕上插着无数蜡烛,脸上的表情是纯粹的喜悦和幸福,眼中闪烁着幸福的光芒。她倾身向前,轻轻地吹灭蜡烛,蛋糕上有粉红色的糖霜和糖珠,蜡烛不再闪烁,祖母穿着一件饰有花卉图案的浅蓝色衬衫,几个快乐的朋友和家人坐在桌边。看到庆祝,失去焦点。该场景拍摄精美,具有电影般的效果,展示了祖母和餐厅的 3/4 视图。温暖的色调和柔和的灯光增强了情绪。

 

可以看到,视频还是很生动的,但发现了没,蜡烛并没有随着吹气而动,可见Sora还是没有处理在模拟对象和多个角色之间的复杂交互。

二、Sora技术原理

OpenAI 官网介绍了Sora原理原理,包括给出了一份技术报告,这部分比较专业,挑重点简单说说。

大意是说,Sora 是一种扩散模型

所谓扩散模型,专业解释是这样的,“扩散模型或概率扩散模型是使用变分推理训练的参数化马尔可夫链,以在有限时间后生成与数据匹配的样本”。简单理解,扩散模型可以生成与其训练数据相似的数据,比如模型对猫进行训练,那可以生成逼真的猫图。

另外,Sora 与 GPT 模型类似,也是采用了transformer架构 ,这是一种注意力机制(Self-Attention),比较复杂不展开写了。

如果想了解更多Sora 的技术原因,可以看这里。https://openai.com/research/video-generation-models-as-world-simulators

三、利好哪好板块?

Sora这种效果是非常惊艳的,将会颠覆现有的游戏、影视和传媒行业。

试想一下,中文在线目前累积数字内容资源超 550 万种,如果采用Sora创作,生成视频变现,这是多大的一个体量?而成本又只有多少?

反正,这个消息非常猛,说OpenAI 再一次改变世界也不为过。下一个爆款AI应用将会在这里面诞生。关注节后A股游戏、影视和传媒行业板块吧。

下面这个视频提示语是,“纽约市像亚特兰蒂斯一样被淹没。鱼、鲸鱼、海龟和鲨鱼在纽约的街道上游来游去。”

注:上面这张图,为什么城市在水下呢?源于一个传说,柏拉图在晚年著作《克里提亚篇》和《蒂迈欧篇》中提过,“在梭伦九千年前左右,海格力斯之柱(直布罗陀海峡)对面,有一大岛,从该处你们可以去其它岛屿,该等岛屿的对面,就是海洋包围着的一整块陆地,此是‘亚特兰蒂斯’王国。当时亚特兰蒂斯正要与雅典展开一场大战,没想到亚特兰蒂斯却突然遭遇到地震和水灾,不到一日一夜就完全没入海底,成为希腊人海路远行的阻碍。”

作者在2024-02-17 10:16:09修改文章
作者利益披露:原创,不作为证券推荐或投资建议,截至发文时,作者不持有相关标的。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
昆仑万维
S
中文在线
S
万兴科技
工分
6.76
转发
收藏
投诉
复制链接
分享到微信
有用 8
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(9)
只看楼主
热度排序
最新发布
最新互动
  • 韭韭评论
    热爱评论的吃面达人
    只看TA
    02-17 19:56
    文中的照片是拍照,还是生成的吗?
    0
    0
    打赏
    回复
    投诉
    于2024-02-17 23:12:23更新
    查看1条回复
  • 只看TA
    02-16 17:22
    技术在谁手里?
    1
    0
    打赏
    回复
    投诉
  • 只看TA
    02-16 19:50
    谢谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    02-16 16:41
    非常感谢 
    0
    0
    打赏
    回复
    投诉
  • 1
前往