Sora横空出世，text-to-video赛道格局颠覆
夜长梦山
2024-02-17 22:12:40
❗Sora横空出世，text-to-video赛道格局颠覆，OpenAI再次展现大力出奇迹，看好AI赛道全面反弹【天风计算机】
#Sora模型展现出超强的视频生成能力且力压群雄
Sora模型在生成视频的细节能力，用户prompt遵循能力，多镜头一致性，视频时长，内容一致性等都完完全全超越了现有竞争对手，在官网的视频示例和Altman在社媒发布的视频来看，OpenAI首次踏入视频生成就大概率问鼎行业第一，超越了Pika和Runway等对手。
#OpenAI再次大力出奇迹+超强的技术细节
从technical report窥探技术路径，OpenAI在文生视频领域再次展现大力出奇迹，Sora的核心作者之一Bill Peebles在2022年就展现出对DiT结构scaling law的看好（见其发布的论文），Sora在模型结构上使用了Diffusion Transformer结构，遵循scaling law使用了大参数的DiT，在数据上将图片和文字统一转换为为Patches并作为模型输入（产业调研发现这一步有很多坑）而这一步也使得模型能够在不同分辨率、持续时间和宽高比的视频/图像数据上进行训练，同时为了保持视频与prompt一致，Sora使用了DALL-E3模型中的re-captioning technique，训练了一个caption模型为训练数据做文字标注。
#Sora模型有望颠覆原有的视频内容产业链，同时也具备了一定的涌现能力，似乎文生视频的GPT-3时刻已来。
Sora模型现在可用于视频生成，图片生成，视频编辑、视频链接和视频前后拓展等，未来有望重塑影视/动画/自媒体等诸多视频生产行业，同时Sora还展现出了一定的涌现能力，使其能够从物理世界模拟人、动物和环境的某些方面，包括3D连续，物体持续和long-range的连贯性，虽然Sora还有所缺陷，但我们预计未来Sora也会逐步进化，如同GPT3到4一样有更强的能力。与大力出奇迹相匹配，我们预计模型训练与推理的成本较高。
AI有望全面反弹，首推多模态
1.应用：
（1）多模态：万兴科技、美图公司、虹软科技、当虹科技
（2）办公软件：金山办公、福昕软件、彩讯股份
（3）TO B：用友网络、金蝶国际、致远互联、泛微网络、鼎捷软件、汉得信息
（4）金融、教育、医疗：科大讯飞、佳发教育、视源股份、润达医疗、恒生电子、新致软件
2.基础设施：华为+海光算力产业链、云天励飞、寒武纪、景嘉微、星环科技
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
S
万兴科技
工分
17.25
转发
收藏
投诉
复制链接
分享到微信
有用 23
打赏作者
无用
真知无价，用钱说话
0个人打赏
同时转发
评论（11）
只看楼主
热度排序
最新发布
最新互动
- 1
- 2