近期一系列AI生成视频在全网引起高关注度,例如郭德纲icon说英语相声icon、Taylor Swift说中文等,这些视频具备高度匹配的唇形和逼真的神态与音调。这些功能是由AI初创公司Heygen开发的,他们在9月新增了视频翻译功能,用户只需上传不超过1G的视频,即可实现语言和唇形的逼真转化。Heygen使用了自研的多模态内容生成引擎"Surreal
Engine",该引擎可以将内容生产分为理解、视框化和渲染三个环节,并结合人脸驱动和文字生语音等技术,实现多模态内容转化。Heygen的访问量也在快速增加。总体来说,这些AI多模态应用在娱乐传播和专业创作者的内容生产方面具有潜力。
1.近期AI视频引发高关注度的原因是什么?
近期AI生成视频引发高关注度的原因是,这些视频能够实现语音、肢体语言、神态的完全保留,并且实时与真人明星的唇形完全同步,具备高逼真度。这些视频不仅让真人明星在说英文时唇形同步,还有能让国外明星在讲中文时声情并茂。这种高度匹配的唇形和逼真的神态与音调,使得这些视频在全网引起了高度关注。
2.Heygen推出的视频翻译功能是基于什么技术开发的?该技术有何特点?
Heygen推出的视频翻译功能是基于公司自研的多模态内容生成引擎"Surreal Engine"开发的。该引擎于2022年7月推出,通过理解、视框化和渲染等核心环节,配合人脸驱动和文字生成语音等技术支持,实现了文字到语音等多模态内容的转化。相比于其他引擎如Epic Games的Unreal Engine和Nvidiaicon的Omniverse,Surreal
Engine的使用门槛更低,普通用户也能轻松创作高维度、可交互的内容。
3.Heygen在22年7月上线后的7个月内实现了多少美元的年度经常性收入?
Heygen在22年7月上线后的7个月内实现了100万美元的年度经常性收入。
人工智能应用端越来越丰富,既能丰富C端用户的娱乐传播,有望成为AI时代小咖秀;也提升专业创作者的内容生产效率,用于影视、教育、营销等多领域。