介绍:
白泽,是人M日报社传播内容认知国家重点实验室与人M中科共同发布的面向内容安全的跨模态视频搜索引擎。
“白泽”引擎,基于跨模态视频检索的策略,其跨模态引擎可实现单模态语义理解、多模态信息融合、跨模态语义关联,补全单一模态信息不足的现状,打破模态间信息孤岛。
“白泽”引擎将文字、图片、语音和视频等不同模态信息映射到一个统一特征表示空间,以视频为核心,学习多个模态间统一的距离度量,跨越文字、语音、视频等多模态内容的语义鸿沟,自动关联多模态间关键要素。
在此背景下,“白泽”引擎无需配置传统内容搜索所需的复杂匹配规则,通过自然语言描述即可快速检索出相同语义的视频,在不需要依赖大规模算力的情况下,有效应对新事件和突发事件,资源复用率高。
此外,面向内容安全,“白泽”结合对境内外多平台内容的检索,可跨平台实现文本搜图片、文本搜视频、图片搜视频、视频搜视频、图片搜文字、视频搜文字等功能。
元宇宙得跨模态收索,NLP自然语言技术支持。
现在大火的Aigc,ai绘画技术,白泽更是轻松拿捏,看下白泽的应用场景。