1)可提示的分割任务,描述通用的预训练目标;
2)分 割模型 SAM,能通过提示工程实时输出分割掩膜,以 zero-shot 方式迁移到 一系列任务;
3)数据引擎,一方面收集新的数据,另一方面使用新数据来 迭代模型。此外,Meta 建立了迄今为止最大的分割数据集 SA-1B,并与 SAM 一起开源。SAM 的 zero-shot 性能优秀,能够达到甚至优于完全监督模型的 结果,有利于 CV 更广泛的应用于下游各种 C 端和 B 端场景。建议关注国 内 CV 应用和 CV 算法领域的相关厂商。
SAM 更注重精细标注能力,而 SegGPT 更注重批量化标注分割能力。SegGPT 具有上下
文推理能力,通过给定的示例和对应的掩膜,即可按照同样的方式批量化分割多个图像。
对于视频输入,SegGPT 能够以第一帧图像和对应的物体掩膜作为上下文示例,自动对后
续视频帧进行分割,并且可以用掩膜的颜色作为物体的 ID,实现自动追踪。
相关产业链公司 CV 应用领域:SAM 模型大幅提升了 CV 领域通用图像分割的能力,有利于 CV 更广泛的应 用于下游各种 C 端和 B 端场景。
1)安防视频:海康威视、大华股份、千方科技(宇视科技);
2)交通视频:通行宝;
3)智能驾驶:中科创达、四维图新、光庭信息、德赛西威、经纬恒润、东软集团;
4)MR/XR 领域:中科创达;
5)智能终端:萤石网络、中科创达;
6)工业视觉:凌云光、创新奇智、奥普特、天准科技、奥比中光、矩子科技。
CV 算法领域:SAM 模型提升了 CV 图像分割的通用能力和检测效果,但在特定对象分割 效果(如弱边缘、特征不明显的地方)、性能、功耗等方面仍存在诸多不足,具体场景落地 时仍需要不同领域的 CV 算法厂商去进行优化和落地;此外,SAM 还提升了数据标注的效 率,起到了降本增效的作用。
1)CV 算法厂商:格灵深瞳、商汤、云从科技、云天励飞。