登录注册
苹果MR中不可忽视的3D视觉--奥比中光
大橙子
2023-06-08 09:07:30
I 3D视觉 ✖ MR简介

1.AI 3D视觉

3D传感技术:利用3D视觉传感器通过向目标投射特殊波段的主动式光源,并对反射回的光信号进行计算,最终实现对物体的三维深度信息采集,为后期的图像分析提供了关键特征。由于3D传感技术可获取物体的深度信息,搭载3D视觉传感器的智能设备就能够据根据3D传感复原现实三维世界,并实现后续的智能交互,因此3D视觉传感器也将成为AIoT设备智能交互的核心部件。

AI 3D传感技术:3D传感技术与AI技术的结合,如兼备3D量测和3D机器人引导的智能传感器不仅能实现机器操作的可视化,还可以通过信息处理进行控制决策,成为如今最热门的机器视觉技术。AI 3D预计将成为下一代消费电子图像传感、AR 定位的底层技术。如果把计算机视觉应用比作人的“眼睛”,3D传感技术就相当于人眼的成像层,只有底层的“成像”做得好,才能确保“大脑”能基于“眼睛”获取的图像进行更好的决策。AI 3D传感技术在计算机视觉技术领域中是最为核心的底层技术之一。

2.MR

MR定义:

MR又叫混合现实(Mixed reality,简称MR),是指合并现实和虚拟世界而产生的新的可视化环境,实现人、计算机和环境之间的自然且直观的 3D 交互。MR通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感。

MR的关键点是与现实世界进行交互和信息的及时获取,主要包括以下环节:

l环境理解:通过空间映射和锚点理解环境。

l人类理解:手动跟踪、目视跟踪和语音输入。

l空间音效。

l物理和虚拟空间中的位置和定位。

l在混合现实空间中的人机交互。

图:MR(Mixed reality)可以实现计算机、人类和环境之间的交互

MR、AR、VR与XR:

lAR(Augmented Reality ,增强现实)是促使真实世界信息和虚拟世界信息内容之间综合在一起,将现实场景中增加某种虚拟的人物、动物或者物品等;

lVR(Virtual Reality,虚拟现实 )是一个可以让用户沉浸到虚拟的环境中的三维空间或者显示设备,目前有网页VR和VR头显设备两种展示方式,人们通过手机或者VR设备就能看到一个人创造出来的虚拟世界。

lMR(Mixed reality,混合现实)可理解为“真实世界+虚拟世界+数字化信息”,指合并现实和虚拟世界而产生的新的可视化环境,用户可在新的可视化环境里与物理和数字对象共存,并实时互动。

lXR(Extended Reality,扩展现实 )包括任何可以帮助我们融合物理世界和数字世界的技术 。只要是包含AR、VR、MR以及任何现实与虚拟融合的技术,都可以视为XR的一部分。

MR的应用:

MR通过在现实场景呈现虚拟场景信息,实现人、计算机和环境之间的自然且直观的 3D 交互。因此MR的应用十分广泛,可以在丰富应用场景下为在教育、娱乐、医疗等赋能。

图:MR八大具体应用,涵盖沉浸式电影、互动教学、公司会议、外科医疗、治安管理、互动游戏、活动参与、健康设备等

3.AI ✖ XR

随着AI的发展,AI 3D 视觉带来了更具个性化的计算,以及高效的语音、图像等识别能力,成为了XR设备发展的催化剂。AI 3D 视觉可帮助 AR 设备对周围环境进行三维重建,使得虚拟的立体影像更好的叠加在现实场景中,同时以机器学习技术为核心的3D 视觉感知可以识别人的手势、动作,从而实现人与虚拟影像的交互。

AI技术可以在信息获取、人机交互两方面为MR赋能,AI✖ MR将是行业未来发展的趋势。2021年BilibiliWorld联合商汤科技SenseTime共同打造MR虚拟体验馆,实现了用户与B站虚拟主播跨时空面对面互动。

AI 3D视觉✖MR:

在信息获取上,3D传感技术与 AI 技术相结合形成的 Al 3D传感技术是计算机视觉技术领域中最为核心的底层技术之一,搭载AI 3D传感技术的新一代3D摄像头的3D 视觉感知能力更强,更好完成物体识别、手势识别与人脸识别等任务,助力MR设备“更好的看懂世界”。苹果MR设备Apple Vision Pro搭载激光雷达扫描仪和TrueDepth摄像头共同工作,该方案创建了一个融合的三维地图,准确呈现您周围的环境,使Vision Pro能够在您的空间中精确渲染数字内容。Apple Vision Pro可以以3D形式捕捉神奇的空间照片和空间视频,然后通过沉浸式的空间音频再次体验那些珍贵的时刻,前所未有地感受其中的魅力。您现有的照片和视频库以惊人的规模呈现出令人难以置信的效果。全景照片将您围绕其中,让您感觉自己仿佛站在拍摄时的位置上。

AI MR产品相关技术

AI MR产品完成从技术研发到商用落地,需要:

l性能可靠的AI 3D视觉传感器;

l功耗超低、功能超强的图形处理芯片;

l深度视觉算法(包括3DSLAM、3D骨架识别、3D人脸识别等算法);

l完整的3D AI/MR解决方案。

1.AI 3D视觉模组

AI 3D视觉模组是指可采集并输出“人体、物体和空间”的三维矢量信息的精密光学测量系统,由深度引擎芯片、深度引擎算法、通用或专用感光芯片、专用光学系统、驱动及固件等组成。通过3D视觉模组可以对空间、人体、物体的三维扫描和建模,实现VSLAM视觉导航、动作行为识别、人机交互等功能。在MR领域,苹果MR设备Reality Pro 将搭载AI 3D LiDAR传感器,以实现SLAM等功能。

奥比中光 Astra 系列为例,产品内部构造主要由激光投影模组、光学成像模组、深度引擎芯片以及其他电子器件、结构件等组成的系统级产品。

l激光投影模组:由激光发射器、透镜、衍射光学元件等光学元器件构成,整体结构通过特殊散热以及高度集成化设计使得具备小体积、高稳定性、高性能特点;此外通过对激光发射器、衍射光学元件的综合光学优化使得衍射光束功率分布均匀、零级强度弱化,确保发射端可以向三维空间投射出对人眼安全且高对比度的激光散斑,以对整个三维空间进行编码。

l光学成像模组:包括感光芯片、定制滤光片以及成像透镜等主要器件,通过设计与发射端光源波长一致的窄带滤光片可以大幅降低环境光影响从而提升成像质量;

l感光芯片:用于接收由三维空间物体反射回的空间编码信息,并输入到深度引擎芯片进行计算。

l深度引擎芯片:内部固化深度引擎算法,可以在接收到感光芯片的空间编码信息后进行实时的深度解算以输出 3D 数据,与传统的通用处理器调用算法进行深度计算相比,深度引擎芯片具备更快的计算效率以及更精确的计算能力,是实现 3D 视觉传感器由实验室走向量产、产品化的核心。

2.MR芯片

用于XR(VR/AR/MR)设备的芯片需要满足低延迟、高帧率、高分辨率、低功耗等要求。

(1)低延迟:是XR芯片的重要指标之一,可以保证用户在使用设备时不会出现晕眩等不适感。

(2)高帧率和高分辨率:能够提升用户的沉浸感,让用户更好地体验。

(3)低功耗:由于XR设备需要长时间佩戴,因此低功耗保证设备的续航时间。

图:高通2022年10月推出的骁龙XR2+平台,支持下一代MR和VR终端

早期XR设备没有专用芯片,很多厂商使用手机主芯片设计所需芯片。但随着AR/VR市场蓬勃发展,国内外厂商陆续推出专门用于XR设备的芯片,以更好满足XR设备的需求。

l高通:2018年高通发布了骁龙XR1,同时发布了包括XR软件服务层、机器学习、XRSDK等一系列软件支持。2019年发布了面向AR/VR的专用芯片骁龙XR2,该芯片一经发布便成为市场主流的XR设备专用芯片,NEO36DOFVR一体机、36DOFVR一体机等都是搭载了XR2芯片。2022年10月高通发布骁龙XR2+,相比XR2实现 50% 的续航提升和 30% 的散热提升。截至2022年10月,骁龙 XR 平台已赋能全球超过 60 款 XR 终端。

l苹果:独特的双芯片设计使得Vision Pro的空间体验成为可能。强大的M2芯片同时运行visionOS,执行先进的计算机视觉算法,并以令人难以置信的效率提供惊人的图形表现。全新的R1芯片专门负责处理来自相机、传感器和麦克风的输入,以每12毫秒的速度流式传输图像到显示屏上,实现几乎无延迟的实时视图。

l奥比中光奥比中光坚持核心技术自研,MX系列芯片属于边缘端AI芯片,迭代更新速度快,目前正在规划面向IOT领域的MX6800芯片。

图:奥比中光自研AI芯片

3.深度视觉算法

为实现实时人机交互,MR涉及大量感知数据的实时采集、融合、处理和分析,这些功能需要专门的算法实现。深度视觉算法可以对3D视觉模组采集的信息进行处理与分析,其核心技术体系包括3D SLAM、3D场景结构化、3D人脸算法、3D物体识别、3D骨架算法等多种深度识别算法。

l3D SLAM:是指3D同时定位与建图。该技术广泛应用于机器人中,使用3D激光扫描仪捕获有关环境的数据,然后处理该数据以创建地图。在MR中,3D SLAM可以用于增强现实和虚拟现实应用程序中,以创建更真实的虚拟环境。面对复杂的周围环境,多传感器融合的SLAM是必然趋势。

l3D场景结构化:MR中的3D场景结构化可以将现实世界中的三维场景通过深度学习等技术进行结构化处理,使其能够被 MR 设备识别和感知。

l3D人脸算法:在MR中,通过3D人脸算法可以实现更加真实的人脸表情和动作捕捉,以提高用户体验。

l3D 物体识别算法:通过对物体进行识别更好进行人机交互。全球掌握3D视觉核心技术的公司并不多,国外有苹果、微软、英特尔等,国内有奥比中光、华捷艾米、图漾科技等。

l3D 骨架算法:在MR中3D骨架算法可以对场景中所有人物进行提取,并对其肢体关节点进行识别与跟踪。

4.3D AI/MR方案

以Microsoft HoloLens 2为例,目前基于该产品实现的3D AI/MR方案包括:

l梅赛德斯-奔驰采用 Microsoft HoloLens 2 和 Dynamics 365 远程协助技术来提高服务技术人员的效率,缩短解决问题的时间,并减少与服务相关的差旅的成本和环境影响。

l必和必拓(BHP)在 COVID-19 疫情期间通过微软 HoloLens 2 和 Dynamics 365 远程协助功能,为全球的现场工作人员提供支持。

lMediView开发了一种非凡的产品,该产品使用3D全息图像直接生成患者的解剖部位投影,以帮助外科医生看到患者的内部结构并指导他们完成手术。

图:Mercedes-Benz技术人员采用 Microsoft HoloLens 2提高远程工作效率

MR市场规模:预计全球MR市场规模迎来爆发式增长,有望带动AI 3D视觉传感器、MR芯片产业

根据statista数据,全世界MR市场规模将由2017年的4680万美元增长至2025年的36.88亿美元,市场前景广阔。而Mordor Intelligence数据显示,2022-2027年之间,全球MR市场将以41.8%的年均复合增长率增长。

iPhone中的AR应用

liPhone X的前置3D摄像头采用结构光方案。该方案支持人脸解锁、人部识别、人脸支付等功能。3D摄像头支持iPhone X通过Face ID实现人脸识别解锁支付,并且能收集深度信息,达到3D成像效果。Face ID采用的结构光技术通过3万个激光点投射到用户脸上,并测量失真度,然后生成3D图像。

图:前置3D摄像头的功能

图:iPhone Face ID

liPhone 12的后置3D摄像头采用ToF方案。ToF方案和结构光方案相比,能计算激光从周围物体上反射回来形成环境三维图像所需的时间,能拍摄更远的距离。3D后置摄像头能提供更多深度信息,装配3D后置摄像头后,iPhone的主要深度效果是垂直屏幕模式,可以产生背景渲染效果,在编辑模式下,可以调整照片的不同层,并更改各层的模糊聚焦效果。3D后置摄像头可能对AR应用的质量影响最大,其采集的深度信息能减少AR应用程序的故障率,确保新的AR应用程序以更精确的方式在空中呈现对象。

图:3D后置摄像头采集深度信息

相关产品

1.Apple Vision Pro

Apple Vision Pro搭载激光雷达扫描仪和TrueDepth摄像头共同工作。该方案创建了一个融合的三维地图,准确呈现您周围的环境,使Vision Pro能够在您的空间中精确渲染数字内容。Apple Vision Pro可以以3D形式捕捉神奇的空间照片和空间视频,然后通过沉浸式的空间音频再次体验那些珍贵的时刻,前所未有地感受其中的魅力。您现有的照片和视频库以惊人的规模呈现出令人难以置信的效果。全景照片将您围绕其中,让您感觉自己仿佛站在拍摄时的位置上。

l每只眼睛拥有比4K电视更多像素。定制的微型OLED显示系统拥有2300万像素,提供令人惊叹的分辨率和色彩。特别设计的三元素镜头营造出无处不在的显示效果,让您感受到无论往哪里看都有屏幕存在的感觉。

l我们迄今最先进的空间音频系统。每只耳朵旁边都有双驱动器音频单元,提供个性化的音效,同时让您听到周围的声音。环境空间音频使声音感觉像来自周围环境。通过音频光线追踪,Vision Pro分析您房间的声学特性,包括物理材料,以调整和匹配声音到您的空间。

l响应迅速、精准的眼球追踪。由LED和红外摄像机组成的高性能眼球追踪系统将不可见的光模式投射到每只眼睛上。这一先进系统可以提供超精确的输入,而无需您使用任何控制器,因此您只需通过注视即可准确选择元素。

l一套复杂的传感器阵列。一对高分辨率相机每秒传输超过十亿个像素到显示屏,以便您清晰地看到周围的世界。该系统还能帮助进行精确的头部和手部追踪,并进行实时三维地图绘制,同时能够理解您在各种姿势下的手势。

l革命性的双芯片性能。独特的双芯片设计使得Vision Pro的空间体验成为可能。强大的M2芯片同时运行visionOS,执行先进的计算机视觉算法,并以令人难以置信的效率提供惊人的图形表现。全新的R1芯片专门负责处理来自相机、传感器和麦克风的输入,以每12毫秒的速度流式传输图像到显示屏上,实现几乎无延迟的实时视图。

l激光雷达扫描仪和TrueDepth摄像头共同工作,创建了一个融合的三维地图,准确呈现您周围的环境,使Vision Pro能够在您的空间中精确渲染数字内容。

l经过特别设计的热管理系统轻柔地通过Vision Pro中的空气流动,因此它可以在保持冷却和安静的同时提供卓越的性能。

l红外泛光灯与外部传感器协同工作,在低光条件下增强手部追踪性能。

l隐私与安全:内置隐私和安全。与每个苹果产品和服务一样,Vision Pro旨在帮助保护您的隐私并使您对自己的数据拥有控制权。它建立在现有苹果隐私和安全功能的基础上,利用Optic ID等新技术,这是一种使用您的虹膜的独特性进行安全认证的系统。

2.Apple AR Kit系列

2017 年 6 月,苹果选择从软件层入手,基于已有的移动端硬件生态构建 AR 生态,推出移动端 AR 开发工具集合 ARkit。目前ARKit已更新至第 6 代(ARKit 6),实现了利用 iPhone / iPad 相机、显示器、动态感测器和绘图处理器,带来逼真、引人入胜的 AR 体验。

据 Sensor Tower 统计,ARKit 推出后不过半年,应用下载量便已突破1300万;2023年1月库克在 2022 年 Q1 季度财报会议上宣布,苹果 App Store 现有 AR 软件应用超 14000 款,ARKit已经成长为最大的 AR 平台。 ARKit 为苹果带来的 14000+ 款 AR 应用、背后培养的大量 AR 开发者,以及所完成的用户教育,将成为苹果 AR/MR 眼镜内容生态的巨大财富。

图:ARKit 6实现的AR效果

3.Microsoft HoloLens&HoloLens 2

HoloLens是MR设备的开山鼻祖,开创了整个MR设备行业,发布三年内无竞争对手。

HoloLens 2继承了HoloLens 1的硬件市场和软件体系,同时改善了一代的大部分问题:

l实时跟踪的手势操作,让输入非常直观;

l视场角大幅度扩大;

l电池后移,整个设备重量更加均衡;

l面罩可以向上打开,方便开发者调试。

表:HoloLens与HoloLens 2对比

4.Magic Leap 1&Magic Leap 2

Magic Leap 1发布于2018年8月,该产品拥有当时MR设备中最好的成像方式,6层镜片(两个三元光)实现了两个不同距离的成像,这使得Magic Leap One相比HoloLens所呈现出的颜色更加准确。而Magic Leap 2相比一代的视场角增大20度,重量减轻20%,透光率低至0.3%,可以让AR特效更逼真。

图:Magic Leap 2

来源:热点投研

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
奥比中光
工分
3.75
转发
收藏
投诉
复制链接
分享到微信
有用 3
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(1)
只看楼主
热度排序
最新发布
最新互动
  • 1
前往