苹果AR眼镜新专利曝光,可通过眼动追踪技术帮助用户启动应用程序

2023-11-10 15:33

免责声明 免责声明:内容来源于网络收集,不构成任何投资建议!

编译/VR陀螺仪

今天,美国专利商标局公布了苹果公司的专利申请,涉及用于检测用户眼睛注视方向的系统、方法和设备。该专利重点关注被描述为“AR眼镜”或“XR眼镜”的设备,其中包括用于观看物理环境的透明显示器和用于通过视网膜投影技术观看其他内容的显示器,该技术可以将图形图像投影到人的视网膜视图中或之上。

在苹果公司的专利中,他们指出现有的眼球追踪技术可以分析从用户眼睛反射并由图像传感器捕获的闪光。一些头戴式系统可能包括使用近红外(nIR) 照明器和标准多像素互补金属氧化物半导体(CMOS) 相机对每只眼睛进行眼动追踪。近红外照明器和CMOS 摄像头的组合为每只眼睛提供精确且高帧速率(例如每秒超过15 帧)的跟踪。

然而,这种典型NIR+CMOS 配置的基线功率无法很好地适应较低的帧速率,并且在极低功耗应用中使CMOS 摄像头和NIR LED 始终处于开启状态是不可行的。好的。因此,苹果公司希望为眼动追踪系统提供一种有效的方法,不需要在整个可能的注视空间中进行连续跟踪,以评估眼睛特征(例如注视方向、眼睛方向)用于头戴式系统。识别眼球虹膜等)以节省功耗。

用于注视对准的视网膜反射追踪

苹果该公司的发明包括用于检测用户眼睛大致朝向目标区域(如热区/corner)的注视方向的设备、系统和方法。

确定眼睛对目标区域(如热区/corner)的注视的基础是检测眼睛反射的光是否具有某些特征,例如表明红眼型反射的光谱特征,接近目标区域。

照明器和/或检测器可以与眼睛到目标区域的总体方向光学对准,例如,通过将照明器/检测器定位在显示器/镜头的目标区域中和/或后面,或者定位在目标中透镜区域使用光波导。

检测器可以是对窄同轴角光谱反射敏感的近红外(nIR)收发器。检测器可以使用低功耗硬件(例如,与镜头配对的光电二极管),当高功率眼动追踪硬件(例如,CMOS)关闭时,该硬件可以处于活动状态。例如,用户可以扫描热点的角落来触发动作,例如使用全眼动追踪启动XR体验、响应通知等。如果注视满足特定标准,例如注视持续时间超过特定阈值,可以启动预期的操作。

一般来说,本专利所描述的主题的创新之处可以体现在以下方法中:在具有处理器和显示屏的电子设备上,通过照明器向眼睛照射光线以产生反射。接收来自传感器的传感器数据,传感器的感应方向与眼睛对目标区域的方向大致相反齐,根据传感器数据确定反射特性,注视方向根据反射特征检测眼睛是否大致朝向目标区域,并根据反射特征检测注视方向。大致向目标区域发起操作。

在某些方面,苹果指出凝视方向可用于确定是否满足发起动作的标准。在某些方面,操作提供用户对通知的响应。在某些方面,运营包括推出XR 体验。

苹果AR眼镜新专利曝光,可通过眼动追踪技术帮助用户启动应用程序

苹果专利图2A展示了包括图像传感器和投影仪的AR或XR眼镜;图2B显示了透明基板的面积。图2B 还说明了八个定义的“热角区域”,本文中描述的过程可将其用于热点检测区域(例如,显示器FOV #230 周围的区域)。

示例区域包括上颞(ST) 区域#231、上颞(S) 区域#232、上鼻(SN) 区域#233、颞区#234、鼻区#235 .颞下区#236。 鼻下区#237。 鼻下区#238。

苹果专利图2C说明了热角AR眼镜区域的检测。特别是,图2C 示出了用户眼睛注视位置在设备镜头#215 的ST 区域#231 的目标区域#262 处,如如热区area #260 所示。

在示例性实现中,热角可以使用分布在设备边框#212 边缘周围的超声波传感器、光电探测器或电眼成像传感器阵列来实现。该子系统可用的眼睛姿势和手势可以通过注视、眼睛运动或其组合来定义。通过这种方式,AR 眼镜中的传感器(例如探测器#220)可以提供眼睛注视速度和注视角度(例如角度)的估计。

苹果专利图3B示出了热角眼睛跟踪系统的示例环境300B。 热角眼球追踪系统使用光源#320(例如产生发射角#322的红外光的近红外照明器)和光传感器#330(低功率传感器,例如作为光电二极管)。

苹果上述专利4B 显示了热角眼球追踪系统的示例,该系统利用透明基板,例如光波导#410,其中包括集成传感器#420,能够测量人眼眼底的同轴反射。在一些实施例中,如图所示,传感器可以是覆盖多个区域的单个传感器。另外,或者作为替代,每个区域可以配备有单独的传感器(例如传感器420)。

苹果专利图5A-5C 说明了通过镜头#502 或在镜头#502 上检测眼睛注视方向的用户体验。例如图5

A-5C 展示了用户注视或靠近设备的显示屏,并根据其注视特定区域(例如,注视热角)启动用户界面上的应用。图 5A 展示了用户看向特定区域启动时钟应用的过程。在图 5C 中,可以看到用户利用眼睛注视技术打开的一系列应用程序。

最后苹果公司指出,每个透镜都可以堆叠,其中包括用于度数镜片的偏置(+/-)、用于容纳或嵌入多个红外光源和透明导体的波导等。

想要了解更多专利细节,请查看苹果的专利申请 20230359273。

来源:patentlyapple