Apple Vision Pro 专利公布：涉及头部和视觉里程计眼动追踪

近日，美国专利商标局正式授予苹果一项专利，该专利涉及其使用头部和视觉里程计的眼动追踪系统。更具体地说，该专利涵盖了用于在 Vision Pro 中检测用户眼睛位置和运动的低功耗眼动追踪。HMD 的眼动追踪系统可能包括眼动追踪摄像头和视觉里程计，可以降低系统的功耗。视觉里程计可用作低功耗组件，以追踪用户眼睛相对于 HMD 在眼动追踪摄像头捕获的帧之间的相对运动，这可以使眼动追踪摄像头的帧速率降低。

苹果专利涵盖了用于追踪设备相对于用户头部的相对运动的方法和装置，其中传感器（本文中称为头部运动传感器或头部里程计）放置在设备内部或上的一个或多个位置。

在眼动追踪系统的一些实施例中，为了准确地确定用户眼睛相对于眼动追踪摄像头的位置，控制器可以执行一种算法，该算法使用由眼动追踪摄像头捕获的图像来执行 3D 重建，以生成用户眼睛的 3D 模型。

在一些实施例中，当检测到设备相对于用户眼睛的运动时，可以确定检测到的运动的大小和方向，而不是执行 3D 重建，并且可以根据检测到的 HMD 运动的大小和方向调整先前通过 3D 重建方法生成的用户眼睛的 3D 模型。

该专利还描述了使用视觉里程计追踪用户眼睛相对于 HMD 的相对运动的方法和装置。在一些实施例中，传感器（本文中称为眼部运动传感器或视觉里程计）被放置在设备中的一个或多个位置以增强眼动追踪摄像头。视觉里程计可用作低功率组件，以追踪用户眼睛相对于设备的相对运动，以处理由眼动追踪摄像头以帧速率捕获的帧之间的间隔。

该专利描述了包括头部里程计和视觉里程计的 HMD，或者包括头部里程计和眼动追踪摄像头的 HMD，这些摄像头捕获低分辨率图像，以追踪眼睛的相对运动。

用于 HMD 眼动追踪系统的实施例，其包括头部里程计和视觉里程计，或者替代地同时包括头部里程计和眼动追踪摄像头，其捕获低分辨率图像以追踪眼睛的相对运动，例如可以进一步降低执行 3D 重建的频率，并且还可以降低对由眼动追踪摄像头捕获的帧进行 2D 图像处理的频率，以进一步降低眼动追踪系统的功耗。

苹果专利图 10 展示了一个示例 VR/AR HMD，该系统实现了眼动追踪系统，该系统包括检测 HMD 相对于用户眼睛运动的头部里程计和在处理眼动追踪摄像头捕获的帧之间的间隔内追踪眼动运动的视觉里程计。

苹果专利图 11 是一种眼动追踪方法的流程图，其中头部里程表用于检测 HMD 相对于用户眼睛的运动，并且视觉里程计用于追踪眼睛在处理由眼动追踪摄像头捕获的帧之间的间隔内的运动。