一种基于实体接触预测和模式几何误差界的视频透视局部显示控制方法及装置与流程

本发明涉及视频透视成像和近眼显示控制，具体涉及一种基于实体接触预测和模式几何误差界的视频透视局部显示控制方法及装置。

背景技术：

1、视频透视装置通常利用朝向外部环境设置的图像采集组件采集真实场景图像，对所述真实场景图像执行畸变校正、视点变换、运动补偿、深度重投影和显示适配后，通过近眼显示组件向用户呈现外部真实场景。

2、视频透视图像中的局部显示位置会受到相机内外参数误差、相机与观察眼视点之间的变换误差、场景深度误差、装置姿态估计误差、图像采集至显示的时间差、交互执行体和实体目标的运动预测误差、滚动快门行时序差异、重投影与插值误差以及显示畸变校正残差等因素影响。在一般观察场景中，上述误差可能仅表现为轻微的视觉偏差；在指尖触摸实体按钮、抓取小型物体、连接器插接、工具尖端定位或沿实体边缘操作等真实实体接触操作以及障碍物避让中，局部显示位置偏差会直接影响用户对接触位置和接触方向的判断。

3、现有视频透视技术可以在检测到手部接近实体目标、预测手部与真实表面碰撞或者识别到较高交互概率时，触发局部显示或调整局部增强程度；还可以根据深度置信度、位姿不确定性或目标识别可靠性改变虚拟信息的显示形式，或者在强调几何准确性的图像生成模式与强调视觉连续性的图像生成模式之间切换。

4、然而，手部接近或一般交互概率本身不能表明预计真实接触位置的显示误差；无量纲的深度置信度或跟踪置信度也不能直接表示预计接触位置在真实空间中的长度误差、在显示空间中的像素误差或观察角度误差。不同局部图像生成模式使用的数据和处理环节不同，其误差源集合及误差传播关系并不相同。仅选择误差最小的模式仍不能保证该模式满足按钮有效区域、接口配合间隙或者工具操作所允许的实际空间公差。

5、此外，当全部候选模式均不能满足当前实体交互任务的容许误差时，继续显示单一精确接触点、窄中心线或者精确轴线，可能向用户提供超过当前可验证几何精度的接触位置指引。因此，有必要围绕预计首次实体接触事件，将不同局部图像生成模式所对应的误差源分别传播至预计接触时刻，并按实体交互任务的容许几何误差选择局部显示模式；在不存在合格候选模式时，根据仍可验证的几何误差信息形成具有空间范围约束的保守显示内容，并在无法形成可用保守几何误差范围时输出几何不可信状态。

技术实现思路

1、本发明要解决的技术问题是：在交互执行体接近实体目标并可能发生物理接触或者需要避让实体目标的条件下，如何针对采用不同数据和处理环节的候选局部图像生成模式，确定其在预计接触时刻和预计接触位置处的几何误差范围，并根据真实实体交互任务允许的空间公差选择局部图像生成模式；当全部候选模式均不满足所述空间公差时，如何避免输出超过当前可验证几何精度的精确局部指引。

2、为解决上述技术问题，根据本发明的第一个方面，本发明首先提供一种基于实体接触预测和模式几何误差界的视频透视局部显示控制方法，包括以下步骤：

3、s1，获取视频透视装置的外部真实场景信息，并生成基础视频透视图像；

4、s2，根据所述外部真实场景信息确定交互执行体的接触部位、所述接触部位的等效尺寸、实体目标的接触候选表面以及所述接触部位与所述接触候选表面之间的相对状态概率分布；

5、s3，根据所述相对状态概率分布确定预定预测时间范围内的实体接触概率和预测接近轨迹，以所述接触部位与所述接触候选表面之间的距离首次不大于接触距离阈值的事件为依据确定预计接触时刻，并根据发生接触条件下构成所述预测接近轨迹的各预测轨迹在各自首次接触时刻对应的所述接触部位的位置状态确定预计接触位置；

6、s4，确定参考几何误差界；

7、s5，根据所述预测接近轨迹、所述预计接触位置、所述接触部位的等效尺寸和所述参考几何误差界确定三维交互关键区域，并将所述三维交互关键区域投影至图像坐标系或显示坐标系以形成预计接触区域；确定至少两种用于生成所述预计接触区域的视频透视图像的候选局部图像生成模式；

8、s6，根据各候选局部图像生成模式实际采用的数据和处理环节分别配置模式特定误差源集合，将各模式特定误差源由当前观测时刻传播至所述预计接触时刻，根据传播结果确定各候选局部图像生成模式的模式几何误差界，并将各模式几何误差界变换为以所述预计接触位置为基准、在与所述外部真实场景空间几何建立标定变换关系的同一预定三维空间坐标系中、按相同空间量纲和相同空间范数表示的保守空间误差范围；对于触摸或插接任务，将由所述模式几何误差界限定的误差位移集合平移至所述预计接触位置，形成相应候选局部图像生成模式的模式几何位置范围；对于避让任务，确定覆盖当前观测时刻至所述预计接触时刻期间各轨迹时刻模式几何误差的保守误差位移集合，将所述保守误差位移集合沿所述预测接近轨迹展开形成模式几何扫掠范围，并将所述模式几何扫掠范围作为相应候选局部图像生成模式的模式几何位置范围；

9、s7，根据交互任务类型构建任务容许区域，其中，对于触摸或插接任务，将所述实体目标的有效接触区域按照所述接触部位的等效尺寸及配合间隙向内收缩，并将收缩后区域确定为所述任务容许区域；对于避让任务，将所述实体目标的占用区域按照所述交互执行体的包围体尺寸及安全余量向外扩张，并将扩张后占用区域之外的空间确定为所述任务容许区域；所述模式几何位置范围和所述任务容许区域均表示在所述预定三维空间坐标系中；根据所述预计接触位置或所述预测接近轨迹与所述任务容许区域的空间关系确定任务可行状态；当所述预计接触位置位于所述触摸或插接任务的任务容许区域之外，或者所述预测接近轨迹进入所述避让任务的扩张后占用区域时，将所述任务可行状态设置为无效，否则将所述任务可行状态设置为有效；在所述任务可行状态为有效时，根据所述预计接触位置或所述预测接近轨迹相对于所述任务容许区域边界的剩余几何裕量确定任务容许几何误差；

10、s8，根据显示扫描时序，确定当前显示更新周期中所述预计接触区域各显示扫描位置的预定显示输出时刻以及与各预定显示输出时刻对应的显示数据提交截止时刻；将各预定显示输出时刻中的最晚时刻确定为目标显示时刻，将各显示数据提交截止时刻中的最早时刻确定为处理截止时刻；在所述目标显示时刻不晚于所述预计接触时刻时，将时序可行状态设置为有效；在所述目标显示时刻晚于所述预计接触时刻时，将所述时序可行状态设置为无效；

11、s9，将模式特定误差源参数均可获得且未超过各自预定有效期、误差传播所需的坐标变换和时间基准有效、与所述预计接触时刻和所述预计接触位置的当前更新结果相对应且能够在所述处理截止时刻之前完成确定的模式几何误差界确定为有效模式几何误差界；在所述任务可行状态和所述时序可行状态均为有效时，将具有所述有效模式几何误差界、所述模式几何位置范围包含于所述任务容许区域、实际采用的输入数据均有效且能够在所述处理截止时刻之前完成处理的候选局部图像生成模式确定为合格候选模式；在所述任务可行状态或所述时序可行状态为无效时，直接将合格候选模式集合确定为空集；

12、s10，在存在所述合格候选模式时，从中选择局部图像生成模式，生成所述预计接触区域的局部视频透视图像并与所述基础视频透视图像合成，并输出合成后的视频透视图像；

13、s11，在不存在所述合格候选模式时，由实际采用的输入数据均有效、处理能够在所述处理截止时刻之前完成且具有所述有效模式几何误差界的候选局部图像生成模式构成有界候选模式集合；在所述有界候选模式集合非空时，确定能够覆盖所述有界候选模式集合中各候选局部图像生成模式的有效模式几何误差界所限定的全部误差位移集合的保守几何误差界，抑制精确接触位置指引，生成覆盖所述保守几何误差界所限定的空间范围的误差包络或保守边界，并输出与所述误差包络或保守边界对应的保守显示内容；

14、s12，在不存在所述合格候选模式且所述有界候选模式集合为空时，抑制精确接触位置指引，不生成具有空间范围含义的误差包络，生成几何不可信状态，并输出与所述几何不可信状态对应的保守显示内容；

15、s13，在所述交互执行体接近所述实体目标期间，根据后续获取的场景信息更新所述相对状态概率分布、所述实体接触概率、所述预测接近轨迹、所述预计接触时刻和所述预计接触位置，按照步骤s4所述参考几何误差界确定规则更新所述参考几何误差界，并更新所述三维交互关键区域以形成更新后的所述预计接触区域，根据更新后的所述预计接触时刻和更新后的所述预计接触区域重新确定并更新所述处理截止时刻、所述目标显示时刻和所述时序可行状态，并更新各模式几何误差界、各模式几何位置范围、所述任务容许区域和所述任务可行状态，在更新后的所述任务可行状态为有效时更新所述任务容许几何误差，并更新所述合格候选模式集合和局部显示状态；在更新后的所述合格候选模式集合为空时，由实际采用的输入数据在更新后均有效、处理能够在更新后的所述处理截止时刻之前完成且具有根据更新结果确定的所述有效模式几何误差界的候选局部图像生成模式重新构成所述有界候选模式集合，并据此更新所述保守几何误差界或所述几何不可信状态，以及所述局部显示状态。

16、进一步地，步骤s3包括：以所述接触部位与所述接触候选表面之间的距离首次不大于接触距离阈值的时刻作为首次接触时刻随机变量，根据截至当前时刻获得的图像、空间几何、姿态和跟踪观测数据，确定所述首次接触时刻随机变量在所述预定预测时间范围内取有限值的条件概率，并将发生接触条件下所述首次接触时刻随机变量的条件期望，或者累计接触概率达到预定概率阈值的最早时刻，确定为所述预计接触时刻；当所述实体接触概率未达到预定进入阈值，或者采用累计接触概率确定所述预计接触时刻时所述累计接触概率在所述预定预测时间范围内未达到所述预定概率阈值时，不确定所述预计接触时刻，不进入局部显示控制状态，并维持常规视频透视处理。

17、进一步地，步骤s5中，所述候选局部图像生成模式包括深度眼视点重投影模式、运动预测重投影模式、实体表面模型约束模式和最新基础图像模式中的至少两种；所述最新基础图像模式使用最新采集并完成基础处理的视频透视图像，不执行历史图像传播、深度预测重投影和预测填充；步骤s6中，所述最新基础图像模式的模式特定误差源集合包括影响其输出几何位置的全部误差源，所述模式特定误差源集合至少包括相机与眼视点之间的空间变换相关几何误差、视频透视装置姿态变化相关误差和图像采集至显示时延相关误差，并在相应处理环节存在时进一步包括相机标定误差和显示畸变校正残差；所述最新基础图像模式的模式几何误差界根据所述模式特定误差源集合确定。

18、进一步地，步骤s6中，所述模式特定误差源集合由与相应候选局部图像生成模式实际采用的数据和处理环节对应、并影响其输出几何位置的误差源构成，所述误差源包括相机标定误差、场景深度误差、相机与眼视点之间的变换误差、视频透视装置姿态误差、交互执行体运动预测误差、实体目标运动预测误差、图像采集至显示时延误差、滚动快门时序误差、实体模型配准误差、表面拟合误差、重投影误差、插值误差和显示畸变校正残差中的至少一项；为相应候选局部图像生成模式启用与其实际采用的数据和处理环节对应的误差源，并不启用与其未采用的数据和处理环节对应的误差源。

19、进一步地，步骤s4的确定方式为：在首次进入局部显示控制状态时采用预定保守几何误差界；在后续显示更新周期，当上一显示更新周期存在选定的局部图像生成模式，且该模式形成的模式几何误差界已经完成计算并且所依赖的误差源参数、坐标变换、时间基准和相应场景状态在当前时刻均满足预定有效条件时，优先采用该模式几何误差界；否则，当上一显示更新周期存在至少一个已经完成计算，且其所依赖的误差源参数、坐标变换、时间基准和相应场景状态在当前时刻均满足所述预定有效条件的模式几何误差界时，采用能够覆盖所述已完成计算且满足所述预定有效条件的各模式几何误差界所限定的全部误差位移集合的保守几何误差界；当上一显示更新周期不存在满足所述预定有效条件的已完成计算的模式几何误差界时，采用所述预定保守几何误差界；参与所述参考几何误差界确定的模式几何误差界仅限于截至当前时刻已经完成计算的模式几何误差界

20、进一步地，步骤s6中，按照以下规则确定所述模式几何误差界：仅获得置信几何误差界时，将所述置信几何误差界确定为所述模式几何误差界；仅获得确定性几何误差上界时，将所述确定性几何误差上界确定为所述模式几何误差界；二者均获得时，将二者变换至所述预定三维空间坐标系，并采用相同空间量纲、相同空间范数和相同表示形式；二者均以标量界表示时，取二者中的较大值作为所述模式几何误差界；二者均以法向和切向分量表示时，分别取各对应分量中的较大值作为所述模式几何误差界；二者均以空间误差范围表示时，将能够覆盖二者所限定的误差位移集合的并集的保守外包络确定为所述模式几何误差界；所述置信几何误差界通过将相应候选局部图像生成模式的误差状态协方差传播至所述预计接触时刻而确定，所述误差状态协方差包含能够获得的不同误差源之间的交叉协方差；所述确定性几何误差上界通过将相应候选局部图像生成模式能够获得的各误差项上限传播至所述预计接触时刻而确定；用于比较的各模式几何误差界均变换为以所述预计接触位置为基准、在所述预定三维空间坐标系中按相同空间量纲和相同空间范数表示的保守空间误差范围，采用所述置信几何误差界的各候选局部图像生成模式使用相同的预定可信水平，所述确定性几何误差上界作为相应空间范数下的保守空间范围或分量上限。

21、进一步地，步骤s6中，将相应候选局部图像生成模式的模式几何误差界在以所述接触候选表面法向和切平面方向建立的局部坐标系中分解，得到沿所述法向的法向几何误差界和投影至所述切平面的切向几何误差界；步骤s7中，确定沿所述接触候选表面法向的法向容许误差和沿所述接触候选表面切平面的切向容许误差中的至少一种；步骤s9中，在所述任务容许区域在所述局部坐标系中能够表示为由已确定的法向容许误差和/或切向容许误差所限定的相应容许区间的交集时，在仅设置所述法向容许误差或所述切向容许误差之一的情况下比较相应方向的几何误差界，在同时设置所述法向容许误差和所述切向容许误差的情况下，仅在所述法向几何误差界不超过所述法向容许误差并且所述切向几何误差界不超过所述切向容许误差时，确定相应候选局部图像生成模式满足所述任务容许几何误差；对于不能表示为所述容许区间的交集的任务容许区域，采用所述模式几何位置范围包含于所述任务容许区域的判据。

22、进一步地，步骤s10至s12中的显示输出均按照所述显示扫描时序执行，使所述预计接触区域的各显示扫描位置分别在对应的所述预定显示输出时刻完成显示输出，并使其中最晚完成的显示输出不晚于所述目标显示时刻；

23、进一步地，步骤s11和s12中，在不存在所述合格候选模式时，所述有界候选模式集合由实际采用的输入数据均有效、处理能够在所述处理截止时刻之前完成且具有所述有效模式几何误差界的候选局部图像生成模式构成；当所述有界候选模式集合非空时，将能够覆盖所述有界候选模式集合中各候选局部图像生成模式的有效模式几何误差界所限定的全部误差位移集合的保守包络确定为所述保守几何误差界，其中，在所述有效模式几何误差界均以相同空间半径表示时取所述空间半径的最大值，在所述有效模式几何误差界均以法向和切向分量表示时分别取对应分量的最大值，在所述有效模式几何误差界以空间误差范围表示或者表示形式不同时，采用能够覆盖所述有效模式几何误差界所限定的误差位移集合的并集的保守外包络；将所述保守几何误差界所限定的误差位移集合转换为能够覆盖所述误差位移集合的保守标量包围半径，并执行以下至少一项：显示所述预计接触位置的误差包络，对需要避让的实体目标将其占用区域按照所述保守标量包围半径向外扩张，对需要触摸或插接的实体目标将所述有效接触区域按照所述保守标量包围半径向内收缩并在收缩后的区域为空时停止显示精确有效接触区域，或者将用于表示虚拟接触点的图形标记、虚拟中心线或虚拟方向带的显示空间宽度设置为不小于所述保守几何误差界投影至显示空间后形成的显示空间误差界的两倍；当所述有界候选模式集合为空时，不生成空间误差包络并输出所述几何不可信状态。

24、根据本发明的第二个方面，本发明还提供了一种视频透视设备，包括图像采集组件、近眼显示组件和处理器，所述处理器通过信号传输线路分别与所述图像采集组件和所述近眼显示组件连接；所述图像采集组件用于采集外部真实场景的连续视频图像；所述处理器被配置为执行上述视频透视局部显示控制方法；所述近眼显示组件用于输出所述处理器生成的合成后的视频透视图像，或者与误差包络、保守边界或几何不可信状态对应的保守显示内容。

25、相比于现有技术，本发明的有益效果体现在：

26、1.通过实体接触预测、模式几何误差界确定、任务容许区域构建、按时筛选以及两级保守显示组成闭环处理链，使局部显示结果同时受物理接触事件、可验证几何精度、处理截止时刻和目标显示时刻约束。

27、2.以接触部位与接触候选表面之间的距离首次不大于接触距离阈值作为接触事件，基于首次接触时刻随机变量的条件概率确定预计接触时刻，并在实体接触概率不足时维持常规视频透视处理，可避免在接触尚不具备足够可能性时启动精确局部显示。

28、3.在深度眼视点重投影、运动预测重投影、实体表面模型约束和最新基础图像等候选模式之间进行筛选，并使最新基础图像模式仍计入实际影响其输出几何位置的误差源，可在数据条件变化时保留可比较的候选路径而不将基础图像模式视为零几何误差。

29、4.根据各候选局部图像生成模式实际采用的数据和处理环节分别配置模式特定误差源集合，使未采用处理环节的误差源不被错误引入，同时使实际影响相应模式输出几何位置的误差源得到计入。

30、5.将置信几何误差界和确定性几何误差上界变换至同一预定三维空间坐标系，并按相同空间量纲、空间范数和表示形式采用较大值或保守外包络合成模式几何误差界，可降低不同误差表示直接比较造成的低估风险。

31、6.将模式几何误差界分解为法向几何误差界和切向几何误差界，并分别与法向容许误差和切向容许误差比较；对于不能表示为方向容许区间交集的任务容许区域采用区域包含判据，可使模式筛选与实际接触或避让任务的空间公差相对应。

32、7.仅接纳具有有效模式几何误差界、能够在处理截止时刻之前完成处理且满足任务容许条件的候选模式；不存在合格候选模式时，有界候选模式集合非空则输出误差包络或保守边界，集合为空则输出几何不可信状态，从而防止处理截止时刻之后完成的结果进入当前显示更新周期，并避免输出无可验证误差依据的精确指引。

33、8.在获得满足更新条件的实际接触反馈时，利用经不确定度、范数异常阈值和可辨识性筛选的接触残差，通过参数敏感度矩阵和加权参数估计更新相机与眼视点之间的变换误差、局部深度偏差、实体模型配准偏差、显示畸变校正残差或特定视野位置系统偏差，可提高后续误差模型与实际接触偏差的一致性。

34、9.通过装置各组件之间明确的数据输出和信号连接关系，以及视频透视设备中图像采集组件、处理器和近眼显示组件之间的信号传输线路，形成场景采集、方法处理、局部图像生成和显示输出的数据通路，以输出合成后的视频透视图像或与保守状态对应的显示内容。