触碰检测方法、装置、设备和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种触碰检测方法、装置、设备和计算机可读存储介质。


背景技术：

2.目前，指尖触碰检测技术或产品大多需要配套的压力传感器，压力传感器的布置范围和密度决定了触碰效果，如需大面积的触碰检测，则需要配置大型号的压力传感器，极大地限制了使用场景。
3.另外，在通用场景中基于视觉的触碰方案需要配置深度相机、结构光相机等特殊功能设备，增大了使用难度和成本。


技术实现要素：

4.本技术主要解决的技术问题是提供一种触碰检测方法、装置、设备和计算机可读存储介质，能够提高触碰检测结果的精度，且成本较低。
5.为了解决上述技术问题，本技术第一方面提供了一种触碰检测方法，包括：获取对触碰检测平面拍摄到的第一图像和第二图像；分别对第一图像和第二图像进行目标检测，得到目标对象的目标部位分别在第一图像中的第一图像位置和在第二图像中的第二图像位置；对第一图像位置和第二图像位置进行联合分析，得到触碰检测结果；其中，触碰检测结果包括目标部位是否触碰到触碰检测平面。
6.其中，对第一图像位置，从第一图像中提取第一区域图像，并基于第二图像位置，从第二图像中提取第二区域图像；基于第一区域图像中属于目标对象的第一像素点，得到目标部位在第一图像中的第一优化位置，并基于第二区域图像中属于目标对象的第二像素点，得到目标部位在第二图像中的第二优化位置；对第一优化位置和第二优化位置进行联合分析，得到触碰检测结果。
7.其中，目标部位位于目标对象的端部，第一优化位置或第二优化位置的获取步骤包括：对区域图像进行目标分割，得到目标对象的掩膜图像；其中，属于目标对象的像素点在掩膜图像中的像素值均为第一数值；基于掩膜图像，获取目标对象的中心线和边缘；基于中心线与边缘的交点，得到目标对象的优化位置；其中，在区域图像为第一区域图像的情况下，优化位置为第一优化位置，在区域图像为第二区域图像的情况下，优化位置为第二优化位置。
8.其中，第一区域图像和第二区域图像具有相同尺寸，且第一图像位置与第一区域图像的相对位置、第二图像位置与第二区域图像的相对位置两者相同。
9.其中，对第一优化位置和第二优化位置进行联合分析，得到触碰检测结果，包括：基于第一优化位置，从第一图像提取第一参考图像，并基于第二优化位置，从第二图像提取第二参考图像；其中，第一参考图像和第二参考图像具有相同尺寸；分别将第一参考图像、第二参考图像沿相同方向，等分为预设数值个第一子图像和预设数值个第二子图像，并将
排在相同序位处的第一子图像和第二子图像组成一组子图像对；分别获取各组子图像对中匹配点对的坐标差值；其中，匹配点对包括来自第一子图像的第一特征点和来自第二子图像的第二特征点；基于各个匹配点对的坐标差值，得到触碰检测结果。
10.其中，基于各个匹配点对的坐标差值，得到触碰检测结果，包括：统计各个匹配点对的坐标差值，得到最终差值；在最终差值低于预设阈值的情况下，确定触碰检测结果包括目标部位触碰到触碰检测平面；在最终差值不低于预设阈值的情况下，确定触碰检测结果包括目标部位未触碰到触碰检测平面。
11.其中，分别获取各组子图像对中匹配点对的坐标差值，包括：获取匹配点对中第一特征点和第二特征点，分别在第一参考图像和第二参考图像中的第一像素坐标和第二像素坐标；基于第一像素坐标和第二像素坐标之间差值的绝对值，得到匹配点对的坐标差值。
12.其中，第一参考图像和第二参考图像中均不包含目标对象；第一优化位置与第一参考图像的相对位置、第二优化位置与第二参考图像的相对位置两者相同；和/或，第一参考图像、第二参考图像沿第一方向进行等分，坐标差值基于第一特征点和第二特征点分别在第二方向上的坐标差值而得到，第一方向与第二方向垂直。
13.其中，第一图像是由第一摄像头拍摄得到的，第二图像是由第二摄像头拍摄得到的；其中，第一摄像头和第二摄像头两者光心的连线与触碰检测平面平行，和/或，第一摄像头和第二摄像头两者的光心分别至触碰检测平面的垂直距离相同。
14.为了解决上述技术问题，本技术第二方面提供了一种触碰检测装置，包括：图像获取模块，用于获取对触碰检测平面拍摄到的第一图像和第二图像；目标检测模块，用于分别对第一图像和第二图像进行目标检测，得到目标对象的目标部位分别在第一图像中的第一图像位置和在第二图像中的第二图像位置；联合分析模块，用于对第一图像位置和第二图像位置进行联合分析，得到触碰检测结果；其中，触碰检测结果包括目标部位是否触碰到触碰检测平面。
15.为了解决上述技术问题，本技术第三方面提供了一种触碰检测设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的触碰检测方法。
16.其中，触碰检测设备还包括第一摄像头和第二摄像头，第一摄像头和第二摄像头均与处理器耦接，第一摄像头用于对触碰检测平面拍摄得到第一图像，且第二摄像头用于对触碰检测平面拍摄得到第二图像。
17.为了解决上述技术问题，本技术第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的触碰检测方法。
18.上述方案，通过对目标对象的目标部位分别在第一图像中的第一图像位置和在第二图像中的第二图像位置进行联合分析，即可确定目标对象的目标部位是与触碰检测平面触碰还是处于悬停状态。相比于传统基于压力传感器的触碰检测的技术方案，本技术的实现无需配置压力传感器，适用范围更广，成本更低；而相比于通过比较指尖和触碰检测平面的深度信息差异进行指尖是否触碰到触碰检测平面的技术方案，本技术无需配置软硬件高度集成封装的深度相机，简单可靠且通用性、灵活性更高。
附图说明
19.图1是本技术提供的触碰检测方法一实施例的流程示意图；
20.图2是本技术提供的双目相机一实施例的位置示意图；
21.图3是本技术提供的指尖检测模型一实施例的结构示意图；
22.图4是图1所示步骤s13一实施例的流程示意图；
23.图5是本技术提供的对第一图像位置和第二图像位置进行优化的示意图；
24.图6是本技术提供的获取第一优化位置或第二优化位置的流程示意图；
25.图7是本技术提供的目标对象骨架提取算法一实施例的示意图；
26.图8是本技术提供的提取特征匹配点对一实施例的示意图；
27.图9是图4所示步骤s133一实施例的流程示意图；
28.图10是本技术提供的获取各组子图像对中匹配点对的坐标差值一实施例的流程示意图；
29.图11是本技术提供的基于各个匹配点对的坐标差值得到触碰检测结果一实施例的流程示意图；
30.图12是本技术提供的触碰检测装置一实施例的框架示意图；
31.图13是本技术提供的触碰检测设备一实施例的框架示意图；
32.图14是本技术提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
33.下面结合说明书附图，对本技术实施例的方案进行详细说明。
34.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
35.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
36.请参阅图1，图1是本技术提供的触碰检测方法一实施例的流程示意图。需要注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
37.步骤s11：获取对触碰检测平面拍摄到的第一图像和第二图像。
38.本实施例的方法用于检测目标对象的目标部位是否触碰到触碰检测平面，本文所述的触碰检测平面可以但不限于设备的显示平面(例如，学习机的显示屏)、报纸、期刊、杂志、教科书等。
39.在一实施方式中，对触碰检测平面拍摄到的第一图像和第二图像可以是双目相机对触碰检测平面进行拍摄得到的，例如，双目相机对触碰检测平面拍摄到的第一图像为双目相机中左目相机拍摄到的图像，第二图像为双目相机中右目相机拍摄到的图像。当然，第一图像也可以为双目相机中右目相机拍摄到的图像，第二图像也可以为双目相机中左目相机拍摄到的图像。在其他实施方式中，也可以利用两个或多个摄像头对触碰检测平面进行拍摄，以得到第一图像和第二图像。
40.在一实施方式中，获取对触碰检测平面拍摄到的第一图像和第二图像，具体可以从本地存储或云端存储中获取得到。可以理解地，在其他实施方式中，也可以通过双目相机或者两个摄像头或多个摄像头对当前触碰检测平面进行拍摄得到第一图像和第二图像。
41.请参阅图2，图2是本技术提供的双目相机一实施例的位置示意图，为了使后续能够根据双目相机对触碰检测平面拍摄到的第一图像和第二图像进行触碰检测，在一实施方式中，连接双目相机中两个摄像头光心的连线与触碰检测平面平行，即左目摄像头c
l
和右目摄像头cr的光心之间的连线d与触碰检测平面平行，其中，两个摄像头的参数设置相同，不对两个摄像头光心的连线距离进行限定，可根据实际使用需要具体设置。在其他实施方式中，双目相机中两个摄像头的光心分别至触碰检测平面的垂直距离相同，即左目摄像头c
l
的光心至触碰检测平面的垂直距离h1与右目摄像头cr的光心至触碰检测平面的垂直距离h2相同，其中，不对摄像头的光心至触碰检测平面的垂直距离进行限定，可根据实际使用需要具体设置。在其他实施方式中，连接双目相机中两个摄像头光心的连线与触碰检测平面平行且双目相机中两个摄像头的光心分别至触碰检测平面的垂直距离相同。
42.在其他实施方式中，如果第一图像和第二图像是利用双摄像头即第一摄像头和第二摄像头对触碰检测平面拍摄得到的，第一图像是由第一摄像头拍摄得到的，第二图像是由第二摄像头拍摄得到的。那么，第一摄像头和第二摄像头两者光心的连线与触碰检测平面平行。或者，在其他实施方式中，第一摄像头和第二摄像头两者的光心分别至触碰检测平面的垂直距离相同。或者，在其他实施方式中，第一摄像头和第二摄像头两者光心的连线与触碰检测平面平行且第一摄像头和第二摄像头两者的光心分别至触碰检测平面的垂直距离相同。
43.步骤s12：分别对第一图像和第二图像进行目标检测，得到目标对象的目标部位分别在第一图像中的第一图像位置和在第二图像中的第二图像位置。
44.在一实施方式中，目标对象包括但不限于手指、普通的笔(例如，铅笔、水笔、钢笔等)、触控笔(例如，点读机配套的点读笔)等。
45.在一实施方式中，目标对象的目标部位可以是位于目标对象的端部。举例来说，当目标对象为手指时，目标对象的目标部位可以是手指的指尖；当目标对象为普通的笔时，目标对象的目标部位可以是笔的笔尖；当目标对象为触控笔时，目标对象的目标部位可以是触控笔的笔尖，其中，可在触控笔的笔尖处设置便于识别检测的标志物(例如，红色或者绿色的点等)，从而便于后续确定触控笔笔尖的位置。可以理解地，在其他实施方式中，目标对象的目标部位也可以是目标对象的尾部等，在此不做限定，可根据实际使用需要具体设置。
46.本实施方式中，分别对第一图像和第二图像进行目标检测，得到目标对象的目标部位分别在第一图像的第一图像位置和在第二图像中的第二图像位置。其中，不对第一图像和第二图像进目标检测的算法进行限定，可根据实际使用需要具体设置。
47.在一实施方式中，以目标对象的目标部位是手指的指尖为例，可通过采集标注有手指指尖点的图像数据对深度神经网络进行训练，使得训练完成的深度神经网络能够检测出手指的指尖。
48.为了辅助提高深度神经网络对手指指尖检测的准确性，在其他实施方式中，用于深度神经网络进行训练的图像数据中除了设置标注有手指指尖点位置以外，还可设置标注有手部中心点位置、手部区域高度即包围手部的矩形区域的高度和宽度或者优化微调后的
手部中心点位置等。在一具体实施方式中，如图3所示，图3是本技术提供的指尖检测模型一实施例的结构示意图，用于深度神经网络进行训练的图像数据中标注有手指指尖点位置、手部中心点位置、手部区域高度和优化微调后的手部中心点位置。具体地，利用深度残差网络(deep residual network,resnet)进行特征提取，然后使用特征金字塔网络(feature pyramid networks,fpn)结构进行采样并将特征输入四个分支完成对应的检测任务，从而实现对深度神经网络模型的训练。需要说明的是，如图3所示的四个分支均可由卷积层(conv)和归一化层(bn)构成，当然不同分支的网络参数也不尽相同，在此不再赘述。
49.步骤s13：对第一图像位置和第二图像位置进行联合分析，得到触碰检测结果。
50.本实施方式中，对目标对象的目标部位分别在第一图像中的第一图像位置和在第二图像中的第二图像位置进行联合分析，从而得到触碰检测结果。其中，触碰检测结果包括目标部位是否触碰到触碰检测平面。也就是说，通过对第一图像位置和第二图像位置进行联合分析，即可确定目标对象的目标部位是与触碰检测平面触碰还是处于悬停状态。相比于传统基于压力传感器的触碰检测的技术方案，本技术的实现无需配置压力传感器，适用范围更广，成本更低；相比于通过比较指尖和触碰检测平面的深度信息差异进行判定指尖是否触碰到触碰检测平面的技术方案，本技术无需配置软硬件高度集成封装的深度相机，简单可靠且通用性、灵活性更高。
51.由于摄像头以及当前环境存在的细微差异，根据上述步骤得到的第一图像位置和第二图像位置可能不同步的情况，所以为了提高触碰检测结果的准确性，在一实施方式中，可先对目标对象的目标部位分别在第一图像中的第一图像位置和第二图像中的第二图像位置进行优化处理，例如，对第一图像位置和第二图像位置进行同步处理，保证目标对象的目标部位在第一图像中的第一图像位置和在第二图像中的第二图像位置准确且一致，从而基于优化后的第一图像位置和优化后的第二图像位置进行联合分析，得到触碰检测结果。
52.在一实施方式中，对第一图像位置和第二图像位置进行联合分析可以是分别截取第一图像位置和第二图像位置预设方向区域并进行匹配特征点提取，基于匹配点水平位置的误差确定触碰检测结果。其中，匹配特征点提取的算法包括但不限于尺度不变特征转换法(scale-invariant feature transform，sift)、加速稳健特征(speeded up robust features，surf)算法、fast(features from accelerated segment test)算法等。其中，不对预设方向区域进行具体限定，可根据实际使用需要具体设置，例如，预设方向区域为第一图像位置和第二图像位置的上方预设尺寸区域。
53.由于提取的匹配特征点可能存在聚集在色彩剧烈变化区域的情况，从而导致采样点的多样性不够丰富，进而导致影响后续触碰检测结果的准确性，所以为了提高触碰检测结果的准确性，在一实施方式中，可将截取的预设方向区域等分为预设数值个子图像区域并组成子图像对，对各子图像对进行匹配特征点提取，最后基于各匹配特征点对的坐标差值，得到触碰检测结果。
54.上述实施方式中，通过对目标对象的目标部位分别在第一图像中的第一图像位置和在第二图像中的第二图像位置进行联合分析，即可确定目标对象的目标部位是与触碰检测平面触碰还是处于悬停状态。相比于传统基于压力传感器的触碰检测的技术方案，本技术的实现无需配置压力传感器，适用范围更广，成本更低；而相比于通过比较指尖和触碰检测平面的深度信息差异进行指尖是否触碰到触碰检测平面的技术方案，本技术无需配置软
硬件高度集成封装的深度相机，简单可靠且通用性、灵活性更高。
55.请参阅图4，图4是图1所示步骤s13一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。如图4所示，本实施例中，对目标对象的目标部位分别在第一图像中的第一图像位置和第二图像中的第二图像位置进行优化处理，基于优化处理后的第一图像位置和第二图像位置进行联合分析，以得到触碰检测结果，具体包括：
56.步骤s131：基于第一图像位置，从第一图像中提取第一区域图像，并基于第二图像位置，从第二图像中提取第二区域图像。
57.由于摄像头以及当前环境存在的细微差异，根据上述步骤得到的第一图像位置和第二图像位置可能存在不同步的情况，可能会导致后续触碰检测结果不准确，所以为了提高触碰检测结果的准确性，在本实施方式中，可先对目标对象的目标部位分别在第一图像中的第一图像位置和第二图像中的第二图像位置进行优化处理。具体地，首先，基于第一图像位置，从第一图像中提取第一区域图像，以及基于第二图像位置，从第二图像中提取第二区域图像。
58.在一实施方式中，第一区域图像和第二区域图像具有相同尺寸，且第一图像位置与第一区域图像的相对位置、第二图像位置与第二区域图像的相对位置两者相同。其中，不对第一区域图像和第二区域图像的具体尺寸进行限定，可根据实际使用需要设置。例如，第一区域图像的中心可以为第一图像位置，第二区域图像的中心为第二图像位置，且第一区域图像和第二区域图像尺寸相同，如第一区域图像和第二区域图像为高是h、宽是w的矩形区域。
59.举例来说，如图5所示，图5是本技术提供的对第一图像位置和第二图像位置进行优化的示意图，对第一图像进行目标检测得到的第一图像位置为(x'
l
,y'
l
)、对第二图像进行目标检测得到的第二图像位置为(x'r,y'r)，由于第一图像位置(x'
l
,y'
l
)和第二图像位置(x'r,y'r)不同步可能会导致后续触碰检测结果不准确，所以需要对第一图像位置(x'
l
,y'
l
)和第二图像位置(x'r,y'r)进行优化。具体地，以第一图像位置(x'
l
,y'
l
)为中心点，从第一图像中提取高为h、宽为w的第一区域图像，即图5中“左目截取矩形”；以及，以第二图像位置(x'r,y'r)为中心点，从第二图像中提取高为h、宽为w的第二区域图像，即图5中“右目截取矩形”。
60.步骤s132：基于第一区域图像中属于目标对象的第一像素点，得到目标部位在第一图像中的第一优化位置，并基于第二区域图像中属于目标对象的第二像素点，得到目标部位在第二图像中的第二优化位置。
61.本实施方式中，根据第一区域图像中属于目标对象的第一像素点，得到目标部位在第一图像中的第一优化位置，并根据第二区域图像中属于目标对象的第二像素点，得到目标部位在第二图像中的第二优化位置。
62.其中，如图6所示，图6是本技术提供的获取第一优化位置或第二优化位置的流程示意图，第一优化位置或第二优化位置的获取具体包括如下子步骤：
63.步骤s61：对区域图像进行目标分割，得到目标对象的掩膜图像。
64.本实施方式中，目标部位位于目标对象的端部，对区域图像进行目标分割，得到目标对象的掩膜图像。也就是说，对区域图像进行目标分割，使得目标对象和背景区域能够分
割开，从而便于后续对目标对象的优化位置的确定。其中，不对进行目标分割的算法进行限定，可根据实际使用需要具体设置。例如，罗伯茨(roberts)算法、索贝尔(sobel)算法、canny边缘检测算法、marr-hildreth边缘检测算法等，或者，也可以通过诸如u-net、mask rcnn等目标分割网络实现，在此不做限定。
65.其中，属于目标对象的像素点在掩膜图像中的像素值均为第一数值，掩膜图像中的其他像素点的像素值为除第一数值以外的其他数值，从而将目标对象和背景区域分割开，得到目标对象的掩膜图像。其中，不对第一数值进行具体限定，可根据实际使用需要具体设置，例如，第一数值为255。
66.举例来说，如图5所示，以目标对象为手指为例，对“左目截取矩形”和“右目截取矩形”进行分割，得到手指的掩膜图像即二值化图像，手指的像素点在掩膜图像中的像素值为255，背景区域的像素点在掩膜图像中的像素值为0，从而将手指和背景区域分割开。
67.步骤s62：基于掩膜图像，获取目标对象的中心线和边缘。
68.本实施方式中，根据目标对象的掩膜图像，能够得到目标对象的中心线和边缘。
69.在一实施方式中，可利用图像腐蚀法对目标对象的掩膜图像进行处理，以滤除目标对象边缘无效的像素点，从而得到目标对象的边缘，即使得掩膜图像中属于目标对象的剩余像素接近于目标对象的真实骨架；进一步地，根据得到的目标对象的边缘生成目标对象的中心线。当然，在其他实施方式中，可利用其他方法对目标对象的掩膜图像进行处理，以得到目标对象的边缘和中心线。
70.具体地，如图7所示，图7是本技术提供的目标对象骨架提取算法一实施例的示意图，“3连通像素”表示x像素有8个相邻像素，其中，a/b/c三个像素构成连通域，按照骨架提取算法，x及其相邻a/b/c三个像素应该被腐蚀删除，依次检测目标对象边缘轮廓的8像素邻域，直至目标对象边缘轮廓没有新的像素点被腐蚀。利用如图7所示的算法对目标对象的边缘轮廓点进行处理，具体过程包括如下：提取目标对象边缘轮廓点并记录；依次检测这些边缘轮廓点的8像素邻域是否只含有3连通像素，如果只含有3连通像素，则把此边缘轮廓点删除并在目标对象中删除对应的像素点；依次检测上一步骤中剩余边缘轮廓点的8像素邻域是否只含有3或者4连通像素，如果只含有3或4连通像素，则把此边缘轮廓点删除并在目标对象中删除对应的像素点；依次检测上一步骤中剩余边缘轮廓点的8像素邻域是否只含有3或4或5连通像素，如果只含有3或4或5连通像素，则把此边缘轮廓点删除并在目标对象中删除对应的像素点；依次检测上一步骤中剩余边缘轮廓点的8像素邻域是否只含有3或4或5或6连通像素，如果只含有3或4或5或6连通像素，则把此边缘轮廓点删除并在目标对象中删除对应的像素点；依次检测上一步骤中剩余边缘轮廓点的8像素邻域是否只含有3或4或5或6或7连通像素，如果只含有3或4或5或6或7连通像素，则把此边缘轮廓点删除并在目标对象中删除对应的像素点，直至目标对象边缘轮廓点的8像素领域均有8连通像素，最终得到的目标对象的剩余边缘轮廓点即为目标对象的骨架点(x1,y1),(x2,y2),...,(xn,yn)。
71.进一步地，在一实施方式中，利用最小二乘拟合算法对目标对象的骨架点进行处理，从而得到目标对象的骨架线即目标对象的中心线。具体公式如下：
[0072][0073]
其中，k为目标对象的中心线的斜率；b为目标对象的中心线的截距。
[0074]
如图5所示，利用最小二乘拟合算法对目标对象的骨架点进行处理，得到“左目截取矩形”中手指对应的中心线为y＝k
l
x b
l
，“右目截取矩形”中手指对应的中心线为y＝krx br。可以理解地，在其他实施方式中，也可利用其他算法对目标对象的骨架点进行处理，以得到目标对象的中心线，在此不做具体限定。
[0075]
步骤s63：基于中心线与边缘的交点，得到目标对象的优化位置。
[0076]
本实施方式中，根据目标对象的中心线和边缘的交点，得到目标对象的优化位置。具体地，沿着目标对象的中心线方向逐点进行比较，具体可以比较中心线和边缘的像素值大小，中心线的像素值和边缘的像素值的交界处即交点，该交点即为目标对象的优化位置。
[0077]
举例来说，如图5所示，目标对象为手指，目标对象的目标部位为指尖点，沿着手指的中心线即骨架线方向逐点进行比较，找到手指的骨架线和手指边缘的交点即二值化图像中0与255的交界处，具体为图5所示的(x
l
,y
l
)和(xr,yr)，所以(x
l
,y
l
)和(xr,yr)为手指指尖点的优化位置。相比于通过目标检测得到的第一图像位置和第二图像位置即图5中所示的(x'
l
,y'
l
)和(x'r,y'r)，第一优化位置和第二优化位置即图5中所示的(x
l
,y
l
)和(xr,yr)更加准确且一致，使得后续基于第一优化位置和第二优化位置进行联合分析得到的触碰检测结果更加准确。
[0078]
步骤s133：对第一优化位置和第二优化位置进行联合分析，得到触碰检测结果。
[0079]
本实施方式中，对目标对象的目标部位分别在第一图像中的第一优化位置和在第二图像中的第二优化位置进行联合分析，从而得到触碰检测结果。也就是说，通过对第一优化位置和第二优化位置进行联合分析，即可确定目标对象的目标部位是与触碰检测平面触碰还是处于悬停状态。
[0080]
在一实施方式中，对第一优化位置和第二优化位置进行联合分析可以是分别截取第一优化位置和第二优化位置预设方向区域并进行匹配特征点提取，基于匹配点水平位置的误差确定触碰检测结果。其中，匹配特征点提取的算法包括但不限于尺度不变特征转换法(scale-invariant feature transform，sift)、加速稳健特征(speeded up robust features，surf)算法、fast(features from accelerated segment test)算法等。其中，不对预设方向区域进行具体限定，可根据实际使用需要具体设置，例如，预设方向区域为第一优化位置和第二优化位置的上方预设尺寸区域。
[0081]
请参阅图8，图8是本技术提供的提取特征匹配点对一实施例的示意图。如图8中a区域所示，由于提取的匹配特征点可能存在聚集在色彩剧烈变化的区域的情况，从而导致采样点的多样性不够丰富，进而导致影响后续触碰检测结果的准确性，所以为了提高触碰检测结果的准确性，在一实施方式中，如图9所示，图9是图4所示步骤s133一实施例的流程示意图，本实施例中，可将截取的预设方向区域等分为预设数值个子图像区域并组成子图
像对，对各子图像对进行匹配特征点提取，具体包括如下子步骤：
[0082]
步骤s1331：基于第一优化位置，从第一图像提取第一参考图像，并基于第二优化位置，从第二图像提取第二参考图像。
[0083]
本实施方式中，根据第一优化位置，从第一图像提取第一参考图像，并根据第二优化位置，从第二图像提取第二参考图像。其中，第一参考图像和第二参考图像具有相同尺寸，以使后续能够基于同一标准进行比较而得到触碰检测结果。
[0084]
在一实施方式中，第一参考图像为第一优化位置上方预设尺寸区域，第二参考图像为第二优化位置上方预设尺寸区域，也即，第一参考图像和第二参考图像中均不包含目标对象。为了保证后续能够基于同一标准进行比较而得到触碰检测结果，第一优化位置与第一参考图像的相对位置、第二优化位置与第二参考图像的相对位置两者相同。
[0085]
可选地，如图8所示，在一实施方式中，第一参考图像和第二参考图像为对应优化位置上方的高为h、宽为w的矩形区域，第一参考图像即为图8所示的“左目矩形区域”，第二参考图像即为图8所示的“右目矩形区域”。其中，不对高度h和宽度w的大小进行限定，可根据实际使用需要具体设置。可以理解地，在其他实施方式中，第一参考图像和第二参考图像也可以为对应优化位置上方的其他形状的区域，在此不做具体限定。
[0086]
步骤s1332：分别将第一参考图像、第二参考图像沿相同方向，等分为预设数值个第一子图像和预设数值个第二子图像，并将排在相同序位处的第一子图像和第二子图像组成一组子图像对。
[0087]
本实施方式中，分别将第一参考图像、第二参考图像沿相同方向，等分为预设数值个第一子图像和预设数值个第二子图像，并将排在相同序位处的第一子图像和第二子图像组成一组子图像对。其中，不对第一参考图像和第二参考图像进行等分的方向以及等分的预设数值进行限定，可根据实际使用需要具体设置。
[0088]
在一实施方式中，第一参考图像、第二参考图像沿第一方向进行等分，其中，不对第一方向进行具体限定。例如，第一方向可以是沿第一参考图像和第二参考图像的高度方向，也可以是沿第一参考图像和第二参考图像的宽度方向等。
[0089]
举例来说，如图8所示，将第一参考图像和第二参考图像进行等分的第一方向为第一参考图像和第二参考图像的高度h方向，具体将第一参考图像即“左目矩形区域”等分成4个第一子图像l1、l2、l3和l4，将第二参考图像即“右目矩形区域”等分成4个第二子图像r1、r2、r3和r4。其中，l1和r1组成一组子图像对，l2和r2组成一组子图像对，l3和r3组成一组子图像对，l4和r4组成一组子图像对。
[0090]
步骤s1333：分别获取各组子图像对中匹配点对的坐标差值。
[0091]
本实施方式中，分别获取各组子图像对中匹配点对的坐标差值，以使后续能够基于各个匹配点对的坐标差值，得到触碰检测结果。其中，匹配点对包括来自第一子图像的第一特征点和来自第二子图像的第二特征点。
[0092]
在一实施方式中，坐标差值基于第一特征点和第二特征点分别在第二方向上的坐标差值而得到，第一方向与第二方向垂直。可选地，在第一方向为第一参考图像和第二参考图像的高度方向时，则第二方向为第一参考图像和第二参考图像的宽度方向。
[0093]
其中，如图10所示，图10是本技术提供的获取各组子图像对中匹配点对的坐标差值一实施例的流程示意图，获取各组子图像对中匹配点对的坐标差值具体包括如下子步
骤：
[0094]
步骤s101：获取匹配点对中第一特征点和第二特征点，分别在第一参考图像和第二参考图像中的第一像素坐标和第二像素坐标。
[0095]
本实施方式中，获取匹配点对中第一特征点在第一参考图像中的第一像素点坐标，以及获取匹配点对中第二特征点在第二参考图像中的第二像素点坐标。
[0096]
举例来说，如图8所示，每一组子图像对中匹配点对为3对，匹配点对中第一特征点在第一参考图像中的第一像素点坐标为(x
lij
,y
lij
)，匹配点对中第二特征点在第二参考图像中的第二像素点坐标为(x
rij
,y
rij
)。
[0097]
步骤s102：基于第一像素坐标和第二像素坐标之间差值的绝对值，得到匹配点对的坐标差值。
[0098]
本实施方式中，根据第一像素坐标和第二像素坐标之间差值的绝对值，得到匹配点对的坐标差值。
[0099]
在一实施方式中，可将第一像素横坐标和第二像素横坐标之间差值的绝对值作为匹配点对的坐标差值。可以理解地，在其他实施方式中，也可将第一像素纵坐标和第二像素纵坐标之间差值的绝对值作为匹配点对的坐标差值，或者也可以对横坐标之间差值的绝对值和纵坐标之间差值的绝对值进行加权处理后得到坐标差值。
[0100]
举例来说，以第一像素横坐标和第二像素横坐标之间差值的绝对值作为匹配点对的坐标差值为例，匹配点对中第一特征点在第一参考图像中的第一像素点横坐标为x
lij
，匹配点对中第二特征点在第二参考图像中的第二像素点横坐标为x
rij
，所以第一像素坐标和第二像素坐标之间差值的绝对值为|x
lij-x
rij
|，即匹配点对的坐标差值为|x
lij-x
rij
|。
[0101]
步骤s1334：基于各个匹配点对的坐标差值，得到触碰检测结果。
[0102]
本实施方式中，根据各个匹配点对的坐标差值，得到触碰检测结果。在一实施方式中，可通过计算所有匹配点对的坐标差值的平均误差，通过对平均误差的判断得到触碰检测结果。可以理解地，在其他实施方式中，也可通过对所有匹配点对的坐标差值进行其他处理以得到触碰检测结果。
[0103]
其中，如图11所示，图11是本技术提供的基于各个匹配点对的坐标差值得到触碰检测结果一实施例的流程示意图，根据各个匹配点对的坐标差得到触碰检测结果具体包括如下子步骤：
[0104]
步骤s111：统计各个匹配点对的坐标差值，得到最终差值。
[0105]
本实施方式中，统计各个匹配点对的坐标差值，得到最终差值。具体地，通过计算各个匹配点对的坐标差值的平均误差，以得到最终差值。其中，计算所有匹配点对的坐标差值的平均误差的公式为：
[0106][0107]
其中，e为平均误差；|x
lij-x
rij
|为匹配点对的坐标差值；x
lij
为第一参考图像中第i个子图像中第j个匹配点的横坐标；x
rij
为第二参考图像中第i个子图像中第j个匹配点的横坐标。
[0108]
步骤s112：判断最终差值是否低于预设阈值。
[0109]
本实施方式中，通过判断最终差值与预设阈值之间的大小关系，以确定目标对象
的目标部位是否触碰到触碰检测平面。其中，不对预设阈值的大小进行限定，可根据实际使用需要具体设置。
[0110]
其中，在最终差值低于预设阈值时，执行步骤s113；在最终差值不低于预设阈值时，执行步骤s114。
[0111]
步骤s113：在最终差值低于预设阈值的情况下，确定触碰检测结果包括目标部位触碰到触碰检测平面。
[0112]
本实施方式中，在最终差值低于预设阈值的情况下，则目标对象的目标部位在第一图像中和第二图像中不存在高度差，即表明目标对象的目标部位与触碰检测平面发生触碰。
[0113]
步骤s114：在最终差值不低于预设阈值的情况下，确定触碰检测结果包括目标部位未触碰到触碰检测平面。
[0114]
本实施方式中，在最终差值不低于预设阈值的情况下，则目标对象的目标部位在第一图像中和第二图像中存在高度差，即表明目标对象的目标部位与触碰检测平面未发生触碰，目标对象的目标部位处于悬停状态。
[0115]
请参阅图12，图12是本技术提供的触碰检测装置一实施例的框架示意图。触碰检测装置120包括：图像获取模块121、目标检测模块122和联合分析模块123。图像获取模块121用于获取对触碰检测平面拍摄到的第一图像和第二图像；目标检测模块122用于分别对第一图像和第二图像进行目标检测，得到目标对象的目标部位分别在第一图像中的第一图像位置和在第二图像中的第二图像位置；联合分析模块123用于对第一图像位置和第二图像位置进行联合分析，得到触碰检测结果；其中，触碰检测结果包括目标部位是否触碰到触碰检测平面。
[0116]
其中，联合分析模块123用于对第一图像位置和第二图像位置进行联合分析，得到触碰检测结果，具体包括：基于第一图像位置，从第一图像中提取第一区域图像，并基于第二图像位置，从第二图像中提取第二区域图像；基于第一区域图像中属于目标对象的第一像素点，得到目标部位在第一图像中的第一优化位置，并基于第二区域图像中属于目标对象的第二像素点，得到目标部位在第二图像中的第二优化位置；对第一优化位置和第二优化位置进行联合分析，得到触碰检测结果。
[0117]
其中，上述目标部位位于目标对象的端部，上述第一优化位置或第二优化位置的获取步骤包括：对区域图像进行目标分割，得到目标对象的掩膜图像；其中，属于目标对象的像素点在掩膜图像中的像素值均为第一数值；基于掩膜图像，获取目标对象的中心线和边缘；基于中心线与边缘的交点，得到目标对象的优化位置；其中，在区域图像为第一区域图像的情况下，优化位置为第一优化位置，在区域图像为第二区域图像的情况下，优化位置为第二优化位置。
[0118]
其中，上述第一区域图像和第二区域图像具有相同尺寸，且第一图像位置与第一区域图像的相对位置、第二图像位置与第二区域图像的相对位置两者相同。
[0119]
其中，联合分析模块123用于对第一优化位置和第二优化位置进行联合分析，得到触碰检测结果，具体包括：基于第一优化位置，从第一图像提取第一参考图像，并基于第二优化位置，从第二图像提取第二参考图像；其中，第一参考图像和第二参考图像具有相同尺寸；分别将第一参考图像、第二参考图像沿相同方向，等分为预设数值个第一子图像和预设
数值个第二子图像，并将排在相同序位处的第一子图像和第二子图像组成一组子图像对；分别获取各组子图像对中匹配点对的坐标差值；其中，匹配点对包括来自第一子图像的第一特征点和来自第二子图像的第二特征点；基于各个匹配点对的坐标差值，得到触碰检测结果。
[0120]
其中，联合分析模块123用于基于各个匹配点对的坐标差值，得到触碰检测结果，具体包括：统计各个匹配点对的坐标差值，得到最终差值；在最终差值低于预设阈值的情况下，确定触碰检测结果包括目标部位触碰到触碰检测平面；在最终差值不低于预设阈值的情况下，确定触碰检测结果包括目标部位未触碰到触碰检测平面。
[0121]
其中，联合分析模块123用于分别获取各组子图像对中匹配点对的坐标差值，具体包括：获取匹配点对中第一特征点和第二特征点，分别在第一参考图像和第二参考图像中的第一像素坐标和第二像素坐标；基于第一像素坐标和第二像素坐标之间差值的绝对值，得到匹配点对的坐标差值。
[0122]
其中，上述第一参考图像和第二参考图像中均不包含目标对象；第一优化位置与第一参考图像的相对位置、第二优化位置与第二参考图像的相对位置两者相同；和/或，上述第一参考图像、第二参考图像沿第一方向进行等分，坐标差值基于第一特征点和第二特征点分别在第二方向上的坐标差值而得到，第一方向与第二方向垂直。
[0123]
其中，第一图像是由第一摄像头拍摄得到的，第二图像是由第二摄像头拍摄得到的；其中，第一摄像头和第二摄像头两者光心的连线与触碰检测平面平行，和/或，第一摄像头和第二摄像头的光心分别至触碰检测平面的垂直距离相同。
[0124]
请参阅图13，图13是本技术提供的触碰检测设备一实施例的框架示意图。触碰检测设备130包括相互耦接的存储器131和处理器132，存储器131中存储有程序指令，处理器132用于执行程序指令以实现上述任一触碰检测方法实施例中的步骤。具体地，触碰检测设备130可以包括但不限于：台式计算机、笔记本电脑、服务器、手机、平板电脑等等，在此不做限定。
[0125]
具体而言，处理器132用于控制其自身以及存储器131以实现上述任一触碰检测方法实施例中的步骤。处理器132还可以称为cpu(central processing unit，中央处理单元)。处理器132可能是一种集成电路芯片，具有信号的处理能力。处理器132还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器132可以由集成电路芯片共同实现。
[0126]
其中，上述触碰检测设备还包括第一摄像头和第二摄像头，第一摄像头和第二摄像头均与处理器耦接，第一摄像头用于对触碰检测平面拍摄得到第一图像，且第二摄像头用于对触碰检测平面拍摄得到第二图像。
[0127]
请参阅图14，图14是本技术提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质140存储有能够被处理器运行的程序指令141，程序指令141用于实现上述任一触碰检测方法实施例中的步骤。
[0128]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执
行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0129]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0130]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0131]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0132]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0133]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0134]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。