基于多模传感器的信息自动获取方法及装置与流程

1.本发明涉及传感器技术领域，尤其涉及一种基于多模传感器的信息自动获取方法及装置。


背景技术：

2.在机器人进行无序抓取、分拣和组装等需要完成精细操作的过程中，常常需要配合使用视觉和触觉，即需要通过视觉识别和定位物体所在位置以及通过触觉确定施加在物体上的力的大小和角度，以完成相应任务。
3.实际应用中，通常是在机器人上安装多个独立传感器，通过对多个独立传感器采集到的数据进行分析，以控制机器人完成相应的任务。然而，实践发现，现有的传感器，如触觉传感器，是基于电容和电阻变化来计算力，容易受到电磁干扰，而无法准确采集到准确的数据，进而无法实现机器人的精准控制。因此，提出一种如何准确采集到相关数据，以实现精准控制机器人的技术方案显得非常重要。


技术实现要素：

4.本发明所要解决的技术问题在于，提供一种基于多模传感器的信息自动获取方法及装置，通过不受电磁干扰且分辨率高的视觉-触觉多模传感器采集物体的图像和光学柔性膜红外图像，并同时进行分析，能够提高物体的视觉信息和触觉信息的分析精准性及效率，从而有利于提高物体的位置、尺寸、物体与多模传感器之间接触力等信息的确定准确性及可靠性，进而有助于提高机器人的控制精度及效率。
5.为了解决上述技术问题，本发明第一方面公开了一种基于多模传感器的信息自动获取方法，所述多模传感器设置有光学柔性膜以及发射预设红外波长段光照射所述光学柔性膜的红外光源，所述红外光源处于开启状态；
6.所述方法包括：
7.基于所述多模传感器采集目标物体对应的图像，并对所述目标物体对应的图像进行分割，得到所述目标物体的第一图像以及所述光学柔性膜的第一红外图像，所述第一红外图像为当所述目标物体作用于所述光学柔性膜时采集到的图像；
8.根据所述第一图像，分析所述目标物体的信息；
9.根据所述第一红外图像，分析所述目标物体作用于所述光学柔性膜的接触力的信息；
10.其中，所述目标物体的信息以及所述接触力的信息用于控制机器设备执行与所述目标物体的信息以及所述接触力的信息相匹配的操作。
11.作为一种可选的实施方式，在本发明第一方面中，在所述基于所述多模传感器采集目标物体对应的图像之前，所述方法还包括：
12.对所述多模传感器执行标定操作，得到所述多模传感器的标定模型；所述标定模型包括视觉标定模型和触觉标定模型；
13.以及，所述光学柔性膜中设置有光学标签；所述根据所述第一红外图像，分析所述多模传感器受到的接触力的信息，包括：
14.将所述第一红外图像中每个像素位置转换为预设世界坐标系下对应的第一重建像素位置，并基于预先确定出的像素值公式计算该第一重建像素位置的值；
15.基于所有所述第一重建像素位置以及所有所述第一重建像素位置的值，确定所述第一红外图像的第一重建图像；
16.根据所述第一重建图像获取所述光学标签的目标光学标签位置信息，将所述目标光学标签位置信息输入所述触觉标定模型；所述目标光学标签位置信息至少包括所述光学标签的光学标签位置变化信息；
17.获取所述触觉标定模型输出的目标接触力组，所述目标接触力组包括接触力强度和接触力角度；
18.将所述目标接触力组包括的力强度和力角度确定为所述多模传感器受到的接触力的信息；
19.以及，所述根据所述第一图像，分析所述目标物体的信息，包括：
20.将所述第一图像中每个像素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有所述第二重建像素位置以及所有所述第二重建像素位置的值，确定所述第一图像的第二重建图像；
21.根据所述目标物体的纹理在所述第二重建图像中的像素位置，确定所述目标物体的形状和位置信息，所述目标物体的纹理包括彩色纹理或灰度纹理；
22.其中，当所述第二重建图像的数量为1时，所述第二重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离相等；
23.当所述第二重建图像的数量大于等于2时，所述第二重建图像包括多个第一子重建图像，所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离相等，所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离均不相等。
24.作为一种可选的实施方式，在本发明第一方面中，所述对所述多模传感器执行标定操作，得到所述多模传感器的标定模型，包括：
25.确定所述多模传感器的触觉检测集合，所述触觉检测集合包括力强度检测集合和力角度检测集合，所述力强度检测集合包括多个力强度，所述力角度检测集合包括多个力角度；
26.对所述力强度检测集合中所有所述力强度与力强度检测集合中所有所述力角度进行随机组合，得到多个接触力组；每个所述接触力组均分别包含一个力强度和一个力角度，且在所有所述接触力组中不存在力强度和力角度均相同的两个接触力组；
27.控制机器人根据每个所述接触力组对应的力强度和力角度依次触碰所述光学柔性膜，并控制所述多模传感器采集所述光学柔性膜每次受触碰时所述光学柔性膜的第二红外图像；
28.根据每个所述接触力组对应的第二红外图像确定所述光学柔性膜受到该接触力组时所述光学标签的位置信息，得到多个第一光学标签位置信息；
29.根据第二光学标签位置信息和每个所述接触力组对应的第一光学标签位置信息，确定每个所述接触力组对应的光学标签位置变化信息；其中，所述第二光学标签位置信息为在所述光学柔性膜处于非受力状态时所述光学标签的位置信息；
30.建立每个所述接触力组和与该接触力组对应的光学标签位置信息之间的关联关系，并基于所有所述接触力组中每个所述接触力组与该接触力组对应的光学标签位置信息之间的关联关系，构建所述多模传感器的触觉标定模型，作为所述多模传感器的标定模型；
31.其中，当所述光学标签的数量为1时，所述接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息，或者，所述接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息和所述第二光学标签位置信息；
32.当所述光学标签的数量大于等于2时，所述接触力组对应的光学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息，或者，所述接触力组对应的光学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息和所述第二光学标签位置信息。
33.作为一种可选的实施方式，在本发明第一方面中，所述光学标签吸收所述预设红外波长段光且不吸收可见光；
34.其中，所述根据每个所述接触力组对应的第二红外图像确定所述光学柔性膜受到该接触力组时所述光学标签的位置信息，包括：
35.根据每个所述接触力组对应的第二红外图像生成该接触力组对应的第三重建图像；每个所述接触力组对应的第三重建图像中所述光学标签所在像素位置的像素值小于该第三重建图像中除所述光学标签所在像素位置之外的其他像素位置的像素值；
36.根据所有所述接触力组中每个所述接触力组对应的第三重建图像中所述光学标签所在像素位置的像素值，从该第三重建图像中分割出该接触力组对应的光学标签区域；
37.确定每个所述接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息；
38.以及，所述确定每个所述接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息，包括：
39.根据每个所述接触力组对应的光学标签区域的位置信息计算出该接触力组对应的光学标签区域的质心的位置坐标，将该接触力组对应的光学标签区域的质心的位置坐标确定为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息；或者，
40.根据每个所述接触力组对应的光学标签区域的位置信息计算出该接触力组对应的光学标签区域的几何中心的位置坐标，将该接触力组对应的光学标签区域的几何中心的位置坐标确定为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息。
41.作为一种可选的实施方式，在本发明第一方面中，所述将所述第一图像中每个像
素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有所述第二重建像素位置以及所有所述第二重建像素位置的值，确定所述第一图像的第二重建图像，包括：
42.获取所述第一图像中所有目标像素位置的像素值，且所有所述目标像素位置均基于像素坐标系确定；
43.获取所述多模传感器的相机模型，根据所述相机模型确定所述预设世界坐标系与所述像素坐标系之间的转换关系，根据所述转换关系确定每个所述目标像素位置对应的重建像素位置；
44.将每个所述目标像素位置对应的重建像素位置输入所述视觉标定模型，得到所述视觉标定模型输出的值，作为所述视觉标定模型在该目标像素位置对应重建像素位置的标定模型输出值；
45.将每个所述目标像素位置的像素值和所述视觉标定模型在该目标像素位置对应重建像素位置的标定模型输出值输入预先确定出的像素值公式，逆求解所述像素值公式，得到该目标像素位置对应重建像素位置的像素值；
46.根据每个所述目标像素位置对应重建像素位置和每个所述目标像素位置对应重建像素位置的像素值确定所述第一图像的第二重建图像。
47.作为一种可选的实施方式，在本发明第一方面中，所述对所述多模传感器执行标定操作，得到所述多模传感器的标定模型，包括：
48.确定所述多模传感器的视觉检测位置集合；所述视觉检测位置集合包括多个视觉检测位置，每个所述视觉检测位置为所述多模传感器能检测到被检测对象的任一位置；
49.从所述视觉检测位置集合的所有所述视觉检测位置中确定标定光源未出现过的所有目标位置；
50.控制所述多模传感器采集所述标定光源在所有所述目标位置上的第二图像；
51.预处理所有所述第二图像，得到可见光视觉标定模型；
52.获取所述光学柔性膜的结构参数，根据所述可见光视觉标定模型和所述光学柔性膜的结构参数，确定红外光视觉标定模型；
53.以及，所述预处理所有所述第二图像，得到可见光视觉标定模型，包括：
54.控制所述多模传感器采集无光源下的第三图像；
55.根据所述第三图像对所有所述第二图像执行去噪操作，得到多个第四可见光图像，根据所有所述第四可见光图像中每个所述第四可见光图像的每个像素位置和该像素位置的值确定可见光视觉标定模型。
56.作为一种可选的实施方式，在本发明第一方面中，所述像素值公式为：
[0057][0058]
其中，i(u,v)为目标图像中任一像素位置(u,v)处的像素值，所述目标图像包括所述第一图像或所述第一红外图像，c为确定出的常数，n(u,v)为该像素位置(u,v)处的成像噪声；
[0059]
当所述目标图像为所述第一红外图像时，z1和z2分别为所述第一红外图像中所述
光学柔性膜的纹理对应的所有像素位置在所述光学柔性膜上对应的实际位置与所述多模传感器之间的最小距离和最大距离，w(x,y,z)为所述第一重建图像中所述第一红外图像的像素位置(u,v)对应的第一重建像素位置(x,y,z)处的值，f(x,y,z)是所述视觉标定模型在该第一重建像素位置(x,y,z)处的值；
[0060]
当所述目标图像为所述第一图像时，z1和z2分别为所述第一图像中所述目标物体的纹理对应的所有像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的最小距离和最大距离，w(x,y,z)为所述第二重建图像中所述第一图像的像素位置(u,v)对应的第二重建像素位置(x,y,z)处的值，f(x,y,z)是所述视觉标定模型在该第二重建像素位置(x,y,z)处的值。
[0061]
作为一种可选的实施方式，在本发明第一方面中，所述多模传感器包括微光学器件，所述微光学器件的光学设计目标函数为每个波长段光的光学设计目标函数乘以该波长段光的权重相加得到，其中，所有所述波长段光包括红光波长段光、绿光波长段光、蓝光波长段光以及红外波长段光中的一种或多种；且所述红光波长段光对应的权重大于所有所述波长段光中除所述红光波长段光之外的其他波长段光中每个波长段光对应的权重；每个所述波长段光的光学设计目标函数包括该波长段光的一个或多个光学指标，所述微光学器件的光学设计目标函用于设计所述微光学器件；
[0062]
以及，所述光学柔性膜的外层设置有双面反射膜，所述双面反射膜不吸收可见光，所述红外光源设置于所述多模传感器的内部空间，所述双面反射膜的内表面将来自所述红外光源发射的所述预设红外波长段光反射回所述多模传感器的内部空间，且所述双面反射膜的外表面将来自所述多模传感器的外部环境的与所述预设红外波长段相同的红外光反射回外部环境。
[0063]
本发明第二方面公开了一种基于多模传感器的信息自动获取装置，所述多模传感器设置有光学柔性膜以及发射预设红外波长段光照射所述光学柔性膜的红外光源，所述红外光源处于开启状态；所述装置包括：
[0064]
采集处理模块，用于基于所述多模传感器采集目标物体对应的图像，并对所述目标物体对应的图像进行分割，得到所述目标物体的第一图像以及所述光学柔性膜的第一红外图像；所述第一红外图像为当所述目标物体作用于所述光学柔性膜时采集到的图像；
[0065]
分析模块，用于根据所述第一图像，分析所述目标物体的信息；
[0066]
所述分析模块，还用于根据所述第一红外图像，分析所述目标物体作用于所述光学柔性膜的接触力的信息；其中，所述目标物体的信息以及所述接触力的信息用于控制机器设备执行与所述目标物体的信息以及所述接触力的信息相匹配的操作。
[0067]
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
[0068]
标定模块，用于在所述采集处理模块基于所述多模传感器采集目标物体对应的图像之前，对所述多模传感器执行标定操作，得到所述多模传感器的标定模型；所述标定模型包括视觉标定模型和触觉标定模型；
[0069]
以及，所述光学柔性膜中设置有光学标签；所述分析模块根据所述第一红外图像，分析所述多模传感器受到的接触力的信息的方式具体包括：
[0070]
将所述第一红外图像中每个像素位置转换为预设世界坐标系下对应的第一重建像素位置，并基于预先确定出的像素值公式计算该第一重建像素位置的值；
[0071]
基于所有所述第一重建像素位置以及所有所述第一重建像素位置的值，确定所述第一红外图像的第一重建图像；
[0072]
根据所述第一重建图像获取所述光学标签的目标光学标签位置信息，将所述目标光学标签位置信息输入所述触觉标定模型；所述目标光学标签位置信息至少包括所述光学标签的光学标签位置变化信息；
[0073]
获取所述触觉标定模型输出的目标接触力组，所述目标接触力组包括接触力强度和接触力角度；
[0074]
将所述目标接触力组包括的力强度和力角度确定为所述多模传感器受到的接触力的信息；
[0075]
以及，所述分析模块根据所述第一图像，分析所述目标物体的信息的方式具体包括：
[0076]
将所述第一图像中每个像素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有所述第二重建像素位置以及所有所述第二重建像素位置的值，确定所述第一图像的第二重建图像；
[0077]
根据所述目标物体的纹理在所述第二重建图像中的像素位置，确定所述目标物体的形状和位置信息，所述目标物体的纹理包括彩色纹理或灰度纹理；
[0078]
其中，当所述第二重建图像的数量为1时，所述第二重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离相等；
[0079]
当所述第二重建图像的数量大于等于2时，所述第二重建图像包括多个第一子重建图像，所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离相等，所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离均不相等。
[0080]
作为一种可选的实施方式，在本发明第二方面中，所述标定模块对所述多模传感器执行标定操作，得到所述多模传感器的标定模型的方式具体包括：
[0081]
确定所述多模传感器的触觉检测集合，所述触觉检测集合包括力强度检测集合和力角度检测集合，所述力强度检测集合包括多个力强度，所述力角度检测集合包括多个力角度；
[0082]
对所述力强度检测集合中所有所述力强度与力强度检测集合中所有所述力角度进行随机组合，得到多个接触力组；每个所述接触力组均分别包含一个力强度和一个力角度，且在所有所述接触力组中不存在力强度和力角度均相同的两个接触力组；
[0083]
控制机器人根据每个所述接触力组对应的力强度和力角度依次触碰所述光学柔性膜，并控制所述多模传感器采集所述光学柔性膜每次受触碰时所述光学柔性膜的第二红外图像；
[0084]
根据每个所述接触力组对应的第二红外图像确定所述光学柔性膜受到该接触力组时所述光学标签的位置信息，得到多个第一光学标签位置信息；
[0085]
根据第二光学标签位置信息和每个所述接触力组对应的第一光学标签位置信息，
确定每个所述接触力组对应的光学标签位置变化信息；其中，所述第二光学标签位置信息为在所述光学柔性膜处于非受力状态时所述光学标签的位置信息；
[0086]
建立每个所述接触力组和与该接触力组对应的光学标签位置信息之间的关联关系，并基于所有所述接触力组中每个所述接触力组与该接触力组对应的光学标签位置信息之间的关联关系，构建所述多模传感器的触觉标定模型，作为所述多模传感器的标定模型；
[0087]
其中，当所述光学标签的数量为1时，所述接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息，或者，所述接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息和所述第二光学标签位置信息；
[0088]
当所述光学标签的数量大于等于2时，所述接触力组对应的光学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息，或者，所述接触力组对应的光学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息和所述第二光学标签位置信息。
[0089]
作为一种可选的实施方式，在本发明第二方面中，所述光学标签吸收所述预设红外波长段光且不吸收可见光；
[0090]
其中，所述标定模块根据每个所述接触力组对应的第二红外图像确定所述光学柔性膜受到该接触力组时所述光学标签的位置信息的方式具体包括：
[0091]
根据每个所述接触力组对应的第二红外图像生成该接触力组对应的第三重建图像；每个所述接触力组对应的第三重建图像中所述光学标签所在像素位置的像素值小于该第三重建图像中除所述光学标签所在像素位置之外的其他像素位置的像素值；
[0092]
根据所有所述接触力组中每个所述接触力组对应的第三重建图像中所述光学标签所在像素位置的像素值，从该第三重建图像中分割出该接触力组对应的光学标签区域；
[0093]
确定每个所述接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息；
[0094]
以及，所述标定模块确定每个所述接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息的方式具体包括：
[0095]
根据每个所述接触力组对应的光学标签区域的位置信息计算出该接触力组对应的光学标签区域的质心的位置坐标，将该接触力组对应的光学标签区域的质心的位置坐标确定为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息；或者，
[0096]
根据每个所述接触力组对应的光学标签区域的位置信息计算出该接触力组对应的光学标签区域的几何中心的位置坐标，将该接触力组对应的光学标签区域的几何中心的位置坐标确定为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息。
[0097]
作为一种可选的实施方式，在本发明第二方面中，所述分析模块将所述第一图像中每个像素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有所述第二重建像素位置以及所有所述第二重建像素位置的值，确定所述第一图像的第二重建图像的方式具体包括：
[0098]
获取所述第一图像中所有目标像素位置的像素值，且所有所述目标像素位置均基于像素坐标系确定；
[0099]
获取所述多模传感器的相机模型，根据所述相机模型确定所述预设世界坐标系与所述像素坐标系之间的转换关系，根据所述转换关系确定每个所述目标像素位置对应的重建像素位置；
[0100]
将每个所述目标像素位置对应的重建像素位置输入所述视觉标定模型，得到所述视觉标定模型输出的值，作为所述视觉标定模型在该目标像素位置对应重建像素位置的标定模型输出值；
[0101]
将每个所述目标像素位置的像素值和所述视觉标定模型在该目标像素位置对应重建像素位置的标定模型输出值输入预先确定出的像素值公式，逆求解所述像素值公式，得到该目标像素位置对应重建像素位置的像素值；
[0102]
根据每个所述目标像素位置对应重建像素位置和每个所述目标像素位置对应重建像素位置的像素值确定所述第一图像的第二重建图像。
[0103]
作为一种可选的实施方式，在本发明第二方面中，所述标定模块对所述多模传感器执行标定操作，得到所述多模传感器的标定模型的方式具体包括：
[0104]
确定所述多模传感器的视觉检测位置集合；所述视觉检测位置集合包括多个视觉检测位置，每个所述视觉检测位置为所述多模传感器能检测到被检测对象的任一位置；
[0105]
从所述视觉检测位置集合的所有所述视觉检测位置中确定标定光源未出现过的所有目标位置；
[0106]
控制所述多模传感器采集所述标定光源在所有所述目标位置上的第二图像；
[0107]
预处理所有所述第二图像，得到可见光视觉标定模型；
[0108]
获取所述光学柔性膜的结构参数，根据所述可见光视觉标定模型和所述光学柔性膜的结构参数，确定红外光视觉标定模型；
[0109]
以及，所述标定模块预处理所有所述第二图像，得到可见光视觉标定模型的方式具体包括：
[0110]
控制所述多模传感器采集无光源下的第三图像；
[0111]
根据所述第三图像对所有所述第二图像执行去噪操作，得到多个第四可见光图像，根据所有所述第四可见光图像中每个所述第四可见光图像的每个像素位置和该像素位置的值确定可见光视觉标定模型。
[0112]
作为一种可选的实施方式，在本发明第二方面中，所述像素值公式为：
[0113][0114]
其中，i(u,v)为目标图像中任一像素位置(u,v)处的像素值，所述目标图像包括所述第一图像或所述第一红外图像，c为确定出的常数，n(u,v)为该像素位置(u,v)处的成像噪声；
[0115]
当所述目标图像为所述第一红外图像时，z1和z2分别为所述第一红外图像中所述光学柔性膜的纹理对应的所有像素位置在所述光学柔性膜上对应的实际位置与所述多模传感器之间的最小距离和最大距离，w(x,y,z)为所述第一重建图像中所述第一红外图像的
像素位置(u,v)对应的第一重建像素位置(x,y,z)处的值，f(x,y,z)是所述视觉标定模型在该第一重建像素位置(x,y,z)处的值；
[0116]
当所述目标图像为所述第一图像时，z1和z2分别为所述第一图像中所述目标物体的纹理对应的所有像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的最小距离和最大距离，w(x,y,z)为所述第二重建图像中所述第一图像的像素位置(u,v)对应的第二重建像素位置(x,y,z)处的值，f(x,y,z)是所述视觉标定模型在该第二重建像素位置(x,y,z)处的值。
[0117]
作为一种可选的实施方式，在本发明第二方面中，所述多模传感器包括微光学器件，所述微光学器件的光学设计目标函数为每个波长段光的光学设计目标函数乘以该波长段光的权重相加得到，其中，所有所述波长段光包括红光波长段光、绿光波长段光、蓝光波长段光以及红外波长段光中的一种或多种；且所述红光波长段光对应的权重大于所有所述波长段光中除所述红光波长段光之外的其他波长段光中每个波长段光对应的权重；每个所述波长段光的光学设计目标函数包括该波长段光的一个或多个光学指标，所述微光学器件的光学设计目标函用于设计所述微光学器件；
[0118]
以及，所述光学柔性膜的外层设置有双面反射膜，所述双面反射膜不吸收可见光，所述红外光源设置于所述多模传感器的内部空间，所述双面反射膜的内表面将来自所述红外光源发射的所述预设红外波长段光反射回所述多模传感器的内部空间，且所述双面反射膜的外表面将来自所述多模传感器的外部环境的与所述预设红外波长段相同的红外光反射回外部环境。
[0119]
本发明第三方面公开了另一种基于多模传感器的信息自动获取装置，所述装置包括：
[0120]
存储有可执行程序代码的存储器；
[0121]
与所述存储器耦合的处理器；
[0122]
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于多模传感器的信息自动获取方法。
[0123]
本发明第四方面公开了一种计算机可存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于多模传感器的信息自动获取方法。
[0124]
与现有技术相比，本发明实施例具有以下有益效果：
[0125]
本发明实施例中，所述多模传感器设置有光学柔性膜以及发射预设红外波长段光照射所述光学柔性膜的红外光源，所述红外光源处于开启状态；所述方法包括：基于所述多模传感器采集目标物体对应的图像，并对所述目标物体对应的图像进行分割，得到所述目标物体的第一图像以及所述光学柔性膜的第一红外图像，所述第一红外图像为当所述目标物体作用于所述光学柔性膜时采集到的图像；根据所述第一图像，分析所述目标物体的信息；根据所述第一红外图像，分析所述目标物体作用于所述光学柔性膜的接触力的信息；其中，所述目标物体的信息以及所述接触力的信息用于控制机器设备执行与所述目标物体的信息以及所述接触力的信息相匹配的操作。可见，本发明通过不受电磁干扰且分辨率高的视觉-触觉多模传感器采集物体的图像和光学柔性膜红外图像，并同时进行分析，能够提高物体的视觉信息和触觉信息的分析精准性及效率，从而有利于提高物体的位置、尺寸、物体
与多模传感器之间接触力等信息的确定准确性及可靠性，进而有助于提高机器人的控制精度及效率。
附图说明
[0126]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0127]
图1是本发明实施例公开的一种基于多模传感器的信息自动获取方法的流程示意图；
[0128]
图2是本发明实施例公开的一种多模传感器的结构示意图；
[0129]
图3是本发明实施例公开的一种光学柔性膜的结构示意图；
[0130]
图4是本发明实施例公开的一种微光学器件的结构示意图；
[0131]
图5是本发明实施例公开的一种多模传感器中两组光路的路径示意图；
[0132]
图6是本发明实施例公开的另一种基于多模传感器的信息自动获取方法的流程示意图；
[0133]
图7是本发明实施例公开的一种基于多模传感器的信息自动获取装置的结构示意图；
[0134]
图8是本发明实施例公开的另一种基于多模传感器的信息自动获取装置的结构示意图；
[0135]
图9是本发明实施例公开的又一种基于多模传感器的信息自动获取装置的结构示意图。
具体实施方式
[0136]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0137]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
[0138]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0139]
本发明公开了一种基于多模传感器的信息自动获取方法及装置，通过不受电磁干扰且分辨率高的视觉-触觉多模传感器采集物体的图像和光学柔性膜红外图像，并同时进
行分析，能够提高物体的视觉信息和触觉信息的分析精准性及效率，从而有利于提高物体的位置、尺寸、物体与多模传感器之间接触力等信息的确定准确性及可靠性，进而有助于提高机器人的控制精度及效率。以下分别进行详细说明。
[0140]
实施例一
[0141]
请参阅图1，图1是本发明实施例公开的一种基于多模传感器的信息自动获取方法的流程示意图。其中，图1所描述的基于多模传感器的信息自动获取方法可以应用于基于多模传感器的信息自动获取装置，其中，该装置包括机器人控制设备、机器人控制系统、机器人控制服务器、机器人控制平台等中的任何一种，且该装置具有对应的多模传感器。如图1所示，该基于多模传感器的信息自动获取方法可以包括以下操作：
[0142]
101、基于多模传感器采集目标物体对应的图像，并对目标物体对应的图像进行分割，得到目标物体的第一图像以及光学柔性膜的第一红外图像。
[0143]
本发明实施例中，如图2所示，多模传感器包括光学柔性膜(又称光学柔性膜结构)、红外光源(可以为nir光源，即近红外光源)、微光学器件(又称平板型微光学器件)、光电传感器、pcb(含片上系统soc)、支撑结构1、支撑结构2以及可见光补光光源(又称vis光源)。其中，pcb(含片上系统soc)为运算平台。
[0144]
其中，红外光源发射预设红外波长段光照射光学柔性膜，且在多模传感器处于工作状态时该红外光源处于开启状态；其中，预设红外波长段光可以为波长为1μm～0.7μm的近红外光，也可以为其他波长的红外光，波长包括500μm～1μm，本发明不做限定。其中，当红外光波长为1μm～0.7μm时可以使用硅基图像传感器；当红外光波长高于1μm时可以使用非硅基的图像传感器。本发明实施例中，第一红外图像为当目标物体作用于光学柔性膜时采集到的图像，目标物体的第一图像为目标物体的可见光图像。
[0145]
本发明实施例中，如图3所示，光学柔性膜包括光学标签(可以为nir吸收光学标签，即近红外光吸收光学标签)、双面反射膜(可以为nir高反膜，即近红外高反膜)、光学柔性层、nir ar镀膜以及透明基板。
[0146]
其中，双面反射膜对可见光透明，双面反射膜设置于光学柔性膜的外层，双面反射膜的外表面把来自传感器外部的预设红外波长段光反射回环境中，同时双面反射膜的内表面对来自传感器内部的预设红外波长段光高效率反射，进一步的，来自传感器内部的预设红外波长段光由红外光源产生，此时红外光源设置在传感器内部。可见，通过双面反射膜反射外部红外光，能够减少外部的预设红外波长段光对传感器的影响，提高采集光学柔性膜的红外图像的准确性，从而有助于提高后续分析的准确性，同时，由于光学柔性膜对可见光透明，因而目标物体反射的可见光和光学柔性膜反射的红外光可以同时透过光学柔性膜进入多模传感器的内部进行成像，有助于多模传感器共用成像器件，简化传感器的结构。可选的，双面反射膜可以选用反射效率大于等于预设反射效率的高反膜。
[0147]
本发明实施例中，为了减少红外光源对可见光成像的干扰，如果红外光源为宽光谱的led，需要保证其光谱截至于红色像素单元的敏感光谱窗口之外(例如，红外光源的光谱截至在700nm以上)，这一要求可以通过选择窄光谱红外led发光芯片的或是外加红外穿透可见光截至的单边光学滤波片(long-pass edge optical filter)实现。
[0148]
本发明实施例中，如图4所示，微光学器件包括vis-nir带通光学滤光层、表面微结构以及光学基板。其中，微光学器件的光学设计目标函数为每个波长段光的光学设计目标
函数乘以该波长段光的权重相加得到，且红光波长段光对应的权重大于所有波长段光中除红光波长段光之外的其他波长段光中每个波长段光对应的权重。其中，所有波长段光包括红光波长段光、绿光波长段光、蓝光波长段光以及红外波长段光中的一种或多种。其中，每个波长段光的光学设计目标函数包括该波长段光的一个或多个光学指标。例如，如果光学设计目标函数使用的光学指标与成像相关，可以是基于光学传递函数(点扩散函数psf/调制传递函数mtf)或图像的质量等定义的一个或多个光学指标。
[0149]
值得说明的是，为了提高光学系统的光学效果，通常在光学设计过程中选择需要的代表性波长建立光学设计目标函数。例如，当设计用于可见光波段的rgb视觉传感器的光学设计目标函数时，一般对绿光范围内波长(比如550nm)给予更高的权重。而多模传感器需要同时在可见光和红外波段光下工作时，因此设计光学设计目标函数时可以给予红光范围内波长(比如700nm)更高的权重。其中，如果特定波长段光的权重高,该特定波长段光对应的光学指标在所有波长段光中最好。例如，当微光学器件的光学指标为色差时，如果红光权重为1，蓝光为0，那么通过微光学器件得到的成像中红光的色差比蓝光较少；如果红光权重为0.5，蓝光为0.5，那么通过微光学器件得到的成像中红光和蓝光的色差情况会比较接近。可见，根据实际情况为每个波长段光分配光学设计目标函数中的权重，根据确定出的权重确定光学设计目标函数，有助于根据确定出的光学设计目标函数设计出匹配实际情况的微光学器件。
[0150]
本发明实施例中，如图5所示，光电传感器可以为vis-nir光电传感器，该传感器中每个基本像素单元包括四个光电转换子像素，分别对红光、绿光、蓝光和近红外光有响应，每个光电转换子像素将接收到的该光电转换子像素对应的波长段光转换成数字信号。如图5所示，多模传感器的第一组光路为vis补光光源(在需要补光时设置，不需要补光时可以不用设置)发射可见光照射目标物体，目标物体反射的光透过光学柔性膜并透过微光学器件照射在光电传感器上；多模传感器的第二组光路为nir光源发射预设红外波长段光照射光学柔性膜，光学柔性膜反射的预设红外波长段光透过微光学器件照射在光电传感器上；光电传感器将接收到的两组光路的光转换为数字信号。
[0151]
102、根据第一图像，分析目标物体的信息。
[0152]
本发明实施例中，目标物体的信息可以为目标物体的形状、尺寸和位置中的至少一种。
[0153]
103、根据第一红外图像，分析目标物体作用于光学柔性膜的接触力的信息。
[0154]
本发明实施例中，目标物体的信息以及接触力的信息用于控制机器设备执行与目标物体的信息以及接触力的信息相匹配的操作。
[0155]
可见，本发明通过不受电磁干扰且分辨率高的视觉-触觉多模传感器采集物体的图像和光学柔性膜红外图像，并同时进行分析，能够提高物体的视觉信息和触觉信息的分析精准性及效率，从而有利于提高物体的位置、尺寸、物体与多模传感器之间接触力等信息的确定准确性及可靠性，进而有助于提高机器人的控制精度及效率。
[0156]
实施例二
[0157]
请参阅图2，图2是本发明实施例公开的又一种基于多模传感器的信息自动获取方法的流程示意图。其中，图2所描述的基于多模传感器的信息自动获取方法可以应用于基于多模传感器的信息自动获取装置，其中，该装置包括机器人控制设备、机器人控制系统、机
器人控制服务器、机器人控制平台等中的任何一种，且该装置具有对应的多模传感器。如图2所示，该基于多模传感器的信息自动获取方法可以包括以下操作：
[0158]
201、对多模传感器执行标定操作，得到多模传感器的标定模型。
[0159]
本发明实施例中，多模传感器的标定模型包括视觉标定模型和触觉标定模型。
[0160]
本发明实施例中，作为一种可选的实施方式，光学柔性膜中设置有光学标签；其中，对多模传感器执行标定操作，得到多模传感器的标定模型，包括：
[0161]
确定多模传感器的触觉检测集合，触觉检测集合包括力强度检测集合和力角度检测集合，力强度检测集合包括多个力强度，力角度检测集合包括多个力角度；
[0162]
对力强度检测集合中所有力强度与力强度检测集合中所有力角度进行随机组合，得到多个接触力组；每个接触力组均分别包含一个力强度和一个力角度，且在所有接触力组中不存在力强度和力角度均相同的两个接触力组；
[0163]
控制机器人根据每个接触力组对应的力强度和力角度依次触碰光学柔性膜，并控制多模传感器采集光学柔性膜每次受触碰时光学柔性膜的第二红外图像；
[0164]
根据每个接触力组对应的第二红外图像确定光学柔性膜受到该接触力组时光学标签的位置信息，得到多个第一光学标签位置信息；
[0165]
根据第二光学标签位置信息和每个接触力组对应的第一光学标签位置信息，确定每个接触力组对应的光学标签位置变化信息；其中，第二光学标签位置信息为在光学柔性膜处于非受力状态时光学标签的位置信息；
[0166]
建立每个接触力组和与该接触力组对应的光学标签位置信息之间的关联关系，并基于所有接触力组中每个接触力组与该接触力组对应的光学标签位置信息之间的关联关系，构建多模传感器的触觉标定模型，作为多模传感器的标定模型。
[0167]
该可选的实施例中，多模传感器的触觉检测集合中的所有的力强度在多模传感器的力强度检测范围内，触觉检测集合中的所有力角度在多模传感器的力角度检测范围内；力强度检测范围和力角度检测范围可以根据传感器本身设计的参数而确定。该可选的实施例中，所有接触力组的数量可以根据传感器本身设计的参数或应用场景的要求来设定最小值和最大值。
[0168]
该可选的实施例中，当光学标签的数量为1时，接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息，或者，接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息和第二光学标签位置信息；当光学标签的数量大于等于2时，接触力组对应的光学标签位置信息为该接触力组对应的所有光学标签的光学标签位置变化信息，或者，接触力组对应的光学标签位置信息为该接触力组对应的所有光学标签的光学标签位置变化信息和第二光学标签位置信息。
[0169]
该可选的实施例中，当光学标签的数量大于等于2时，某个接触力组对应的所有光学标签的光学标签位置变化信息可以为所有光学标签的光学标签位置变化信息，也可以根据实际情况简化为相邻的预设数量的光学标签的光学标签位置变化信息。
[0170]
该可选的实施例中，当光学标签的数量大于等于2时，所有光学标签的排列方式为点阵列，可以是网格状分布，也可以是不规则分布。
[0171]
可选的，根据第二光学标签位置信息和每个接触力组对应的第一光学标签位置信息，确定每个接触力组对应的光学标签位置变化信息，包括：
[0172]
将每个接触力组对应的第一光学标签位置信息减去第二光学标签位置信息，得到该接触力组对应的光学标签位置变化信息。
[0173]
可见，该可选的实施例提供了一种执行标定操作的方法，通过对设置有光学标签的光学柔性膜施加不同力的作用，能够得到不同力对应的光学标签的图像，还能够根据这些光学标签的图像和力确定力与光学标签位置的关系，作为表现多模传感器实际触觉信息采集情况的触觉标定模型，有助于后续根据触觉标定模型分析采集到的图像，提高后续分析力的准确性和有效性。
[0174]
本发明实施例中，作为另一种可选的实施方式，对多模传感器执行标定操作，得到多模传感器的标定模型，包括：
[0175]
确定多模传感器的视觉检测位置集合；视觉检测位置集合包括多个视觉检测位置，每个视觉检测位置为多模传感器能检测到被检测对象的任一位置；
[0176]
从视觉检测位置集合的所有视觉检测位置中确定标定光源未出现过的所有目标位置；
[0177]
控制多模传感器采集标定光源在所有目标位置上的第二图像；
[0178]
预处理所有第二图像，得到可见光视觉标定模型；
[0179]
获取光学柔性膜的结构参数，根据可见光视觉标定模型和光学柔性膜的结构参数，确定红外光视觉标定模型。
[0180]
该可选的实施例中，当预设世界坐标系的z轴为多模传感器与目标物体之间的距离方向时，在预设世界坐标系中每个视觉检测位置可以在x轴和y轴上位置相同，而在z轴上的位置不同。该可选的实施例中，视觉标定模型为光学传递函数。
[0181]
其中，根据可见光视觉标定模型和光学柔性膜的结构参数，确定红外光视觉标定模型，可以通过光学柔性膜表面的光学传递函数和简单的线性模型，近似得到z轴上能够覆盖光学柔性膜厚度距离的光学传递函数，作为红外光视觉标定模型。
[0182]
可见，该可选的实施例提供了另一种执行标定操作的方法，通过采集光源在不同位置的图像，分析得到作为表现多模传感器实际视觉信息采集情况的视觉标定模型，有助于后续根据视觉标定模型分析采集到的图像，提高后续分析目标物体的图像的准确性和有效性。
[0183]
可选的，预处理所有第二图像，得到可见光视觉标定模型，包括：
[0184]
控制多模传感器采集无光源下的第三图像；
[0185]
根据第三图像对所有第二图像执行去噪操作，得到多个第四可见光图像，根据所有第四可见光图像中每个第四可见光图像的每个像素位置和该像素位置的值确定可见光视觉标定模型。
[0186]
其中，根据第三图像对所有第二图像执行去噪操作可以为：每个第二图像中每个像素位置的像素值减去第三图像中该像素位置的像素值。
[0187]
可见，该可选的实施例能够对图像进行去噪操作，有助于后续根据去噪的图像构造视觉标定模型，从而提高视觉标定模型的准确性。
[0188]
202、基于多模传感器采集目标物体对应的图像，并对目标物体对应的图像进行分割，得到目标物体的第一图像以及光学柔性膜的第一红外图像。
[0189]
203、根据第一图像，分析目标物体的信息。
[0190]
204、根据第一红外图像，分析目标物体作用于光学柔性膜的接触力的信息。
[0191]
本发明实施例中，针对步骤202-步骤204的其它描述，请参照实施例一中针对步骤101-步骤103的详细描述，本发明实施例不再赘述。
[0192]
可见，本发明通过不受电磁干扰且分辨率高的视觉-触觉多模传感器采集物体的图像和光学柔性膜红外图像，并同时进行分析，能够提高物体的视觉信息和触觉信息的分析精准性及效率，从而有利于提高物体的位置、尺寸、物体与多模传感器之间接触力等信息的确定准确性及可靠性，进而有助于提高机器人的控制精度及效率；本发明在采集图像前进行标定操作，得到表现多模传感器实际使用情况的标定模型，有助于后续根据标定得到的实际模型分析采集到的图像，能够提高分析的准确性，从而有助于提高后续根据采集数据提高机器人的控制精度。
[0193]
在一个可选的实施例中，根据第一红外图像，分析多模传感器受到的接触力的信息，包括：
[0194]
将第一红外图像中每个像素位置转换为预设世界坐标系下对应的第一重建像素位置，并基于预先确定出的像素值公式计算该第一重建像素位置的值；
[0195]
基于所有第一重建像素位置以及所有第一重建像素位置的值，确定第一红外图像的第一重建图像；
[0196]
根据第一重建图像获取光学标签的目标光学标签位置信息，将目标光学标签位置信息输入触觉标定模型；目标光学标签位置信息至少包括光学标签的光学标签位置变化信息；
[0197]
获取触觉标定模型输出的目标接触力组，目标接触力组包括接触力强度和接触力角度；
[0198]
将目标接触力组包括的力强度和力角度确定为多模传感器受到的接触力的信息。
[0199]
该可选的实施例中，预设世界坐标系设立于多模传感器的使用环境中，用于描述多模传感器和目标物体的位置。
[0200]
可见，该可选的实施例基于像素值公式确定重建图像，通过重建图像获取光学标签的位置信息，通过光学标签的位置信息和触觉标定模型确定传感器受到的接触力的信息，能够基于图像分析得到力的信息，相比于基于电容和电阻分析力的传感器进一步提高了分辨率，且不受电磁干扰，从而能够进一步提高传感器采集数据的准确性。
[0201]
在另一个可选的实施例中，根据第一图像，分析目标物体的信息，包括：
[0202]
将第一图像中每个像素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有第二重建像素位置以及所有第二重建像素位置的值，确定第一图像的第二重建图像；
[0203]
根据目标物体的纹理在第二重建图像中的像素位置，确定目标物体的形状和位置信息，目标物体的纹理包括彩色纹理或灰度纹理。
[0204]
该可选的实施例中，当第二重建图像的数量为1时，第二重建图像中目标物体的纹理对应的所有像素位置中每个该像素位置在目标物体上对应的实际位置与多模传感器之间的距离相等；当第二重建图像的数量大于等于2时，第二重建图像包括多个第一子重建图像，所有第一子重建图像中每个第一子重建图像中目标物体的纹理对应的所有像素位置中每个该像素位置在目标物体上对应的实际位置与多模传感器之间的距离相等，所有第一子
重建图像中每个第一子重建图像中目标物体的纹理对应的所有像素位置中每个该像素位置在目标物体上对应的实际位置与多模传感器之间的距离均不相等。
[0205]
其中，确定目标物体的位置信息可以根据目标物体的纹理在第二重建图像中的像素位置，比如，当目标物体的某一纹理的像素位置为(x0，y0，z0)时，这表示该纹理所对应目标物体的实际部分在预设世界坐标系中的坐标也为(x0，y0，z0)，当多模传感器在预设世界坐标系中的代表坐标为(x1，y1，z1)时，可以通过公式计算出距离s。
[0206]
可见，该可选的实施例基于像素值公式确定重建图像，根据重建图像确定目标物体的形状和位置信息，有助于后续根据目标物体的形状和位置信息控制机器人执行操作。
[0207]
在又一个可选的实施例中，光学标签吸收预设红外波长段光且不吸收可见光；其中，根据每个接触力组对应的第二红外图像确定光学柔性膜受到该接触力组时光学标签的位置信息，包括：
[0208]
根据每个接触力组对应的第二红外图像生成该接触力组对应的第三重建图像；每个接触力组对应的第三重建图像中光学标签所在像素位置的像素值小于该第三重建图像中除光学标签所在像素位置之外的其他像素位置的像素值；
[0209]
根据所有接触力组中每个接触力组对应的第三重建图像中光学标签所在像素位置的像素值，从该第三重建图像中分割出该接触力组对应的光学标签区域；
[0210]
确定每个接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为光学柔性膜受到该接触力组时该接触力组对应的光学标签的位置信息。
[0211]
该可选的实施例中，从图像中分割出光学标签区域可以使用局部自适应阈值(adaptive threshold)分割方法。其中，每个光学标签区域内至少包括一个光学标签。
[0212]
可见，该可选的实施例在生成接触力组对应的重建图像之后，通过将接触力组对应的光学标签区域在重建图像中位置信息确定为光学柔性膜受到接触力组时对应光学标签的位置信息，能够提高该位置信息的确定准确性及可靠性，进而有助于后续结合接触力信息建立接触力与光学标签位置信息之间的关联关系。
[0213]
在又一个可选的实施例中，确定每个接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为光学柔性膜受到该接触力组时该接触力组对应的光学标签的位置信息，包括：
[0214]
根据每个接触力组对应的光学标签区域的位置信息计算出该接触力组对应的光学标签区域的质心的位置坐标，将该接触力组对应的光学标签区域的质心的位置坐标确定为光学柔性膜受到该接触力组时该接触力组对应的光学标签的位置信息；或者，
[0215]
根据每个接触力组对应的光学标签区域的位置信息计算出该接触力组对应的光学标签区域的几何中心的位置坐标，将该接触力组对应的光学标签区域的几何中心的位置坐标确定为光学柔性膜受到该接触力组时该接触力组对应的光学标签的位置信息。
[0216]
可见，该可选的实施例根据光学标签区域的质心或几何中心确定光学标签的位置信息，能够提高确定光学标签位置的准确性和效率，从而有助于后续根据光学标签位置确定接触力的准确性和效率。
[0217]
在又一个可选的实施例中，将第一图像中每个像素位置转换为预设世界坐标系下对应的重建位置，并基于预先确定出的像素值公式计算该重建位置的值，基于所有重建位
置以及所有重建位置的值，确定第一图像的第二重建图像，包括：
[0218]
获取第一图像中所有目标像素位置的像素值，且所有目标像素位置均基于像素坐标系确定；
[0219]
获取多模传感器的相机模型，根据相机模型确定预设世界坐标系与像素坐标系之间的转换关系，根据转换关系确定每个目标像素位置对应的重建像素位置；
[0220]
将每个目标像素位置对应的重建像素位置输入视觉标定模型，得到视觉标定模型输出的值，作为视觉标定模型在该目标像素位置对应重建像素位置的标定模型输出值；
[0221]
将每个目标像素位置的像素值和视觉标定模型在该目标像素位置对应重建像素位置的标定模型输出值输入预先确定出的像素值公式，逆求解像素值公式，得到该目标像素位置对应重建像素位置的像素值；
[0222]
根据每个目标像素位置对应重建像素位置和每个目标像素位置对应重建像素位置的像素值确定第一图像的第二重建图像。
[0223]
可见，该可选的实施例基于模型转换关系确定图像与重建图像之间的像素位置的对应关系，并根据对像素值公式的逆求解得到重建图像的像素位置的像素值，能够提高基于图像得到重建图像的效率和准确性，有助于后续根据重构图像分析目标物体的信息。
[0224]
在又一个可选的实施例中，像素值公式可以为：
[0225][0226]
其中，i(u,v)为目标图像中任一像素位置(u,v)处的像素值，目标图像包括第一图像或第一红外图像，c为确定出的常数，n(u,v)为该像素位置(u,v)处的成像噪声；
[0227]
当目标图像为第一红外图像时，z1和z2分别为第一红外图像中光学柔性膜的纹理对应的所有像素位置在光学柔性膜上对应的实际位置与多模传感器之间的最小距离和最大距离，w(x,y,z)为第一重建图像中第一红外图像的像素位置(u,v)对应的第一重建像素位置(x,y,z)处的值，f(x,y,z)是视觉标定模型在该第一重建像素位置(x,y,z)处的值；
[0228]
当目标图像为第一图像时，z1和z2分别为第一图像中目标物体的纹理对应的所有像素位置在目标物体上对应的实际位置与多模传感器之间的最小距离和最大距离，w(x,y,z)为第二重建图像中第一图像的像素位置(u,v)对应的第二重建像素位置(x,y,z)处的值，f(x,y,z)是视觉标定模型在该第二重建像素位置(x,y,z)处的值。
[0229]
可见，该可选的实施例提供了一种像素值公式，有助于后续根据像素值公式确定重建图像的像素位置的像素值，提高确定重建图像的像素位置的像素值的效率和准确性。
[0230]
实施例三
[0231]
请参阅图7，图7是本发明实施例公开的一种基于多模传感器的信息自动获取装置的结构示意图。其中，图7所描述的基于多模传感器的信息自动获取装置可以包括机器人控制设备、机器人控制系统、机器人控制服务器、机器人控制平台等中的任何一种，且该装置具有对应的多模传感器。如图7所示，多模传感器设置有光学柔性膜以及发射预设红外波长段光照射光学柔性膜的红外光源，红外光源处于开启状态；该基于多模传感器的信息自动获取装置可以包括：
[0232]
采集处理模块301，用于基于多模传感器采集目标物体对应的图像，并对目标物体
对应的图像进行分割，得到目标物体的第一图像以及光学柔性膜的第一红外图像；第一红外图像为当目标物体作用于光学柔性膜时采集到的图像；
[0233]
分析模块302，用于根据第一图像，分析目标物体的信息；
[0234]
分析模块302，还用于根据第一红外图像，分析目标物体作用于光学柔性膜的接触力的信息；其中，目标物体的信息以及接触力的信息用于控制机器设备执行与目标物体的信息以及接触力的信息相匹配的操作。
[0235]
可见，本发明实施例通过不受电磁干扰且分辨率高的视觉-触觉多模传感器采集物体的图像和光学柔性膜红外图像，并同时进行分析，能够提高物体的视觉信息和触觉信息的分析精准性及效率，从而有利于提高物体的位置、尺寸、物体与多模传感器之间接触力等信息的确定准确性及可靠性，进而有助于提高机器人的控制精度及效率。
[0236]
在一个可选的实施例中，如图8所示，装置还包括：
[0237]
标定模块303，用于在采集处理模块301基于多模传感器采集目标物体对应的图像之前，对多模传感器执行标定操作，得到多模传感器的标定模型；标定模型包括视觉标定模型和触觉标定模型；
[0238]
以及，光学柔性膜中设置有光学标签；分析模块302根据第一红外图像，分析多模传感器受到的接触力的信息的方式具体包括：
[0239]
将第一红外图像中每个像素位置转换为预设世界坐标系下对应的第一重建像素位置，并基于预先确定出的像素值公式计算该第一重建像素位置的值；
[0240]
基于所有第一重建像素位置以及所有第一重建像素位置的值，确定第一红外图像的第一重建图像；
[0241]
根据第一重建图像获取光学标签的目标光学标签位置信息，将目标光学标签位置信息输入触觉标定模型；目标光学标签位置信息至少包括光学标签的光学标签位置变化信息；
[0242]
获取触觉标定模型输出的目标接触力组，目标接触力组包括接触力强度和接触力角度；
[0243]
将目标接触力组包括的力强度和力角度确定为多模传感器受到的接触力的信息；
[0244]
以及，分析模块302根据第一图像，分析目标物体的信息的方式具体包括：
[0245]
将第一图像中每个像素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有第二重建像素位置以及所有第二重建像素位置的值，确定第一图像的第二重建图像；
[0246]
根据目标物体的纹理在第二重建图像中的像素位置，确定目标物体的形状和位置信息，目标物体的纹理包括彩色纹理或灰度纹理；
[0247]
其中，当第二重建图像的数量为1时，第二重建图像中目标物体的纹理对应的所有像素位置中每个该像素位置在目标物体上对应的实际位置与多模传感器之间的距离相等；
[0248]
当第二重建图像的数量大于等于2时，第二重建图像包括多个第一子重建图像，所有第一子重建图像中每个第一子重建图像中目标物体的纹理对应的所有像素位置中每个该像素位置在目标物体上对应的实际位置与多模传感器之间的距离相等，所有第一子重建图像中每个第一子重建图像中目标物体的纹理对应的所有像素位置中每个该像素位置在目标物体上对应的实际位置与多模传感器之间的距离均不相等。
[0249]
可见，该可选的实施例基于像素值公式确定重建图像，通过重建图像获取光学标签的位置信息，通过光学标签的位置信息和触觉标定模型确定传感器受到的接触力的信息，能够基于图像分析得到力的信息，相比于基于电容和电阻分析力的传感器进一步提高了分辨率，且不受电磁干扰，从而能够进一步提高传感器采集数据的准确性；基于像素值公式确定重建图像，根据重建图像确定目标物体的形状和位置信息，有助于后续根据目标物体的形状和位置信息控制机器人执行操作。
[0250]
在又一个可选的实施例中，如图8所示，标定模块303对多模传感器执行标定操作，得到多模传感器的标定模型的方式具体包括：
[0251]
确定多模传感器的触觉检测集合，触觉检测集合包括力强度检测集合和力角度检测集合，力强度检测集合包括多个力强度，力角度检测集合包括多个力角度；
[0252]
对力强度检测集合中所有力强度与力强度检测集合中所有力角度进行随机组合，得到多个接触力组；每个接触力组均分别包含一个力强度和一个力角度，且在所有接触力组中不存在力强度和力角度均相同的两个接触力组；
[0253]
控制机器人根据每个接触力组对应的力强度和力角度依次触碰光学柔性膜，并控制多模传感器采集光学柔性膜每次受触碰时光学柔性膜的第二红外图像；
[0254]
根据每个接触力组对应的第二红外图像确定光学柔性膜受到该接触力组时光学标签的位置信息，得到多个第一光学标签位置信息；
[0255]
根据第二光学标签位置信息和每个接触力组对应的第一光学标签位置信息，确定每个接触力组对应的光学标签位置变化信息；其中，第二光学标签位置信息为在光学柔性膜处于非受力状态时光学标签的位置信息；
[0256]
建立每个接触力组和与该接触力组对应的光学标签位置信息之间的关联关系，并基于所有接触力组中每个接触力组与该接触力组对应的光学标签位置信息之间的关联关系，构建多模传感器的触觉标定模型，作为多模传感器的标定模型；
[0257]
其中，当光学标签的数量为1时，接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息，或者，接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息和第二光学标签位置信息；
[0258]
当光学标签的数量大于等于2时，接触力组对应的光学标签位置信息为该接触力组对应的所有光学标签的光学标签位置变化信息，或者，接触力组对应的光学标签位置信息为该接触力组对应的所有光学标签的光学标签位置变化信息和第二光学标签位置信息。
[0259]
可见，该可选的实施例提供了一种执行标定操作的方法，通过对设置有光学标签的光学柔性膜施加不同力的作用，能够得到不同力对应的光学标签的图像，还能够根据这些光学标签的图像和力确定力与光学标签位置的关系，作为表现多模传感器实际触觉信息采集情况的触觉标定模型，有助于后续根据触觉标定模型分析采集到的图像，提高后续分析力的准确性和有效性。
[0260]
在又一个可选的实施例中，如图8所示，光学标签吸收预设红外波长段光且不吸收可见光；
[0261]
其中，标定模块303根据每个接触力组对应的第二红外图像确定光学柔性膜受到该接触力组时光学标签的位置信息的方式具体包括：
[0262]
根据每个接触力组对应的第二红外图像生成该接触力组对应的第三重建图像；每
个接触力组对应的第三重建图像中光学标签所在像素位置的像素值小于该第三重建图像中除光学标签所在像素位置之外的其他像素位置的像素值；
[0263]
根据所有接触力组中每个接触力组对应的第三重建图像中光学标签所在像素位置的像素值，从该第三重建图像中分割出该接触力组对应的光学标签区域；
[0264]
确定每个接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为光学柔性膜受到该接触力组时该接触力组对应的光学标签的位置信息；
[0265]
以及，标定模块303确定每个接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为光学柔性膜受到该接触力组时该接触力组对应的光学标签的位置信息的方式具体包括：
[0266]
根据每个接触力组对应的光学标签区域的位置信息计算出该接触力组对应的光学标签区域的质心的位置坐标，将该接触力组对应的光学标签区域的质心的位置坐标确定为光学柔性膜受到该接触力组时该接触力组对应的光学标签的位置信息；或者，
[0267]
根据每个接触力组对应的光学标签区域的位置信息计算出该接触力组对应的光学标签区域的几何中心的位置坐标，将该接触力组对应的光学标签区域的几何中心的位置坐标确定为光学柔性膜受到该接触力组时该接触力组对应的光学标签的位置信息。
[0268]
可见，该可选的实施例在生成接触力组对应的重建图像之后，通过将接触力组对应的光学标签区域在重建图像中位置信息确定为光学柔性膜受到接触力组时对应光学标签的位置信息，能够提高该位置信息的确定准确性及可靠性，进而有助于后续结合接触力信息建立接触力与光学标签位置信息之间的关联关系；根据光学标签区域的质心或几何中心确定光学标签的位置信息，能够提高确定光学标签位置的准确性和效率，从而有助于后续根据光学标签位置确定接触力的准确性和效率。
[0269]
在又一个可选的实施例中，如图8所示，分析模块302将第一图像中每个像素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有第二重建像素位置以及所有第二重建像素位置的值，确定第一图像的第二重建图像的方式具体包括：
[0270]
获取第一图像中所有目标像素位置的像素值，且所有目标像素位置均基于像素坐标系确定；
[0271]
获取多模传感器的相机模型，根据相机模型确定预设世界坐标系与像素坐标系之间的转换关系，根据转换关系确定每个目标像素位置对应的重建像素位置；
[0272]
将每个目标像素位置对应的重建像素位置输入视觉标定模型，得到视觉标定模型输出的值，作为视觉标定模型在该目标像素位置对应重建像素位置的标定模型输出值；
[0273]
将每个目标像素位置的像素值和视觉标定模型在该目标像素位置对应重建像素位置的标定模型输出值输入预先确定出的像素值公式，逆求解像素值公式，得到该目标像素位置对应重建像素位置的像素值；
[0274]
根据每个目标像素位置对应重建像素位置和每个目标像素位置对应重建像素位置的像素值确定第一图像的第二重建图像。
[0275]
可见，该可选的实施例基于模型转换关系确定图像与重建图像之间的像素位置的对应关系，并根据对像素值公式的逆求解得到重建图像的像素位置的像素值，能够提高基于图像得到重建图像的效率和准确性，有助于后续根据重构图像分析目标物体的信息。
[0276]
在又一个可选的实施例中，如图8所示，标定模块303对多模传感器执行标定操作，得到多模传感器的标定模型的方式具体包括：
[0277]
确定多模传感器的视觉检测位置集合；视觉检测位置集合包括多个视觉检测位置，每个视觉检测位置为多模传感器能检测到被检测对象的任一位置；
[0278]
从视觉检测位置集合的所有视觉检测位置中确定标定光源未出现过的所有目标位置；
[0279]
控制多模传感器采集标定光源在所有目标位置上的第二图像；
[0280]
预处理所有第二图像，得到可见光视觉标定模型；
[0281]
获取光学柔性膜的结构参数，根据可见光视觉标定模型和光学柔性膜的结构参数，确定红外光视觉标定模型；
[0282]
以及，标定模块303预处理所有第二图像，得到可见光视觉标定模型的方式具体包括：
[0283]
控制多模传感器采集无光源下的第三图像；
[0284]
根据第三图像对所有第二图像执行去噪操作，得到多个第四可见光图像，根据所有第四可见光图像中每个第四可见光图像的每个像素位置和该像素位置的值确定可见光视觉标定模型。
[0285]
可见，该可选的实施例提供了另一种执行标定操作的方法，通过采集光源在不同位置的图像，分析得到作为表现多模传感器实际视觉信息采集情况的视觉标定模型，有助于后续根据视觉标定模型分析采集到的图像，提高后续分析目标物体的图像的准确性和有效性；能够对图像进行去噪操作，有助于后续根据去噪的图像构造视觉标定模型，从而提高视觉标定模型的准确性。
[0286]
在又一个可选的实施例中，如图8所示，像素值公式为：
[0287][0288]
其中，i(u,v)为目标图像中任一像素位置(u,v)处的像素值，目标图像包括第一图像或第一红外图像，c为确定出的常数，n(u,v)为该像素位置(u,v)处的成像噪声；
[0289]
当目标图像为第一红外图像时，z1和z2分别为第一红外图像中光学柔性膜的纹理对应的所有像素位置在光学柔性膜上对应的实际位置与多模传感器之间的最小距离和最大距离，w(x,y,z)为第一重建图像中第一红外图像的像素位置(u,v)对应的第一重建像素位置(x,y,z)处的值，f(x,y,z)是视觉标定模型在该第一重建像素位置(x,y,z)处的值；
[0290]
当目标图像为第一图像时，z1和z2分别为第一图像中目标物体的纹理对应的所有像素位置在目标物体上对应的实际位置与多模传感器之间的最小距离和最大距离，w(x,y,z)为第二重建图像中第一图像的像素位置(u,v)对应的第二重建像素位置(x,y,z)处的值，f(x,y,z)是视觉标定模型在该第二重建像素位置(x,y,z)处的值。
[0291]
可见，该可选的实施例提供了一种像素值公式，有助于后续根据像素值公式确定重建图像的像素位置的像素值，提高确定重建图像的像素位置的像素值的效率和准确性。
[0292]
实施例四
[0293]
请参阅图9，图9是本发明实施例公开的又一种基于多模传感器的信息自动获取装
置的结构示意图。如图9所示，该基于多模传感器的信息自动获取装置可以包括：
[0294]
存储有可执行程序代码的存储器401；
[0295]
与存储器401耦合的处理器402；
[0296]
处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一或本发明实施例二所描述的基于多模传感器的信息自动获取方法中的步骤。
[0297]
实施例五
[0298]
本发明实施例公开了一种计算机可存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一或本发明实施例二所描述的基于多模传感器的信息自动获取方法中的步骤。
[0299]
实施例六
[0300]
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的基于多模传感器的信息自动获取方法中的步骤。
[0301]
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0302]
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(read-only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0303]
最后应说明的是：本发明实施例公开的一种基于多模传感器的信息自动获取方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。