一种基于触觉的控制器的制作方法

1.本公开涉及传感器技术，特别涉及一种基于触觉的控制器。


背景技术：

2.随着vr、ar、mr等计算机技术的发展，触觉从物理世界向虚拟世界延伸。与视觉不同，触觉本身决定了很强的敏感能力，可用于表征虚拟对象和环境的多种性质。
3.此外，随着远程控制、机器人、物联网技术的发展，远程操控真实对象也提出了更高的要求。
4.本领域亟需发展出一种基于触觉的控制器以进一步改善和扩大触觉传感的应用范围。


技术实现要素：

5.为了解决上述技术问题，本公开揭示了一种基于触觉的控制器，包括：
6.至少2个设置在不同位置的触觉传感单元；
7.每个触觉传感单元包括：仿生的表皮层-真皮层所构成的双层柔性层结构和光源；其中：
8.所述双层柔性层结构基于具备透光性和柔软性的材料；
9.所述触觉传感单元通过捕捉所述光源照射向双层柔性层结构的光线，从而感测双层柔性层结构的形变。
10.优选的，
11.所述控制器用于vr控制、ar控制、mr控制等。
12.优选的，
13.2个触觉传感单元，能够用于实现差分处理。
14.优选的，
15.所述表皮层和真皮层均采用基于硅橡胶材料的柔性材料，例如基于pdms硅氧烷材料的柔性材料。
16.优选的，
17.所述真皮层的厚度大于所述表皮层的厚度，优选的，所述真皮层的厚度大于10mm，所述表皮层的厚度小于5mm。
18.优选的，
19.所述真皮层的硬度小于表皮层，优选的，所述表皮层的硬度属于邵氏a硬度范围，其硬度值大于15；所述真皮层的硬度则小于10。
20.优选的，
21.所述真皮层利用其自身的粘性与表皮层粘合。
22.优选的，
23.所述双层柔性层结构优选设计为易更换的耗材式柔性层。
24.优选的，
25.可以利用涂有颜料的针，刺入所述真皮层的内部进行标记；
26.以便控制器工作时，所述触觉传感单元捕捉所述双层柔性层结构的形变之后进一步感测其形变。
27.优选的，
28.当所述双层柔性层结构因接触而受接触力作用时，
29.所述表皮层用于拟合较高的分辨率，使得所述双层柔性层结构的形变具备表皮层的分辨率。
30.优选的，
31.通过感测所述双层柔性层结构的形变，表达六维接触力：除了分布于表皮层作为接触层表面的三维压力向量场，还包括三维力矩向量场。
32.以此，本公开实现了一种基于触觉的控制器，所述控制器能够至少感测2个方向的触觉以及进行触觉感测的同时进行差分处理，从而可以在更广泛的领域内被用于复杂触觉传感的侦测。
附图说明
33.图1是本公开的一个实施例所示的控制器的爆炸示意及其整体示意图；
34.图2是本公开的一个实施例所示的控制器的爆炸示意及其整体示意图；
35.图3是本公开的一个实施例所示的传感器光路示意图；
36.图4是图3所示的传感器光路的俯视示意图；
37.图5是现有技术中触摸传感器的示意图；
38.图6a是本公开的一个实施例中双目摄像的光路示意图；
39.图6b是现有技术中双目摄像的光路示意图；
40.图7是本公开的一个实施例中指肚形/指套形控制器的光路示意图；
41.图8是图7指肚形/指套形控制器的rgb光区域及标记的点的示意图。
具体实施方式
42.为了使本领域技术人员理解本公开所披露的技术方案，下面将结合实施例及有关附图1至图8，对各个实施例的技术方案进行描述，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。本公开所采用的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，“包括”和“具有”以及它们的任何形变，意图在于覆盖且不排他的包含。例如包含了一系列步骤或单元的过程、或方法、或系统、或产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、系统、产品或设备固有的其他步骤或单元。
43.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本公开的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员可以理解的是，本文所描述的实施例可以与其他实施例相结合。
44.在一个实施例中，本公开揭示了一种基于触觉的控制器，包括：
45.至少2个设置在不同位置的触觉传感单元；
46.每个触觉传感单元包括：仿生的表皮层-真皮层所构成的双层柔性层结构和光源；其中：
47.所述双层柔性层结构基于具备透光性和柔软性的材料；
48.所述触觉传感单元通过捕捉所述光源照射向双层柔性层结构的光线，从而感测双层柔性层结构的形变。
49.能够理解，所述基于触觉的控制器，在人手的操控下，
50.所述控制器可以用于vr控制、ar控制、mr控制等。
51.对于上述实施例而言，其创新性的提出了一种基于触觉的控制器的新的结构，其创新性主要体现在以下几点：
52.其一，创新性体现在至少2个触觉传感单元，其不仅可以同时感测来自不同的激励的操控(备注：典型的，激励来自于人手对控制器的双层柔性层结构施加的接触力)，而且可以进一步通过2个触觉传感单元进行差分或矢量叠加等数据层面的处理；差分处理时，2个触觉传感单元优先考虑对位呈180度的设置。
53.当人手操控所述控制器时，所述控制器可以根据双层柔性层结构发生的几何形变用于vr控制、ar控制、mr控制等，从而控制虚拟对象对应的也发生相应的几何形变；能够理解，这可以用于元宇宙的有关场景。其中，双层柔性层结构的几何形变，与虚拟对象的几何形变有相关性，后者的几何形变可以是与前者相图的几何形变，也可以是不同的几何形变，这取决于被控对象的表面形貌特征与控制器的双层柔性结构层的形貌特征之间的映射关系。
54.当第一驱动机构(例如机械手)或人手施加第一作用力以操控所述控制器时，假设所述控制器为第一控制器，那么所述第一控制器还可以将感测的形变输出为数字信号/模拟信号，并将所述数字信号/模拟信号通过信号传输的方式，近距离或远距离的传输至第二驱动机构，使得第二驱动机构产生第二作用力，并将第二作用力作用于真实对象，其中，第二作用力的力度比第一作用力可以相同，也可以不同，可以成倍的放大，也可以成倍的缩小。这可以是的所述控制器被应用于远程手术。
55.其二，对于每个触觉传感单元，创新性还体现在所述双层柔性层结构。能够理解，所述表皮层用于与接触面接触，表皮层不仅提供触觉手感(备注：能够理解，通过对表皮层选材或设计材料，可以提供不同级别的触觉手感)，而且表皮层上还可以进一步设置有反射层以使得沿着真皮层、表皮层的光线被反射，从而再沿表皮层、真皮层方向进入到摄像头。例如，在靠近真皮层的一侧，表皮层的内部某处一个面上混合银色颜料作为反射层，以辅助摄像头捕捉所述双层柔性层结构的形变；当然，也可以在表皮层的外表面上，或表皮层外表面的内表面，混有或涂抹银色颜料作为反射层，其中，在外表面上混有或涂抹时，对反射层的耐磨、耐久要求较高。
56.其三，由于所述双层柔性层结构为仿生的表皮层-真皮层，因此其能够物理上模仿人的皮肤，甚至如果采用更优的材料，还可以超过人的皮肤的敏感度；
57.其四，由于双层柔性层结构具备透光性，当其发生形变时，透过双层柔性层结构的光就发生光路上的变化，例如，这些光被单目摄像头、或双目摄像头、或其他成像配置的设备所捕捉，以此，所述触觉传感器实现对触觉的感知。以摄像头为例，进一步的，如果触觉传
感器还包括处理器，那么处理器可以直接处理摄像头所获得的图像并通过解析图像直接得到具体的触觉信息。
58.如前所述，在另一个实施例中，
59.2个触觉传感单元，可以进行特别的数字信号处理，例如能够用于实现差分处理；或者叠加等处理。能够理解，可以是更多的触觉传感单元，以实现更加复杂、精细的操控。
60.在另一个实施例中，
61.所述双层柔性层结构基于具备透光性和柔软性的材料，其中：
62.根据其柔软性，所述双层柔性层结构得以发生形变；
63.根据其透光性，所述摄像头得以捕捉所述双层柔性层结构的形变；
64.并且，
65.所述表皮层外表面或者外表面的内表面等处，其设置有涂层作为反射层以辅助摄像头捕捉所述双层柔性层结构的形变。
66.更进一步的，在另一个实施例中，每个触觉传感单元还可以设置加速度传感器，以能够更精准、全面的捕捉和采集动作变化的加速度等。
67.参见图1，在一个实施例中，所述控制器包括：控制器主体8，灯板1，压板2，摄像头3，散热片4，固定支架5，电路板6，电池7，其中，电路板6可以选装加速度传感器。灯板1为圆板状，并与控制器的一端表面配合，其可以安装在摄像头和压板的周向，为控制器内部提供光照环境。电路板6可以通过散热片连接摄像头。电池7为摄像头和电路板以及灯板供电。压板和固定支架可以选择abs，散热片可以选择铝合金6061。灯板、压板、摄像头以及确需改善散热时可选的散热片，可以为2组，分别设置在控制器的两端。
68.参见图2，在一个实施例中，所述控制器包括：灯板1，压板2，摄像头3，散热片4，固定支架5，电路板6，电池7，第二电路板8，框架9，其中，电路板6可以选装加速度传感器。灯板1为正方形，并于正六方体形状的控制器的一面的正方形配合，其可以安装在摄像头和压板的周向，为控制器内部提供光照环境。电路板6可以通过散热片连接摄像头。电池7为摄像头和各个电路板以及灯板供电。压板和固定支架以及框架可以选择abs，散热片可以选择铝合金6061。灯板、压板、摄像头以及确需改善散热时可选的散热片，可以为6组，分别设置在控制器的各个面。
69.需要说明的是，控制器的外形可以是对称的规则形状，也可以是非对称的不规则形状。例如，与虚拟对象或真实对象，完全呈比例的形状。
70.在另一个实施例中，正如图3所示，其通过左右两侧的最大光路范围，示意了单个摄像头理论上全部的光路。理论上，在该最大光路范围内，所述单个摄像头使得所述控制器在该范围内具备传感能力。需要说明的是，图3是按照圆形端面的双层柔性层结构为例来进行示意性的说明。
71.然而，考虑到边缘的效果变弱，图3还通过左右两侧的实际应用的光路范围，示意了实际中关注的光路。图4通过剖视的俯视图的方式，进一步示意了所述实际中关注的光路，如图所示，实际中关注的光路覆盖了一个矩形区域，在该区域中，所述控制器的效果和性能更稳定。
72.关于本公开的控制器，如前所述，其工作原理在于：由于双层柔性层结构具备透光性，当其发生形变时，透过双层柔性层结构的光就发生光路上的变化，以此，感测此种光路
的变化就使得所述控制器实现对触觉的感知。并且，为此，本公开给通过上述实施例揭示了能够在多个方向上感测的控制器。
73.需要说明的是，本公开所揭示的此种控制器，集成了仿生和上述工作原理，这与现有技术中的方案存在显著的差异。
74.以cn108446042a为例，其公开了一种电容式触摸传感器，其特征在于：所述触摸传感器包括多个传感器单元，每个传感器单元包括4个多功能层，各多功能层包含对应的一个区域，4个多功能层构成两个电容c1和c2；每个多功能层的内部均设置有两层电极，上层为十字形公共电极，下层为与上层十字型公共电极对应的4个独立电极，所述十字形公共电极和4个独立电极构成4个平行板电容；所述十字型公共电极接激励信号，独立电极接模数转换电路。
75.图5示例了现有技术中其电容式触摸传感器的工作原理，如其说明书【0081】所述：分区域式屏蔽式扫描方式如图所示，spi总线通过地址位选择测量状态的传感器单元标记为0；未指定地址位的传感器单元标记为x接地屏蔽，因此不会对被选中的传感器单元造成串扰。被选中的传感器单元，其4个多功能层形成2个电容，用来实现触觉的功能，其激励信号来自与该传感器单元的内部。当传感器单元作为接地屏蔽单元时，其4个多功能层同时接地，屏蔽区域的大小即被接地屏蔽的单元数可以根据实际需要选择。当传感器单元作为接地屏蔽单元时，其多功能层暂时丧失了接触觉的功能，但每个多功能层内部用于三维力测量的单元仍处于正常工作状态，以保证其仍具有压觉和滑觉功能。由于未被选中的传感器单元的4个多功能层均被接地，因而不会对相邻的被选中单元造成串扰。
76.显而易见，上述现有技术是完全基于电子元器件利用电容触摸的原理构建的触摸传感器，其没有任何物理仿真的功能，无法实现本公开所揭示的控制器的仿生的表皮层-真皮层所能够实现的仿生效果。
77.在另一个实施例中，表皮层可以通过硅胶充分混合涂层。更进一步的，将表皮层实现为不透明/不透光的反射层。
78.在另一个实施例中，
79.本公开所述的涂层可以是白色涂层，或黑色涂层，或手感多种复合涂层，或者银色涂层，或者灰色涂层。
80.在另一个实施例中，
81.所述表皮层和真皮层均采用基于硅橡胶材料的柔性材料。例如，所述表皮层和真皮层均采用基于pdms硅氧烷材料的柔性材料。
82.典型的，所述硅橡胶材料为化学硅橡胶材料。需要说明的是，具备透光性和柔软性的柔性材料，也可以进一步扩大到除了硅橡胶材料之外的其他材料。
83.进一步的，表皮层和真皮层甚至也可以采用基于不同材料的柔性材料，以灵活的调控柔软性和透光性。
84.在另一个实施例中，
85.所述真皮层的厚度大于所述表皮层的厚度，优选的，所述真皮层的厚度大于10mm，所述表皮层的厚度小于5mm。
86.在另一个实施例中，
87.所述真皮层的硬度小于表皮层，优选的，所述表皮层的硬度属于邵氏a硬度范围，
其硬度值大于15；所述真皮层的硬度则小于10。
88.在另一个实施例中，
89.所述真皮层利用其自身的粘性与表皮层粘合。
90.以此，可以利用其自身而非引入其他胶水来粘合二者。当然，至于二者粘合后的边缘部分，由于几乎不影响控制器的工作，其边缘部分如果需要更紧密的结合，此时可以在边缘或其边缘外围涂抹透明软胶。
91.在另一个实施例中，
92.所述双层柔性层结构优选设计为易更换的耗材式柔性层。
93.能够理解，本实施例使得本公开揭示的控制器成为一个方便维护的控制器，就像耗材更替那样。而光路中的光信号是以光的方式传输的，只要摄像头的分辨率等性能不下降，该控制器就可以长期、持续的使用。
94.在另一个实施例中，
95.可以利用涂有颜料的针，刺入所述真皮层的内部进行标记；
96.以便控制器工作时，所述触觉传感单元捕捉所述双层柔性层结构的形变之后进一步感测其形变。
97.例如，沿着真皮层的厚度方向，采用涂有颜料的针刷，一次性批量刺入真皮层的内部，而针脚的密度、高度是根据标记的密度设定来设置。能够理解，颜料的颜色是为了后期处理摄像头捕捉的图像数据时便于感测，本公开并不受具体颜色限制。理论上，除了厚度方向，也可以是别的方向(典型的，xyz坐标系内的任何方向均可)，只要后期处理所述摄像头捕捉的图像数据时，便于感测其形变即可。能够理解，即使不同坐标系也可以通过坐标变换来处理相关数据。需要说明的是，厚度方向为优选方向，厚度方向指的是表皮层至真皮层的方向或者其相反方向。厚度上的标记，有利于后期处理图像数据时解析形变。
98.之所以进行标记，其是为了解决t1时刻至t2时刻，柔性层结构的形变导致的位移变化量、甚至位移变化的平均速度等参数的求取。问题的关键在于，图像数据中需要包含关于空间的基准信息。本实施例优选厚度方向上的标记，则此类标记显然成为一种辅助信息(备注：至少包括z方向上的信息)，每一处具有颜色的标记能够在柔性层结构中建立一个定位的空间信息。这些标记就可以成为额外的空间基准信息，从而去解决t1时刻至t2时刻，柔性层结构的形变导致的位移变化量、位移变化所对应的各个维度上的平均速度等参数的求取问题。
99.进一步的，在实施标记的情形下，t1时刻与tn时刻之间，无论t1时刻是0时刻还是别的时刻，在这段时间间隔内，本公开还可以进一步求取接触力，确切的说，至少可以进一步求取三维接触力(后文还涉及六维接触力，详见后文)。原因在于：当施加力到控制器时，表皮层的形变本身涉及一个过程，该过程从t1时刻至tn时刻，且在该过程中，涉及多个中间时刻ti(i等于2,3,4等)，如果说接触的初始位置是一个点的话，很快会变成多个接触点，而且该过程往往伴随表皮层的外表面发生了曲面意义上的变化，那么，求取接触力的话，必然涉及了中间多个时段的变化，例如t2时刻与t1时刻之间的变化、t3时刻与t2时刻之间的变化等。对于表皮层的外表面而言，这显然是一个连续的曲面变化过程，力的作用过程是动态的且涉及xyz三个方向上的力的分量。由于所述标记等于引入了额外的空间信息，确切的说，是一种定位信息，这就使得本公开能求取该双层柔性层结构形变过程中的三维接触力。
而本实施例标记的带颜色的点则成为了整个表皮层外表面曲面变化过程中始终可以去寻找的参考点或锚点，任一时刻下，所有标记是什么空间状态总是可以得知的，下一时刻下，所有标记是什么空间状态也仍然是可以得知的。光从真皮层进入表皮层，并经过反射层然后沿表皮层至真皮层方向，进入摄像头，在t1时刻至t2时刻，就能够反映出所有充当定位的标记的变化，而变化的多少以及变化的快慢，则与施加到双层柔性层结构的力具有映射关系，因此，本公开能够用于求取三维接触力。自然的，此时也能求取动态的几何形变过程。
100.此外，只要双层柔性层结构的形变能力足够的精微，摄像头的分辨能力没有上限，理论上，t1时刻与t2时刻的间隔就可以足够的小，本公开对接触力的求取就可以不断的提高精度。
101.在另一个实施例中，
102.可以利用激光或针，对所述真皮层的内部打上一定轮廓或图案或色块以进行标记；
103.以便控制器工作时，所述摄像头捕捉所述双层柔性层结构的形变之后进一步感测其形变。
104.相比前一个实施例，本实施例的标记不是点作为标记，而是通过一定轮廓或图案或色块作为标记。能够理解，通过后期图像处理过程中感测相应的轮廓或图案或色块，例如一个圆、或其他轮廓、或某图案所对应的形貌，本实施例同样能感测接触力。轮廓可以指狭义的外轮廓。在本公开中，进一步推而广之，无论是前一实施例中打点进行标记，还是本实施例中打上一定轮廓或图案或色块以进行标记，标记的方式并不受限，甚至色块可以是随机色块、图案可以是随机图案，因为发明人通过各种标记的实施例，认识到：摄像头始终能够看到前后任意两个时刻之间的标记以及标记的变化即可。
105.总之，采用标记的手段后，所述控制器便于双手把持，实现如下各种力的控制：压、捏、握、揉、挤、搓等，且实现不同按压、滑抹、旋扭等等，可分轻重、可分方向。
106.在另一个实施例中，
107.从表皮层的外表面直至真皮层的一定深度处，沿直线方向贯穿表皮层并刺入真皮层，以形成一定深度的具有颜色的直线标记。例如，从表皮层的外表面直至真皮层的一定深度处，用周身带有颜色的针直接刺入，并在拔出针后，在双层柔性层结构中形成该颜色的直线标记。
108.能够理解，这同样有助于求得三维接触力，而且此种方式能够更好的观察：当表皮层的外表面被施加力时，表皮层以及真皮层的内部因形变而发生的具体变化。
109.以上每种标记可以是阵列式的设置在双层柔性层结构，也可以是随机分布的设置在双层柔性层结构，还可以混合使用多种不同类型的标记。
110.就不同的标记而言，需要说明的是：
111.色块比点大，所以，当形变的幅度很大时，色块比点更有优势，这是因为形变幅度很大时色块的可感测性比点要好，也能满足大形变的感测，而点则在极端情况下可能由于形变幅度大而导致某一时刻或某些时刻感测不到；如果点、色块均能够感测，那么，标记为点的话，该控制器的分辨力高于色块，原因恰恰在于色块在尺寸上大于点，所以色块此种控制器无法足够精细，此外色块由于形貌尺寸大也导致图像处理的计算量增大；进一步的，混合使用多种标记，则能够平衡标记的可感测性和控制器的分辨力。
112.另外，不同色彩的色块比单一颜色的色块的可感测性要好，因为此时不仅色块构成一种定位信息，而且不同色彩本身也构成了一种额外辅助信息。
113.在另一个实施例中，
114.表皮层的厚度和柔软度，受双层柔性层结构在任一时刻下的静态几何特征的计算精度约束。
115.能够理解，表皮层越薄，越软，则可以越精确的计算任一时刻下的静态几何特征，或者说静态几何形变。
116.在另一个实施例中，
117.当所述控制器因接触而受接触力作用时，
118.所述表皮层用于拟合较高的分辨率，使得所述双层柔性层结构的形变具备表皮层的分辨率。
119.能够理解，表皮层自身的形变能力与其分辨率相关，形变能力越精细，分辨率越高。
120.在另一个实施例中，
121.在使用所述控制器时，通过感测所述双层柔性层结构的形变，表达六维接触力：除了分布于表皮层作为接触层表面的三维压力向量场，还包括三维力矩向量场。例如，x、y、z坐标系下的相应力矩，形象的理解是：六维力是指三维坐标轴向的力以及绕三维坐标轴的旋转力(备注：本公开中，绕三维坐标轴的旋转力理解为力矩)。
122.需要说明的是，这进一步强化了本公开技术的创新特性，其有助于实现六维力场的感测。能够理解，为了优化该性能的话，可以进一步调整表皮层、真皮层各自的韧性、硬度、厚度和材质。
123.与前文所述的cn108446042a相比，该现有技术只能感测三维力，却并不能感测绕三维坐标轴的旋转力。这种显著差异的关键在于：本公开的仿生的双层柔性层结构能够被捻、揉，而此种旋转动作会导致光路上的光的传播发生变化，从而被感测。
124.在另一个实施例中，所述硅橡胶材料的透光率为95％。
125.在另一个实施例中，
126.所述摄像头为侧面成像，这样设计的好处是在确定镜头成像角度的情况下，摄像头离双层柔性层结构更近，有利于减少控制器的总高度或总厚度。
127.在另一个实施例中，
128.所述控制器还包括充电接口。
129.能够理解，通过电池和充电接口，所述控制器可以在离线的情况下，用于各种场合的多个方向的触觉传感，特别是在微小空间内的触觉传感。
130.在另一个实施例中，
131.所述控制器还包括无线收发单元，例如wifi、zigbee等。
132.在另一个实施例中，
133.所述双层柔性层结构的表面具有粘性，其利用自身表面的粘性与结合的表面贴合；优选的，所述双层柔性层结构可以实现为双层软垫，且断裂伸长率100％，在制得时，使用软垫模具成型，通过抽真空后，加热烘烤而成软垫；并且，真皮层较软，而且具备一定粘性，所以仅在真皮层-表皮层接触面的边缘涂上透明软胶，中间部分挤除气泡后自然粘合。
能够理解，本公开中提及的各种粘合或贴合，都可能需要排除气泡，包括双层柔性层结构自适应相关表面而排除气泡。由于软垫表面有一定粘性，其可以自适应相应的表面，实现充分贴合。
134.双层柔性层结构的表面可作为控制器的表面，起支撑和透光作用。此外，其边缘尽量透明。
135.在另一个实施例中，
136.对于每个触觉传感单元，所述摄像头包括2个摄像头以形成双目摄像。
137.由于双目摄像能感知三维图像信息，而三维图像信息自身就能够解析出三维力的信息，因此，本公开的光源可以只是单色光源，例如白色光源。
138.参见图6a，在另一个实施例中，
139.对每个触觉传感单元而言，当所述摄像头包括2个摄像头以形成双目摄像时，每个摄像头(例如图中的摄像头camera 1和camera 2)分别向2个摄像头之间的中心点o倾斜，以使得，在双层柔性层结构靠近摄像头的一侧，每个摄像头的视野范围最大覆盖至：该摄像头与双层柔性层结构的两端之间。该实施例的优点至少降低了对摄像头的性能和参数的要求。
140.比较图6a和图6b，能够发现，图6b中，两个摄像头之间水平放置，其均不涉及向中心点o倾斜，这导致了对摄像头性能的无谓浪费，且相比图6a中的摄像头，图6b中的摄像头的视野范围更大，但是超出了实际感测双层柔性层结构的两端之间视野范围中图像的需求。
141.因此，图6a所示的实施例使得各个摄像头的能力得到充分利用，同时，由于α＜β，本实施例也有效减小了摄像头的fov值，降低了对摄像头的参数要求。
142.在另一个实施例中，
143.优选rgb形式的led做灯板，例如红灯6颗，绿灯6颗，蓝灯6颗，以此为一组，多组布置。能够理解，灯用于提供补光灯或闪光灯的作用，使得本公开所述的控制器可以在黑暗等需要补光的环境下也能工作。需要说明的是，当每个触觉传感单元均为rgb三色光时，由于三色光与三维空间有对应的映射关系，理论上已知的三色光的变化可以求取三维信息，那么，此时每个触觉传感单元的摄像头可以是单目摄像头。
144.能够理解，控制器工作时，当软垫表面受力形变后摄像头可以看到形变，这是一种图像，并通过图像的处理即可实现触觉传感及检测等后期应用。例如手感，其可以主要由表皮层接触面的形变得出。
145.在另一个实施例中，
146.可以在控制器的表面设有或加工有凹透镜及其阵列的方式，以此减少摄像头和柔性层结构之间的距离，进而减少控制器的尺寸。
147.此外，在另一个实施例中，以指肚形/指套形控制器为例(备注：其可用于vr控制或机器人手指或脚趾操控等)，参见图7、图8，以三色led光源为例，其中，图7是图8中所示的红光的光路，能够发现：
148.1、玻璃使用球面折射聚光原理，折射示意图7；
149.2、光路原理：led灯经正六边形其中三边所在弧面球面凸透镜聚光，形成rgb三等分光源，光进入空气形成光路1，折射进玻璃形成光路2，再在玻璃折射进入柔性层结构形成
光路4后经反射层反射形成光路4，再次由柔性层结构折射进入玻璃形成光路5，再次在玻璃中折射后进入空气形成光路6，到达摄像头视角区域，后捕捉柔性层结构的形变，标记的点的变化，及时反馈给摄像头。由此，实现对形变的感测。
150.进一步的，在另一个实施例中，本公开还揭示了一种针对所述控制器所捕捉的图像数据的处理方法，包括如下步骤：
151.s100：对高分辨率的表皮层与真皮层成像数据进行真皮层标记检测与感测，并利用标记的位移计算三维力场；
152.s200：对高分辨率的表皮层与真皮层成像数据进行去燥、图像增强等处理，并对真皮层标记进行目标移除，得到高质量的表皮层高分辨率图像；
153.s300：基于所述高质量的表皮层高分辨率图像，计算像素梯度值，利用梯度信息对步骤s100计算得到的三维力场进行拟合以得到高分辨率的三维力场；
154.s400：基于三维力场数据，计算三维力矩数据，从而得到高分辨率的、包含力矩的六维力场。
155.对于该方法，其可以通过分析力场的数据即可判断、感测和分析接触力。形象的理解，力矩比力多了距离信息，而控制器中双层柔性层结构的形变则蕴含了距离发生变化的信息，涉及了距离信息和时间信息。因此，当本公开的控制器采取前文所述的标记能求得三维接触力时，本公开还能进一步计算三维力矩数据以最终得到包含力矩的六维力场。当图像数据中包括了标记这类信息时，即使双层柔性层结构发生曲面变化，这些标记始终能够充当基准，图像数据的处理方法只不过是解析、计算出这些信息而已，根本的物质基础则是本公开所揭示的控制器。
156.在另一个实施例中，所述方法还包括如下步骤：
157.s500：对步骤s200计算得到的高质量的表皮层高分辨率图像，利用卷积神经网络(cnn)进行目标检测与分割，提取得到接触面形变信息。
158.在另一个实施例中，所述方法还包括如下步骤：
159.s600：对于所述接触面形变信息，根据检测的每帧图像的接触面形变信息在时间序列上进行融合，利用时序神经网络(rnn)进行行为感测与提取，以得到动态、丰富的触觉信息。
160.接前一个实施例，能够理解，由于形变过程中涉及了时间，在xyz三维之外，第四维时间t被涉及，这正是本公开能够取得接触面形变信息、动态手感信息的根本原因。
161.综上，本公开除了提出一种新的控制器之外，还进一步披露了：通过先进的图像识别与深度学习技术，基于表皮层的高分辨率成像数据，最终能够实现接触面六维力场计算、接触面形变感测、动态手感感测等功能。
162.总结如下，本公开的主要特点如下：
163.1、提供高分辨率、高精度的「接触力感测」。通过相应处理方法得到的接触力为「三维接触力」，其结果是分布于接触层表面的三维压力向量场，且最终可实现为六维；
164.2、提供高分辨率、高精度的「接触表面形变」。其结果是分布于接触层表面的三维空间位置；
165.3、仿生的表皮-真皮双层柔性结构，除了感测表皮层形变外，通过增加感测真皮层的形变，表达「六维接触力」；其结果除了分布于接触层表面的三维压力向量场，还包括三维
力矩向量场；
166.4、表皮和真皮层的材料表面韧性、硬度、厚度、材质等的不同配置，本公开可以测量出更大空间范围的「接触表面形变」，且保持精度；
167.5、通过120帧以上的高动态视觉模组，本公开还可以实现「高动态」接触力，可以更准确的测量快速变化的接触力；
168.6、基于深度学习的「手感」感测，将接触力和接触表面形变结果导致的不同类型的图像，通过深度神经网络，感测为多种不同手感；
169.7、基于深度学习的「动态手感」感测，可以在主动触摸过程中感测动态手感并对其分类；
170.8、基于加速度传感器的作用，可以获取动作所涉及的加速度的变化。
171.本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作、模块、单元并不一定是本公开所必须的。
172.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
173.在本公开所提供的几个实施例中，应该理解到，所揭露的方法，可实现为对应的功能单元、处理器乃至系统，其中所述系统的各部分既可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，各功能单元可以集成在一个处理单元中，也可以是各个单元单独存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为智能手机、个人数字助理、可穿戴设备、笔记本电脑、平板电脑)执行本公开的各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(r0m，read-0nly memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
174.以上所述，以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开的各实施例技术方案的范围。