空中成像触控反馈的控制方法、触控反馈子系统和装置与流程

1.本发明涉及空中成像领域，尤其是涉及一种空中成像触控反馈的控制方法、触控反馈子系统和空中成像装置。


背景技术：

2.目前常见的触觉反馈机制以接触式触觉反馈为主，接触式触觉反馈技术借助相关设备(如屏幕、手套等)辅助，利用振动、静电力等原理和技术实现触觉感知。尽管目前相关设备已小型化且大量商用，但由于用户须与辅助设备进行接触，存在以下问题：一方面，设备的交叉使用会引起公共卫生安全问题，用户也无法摆脱笨重设备的束缚；另一方面，用户使用设备后，在设备上会遗留指纹、掌纹等个人信息，存在个人信息泄露的风险。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种空中成像触控反馈的控制方法。
4.本发明的另一个目的在于提出一种触觉反馈子系统。
5.本发明的再一个目的在于提出一种空中成像装置。
6.本发明第一方面实施例的空中成像触控反馈的方法，其中，空中成像装置包括用于提供空中交互界面的成像子系统和包括喷气单元的触觉反馈子系统，所述控制方法用于所述触觉反馈子系统，所述控制方法包括：接收到空中交互界面中触控点的坐标信息；获得所述喷气单元与触控点的相对位置信息；根据所述相对位置信息和所述触控点的坐标信息获得喷气控制参数；根据所述喷气控制参数控制所述喷气单元向所述触控点喷射气体。
7.根据本发明实施例的空中成像触控反馈的方法，根据空中交互界面中触控点的坐标信息和喷气单元与触控点的相对位置信息，获得喷气控制参数以控制喷气单元向触控点喷射气体，从而用户在空中交互界面进行触控操作时，可以感知到气体的冲击，实现无接触式触觉反馈，实现视觉和触觉的人机交互感受，并且不会遗留用户指纹、掌纹等个人信息，降低了个人信息泄露的风险。此外，本发明的控制方法，向空中交互界面的触控点喷射气体来实现触觉反馈，实现无接触式触觉反馈，从而不会造成设备交叉使用引起的公共卫生安全问题，更加安全。
8.在一些实施例中，所述喷气单元包括可移动的喷气件，根据所述相对位置信息和所述触控点的坐标信息获得喷气控制参数，包括：根据所述触控点的坐标信息和所述喷气单元与触控点的相对位置获得喷气件的喷气角度；以及，根据所述触控点与所述喷气单元的相对距离确定喷气件的目标喷气强度。
9.在一些实施例中，所述喷气单元包括多个喷气件，多个所述喷气件喷射的多个气束或气幕可覆盖空中交互界面，根据所述相对位置信息和所述触控点的坐标信息获得喷气控制参数，包括：根据所述触控点的坐标信息确定存在多个触控点；根据多个触控点的坐标信息确定对应的目标喷气件；以及，根据所述触控点与对应的所述目标喷气件的相对距离
确定所述目标喷气件的目标喷气强度。
10.在一些实施例中，所述喷气单元的喷射方式为实时开启型，所述控制方法还包括：接收到触控反馈控制指令，控制所述喷气单元启动并处于喷气状态或喷气准备状态，在接收到空中交互界面中触控点的坐标信息时，获得所述喷气控制参数，以根据所述喷气控制参数控制所述喷气装置向所述触控点喷射气体。
11.在一些实施例中，所述喷气单元的喷射方式为常开型，所述控制方法还包括：接收到触控反馈控制指令，控制多个喷气件处于持续喷气状态，直至接收到触绝反馈关闭指令。
12.在一些实施例中，所述控制方法还包括：根据所述触控点与喷气件的相对距离、人体触觉感知模型获得目标触觉感知气体强度阈值，以及，根据所述触控点与喷气件的相对距离、气体传输衰减模型获得气体强度衰减值；根据目标触觉感知气体强度阈值和气体强度衰减值获得所述喷气件的目标喷气强度。
13.在一些实施例中，在根据所述喷气控制参数控制所述喷气单元向所述触控点喷射气体之前，所述控制方法还包括：获取环境温度信息；根据所述环境温度信息控制所述喷气单元喷射气体的温度。
14.本发明第二方面实施例提出一种触觉反馈子系统，包括：喷气单元，用于喷射气体；数据处理模块，所述数据处理单元用于根据所述的空中成像触控反馈的控制方法生成控制所述喷气单元的控制信号；驱动模块，所述驱动模块与所述数据处理模块连接，用于根据所述控制信号生成驱动信号，以控制所述喷气单元向触控点喷射气体。
15.根据本发明实施例的触觉反馈子系统，数据触控模块根据上面实施例的空中成像触控反馈的控制方法生成控制喷气单元的控制信号，以控制喷气单元向触控点喷射气体，从而用户在空中交互界面进行触控操作时，可以感知到气体的冲击，实现无接触式触觉反馈，不会遗留用户指纹、掌纹等个人信息，降低了个人信息泄露的风险。此外，控制喷气单元向空中交互界面的触控点喷射气体来实现触觉反馈，实现无接触式触觉反馈，从而不会造成设备交叉使用引起的公共卫生安全问题，更加安全。
16.本发明第三方面实施例提出一种空中成像装置，包括：成像子系统，所述成像子系统用于将人机交互信息在空中目标区域成像显示以形成空中交互界面，并在检测到用户与所述空中交互界面的交互信号时发送触控反馈控制指令和触控点的坐标信息；以及，上面实施例所述的触觉反馈子系统，所述触觉反馈子系统与所述成像子系统连接，用于根据所述触控反馈控制指令和所述触控点的坐标信息向触控点喷射气体。
17.在一些实施例中，所述成像子系统包括：机壳，所述机壳形成有显示窗口且在内部形成有容纳腔；显示器，所述显示器设置于所述容纳腔中，用于显示人机交互信息；光学组件，所述光学组件设置于所述容纳腔中，用于将携带所述人机交互信息的光线汇聚成像在空中目标区域，以形成空中交互界面；其中，所述显示器设置于所述光学组件的光源侧，所述显示窗口在所述光学组件的成像侧；检测模块，用于检测用户与所述空中交互界面的交互信号；主控模块，与所述成像组件和所述检测模块连接，用于响应于所述交互信号发送触控点坐标信息。
18.根据本发明实施例的空中成像装置，结合成像子系统和触觉反馈子系统，成像子系统将人机交互信息在空中目标区域成像显示以形成空中交互界面，将空中交互界面作为用户触觉感知的基准面，以用于引导用户触控，并在成像子系统检测到用户与空中交互界
面的交互信号时，发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统。触觉反馈子系统根据接收的触控反馈控制指令和触控点坐标信息，向触控点喷射气体，在人体与触控点之间产生触觉反馈效果，使得人体可以真实感受到触控点的存在，实现用户非接触式触觉反馈的目的。本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险。同时避免出现因用户指纹信息残留，使得个人信息泄露而造成的信息安全问题。
19.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
20.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
21.图1为根据本发明一个实施例的空中成像装置的示意图。
22.图2为根据本发明一个实施例的空中成像触控反馈的控制方法的流程图。
23.图3为根据本发明一个实施例的喷气控制方式的示意图。
24.图4为根据本发明另一个实施例的空中成像触控反馈的控制方法的流程图。
25.图5为根据本发明再一个实施例的喷气控制方式的示意图。
26.图6为根据本发明再一个实施例的空中成像触控反馈的控制方法的流程图。
27.图7为根据本发明又一个实施例的空中成像触控反馈的控制方法的流程图。
28.图8为根据本发明一个实施例的数据处理模块的功能框图。
29.图9为根据本发明一个实施例的驱动模块的功能框图。
30.图10为根据本发明一个实施例的空中成像装置的示意图。
31.图11为根据本发明一个实施例的空中成像装置的功能框图。
32.图12为根据本发明一个实施例的空中成像装置的工作原理示意图。
33.图13为根据本发明一个实施例的空中成像装置的光学组件的结构示意图。
34.图14为根据本发明一个实施例的空中成像装置的第一光波导阵列和第二光波导阵列的示意图。
35.附图标记：
36.空中成像装置100，空中成像系统200，触觉反馈系统300，
37.机壳1，光学组件2，显示器3，检测模块4，主控模块5，第一光波导阵列6，第二光波导阵列7，透明基板8，反射条9，外壳12，喷气单元13，喷气件131，数据处理模块14，驱动模块15，触控区16，云台19，触控区所处的三维触控空间d。
具体实施方式
38.下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面参照图1至图12详细描述本发明的方法、系统和装置。
39.本发明第一方面实施例提出了一种空中成像触控反馈的控制方法，该方法可以用于空中成像装置，图1为根据本发明的一个实施例的空中成像装置的示意图，如图1所示，空
中成像装置100包括用于提供空中交互界面的成像子系统200和包括喷气单元13的触觉反馈子系统300。空中成像装置可以包括自助取款机、自助挂号机等。
40.成像子系统200用于将人机交互信息在空中目标区域成像显示以形成空中交互界面，例如，成像子系统200可以采用可交互空中成像技术，在空中的确定位置处形成浮空实像即空中交互界面，以作为用户触觉感知的基准面，而覆盖浮空实像所在的三维空间即为空中目标区域。成像子系统200在检测到用户与空中交互界面的交互信号时，根据交互信号控制空中交互界面的显示内容，实现无接触的空中人机交互，并发送触控点坐标信息给触觉反馈子系统300。触觉反馈子系统300与成像子系统200连接，用于根据触控点坐标信息向触控点喷射气体。
41.触觉反馈子系统300的触控区域覆盖空中交互界面所在三维空间，即空中目标区域。具体地，基于空中交互界面的大小和显示位置是相对固定的，触觉反馈子系统300根据已知的空中交互界面，产生一个与之等大等位置的触控反馈平面。即由成像子系统200提供空中交互界面，以引导用户触摸，以及由触觉反馈子系统300提供触控反馈平面，以反馈用户对触摸对象的感知。
42.本发明实施例的空中成像触控反馈的控制方法用于触觉反馈子系统，下面对本发明实施例的空中成像触觉反馈的控制方法进行说明。
43.图2是根据本发明的一个实施例的空中成像触觉反馈的控制方法的流程图，如图2所示，本发明实施例的空中成像触觉反馈的控制方法至少包括步骤s1
‑
s4，具体如下。
44.s1，接收到空中交互界面中触控点的坐标信息。
45.s2，获得喷气单元与触控点的相对位置信息。
46.s3，根据相对位置信息和触控点的坐标信息获得喷气控制参数。
47.s4，根据喷气控制参数控制喷气单元向触控点喷射气体。
48.具体地，成像子系统将人机交互信息在空中目标区域成像显示以形成空中交互界面，用户在空中交互界面进行触控操作时，成像子系统检测到用户与空中交互界面的交互信号，根据交互信号确定空中交互界面中触控点的位置，生成触控点的坐标信息，并将触控点的坐标信息发送给触觉反馈子系统。触觉反馈子系统接收到空中交互界面中触控点的坐标信息，根据触控点的坐标和喷气单元的位置(空间坐标)可以通过坐标变换和运算获得喷气单元与触控点的相对位置信息例如两者的相对距离、相对偏移角度等，并根据两者的相对位置和触控点的坐标获得喷气控制参数，喷气控制参数为控制喷气单元向触控点喷射气体且能够使得用户感知的控制参数，例如，喷气单元的喷气角度、喷射气体的强度，在实施例中，可以基于预存的计算模型或通过查表得方式来获得喷气控制参数。从而，当用户在空中交互界面操作时，根据喷气控制参数控制喷气单元喷气，能够将气体喷射到触控点并能够使得用户感受到气体冲击，实现触觉反馈。
49.根据本发明实施例的空中成像触觉反馈的控制方法，根据空中交互界面中触控点的坐标信息和喷气单元与触控点的相对位置信息，获得喷气控制参数以控制喷气单元向触控点喷射气体，从而用户在空中交互界面进行触控操作时，可以感知到气体的冲击，实现无接触式触觉反馈，实现视觉和触觉的人机交互感受，并且不会遗留用户指纹、掌纹等个人信息，降低了个人信息泄露的风险。此外，本发明的控制方法，向空中交互界面的触控点喷射气体来实现触觉反馈，实现无接触式触觉反馈，从而不会造成设备交叉使用引起的公共卫
生安全问题，更加安全。
50.在本发明的一些实施例中，例如图3所示，喷气单元13包括可移动的喷气件131，喷气件131可以设置在云台19上，通过云台19调整喷气件的喷气角度。或者，采用其它驱动机构来驱动喷气件131移动，使得喷气件131的喷气方向可调。在实施例中，喷气件131可以为空压机或者风刀。
51.如图4所示为根据本发明的一个实施例的空中成像触控反馈的控制方法的流程图，在进行触觉反馈控制时，步骤s3，根据相对位置信息和触控点的坐标信息获得喷气控制参数，可以包括以下步骤s31和s32。
52.s31，根据触控点的坐标信息和喷气单元与触控点的相对位置获得对应喷气件的喷气角度。
53.具体地，为了达到触控反馈的目的，需要控制喷气单元向触控点喷气，喷气单元与触控点的相对位置不同，则喷气单元喷气的角度不同，在实施例中，喷气单元的仰俯角和偏转角可以调节喷气角度。例如，根据触控点的坐标信息和喷气单元与触控点的相对位置获得喷气单元的仰俯角和偏转角，以使得喷气单元能够喷气到触控点。
54.s32，根据触控点与喷气单元的相对距离确定对应喷气件的喷气强度。
55.进而以获得的喷气角度调整对应喷气单元的俯仰角和偏转角以及以目标喷气强度控制喷气单元喷射气体，从而使得用户在触控点可以感知到气体冲击，实现触觉反馈。该方式主要应用于高精度触控要求的场景或控制单元多且小的场合，可适用于立体触控对象例如图3中触控区所在三维触控空间d，实时性高，响应速度快。
56.在本发明的另一些实施例中，如图5所示，喷气单元13可以包括多个喷气件131，例如喷气件131可以为空压机或者风刀，多个喷气件131喷射的多个气束或气幕可覆盖空中交互界面，也就是说，某个喷气件131喷射的气体可以对应作用于空中交互界面中的某个触控点或触控区，不同位置的喷气件131可以对应空中交互界面中不同的触控点或触控区。
57.如图6所示，在进行触觉反馈控制时，步骤s3，根据相对位置信息和触控点的坐标信息获得喷气控制参数，可以包括以下步骤s33
‑
s35。
58.s33，根据接收到的触控点的坐标信息确定存在多个触控点。
59.s34，根据多个触控点的坐标信息确定对应的目标喷气件，即确定能够喷射气体到对应坐标点处的喷气件。
60.具体地，在空中交互界面进行多点触控时，成像子系统的检测模块会检测到多个触控点的坐标信息，并发送给触觉反馈子系统。触觉反馈子系统的多个喷气件喷射的气体可以覆盖不同触控区，为了使得每个触控点都可以感知到气流的冲击，根据每个触控点的坐标信息确定喷射的气体或气幕可以覆盖其的喷气件即目标喷气件，其中，在实施例中，多个喷气件的位置固定，对应的喷射气体或气幕能够覆盖的触控区是确定的，从而根据触控点的位置可以确定对应的目标喷气件。
61.s35，根据触控点与对应的目标喷气件的相对距离确定目标喷气件的目标喷气强度。
62.具体地，喷气强度与触控点到喷气件的相对距离有关，可以预存两者的关系表或者拟合的数学关系模型，基于两者的相对距离查询关系表或者通过满足的数学关系模型确定目标喷气件的目标喷气强度，从而可以保证喷气件喷射的气体能够准确地到达对应的触
控点处并且能够被人体感受到，实现无接触触觉反馈。
63.进一步地，为了能够保证喷气单元喷射到触控点的气体能够被用户更好地感知，不至于气体冲击力太弱不能被感知或者气体冲击力太强而使用户感到不舒服，在本发明的实施例中，触觉反馈子系统根据触控点与喷气件的相对距离、人体感知气体强度阈值进行拟合以建立人体触觉感知模型，人体触觉感知模型为触控点与喷气件的相对距离、人体感知气体强度阈值的对应关系模型，其中，人体感知气体强度阈值为在一定的测试距离下喷射气体到触控点，气体能够被触控点的人体部位例如手部比较舒服地感知的气体强度阈值，该模型可以预先存储在触觉反馈子系统的数据处理模块中。进而，触觉反馈子系统根据人体触觉感知模型结合气体传输衰减模型修正喷气件的目标喷气强度，其中，气体传输衰减模型为喷气件喷射的气体传输过程中随着传输距离的增长气体强度衰减程度的关系曲线模型，该模型也可以预存储在触觉反馈子系统的数据处理模块中。
64.具体地，触觉反馈子系统根据触控点与喷气件的相对距离、人体触觉感知模型获得目标触觉感知气体强度阈值，以及，根据触控点与喷气件的相对距离、气体传输衰减模型获得气体强度衰减值，根据目标触觉感知气体强度阈值和气体强度衰减值获得喷气件的目标喷气强度，例如，将目标触觉感知气体强度阈值与气体强度衰减值的差值作为目标喷气强度，或者，获得目标触觉感知气体强度阈值与气体强度衰减值的差值，在该差值基础上再增加一个较小的气体强度校正值以作为目标喷气强度，根据该目标喷气强度控制喷气件喷射气体，从而可以保证喷气气体能够到达对应触控点处，又可以使得用户触觉感知比较舒服。
65.在本发明的实施例中，喷气单元的喷气方式可以包括实时开启型和常开型。其中，实时开启型的喷气单元用于用户在空中交互界面进行触控操作时或者用户点击触控点时喷气，如上文提出的控制方法，常开型的喷气单元处于常开状态即处于实时喷气状态。
66.具体地，喷气单元的喷射方式为实时开启型时，用户通过空中交互界面输入触觉反馈控制指令或者在成像装置上设置专门的触觉反馈启停触发单元，触觉反馈子系统接收到触觉反馈控制指令，控制喷气单元启动并处于喷气状态或喷气准备状态，在接收到空中交互界面中触控点的坐标信息时，如上文所述的获得喷气控制参数，进而根据喷气控制参数控制喷气装置向触控点喷射气体，此方式可以解决大量的压缩气体。对于喷气单元常开型的喷射方式，接收到触觉反馈控制指令，控制多个喷气件处于持续喷气状态，从而用户在触控区操作时可以感知到气体冲击力，实现触觉反馈，直至接收到触觉反馈关闭指令，控制喷气件停止喷气。
67.例如，对于常开型的气幕/气束喷射方式，当手指进入到触控区时就触发喷气单元处于常开状态，直至超过预设时长未收到交互指令即接收到触觉反馈关闭指令，则停止喷气。对于实时开启型的气幕/气束喷射方式，可以在成像子系统检测到手指进入预设位置范围时，触发喷气单元开机，此时可以不喷射气体，而是处于压缩机已启动、随时可以喷射气体的状态，当检测到手指触发相应的触控点时，控制喷气单元立即朝向当前触控点喷射气体。由此，不会出现喷气反应延迟，能够及时将气体喷射到手指所要触摸的触控点，实现触觉反馈。
68.在一些实施例中，当手指进入触控区时喷气单元被唤醒，当喷气单元喷射的为气幕时，可以控制喷气单元进行喷气，当喷气装置喷射的为气束时，喷气单元处于喷气准备状
态，进一步地检测到手指在空中交互界面进行触控操作时，喷气单元开始喷气，由此能够实现喷气的快速响应。
69.进一步地，在本发明的一些实施例中，考虑到喷气单元喷射气体的温度对人体感知的影响，如图7所示，在根据喷气控制参数控制喷气单元向触控点喷射气体之前，本发明的控制方法还包括：
70.步骤s5，获取环境温度信息，根据环境温度信息控制喷气单元喷射气体的温度。
71.其中，调节喷气单元喷射气体的温度和获得喷气控制参数可以同时进行，也可以先调节喷射气体温度再获得喷气控制参数，也可以先获得喷气控制参数再调节喷射气体温度，两者的顺序不作具体限制，只需在控制喷气单元喷射气体至触控点之前进行即可，以提高触觉反馈时用户感知的舒适性。
72.具体地，在低温环境时，对喷气单元喷射的气体进行加热，以提供暖气流；在高温环境时，对喷气单元喷射的气体进行冷却，以提供冷气流。其中，冷气流、暖气流的温度均在人体感应舒适区，从而可以保证用户感觉到气流时的舒适性。
73.喷气单元正常工作时，由气源提供进气输入，再经喷气单元喷射气束或气幕以在触控区或触控点处形成气流冲击，以实现触觉反馈，通过根据环境温度调节气束或气幕的温度，用户接触到气束或气幕时，不会感觉到温度不适，提高了用户使用体验。
74.本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上面实施例的空中成像触控反馈的控制方法。
75.基于上面实施例的空中成像触控反馈的控制方法，下面参照附图描述根据本发明第二方面实施例的触觉反馈子系统。
76.如图1所示，触觉反馈子系统300包括喷气单元13、数据处理模块14和驱动模块15。其中，喷气单元13用于喷射气体。数据处理模块14用于根据上面实施例的空中成像触控反馈的控制方法生成控制喷气单元的控制信号，其中，空中成像触控反馈的控制方法可以参照上文实施例的描述，在此不再赘述。在一些实施例中，数据处理模块14尺寸较小，可以通过高速连接器固定在驱动板上并与驱动板上的驱动模块15连接，数据处理模块14还可以通过线缆与喷气单元13连接。数据处理模块14根据触控点的坐标信息以及喷气单元13的位置，计算喷气单元13对应触控点的喷射角和喷气强度。驱动模块15与数据处理模块14电连接，以接收数据处理模块14的控制信号，并根据控制信号生成驱动信号，驱动模块15与喷气单元13电连接，以控制喷气单元13朝触控区16或当前触控点喷射气体。
77.喷气单元13为触觉反馈子系统300的核心单元，用于产生交互所需的气束或气幕。人体在接触到气束或气幕时，会感应到气流对皮肤的冲击，进而实现触觉反馈。在本系统中，数据处理模块14完成聚焦点坐标数据处理与计算，并将形成的控制信号发送给驱动模块15，驱动模块15将控制信号进行放大，并生成驱动信号，以对喷气单元13进行控制，使喷气单元13在适宜时刻喷出气流，并作用于交互界面用户操作的坐标位置，从而用户可以感觉到气流即实现触觉反馈。
78.在实施例中，数据处理模块14用以坐标数据接收、相位数据计算以及数据并行传输，其功能框图如图8所示。如图8所示，数据处理模块14主要包括数据处理单元、第一数据存储单元、第一接口单元和第一电源单元。数据处理单元主要完成触摸坐标数据接收与各通道相位计算，在一些实施例中，可以采用浮点数dsp(digital signal process，数字信号
处理)芯片作为数据处理单元，优选地，dsp芯片的主频在200mhz以上，例如250mhz或300mhz或400mhz，以保证系统实时性要求。第一数据存储单元分为数据存储子单元和程序存储子单元，其中，数据存储子单元可以为ddr2(double data rate 2，双倍速率存储器)或者sdram(synchronous dynamic random
‑
access memory，同步动态随机存取内存)，用于数据处理过程中数据存储；程序存储子单元采用nand flash(nand闪存)存储器，用于系统引导程序以及加载程序的存储。第一接口单元用于完成数据处理单元与外部设备之间的数据通信，通过串口/usb口与控制模块5相连，实现触控坐标数据及系统控制指令的传输；通过dsp集成的upp并口，完成相位数据及反馈数据的传送。第一电源单元主要完成电源转换，将输入电源转换为各单元所需的各种稳定、可靠的电源。
79.如图9所示，驱动模块15包括控制单元、第二数据存储单元、第二接口单元、驱动单元和第二电源单元组成。其中，控制单元完成控制参数接收、处理以及控制信号输出，可选用管脚资源丰富的arm(advanced risc machines)作为主控芯片，接口资源丰富，满足系统设计需求。第二数据存储单元外扩一片spi flash作为数据存储，也可用于初始化参数的掉电存储。第二接口单元通过upp并口与数据处理单元进行数据通信。驱动单元用于对arm输出的控制信号进行放大处理，输出符合要求的驱动信号。第二电源单元用于为整个系统提供稳定可靠的电源，外部电源输入驱动板，通过dc
‑
dc转换以及线性转换，为各个用电单元提供所需的电源。由于系统设计需求，驱动单元与喷气单元13的距离可能较远，可采用差分信号或者485总线或者工业现场总线的形式进行驱动信号的传输，并且信号传输线缆采用多股单芯双绞线，尽可能消除信号干扰。
80.根据本发明实施例的触觉反馈子系统300，数据触控模块14根据上面实施例的空中成像触控反馈的控制方法生成控制喷气单元的控制信号，以控制喷气单元向触控点喷射气体，从而用户在空中交互界面进行触控操作时，可以感知到气体的冲击，实现无接触式触觉反馈，不会遗留用户指纹、掌纹等个人信息，降低了个人信息泄露的风险。此外，控制喷气单元向空中交互界面的触控点喷射气体来实现触觉反馈，实现无接触式触觉反馈，从而不会造成设备交叉使用引起的公共卫生安全问题，更加安全。
81.下面对本发明第三方面实施例的空中成像装置进行说明。
82.如图1所示，本发明实施例的空中成像装置100包括成像子系统200和上面第二方面实施例的触觉反馈子系统300，触觉反馈子系统300与成像子系统200连接。
83.成像子系统200用于将人机交互信息在空中目标区域成像显示以形成空中交互界面，并在检测到用户与空中交互界面的交互信号时发送触控点坐标信息。触觉反馈子系统300根据触控反馈控制指令和触控点的坐标信息向触控点喷射气体，以实现无接触触觉反馈。其中，触觉反馈子系统300控制喷气单元13向触控点喷射气体的过程可以参照上文空中成像触控反馈的控制方法的说明，在此不作具体描述。
84.根据本发明实施例的空中成像装置100，结合成像子系统200和触觉反馈子系统300，成像子系统200将人机交互信息在空中目标区域成像显示以形成空中交互界面，将空中交互界面作为用户触觉感知的基准面，以用于引导用户触控，并在成像子系统检测到用户与空中交互界面的交互信号时，发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统。触觉反馈子系统300根据接收的触控反馈控制指令和触控点坐标信息，向触控点喷射气体，在人体与触控点之间产生触觉反馈效果，使得人体可以真实感受到触控点的存在，实
现用户非接触式触觉反馈的目的。本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险。同时避免出现因用户指纹信息残留，使得个人信息泄露而造成的信息安全问题。
85.在一些实施例中，如图10所示，成像子系统200包括：机壳1、成像组件、检测模块4、主控模块5，其中，成像组件包括光学组件2和显示器3。机壳1形成有显示窗口且在内部形成有容纳腔；成像组件设置于容纳腔中，用于将人机交互信息在空中目标区域成像显示以形成空中交互界面。具体地，显示器3和光学元件2均设置在容纳腔中，显示器3与主控模块5连接，显示器3设置在光学组件1的光源侧，显示窗口位于光学组件2的成像侧。显示器3用于显示人机交互信息，显示器3发出的携带人机交互信息的光线投射至光学组件2，光学组件2将携带人机交互信息的光线汇聚成像在空中目标区域，以形成空中交互界面。例如，显示器3可以显示引导画面，则空中交互界面将呈现引导画面的实像，用户触摸该实像中的图标，以发出交互信号，主控模块5接收到该交互信号，控制显示器3显示相应的交互信息以提供给用户，从而实现无接触人机交互。
86.检测模块4用于检测用户与空中交互界面的交互信号。在实施例中，检测模块4的感应形式包括但不限于远近红外、超声波、激光干涉、光栅、编码器、光纤式或ccd(charge
‑
coupled device，电荷耦合器件)等。检测模块4的感应区域与浮空实像位于同一平面且覆盖浮空实像所处三维空间，可以根据安装空间、观看角度和使用环境选择最佳的感应形式，方便用户以最佳的姿态对浮空实像进行操作，提高用户操作的灵敏度和便捷性。
87.主控模块5与检测模块4连接，结合图11所示，主控模块5与检测模块4可以采用有线或无线方式连接，传输数字或模拟信号，从而可以灵活控制空中成像装置100的体积，而且可以增强空中成像装置100的电气稳定性。主控模块5用于响应于交互信号发送触控反馈控制指令和触控点坐标信息。触觉反馈子系统300接收到触控反馈控制指令，将喷射气体至触控点坐标位置，从而使得用户能够感觉到触控反馈，提高交互体验。
88.成像组件生成的浮空实像位置在空中是相对固定的，是一个优良的交互引导物，将触觉反馈子系统300的喷射区域设置为覆盖浮空实像所在三维空间，如可以将触觉反馈子系统300喷射气流的路径覆盖待触控的浮空实像所在区域。当用户触摸浮空实像时，由触觉反馈子系统300在合适的时刻喷射气幕或气束，在此气流喷射路径上，人体会感觉到气流的冲击作用，进而能使人体实际感受到触控点的存在，实现对触摸对象的感知，让用户进行非接触交互操作时更加轻松、自然、高效、灵活，且无接触到设备本体的风险，真正做到非接触式触觉反馈。
89.在一些实施例中，如图12所示，光学组件2安装在机壳1上，显示器3位于光学组件2的一侧且位于机壳1内，以在光学组件2的另一侧生成呈浮空实像的操作界面。
90.优选地，光学组件2与显示器3的夹角设置为45
°±5°
的范围，可以更充分的利用光学组件2的尺寸，同时获得比较好的成像质量和较小的残像影响。但如果对成像位置有其他需求，则也可以在牺牲部分成像质量的情况下选择其他角度。同样优选地，光学组件2的大小设置为用户能够一眼看清整个显示器3所呈现的浮空实像的画面，但如果实际使用时仅需要看到显示器3的部分内容，则光学组件2的尺寸也可以根据实际显示画面自由调整大小
和位置。
91.显示器3的成像模式可以包括rgb(红色、绿色、蓝色)发光二极管(led，light
‑
emitting diode)、lcos(liquid crystal on silicon，液晶附硅)器件、oled(organic light
‑
emitting diode，有机发光二极管)阵列、投影、激光、激光二极管或任何其他合适的显示器或立体显示器。显示器3可以提供清晰、明亮且高对比度的动态图像光源，在一些实施例中，显示器3的亮度不低于500cd/m2，可以降低光路传播中由亮度损失造成的影响。
92.在本发明的实施例中，光学组件2可以采用等效负折射率光学元件，如图13所示，光学组件2包括两个透明基板8，以及置于两个透明基板8之间的第一光波导阵列6和第二光波导阵列7，如图14所述，第一光波导阵列6和第二光波导阵列7由多个横截面为矩形的反射条9组成，沿反射条9的排布方向的一侧或两侧面设置有反射膜10，第一光波导阵列6的各个反射条9与第二光波导阵列7的各个反射条9彼此正交。
93.基于上面实施例对本发明的空中成像装置100的描述，本发明实施例的空中成像装置100结合成像子系统200和触觉反馈子系统300，其中，成像子系统200采用浮空成像技术，在空中呈现实像，实现无接触触控，可以避免病毒或细菌传播，提高使用安全性。触觉反馈子系统300采用气体喷射，利用气流的冲击作用来实现触觉反馈，从而在用户进行非接触交互操作时更加轻松和自然，不借助实体设备实现人体触觉感知。
94.具体地，本发明实施例的空中成像装置100工作时，在初始状态下，主控模块5控制显示器显3显示引导画面，光学组件2将显示器3发出的携带引导画面的光线进行汇聚并成像到光学组件2的另一侧的空气中，以指导用户在正确区域进行触控。同时，主控模块5将交互界面中触控点坐标信息传送给数据处理模块14，数据处理模块14根据各个触控点坐标以及喷气单元13的喷射头的位置，计算出与各触控点对应的二维角度(例如喷射头的俯仰角和偏转角)、喷气强度以及气流温度等参数，其中，喷气强度与触控点与喷气单元13之间的距离有关，气流温度与环境温度有关。数据处理模块14根据主控模块5的控制指令，将计算得到的参数发送给驱动模块15。驱动模块15根据控制指令、相关参数产生控制信号，并将控制信号进行驱动放大，得到最终所需的驱动信号。驱动模块15将驱动信号传送给喷气单元13，喷气单元13在驱动信号控制下偏转至合适的角度，并喷射一定量的恒温气束。在一些实施例中，若存在多个触控点，可通过系统高速刷新来实现触控反馈，与光学组件2呈现的实像图案结合，引导用户进行触控操作；另外，也可以可采用多个喷气单元13同步工作，通过组合和拼接，实现复杂操作界面的人机交互，甚至是三维显示对象的轮廓感知。
95.其中，在实施例中，喷气单元13可以采用小功率、小型化喷气装置，根据触控对象到喷气单元13之间的距离，数据处理模块14和驱动模块15控制喷气单元13的气流喷射的强度和持续时间，并可以通过温度调节模块根据环境温度调节喷射气流的温度，从而，本发明实施例的触觉反馈子系统300不会对人体产生任何伤害。
96.此外，触觉反馈子系统300采用小型化和模块化设计，设置简单、成本低，便于商用和集成，对于触控区域较大或三维触控对象的应用场景，触控反馈的聚焦点数据显著增多，可采用多个触觉反馈子系统300进行组合和拼接，以适用于更多的应用场景，应用范围更加广泛。
97.在本发明的描述中，“第一特征”、“第二特征”可以包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上。在本发明的描述中，第一特征在第二特
征“之上”或“之下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。在本发明的描述中，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。
98.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
99.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。