一种基于时空调制的超声波发射器多点同步聚焦方法

1.本发明涉及一种空中超声波聚焦方法，具体涉及一种基于时空调制的超声波发射器多点同步聚焦方法，可实现在超声波发射器阵列上方空中同时产生多焦点，取消焦点间的指向性从而达到触觉同步效果，可应用于人机交互、虚拟现实等技术领域。


背景技术：

2.随着人机交互领域的研究不断深入，人机交互的各种反馈也应运而生，人们越来越认识到交互途径已经不仅仅局限于视觉和听觉途径了，触觉也逐渐成为人类感知外界信息的主要途径其中之一。
3.抽象触觉设备可以给虚拟交互带来触觉，触觉反馈技术应用在增强现实和虚拟现实等场景的实现中，用户可以触摸到虚拟的物体，并且用户的行为都能得到触觉的反馈，例如设计人员可以真实地感受到网上的材料特性。近些年来，悬浮技术和全息影像的发展，人们可以看到在空中悬浮的图像或界面。而拥有了深度摄像头和无标记手势追踪技术的加入，可以使用手掌处理投射出的图像或者界面，使在接触或处理空中的图像时产生虚拟的感受，提高交互系统的可用性，增强用户体验。如今互联互通的数字化和远程互动正在增加，其中就包括大量的触觉反馈的使用，应用此项技术，使得医生可以远程触摸病人并实施精准治疗等，凸显非接触式触觉反馈的优势。
4.这个世界需要触摸交流，让虚拟互动变得更像那些自然的社会联系。这一需求仍未得到满足。为了建立逼真的、高保真的虚拟交互，空中超声波可以产生声波发射力量，从而产生有针对性的、定制的触觉——“触摸而不触摸”。因此，人们逐渐将研究重点放在非接触式触觉反馈技术上。
5.目前已有一些关于超声聚焦方法的专利。
6.中国专利“一种辅助盲人感知的超声波触觉反馈系统及其方法”(申请号201910775496.2)公开了一种辅助盲人感知的超声波触觉反馈系统及其方法。此方法通过fpga控制器完成焦点在不同模块坐标系下的转换并控制由超声相控阵包围的腔中的声压分布，通过驱动信号对各模块超声波换能器的作用在空间形成多个触觉点或立体图形，点在不同时间产生，使得聚焦点的存在不同步且具有指向性。此方法仅描述了超声触觉中顺序点的实现方法，对多点同步聚焦并未详细描述。
7.中国专利“基于可变长度移位寄存器的多通道超声波聚焦延时控制方法”(申请号201910922116.3)公开了一种基于可变长度移位寄存器的多通道超声波聚焦延时控制方法。此方法通过计算模块计算超声波发射器阵列各通道驱动信号延迟时间并进行量化，然后将其发送到延迟控制模块，延迟控制模块使用移位寄存器根据驱动信号延迟数据和延迟控制时钟实现超声阵列上多通道驱动信号的延迟控制。此方法实现了对数据高效的延迟控制，对于聚焦点的发射却在仅限于单时钟单点发射，且渲染周期较长，触觉暂留现象不明显，对体验感有较大的影响。
8.中国专利“确定超声波触觉设备和视觉发射器设别中的坐标之间的变换”(申请号
201980090339.6)公开了确定超声波触觉设备和视觉发射器识别中的坐标之间的变换。此方法在超声波焦点处理上，采用的频率响应不同于具有多个分散的撞击点时的频率响应，该方法多个非常小的区域中以重叠方式撞击超声波焦点，在同一区域执行多次震动从而产生震感，对于同区域内焦点重复性过高，效率较低。
9.以上专利都存在同一问题，在同一超声波发射器阵列中，均存在指向性的问题，且对于调制频率的利用并没有详细的描述，存在着对于同一焦点多次发射从而达到需求效果，对资源产生了极大的浪费，并降低了使用效率，降低用户的体验感。


技术实现要素：

10.本发明提供一种基于时空调制的超声波发射器多点同步聚焦方法，以实现在超声波发射器阵列上方空中同时产生多焦点，取消焦点间的指向性从而达到触觉同步效果，并且通过多通道时钟同步进行，减少资源与能量的浪费。
11.本发明采取的技术方案是，包括下列步骤：
12.(1)确定超声波发射器发射信号的调制周期大小，将调制周期按照聚焦点数i进行平均分配；
13.(2)计算模块根据接收的上位机发送的聚焦点坐标来计算超声波发射器上各个坐标到达各个聚焦点的路径大小及确定发射器工作状态；
14.(3)计算模块根据每一聚焦点到超声波发射器上各点路径大小不同，对在工作状态中的发射器的驱动时间分别进行计算和延迟控制，各驱动信号到达各聚焦点的驱动信号延迟时间记为τ
mni
；
15.(4)计算模块根据延迟数据生成系统聚焦信号x
en(i)
与控制模块对应的系统时钟，发送至控制模块；
16.(5)控制模块根据时钟信号生成超声波发射器的驱动信号并输出，完成多点聚焦。
17.本发明所述步骤(1)中的调制周期分配确定方法：
18.1)超声波发射器使用的谐振频率fc远大于人体可感知的频率1hz-1000hz，所以需要在人体可感知的频率1hz-1000hz范围内选取合适的调制频率f0，通过对谐振频率信号进行调制，产生人体可以感知的触觉反馈；
19.2)选定调制频率f0，调制周期t0即为调制频率f0的倒数，在同一个调制周期内，将所有聚焦点发射出去，共有i个聚焦点的情况下，将调制周期t0分成等份的时间片t1～ti，每个聚焦点占用一个调制周期的t0/i，即每个聚焦信号时长为t0/i；
20.3)每个聚焦点内，各个发射器到达各聚焦点的距离不同，通过延迟控制可完成在规定调制周期内的同步聚焦，将每个聚集点延迟控制的数据进行打包发送至控制模块，每t0/i调制周期单独完成一个聚焦点的聚焦控制，第一时间片完成聚焦点1的聚焦，第二时间片完成聚焦点2的聚焦，以此类推，第i时间片完成第i聚焦点的聚焦，每一个调制周期内i个时间片即可完成i个聚焦点的聚焦控制。
21.本发明所述步骤(2)中的各个坐标到达各个聚焦点距离s
mni
的确定方法：
22.1)用户确定聚焦点的点数i，并选定聚焦点位置；
23.2)将坐标信息录入上位机，计算模块接收到上位机发送的第i聚焦点坐标后，i＝1～i，计算超声波发射器阵列上的点k(xm，yn，0)到聚焦点i的距离s
mni
，第m行第n列：
[0024][0025]
其中，(xi,yi,zi)为第i聚焦点坐标；
[0026]
由于所采用的超声发射器不是全向的，因此超声发射角有一个限值，为计算路径采用最大有效发射角度。
[0027]
本发明所述步骤(2)中确定发射器工作状态的方法如下：
[0028]
1)发射范围内最长发射距离l
max
的计算方式如下：
[0029][0030]
其中，zi为聚焦点距离超声波发射器阵列的距离，即焦点的z轴坐标，同时也是最小发射路径；θ为超声波发射器的半衰减角(ma40s4s型超声波发射器的有效发射角度θ＝80
°
)；
[0031]
2)判断发射器到聚焦点的距离s
mni
和最长发射距离l
maxi
的大小，确定发射器是否在最大有效发射角度内，即是否处于工作状态，若s
mni
》l
maxi
，则该发射器处于不工作状态，若s
mni
《l
maxi
，则该发射器处于工作状态。
[0032]
本发明所述步骤(3)中各通道的驱动信号延迟时间τ
mni
的确定方法：
[0033]
要达到各个发射器发射信号在各个聚焦点处聚焦，需要控制每个发射器的驱动信号的延迟时间，使各个信号在不同时间发射，距离最远的发射器最先发射超声波，距离最近的发射器最后发射超声波，从而保证各发射器发射的超声波在同一时间到达同一焦点处；
[0034]
1)根据步骤(2)得到的超声波发射器阵列上的点k(xm，yn，0)到聚焦点i的距离s
mni
；
[0035]
2)由于发射器的大小不可忽略，发射器的直径为r，则相邻的发射器中心点之间的距离也为r，则任一发射器na的驱动信号相对于中心发射器nb的驱动信号需要延迟的时间τ
mni
大小为：
[0036][0037]
其中，0≤na≤n、0≤nb≤n，中心发射器nb为距离聚焦点最近的发射器，na为距离焦点最远的发射器，zi为聚焦点距离发射器的高度，c为超声波在空气中的传播速度；
[0038]
3)其它聚焦点以此类推，重复1)～2)步骤
[0039]
4)计算模块将i个聚焦点的延迟数据计算完成后，以每一个聚焦点为单位打包发送至控制模块。
[0040]
本发明所述步骤(4)中系统聚焦信号x
en(i)
的生成方式如下：
[0041]
计算模块在完成延迟数据的计算后，通过时钟分频产生控制模块的系统时钟，各传输通道使用同一时钟，并将延迟数据和每个聚焦信号的聚焦时间发送至控制模块，计算根据完成数据发送后拉高系统聚焦信号x
en(i)
。
[0042]
本发明所述步骤(5)中控制模块的实现方法：
[0043]
1)接收到聚焦使能信号x
en(i)
后，启动延时控制，根据每个聚焦点的各个通道不同的延时控制时间大小，发射各通道驱动信号，调制周期的第一时间t1发射聚焦点1的驱动信号，调制周期的第二时间片t2段发射聚焦点2的驱动信号,以此类推，直至i点全部发射完
毕；
[0044]
2)驱动信号经过驱动电路进行放大后，驱动该通道超声波发射器发射超声波。超声波发射器阵列为m
×
n阵列，可通过每个工作的超声波发射器的超声波发射时间使各发射器发射的超声波的相位在三维空间中某个位置进行叠加，从而产生人体可感知到的触觉反馈，这个位置就是选定好的聚焦点位置。
[0045]
本发明的优点在于：通过时空调制对调制周期进行分配，按照聚焦点数划分成对应聚焦时间片，每个时间片内完成一个焦点的聚焦，在每个调制周期内完成所有焦点的聚焦，使得每一调制周期内每个焦点都产生聚焦，提高了聚焦调制效率，减少聚焦点之间跳变的时间间隔，避免触觉的不连续，且结构简单，便于实现同步控制。
附图说明
[0046]
图1是超声波聚焦多点同步聚焦系统组成框图；
[0047]
图2是超声波聚焦多点同步聚焦系统原理框图；
[0048]
图3是超声波发射器阵列多点同步聚焦示意图；
[0049]
图4是调制周期分段示意图；
[0050]
图5是各通道延迟聚焦示意图；
[0051]
图6是时空调制驱动信号延时控制流程图。
具体实施方式
[0052]
本发明根据聚焦点数量，将调制周期时间t0平均分配，共有i个聚焦点，将调制周期平均分配成i份，即i个时间片，每个时间片占用调制周期t0/i大小。各聚焦点强度可以通过对调制周期占空比的大小进行调整，再在每个调制周期内将所有聚焦点发射完毕，实现同周期内多点同步聚焦，实现三维空间中的多点同步聚焦和空间图形渲染。
[0053]
本发明依赖的同步超声聚焦系统由上位机、计算模块、控制模块和超声波发射器阵列组成。上位机一般是pc，计算模块由微处理器和存储器组成，计算模块负责计算各通道路径、发射器状态，各通道驱动信号延迟时间，根据延迟数据生成系统聚焦信号与控制模块对应的系统时钟，发送至控制模块；控制模块接收到聚焦使能信号后，启动延时控制，根据各个通道不同的延时控制时间大小，发射各通道驱动信号；驱动信号经过驱动电路进行放大后，驱动该通道超声波发射器发射超声波。超声波发射器阵列为m
×
n阵列，可通过每个工作的超声波发射器的超声波发射时间使各发射器发射的超声波的相位在三维空间中某个位置进行叠加，从而产生人体可感知到的触觉反馈，这个位置就是选定好的聚焦点位置。
[0054]
为了使本技术领域的人员更好的理解本发明，下面结合附图和实施方式对本发明作进一步的详细说明。
[0055]
一、本发明依赖的超声波聚焦系统由上位机100、计算模块101、控制模块102和超声波发射器阵列103组成，系统组成框图如图1所示，系统各部分的原理框图如图2所示。
[0056]
1)上位机100是可以直接发送操作命令的计算机，一般是pc，接收用户选中的点坐标，并将其发送到计算模块101，方便计算模块101对接收的数据进行处理和运算。
[0057]
2)计算模块101由微处理器201和存储器202组成。
[0058]
处理器201可以是dsp、单片机或fpga等器件，用于接收上位机100发送的聚焦点坐
标，计算出在有效发射范围内，判断发射器状态信号，各个发射器的发射路径，计算每个聚焦点的各个通道的驱动信号延迟控制时间；根据延迟数据完成各通道驱动信号的延迟控制，生成聚焦信号x
en(i)
，生成控制模块[102]对应的系统时钟，发送至控制模块102；
[0059]
3)控制模块102由微处理器203、存储器204和驱动电路205组成。
[0060]
微处理器203为可编程逻辑器件，负责接收计算模块101发送的延迟数据，根据时钟信号生成超声波的驱动信号；
[0061]
4)驱动电路205由mn个相同的驱动电路组成，将微处理器203输出的驱动信号进行放大，为超声波发射器提供充足的能量，以此实现三维空间中的触觉反馈；
[0062]
5)超声波发射器阵列104为m
×
n阵列，可通过每个工作的超声波发射器的超声波发射时间使各发射器发射的超声波的相位在三维空间中某个位置进行叠加，从而产生人体可感知到的触觉反馈，这个位置就是选定好的焦点位置。
[0063]
二、一种基于时空调制的超声波发射器多点同步聚焦方法，具体实现步骤如下：
[0064]
(1)确定超声波发射器发射信号的调制周期大小，将调制周期按照聚焦点数i进行平均分配；
[0065]
计算模块101接收上位机100发送的焦点坐标位置，计算出在有效发射范围内的发射距离，判断出发射器状态信号，各个发射器的发射路径，每个聚焦点各个通道的驱动信号延迟控制时间；根据延迟数据完成各聚焦点各通道驱动信号的延迟控制，生成聚焦信号x
en(i)
，生成控制模块102对应的系统时钟，发送至控制模块102；
[0066]
进一步，调制周期分配确定方法，结合图4进行说明：
[0067]
1)超声波发射器使用的谐振频率fc远大于人体可感知的频率(1hz-1000hz)，所以需要在人体可感知的频率范围内选取合适的调制频率f0，通过对谐振频率信号进行调制，产生人体可以感知的触觉反馈；
[0068]
2)选定调制频率f0，则调制周期t0即为调制频率f0的倒数，在同一个调制周期内，将所有选定聚焦点发射出去，共有i个聚焦点的情况下，将调制周期t0平均分成i份(t1～ti)，即i个时间片，如图4所示；每个聚焦点占用一个调制周期的t0/i，即每个聚焦信号的聚焦时长为t0/i；
[0069]
3)每个聚焦点内，各个发射器到达各聚焦点的距离不同，通过延迟控制可完成在规定调制周期内的同步聚焦，将每个聚集点延迟控制的数据进行打包发送至控制模块，每t0/i调制周期单独完成一个聚焦点的聚焦控制，第一时间片完成聚焦点1的聚焦，第二时间片完成聚焦点2的聚焦，以此类推，第i时间片完成第i聚焦点的聚焦，每一个调制周期内i个时间片即可完成i个聚焦点的聚焦控制，时间片划分与聚焦如图4所示。
[0070]
(2)计算模块根据接收的上位机发送的聚焦点坐标来计算超声波发射器上各个坐标到达各个聚焦点的路径大小及确定发射器工作状态；
[0071]
进一步，各个坐标到达焦点距离s
mni
的确定方法：
[0072]
1)用户确定聚焦点的点数i，并选定聚焦点位置。
[0073]
2)将坐标信息录入上位机100，以第i(i＝1～i)的焦点为例，计算模块接收到上位机发送的第i聚焦点坐标后，计算超声波发射器阵列上的点k(xm，yn，0)(第m行第n列)到聚焦点i的距离s
mni
：
[0074][0075]
其中，(xi,yi,zi)为第i聚焦点坐标；
[0076]
由于所采用的超声发射器不是全向的，因此超声发射角有一个限值。为计算路径应考虑最大有效发射角度，有效发射角度可以理解为聚焦点最多使用的发射器的范围，如图3所示，即为圆锥的高与圆锥母线的夹角。
[0077]
进一步，步骤(2)中发射器是否工作的确定方法如下：
[0078]
1)发射范围内最长发射距离l
maxi
的计算方式如下：
[0079][0080]
其中，zi为聚焦点距离超声波发射器阵列的距离，即焦点的z轴坐标，同时也是最小发射路径；θ为超声波发射器的半衰减角(ma40s4s型超声波发射器的有效发射角度θ＝80
°
)；
[0081]
2)判断发射器到聚焦点的距离s
mni
和最长发射距离l
maxi
的大小，确定发射器是否在最大有效发射角度内，即是否处于工作状态。若s
mni
》l
maxi
，则该发射器处于不工作状态，若s
mni
《l
maxi
，则该发射器处于工作状态。
[0082]
(3)、计算模块根据每一聚焦点到超声波发射器上各点路径大小不同，对在工作状态中的发射器的驱动时间分别进行计算和延迟控制，各驱动信号到达各聚焦点的驱动信号延迟时间记为τ
mni
；各通道的驱动信号延迟时间τ
mni
的确定方法，结合图5进行说明：
[0083]
要使得各个发射器发射信号在焦点处聚焦，需要控制每个发射器的驱动信号的延迟时间，通过计算模块的延迟时间计算，对每个发射器的发射时间进行延迟，使各个路信号在同一时间到达聚焦点进行叠加,如图5所示，距离最远的发射器最先发射超声波，距离最近的发射器最后发射超声波，从而保证各发射器发射的超声波在同一时间到达焦点处。
[0084]
1)以第i聚焦点为例，根据步骤(2)得到的超声波发射器阵列上的点k(xm，yn，0)到聚焦点i的距离s
mni
；
[0085]
2)由于发射器的大小不可忽略，发射器的直径为r，则相邻的发射器中心点之间的距离也为r，则任一发射器na的驱动信号相对于中心发射器nb的驱动信号需要延迟的时间τ
mni
大小为：
[0086][0087]
其中，0≤na≤n、0≤nb≤n，中心发射器nb为距离聚焦点最近的发射器，na为距离焦点最远的发射器，zi为聚焦点距离发射器的高度，c为超声波在空气中的传播速度；
[0088]
3)其它聚焦点以此类推，重复1)～2)步骤
[0089]
4)计算模块将i个聚焦点的延迟数据计算完成后，以每一个聚焦点为单位打包发送至控制模块。
[0090]
(4)计算模块根据延迟数据生成系统聚焦信号x
en(i)
与控制模块对应的系统时钟，发送至控制模块；系统聚焦信号x
en(i)
的生成方式如下：
[0091]
计算模块101在完成延迟数据的计算后，通过时钟分频产生控制模块的系统时钟，各传输通道使用同一时钟，并将延迟数据和每个聚焦信号的聚焦时间发送至控制模块102，
计算根据完成数据发送后拉高系统聚焦信号x
en(i)
；
[0092]
(5)控制模块根据时钟信号生成超声波发射器的驱动信号并输出，完成多点聚焦；控制模块102的实现方法：
[0093]
1)接收到聚焦使能信号x
en(i)
后，启动延时控制，根据每个聚焦点的各个通道不同的延时控制时间大小，发射各通道驱动信号，调制周期的第一时间片t1发射聚焦点1的驱动信号，调制周期的第二时间片t2段发射聚焦点2的驱动信号,以此类推，直至i点全部发射完毕；
[0094]
2)驱动信号经过驱动电路进行放大后，驱动该通道超声波发射器发射超声波，超声波发射器阵列为m
×
n阵列，可通过每个工作的超声波发射器的超声波发射时间使各发射器发射的超声波的相位在三维空间中某个位置进行叠加，从而产生人体可感知到的触觉反馈，这个位置就是选定好的聚焦点位置。