基于多频带融合的TENS信号生成方法、系统、设备及介质与流程

基于多频带融合的tens信号生成方法、系统、设备及介质
技术领域
1.本发明涉及多模态信号融合技术领域，特别是涉及一种基于多频带融合的tens信号生成方法、系统、设备及介质。


背景技术：

2.多模态信号融合是虚拟现实增强技术的基础之一。目前基于视觉和听觉信号处理与增强的技术较多，但是对于触觉信号的融合还处于研究阶段。一方面，引入触觉信号对于人体感知有着巨大的提升，可以显著提高各种虚拟现实增强技术的体验。例如，主流的游戏主机(如x-box、sony playstation及nintendo switch)都会加入带有震动功能的游戏手柄以提高玩家的游戏体验；视频网站(如b站)使用机械震动配合节奏性较强的视频来提高观看体验。另一方面，触觉在医疗和保健方面有其独特的应用，例如通过按摩仪按摩以缓解疼痛。
3.目前对于触觉的刺激可以使用如震动马达等传统的机械进行震动模拟触觉刺激，还可以使用电信号模拟触觉刺激，即采用经皮电神经刺激(transcutaneous electrical nerve stimulation，tens)机制。其中，skg(一可穿戴按摩仪品牌)公司也推出了通过tens刺激的按摩椅产品。但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：
4.1)目前基于tens的产品产生的电信号是简单的周期性信号，体验单一；
5.2)目前基于tens的产品产生的信号不能自动与其他感官信号(比如听觉)进行融合。


技术实现要素：

6.本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种基于多频带融合的tens信号生成方法、系统、设备及介质。
7.本发明采用的技术方案是：
8.第一方面，本发明提供了一种基于多频带融合的tens信号生成方法，包括：
9.接收音频信号，并获取所述音频信号的梅尔频谱；
10.对所述梅尔频谱进行频带划分，得到多个频带，并分别获取各频带的能量值，然后对所述梅尔频谱中同一频带的梅尔标度对应的能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集；将所述的频带能量集中的频率与指定的震动电信号频率建立一对一的映射关系，并使用频带能量集对应的能量值作为幅度值，生成一系列单一频率的方波信号；
11.对所有的方波信号进行合成处理，得到tens信号。
12.本发明得到的tens信号与音频信号的协调性好，便于提升用户体验。具体地，本发明在实施过程中，先获取音频信号的梅尔频谱，然后分别获取梅尔频谱中各频带的能量值，再将该能量值作为幅度值，并将指定震动电信号频率作为频率值，得到梅尔频谱中各频带对应的方波信号，最后得到tens信号。在此过程中，本发明通过将音频信号对应的各频带分
别与指定震动电信号频率进行融合的方式得到tens信号，使得tens信号可依次与音频信号的各信号段相适应，tens信号可随各段音频信号对应的能量值的变化而发生改变，由此实现tens信号与用户听到的音频数据相结合的技术效果，从而实现触觉和听觉的融合，使得用户体验更佳。
13.在一个可能的设计中，获取所述音频信号的梅尔频谱后，所述方法还包括：
14.设定每个频带对应的最小指定频率阈值和最大指定频率阈值；
15.相应的，对所述梅尔频谱中同一频带的梅尔标度对应的能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集，包括：
16.根据所述最小指定频率阈值和所述最大指定频率阈值，对中同一频带的梅尔标度对应的能量值进行合并处理，以便得到与所述梅尔频谱对应的频带能量集；其中，所述频带能量集中第i个频带为：
[0017][0018]
其中，f
min
表示最小指定频率阈值；f
max
表示最大指定频率阈值；mj表示所述梅尔频谱中第j个梅尔标度对应的频率；m
j(low)
表示所述梅尔频谱中频率大于f
min
的最低梅尔标度；m
j(high)
表示所述梅尔频谱中频率小于f
max
的最高梅尔标度。
[0019]
在一个可能的设计中，所述频带能量集中，任一频带的能量值为该频带之前n帧频带以及该频带之后n帧频带的能量的平均值；其中，所述频带能量集中第k帧时第i个频带的能量值为：
[0020][0021]
其中，n表示所述梅尔频谱中，在第k帧频带之前频带或之后频带的指定帧数；b
j(i)
表示第j帧频带的频率，j∈[k-n,k n]。
[0022]
在一个可能的设计中，分别获取各频带的能量值后，所述方法还包括：
[0023]
对各频带的能量值分别进行幅度调制处理，得到各频带的调制后能量值；
[0024]
对各频带的调制后能量值进行离散化处理，得到离散化处理后能量值，以便对所述梅尔频谱中同一频带的梅尔标度对应的离散化处理后能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集。
[0025]
在一个可能的设计中，所述梅尔频谱中，第k帧频带的调制后能量值为：
[0026][0027]
其中，表示所述梅尔频谱中第k帧频带的能量值；表示所述梅尔频谱中频带的能量值中的最小值；表示所述梅尔频谱中频带的能量值中的最大值；表示第k帧频带的调制系数。
[0028]
在一个可能的设计中，基于对所述梅尔频谱进行频带划分时所划分的频带数量，预设有与所述频带数量相同的震动电信号频率；所述梅尔频谱中第k帧频带对应的方波信号值为：
[0029][0030]
其中，表示所述梅尔频谱中第k帧频带的能量值；squarewave(f)表示方波发生函数，其用于根据输入的频率f生成时间长度与所述梅尔频谱中第k帧频带的帧长度对应的方波；表示预设的与所述梅尔频谱中频率集b(i)对应的震动电信号频率。
[0031]
在一个可能的设计中，对所有的方波信号进行合成处理后，所述方法还包括：
[0032]
对合成处理后方波信号进行归一化处理，得到tens信号；所述梅尔频谱中第k帧频带对应的tens信号值为：
[0033][0034]
其中，wk表示合成处理后方波信号，且表示所述梅尔频谱中第k帧频带对应的方波信号；w
min
表示所述梅尔频谱中频带对应的方波信号的最小值；w
max
表示所述梅尔频谱中频带对应的方波信号的最大值。
[0035]
第二方面，本发明提供了一种基于多频带融合的tens信号生成系统，用于实现如上述任一项所述的方法；所述系统包括：
[0036]
频谱生成模块，用于接收音频信号，并获取所述音频信号的梅尔频谱；
[0037]
频带划分模块，与所述频谱生成模块通信连接，用于对所述梅尔频谱进行频带划分，得到多个频带；
[0038]
频带能量集生成模块，与所述频带划分模块通信连接，用于分别获取各频带的能量值，然后对所述梅尔频谱中同一频带的梅尔标度对应的能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集；
[0039]
方波信号生成模块，与所述频带能量集模块通信连接，用于将所述的频带能量集中的频率与指定的震动电信号频率建立一对一的映射关系，并使用频带能量集对应的能量值作为幅度值，生成一系列单一频率的方波信号；
[0040]
tens信号生成模块，与所述方波信号生成模块通信连接，用于对所有的方波信号进行合成处理，得到tens信号。
[0041]
第三方面，本发明提供了一种电子设备，包括：
[0042]
存储器，用于存储计算机程序指令；以及，
[0043]
处理器，用于执行所述计算机程序指令从而完成如上述任一项所述的方法的操作。
[0044]
第四方面，本发明提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如上述任一项所述的方法的操作。
附图说明
[0045]
图1是本发明中一种基于多频带融合的tens信号生成方法的流程图；
[0046]
图2是本发明中一种基于多频带融合的tens信号生成系统的模块框图。
具体实施方式
[0047]
下面结合附图及具体实施例来对本发明作进一步阐述。
[0048]
应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。
[0049]
实施例1：
[0050]
本实施例第一方面提供了一种基于多频带融合的tens信号生成方法，可以但不限于由具有一定计算资源的计算机设备或虚拟机执行，例如由个人计算机、智能手机、个人数字助理或可穿戴设备等电子设备执行，或者由虚拟机执行，以便实现触觉和听觉的融合，进而提升用户体验。
[0051]
如图1所示，一种基于多频带融合的tens信号生成方法，可以但不限于包括有如下步骤：
[0052]
s1.接收音频信号，并获取所述音频信号的梅尔频谱。应当理解的是，根据梅尔频谱可便于得到音频信号的特征信息，如音频信号的频率范围及截止频率等特征信息。
[0053]
本实施例中，获取所述音频信号的梅尔频谱，包括：
[0054]
基于时频变换，将音频信号从时域转换到频域，得到转换后音频信号；
[0055]
将转换后音频信号转换为梅尔频谱。
[0056]
其中，时频变换可以是通过傅里叶变换，在将音频信号从时域转换到频域时，可对音频信号的每帧信号进行傅里叶变换，将音频信号从时域转换到频域，得到频域下的转换后音频信号，以对转换后音频信号进行进一步的频谱分析。
[0057]
由于所得到的转换后音频信号的频谱是线性频谱，不足以体现人耳听觉感知的特性，因此可以进一步通过将该线性频谱输入梅尔滤波器，以便输出非线性的梅尔频谱，从而能够模拟人耳对听觉感知的处理过程，可以进一步提升音频场景识别的准确率。
[0058]
在实施过程中，所述梅尔滤波器可以用于输出能够模拟人耳听觉感知的梅尔非线性频谱，通过梅尔滤波器的滤波作用，滤除与人耳听觉感知不匹配的频率分量，使得与人耳听觉感知相匹配的频率分量通过，从而输出梅尔非线性频谱。其中，与人耳听觉感知相匹配是指与人耳听觉的感知度呈线性关系。
[0059]
s2.对所述梅尔频谱进行频带划分，得到多个频带，并分别获取各频带的能量值；
[0060]
s3.设定每个频带对应的最小指定频率阈值和最大指定频率阈值。
[0061]
s4.对所述梅尔频谱中同一频带的梅尔标度对应的能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集。
[0062]
具体地，步骤s4包括：根据所述最小指定频率阈值和所述最大指定频率阈值，对所述梅尔频谱中同一频带的梅尔标度对应的能量值进行合并处理，以便得到与所述梅尔频谱对应的频带能量集；其中，所述频带能量集中第i个频带为：
[0063][0064]
其中，f
min
表示最小指定频率阈值；f
max
表示最大指定频率阈值；mj表示所述梅尔频谱中第j个梅尔标度对应的频率；m
j(low)
表示所述梅尔频谱中频率大于f
min
的最低梅尔标度；m
j(high)
表示所述梅尔频谱中频率小于f
max
的最高梅尔标度。
[0065]
应当理解的是，每一频带占据梅尔频谱的恒定比例，多个频带构成梅尔频谱。本实施例中，梅尔频谱使用128个梅尔频刻度，即，在时间上以帧为单位进行频率分析，在频率上用128个标准频带对梅尔频谱进行划分。
[0066]
需要说明的是，由于人体触觉的感知分辨率比听觉要低，本实施例中，通过在所述音频信号的梅尔频谱中，去除部分人体触觉感知影响不大的频率对应的频带，只保留指定频带，由此可便于减小后续的频带处理量。
[0067]
本实施例的所述频带能量集中，任一频带的能量值为该频带之前n帧频带以及该频带之后n帧频带的能量的平均值；其中，所述频带能量集中第k帧时第i个频带的能量值为：
[0068][0069]
其中，n表示所述梅尔频谱中，在第k帧频带之前频带或之后频带的指定帧数；b
j(i)
表示第j帧频带的频率，j∈[k-n,k n]。
[0070]
本实施例中，分别获取各频带的能量值后，所述方法还包括：
[0071]
对各频带的能量值分别进行幅度调制处理，得到各频带的调制后能量值。
[0072]
所述梅尔频谱中，第k帧频带的调制后能量值为：
[0073][0074]
其中，表示所述梅尔频谱中第k帧频带的能量值；表示所述梅尔频谱中频带的能量值中的最小值；表示所述梅尔频谱中频带的能量值中的最大值；表示第k帧频带的调制系数。
[0075]
对各频带的调制后能量值进行离散化处理，以便得到离散化处理后能量值，以便对所述梅尔频谱中同一频带的梅尔标度对应的离散化处理后能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集。需要说明的是，离散化处理后，可进一步提高后续对频带能量集中能量值数据的处理效率，运算速率更高。
[0076]
s5.将所述的频带能量集中的频率与指定的震动电信号频率建立一对一的映射关系，并使用频带能量集对应的能量值作为幅度值，生成一系列单一频率的方波信号。
[0077]
具体地，基于对所述梅尔频谱进行频带划分时所划分的频带数量，预设有与所述频带数量相同的震动电信号频率；所述梅尔频谱中第k帧频带对应的方波信号值为：
[0078][0079]
其中，表示所述梅尔频谱中第k帧频带的能量值；squarewave(f)表示方波发生函数，其用于根据输入的频率f生成时间长度与所述梅尔频谱中第k帧频带的帧长度对应的方波；表示预设的与所述梅尔频谱中频率集b(i)对应的震动电信号频率。
[0080]
需要说明的是，最终得到的震动电信号的数量与梅尔频谱中的频带的数量一一对应，并且其形式均为方波；任一频带对应的所述指定震动电信号可以相同也可以不同，根据
频带的能量值而定，即相同能量值的频带对应的指定震动电信号相同，否则不同；本实施例中，所述指定震动电信号的形式也为方波，其时间长度与所述梅尔频谱中频带的帧长度相同。
[0081]
s8.对所有的方波信号进行合成处理。具体地，本实施例中，对所有的方波信号进行合成处理，采用加权求和的方式实现。
[0082]
s9.对合成处理后方波信号进行归一化处理，得到tens信号；所述梅尔频谱中第k帧频带对应的tens信号值为：
[0083][0084]
其中，wk表示合成处理后方波信号，其为所述梅尔频谱中所有频带对应的方波信号之和，且表示所述梅尔频谱中第k帧频带对应的方波信号；w
min
表示所述梅尔频谱中频带对应的方波信号的最小值；w
max
表示所述梅尔频谱中频带对应的方波信号的最大值。
[0085]
需要说明的是，对合成处理后方波信号进行归一化处理，可将合成处理后方波信号被限定在一定的范围内，从而消除与其他方波信号的差值过大的奇异样本数据导致的不良影响。
[0086]
本实施例得到的tens信号与音频信号的协调性好，便于提升用户体验。具体地，本实施例在实施过程中，先获取音频信号的梅尔频谱，然后分别获取梅尔频谱中各频带的能量值，再将该能量值作为幅度值，并将指定震动电信号频率作为频率值，得到梅尔频谱中各频带对应的方波信号，最后得到tens信号。在此过程中，本实施例通过将音频信号对应的各频带分别与指定震动电信号频率进行融合的方式得到tens信号，使得tens信号可依次与音频信号的各信号段相适应，tens信号可随各段音频信号对应的能量值的变化而发生改变，由此实现tens信号与用户听到的音频数据相结合的技术效果，从而实现触觉和听觉的融合，使得用户体验更佳。
[0087]
实施例2：
[0088]
本实施例提供一种基于多频带融合的tens信号生成系统，用于实现实施例1中方法；如图2所示，所述系统包括：
[0089]
频谱生成模块，用于接收音频信号，并获取所述音频信号的梅尔频谱；
[0090]
频带划分模块，与所述频谱生成模块通信连接，用于对所述梅尔频谱进行频带划分，得到多个频带；
[0091]
频带能量集生成模块，与所述频带划分模块通信连接，用于分别获取各频带的能量值，然后对所述梅尔频谱中同一频带的梅尔标度对应的能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集；
[0092]
方波信号生成模块，与所述频带能量集模块通信连接，用于将所述的频带能量集中的频率与指定的震动电信号频率建立一对一的映射关系，并使用频带能量集对应的能量值作为幅度值，生成一系列单一频率的方波信号；
[0093]
tens信号生成模块，与所述方波信号生成模块通信连接，用于对所有的方波信号进行合成处理，得到tens信号。
[0094]
实施例3：
[0095]
在实施例1或2的基础上，本实施例公开了一种电子设备，该设备可以是智能手机、平板电脑、笔记本电脑或者台式电脑等。电子设备可能被称为用于终端、便携式终端、台式终端等，电子设备包括：
[0096]
存储器，用于存储计算机程序指令；以及，
[0097]
处理器，用于执行所述计算机程序指令从而完成如实施例1中任一所述的方法的操作。
[0098]
实施例4：
[0099]
在实施例1至3任一项实施例的基础上，本实施例公开了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如实施例1所述的方法的操作。
[0100]
需要说明的是，所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0101]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0102]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。