一种基于视触觉跨感官掩蔽的触觉信号编码方法及系统
本发明涉及跨感官触觉信号感知计算编码，具体的是一种基于视触觉跨感官掩蔽的触觉信号编码方法及系统。
背景技术：
1、触觉信号的码率在多通道场景下并不可以忽略。以单个振动触觉通道为例，若采样率为2800hz且量化深度为16bit，则原始码率约为44.8kbps。若一个用户同时穿戴包含数十个触觉通道的背心、手套或指尖执行器，且系统支持多用户协同，则触觉原始码率可能达到较高水平。由于视觉信号通常具有更高空间分辨率和时间分辨率，占用通信系统中的主要带宽，同时又在人类整体感知质量中具有主导作用，过高的触觉码率会挤占视觉流的可用资源，进而影响多感官通信的综合体验。
2、现有触觉相关技术主要集中在触觉效果生成、触觉效果存储、音频或多媒体内容到触觉效果的转换，以及触觉数据与音视频媒体流的同步播放等方向。故而现有技术并未针对连续振动触觉信号的低码率压缩编码，导致无法保证触觉主观感知质量的同时实现触觉信号的高效压缩。
技术实现思路
1、为解决上述背景技术中提到的不足，本发明的目的在于提供一种基于视触觉跨感官掩蔽的触觉信号编码方法及系统。
2、第一方面，本发明的目的可以通过以下技术方案实现：一种基于视触觉跨感官掩蔽的触觉信号编码方法，方法包括以下步骤：
3、获取原始三轴触觉信号及触觉信号对应视频帧，对原始三轴触觉信号进行分帧、三轴降维及归一化处理，得到归一化触觉帧，对触觉信号对应视频帧进行提取，得到视觉运动速度；
4、将视觉运动速度输入至预先建立的视觉触觉跨感官感知阈值模型内，输出得到频域感知权重，将归一化触觉帧和频域感知权重输入至感知驱动频率增强及残差向量量化模型内，输出得到归一化重建帧与归一化触觉帧的差值及rvq码字索引；
5、基于归一化重建帧与归一化触觉帧的差值计算残差信号，对残差信号进行感知加权、死区处理及自适应量化，生成残差量化索引，将rvq码字索引及残差量化索引基于预设辅助信息进行熵编码，得到输出比特流，作为触觉信号编码结果。
6、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述三轴降维的处理过程，包括：
7、引入dft321降维算法，将原始三轴触觉信号中高维的空间信号映射为易于处理的一维信号，其中，根据dft321降维算法，频谱和相位θ表达式如下：
8、
9、其中f表示频率，a1代表原始触觉帧的x轴的离散傅里叶变换，a2代表原始触觉帧的y轴的离散傅里叶变换，a3代表原始触觉帧的z轴的离散傅里叶变换，一维帧x可通过预设的频谱与相位导出。
10、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述将视觉运动速度输入至预先建立的视觉触觉跨感官感知阈值模型内，输出得到频域感知权重的过程，包括：
11、对给定视觉运动速度下的阈值曲线求倒数以获得触觉敏感度函数，再以所述敏感度函数在频率范围内的最大值进行归一化，得到取值范围为0至1的感知权重，公式如下：
12、
13、其中ϵ为避免除零而引入的正则化常数，表示在整个频率范围内的最大值；
14、在尺度提取后，残差信号e会在频域中进行重塑，从而将编码资源集中于感知相关的分量上，时域残差通过快速傅里叶变换进行转换，引入了平滑因子μ来构建软化的权重向量w缓解直接使用主路径中的原始感知权重向量u过度衰减高频残差分量，根据获得的感知权重向量w构造软化权重，作为频域感知权重，公式如下：
15、。
16、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述感知驱动频率增强及残差向量量化模型的感知驱动频率增强的处理过程，包括以下步骤：
17、对已经得到的归一化触觉帧x，由一维卷积组成的数据嵌入层将单通道输入投射到高维潜空间中，产生，其中d表示特征通道数，对每个d通道独立应用快速傅里叶变换，得到；
18、在频域中，在端到端训练期间引入并优化了一个可学习的复值参数核，通过在q和r之间执行按元素相乘，引入可学习复值参数核r作为自适应频域均衡器，对频谱表示q进行逐元素加权，得到频率增强后的频谱表示：
19、
20、其中核函数r作为自适应频域均衡器；
21、将归一化感知权重向量w沿特征维度广播形成感知掩膜w，并对进一步执行感知加权：
22、
23、通过对频域特征y执行快速傅里叶逆变换，还原到时域并得到频率增强帧y，再将y输入由四个级联一维卷积层组成的深度编码器，逐步压缩时间维度并生成紧凑潜在触觉表征z。
24、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述感知驱动频率增强及残差向量量化模型的残差向量量化的处理过程，包括以下步骤：
25、残差向量量化将原始量化任务分解为l个连续的残差量化阶段，给定输入特征z以及一组独立码本，其中，每个码本包含k个可学习的码字，令第l个量化器的输入为残差，且1≤l≤l，其初始值为；
26、
27、从当前码本中选取最近的码字，其中表示欧几里得范数，随后，残差更新为并传递到下一阶段，最终的重构特征ẑ通过对所有l个阶段中选定的码本向量求和得到：
28、
29、残差阶段的数量被设为l=3，且每个码本包含k=128个码字，对单个特征向量进行编码仅需三个索引值，总计对应位，所有码本在第一个训练周期均通过k-means算法进行初始化：
30、
31、其中k表示判别器模型数量，x'表示归一化帧，表示归一化重建帧表示第k个判别器在最后一层的输出。
32、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述感知驱动频率增强及残差向量量化模型采用端到端进行
33、训练，训练采用的损失函数如下：
34、
35、其中，为mse损失，用于约束归一化输入帧与归一化重建帧在时域上的能量差异，为ssim损失，用于保持局部时域包络和幅度结构一致性，为感知损失，用于根据感知掩膜w提高感知敏感频段的重建权重，为对抗损失，用于通过多尺度判别器促使重建触觉波形更加真实，为特征匹配损失，用于约束判别器中间特征图的一致性，为损失承诺，用于约束编码器输出贴近所选码字。
36、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述mse损失该项使归一化输入信号与重构信号在时域内的能量差异最小化，mse损失的定义为：
37、
38、其中n为信号中样本的总数；
39、ssim损失的损失项保留局部时间包络和幅度对比度的结构一致性：
40、
41、感知损失通过结合预定义的感知掩码w，该损失项促使模型优先对感知敏感频段进行频谱重建，同时对视觉掩码区域的误差施加更低的惩罚：
42、
43、其中表示第k个频率段的复系数，是为避免掩码区域出现梯度消失而引入的正则化常数；
44、对抗损失采用在预设尺度下运行的多尺度判别器，以促进生成逼真的触觉波形：
45、
46、其中代表判别器在第j个尺度下的输出；
47、特征匹配损失最小化鉴别器中间特征图的距离，使生成的信号在表示空间中与真实信号保持接近：
48、
49、其中表示特征图中所有元素的绝对差之和；
50、损失承诺限制编码器输出z保持与选定的码字相近，从而提高量化过程中的数值稳定性：
51、
52、其中表示停止梯度算子。
53、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述基于归一化重建帧与归一化触觉帧的差值计算残差信号如下：
54、将原始归一化触觉帧x与基础归一化重建帧相减，得到残差信号：
55、
56、其中e表示基础编码路径未充分表示的残差细节；
57、提取残差的对数尺度索引，计算当前帧残差的绝对峰值，并将其映射到对数域后均匀量化为8比特尺度索引：
58、
59、其中表示向下取整操作，和是动态范围的预定义安全边界；
60、将残差信号e变换到频域，引入平滑因子μ来构建软化的权重向量w，根据获得的感知权重向量w构造软化权重，
61、将软化后的权重应用于残差频谱，并通过逆变换得到感知塑形后的残差：
62、
63、其中和表示快速傅里叶变换和快速傅里叶逆变换，表示逐元素乘法，由于，塑形后残差的幅度将受限于重构尺度s；
64、采用带死区的自适应量化器对感知整形残差进行离散化处理，首先根据相对阈值和绝对噪声下限确定死区阈值τ，死区阈值τ通过结合相对阈值和本底绝对噪声来确定：
65、
66、其中表示死区比例，表示本底绝对噪声，幅度低于τ的样本将被直接置零：
67、
68、对非零残差样本进行幅值量化，设残差量化位宽b可取0、3、4、5或6，其中b=0表示省略残差分支，仅使用基础码率级别；当残差量化启用时，b包含1个符号比特，幅值量化级数m为：
69、
70、将非零残差样本按反量化尺度s归一化，得到α=/s，且α∈[0,1]，随后生成幅值量化索引imag：
71、imag=round（α·m）
72、其中round(·)表示四舍五入，将幅值量化索引imag与符号信息共同作为残差索引，将残差向量量化索引和残差量化索引进行无损熵编码，并封装为适于网络传输的分层比特流。
73、第二方面，为了达到上述目的，本发明公开了一种基于视触觉跨感官掩蔽的触觉信号编码系统，包括：
74、信号获取模块，用于获取原始三轴触觉信号及触觉信号对应视频帧，对原始三轴触觉信号进行分帧、三轴降维及归一化处理，得到归一化触觉帧，对触觉信号对应视频帧进行提取，得到视觉运动速度；
75、信号处理模块，用于将视觉运动速度输入至预先建立的视觉触觉跨感官感知阈值模型内，输出得到频域感知权重，将归一化触觉帧和频域感知权重输入至感知驱动频率增强及残差向量量化模型内，输出得到归一化重建帧与归一化触觉帧的差值及rvq码字索引；
76、编码输出模块，用于基于归一化重建帧与归一化触觉帧的差值计算残差信号，对残差信号进行感知加权、死区处理及自适应量化，生成残差量化索引，将rvq码字索引及残差量化索引基于预设辅助信息进行熵编码，得到输出比特流，作为触觉信号编码结果。
77、本发明的有益效果：
78、本发明通过建立视觉-触觉跨感官感知阈值模型，利用视频中的视觉运动强度动态刻画视觉刺激对触觉感知敏感度的影响，从而为触觉编码提供更符合人体感知特性的压缩依据；通过感知驱动频率增强模块，将跨感官感知权重引入触觉频域编码过程，抑制视觉掩蔽条件下感知不敏感的频谱成分，并优先保留感知显著的触觉细节；通过残差向量量化和感知尺度残差量化机制，对基础重建误差进行进一步补偿。本发明有效解决了现有触觉编码方法仅依赖单一触觉模态、难以利用视觉-触觉感知关联进一步压缩触觉信号的问题，在多感官通信场景下能够提供低码率、低延迟且感知无损或近似感知无损的触觉反馈，增强用户在虚拟现实、远程操作和沉浸式多媒体服务中的真实感与沉浸感，在保证触觉主观感知质量的同时实现触觉信号的高效压缩。