一种信源信道联合触觉编码方法、装置、设备及介质

1.本发明涉及触觉通信技术领域，特别是涉及一种网络自适应的信源编码与信道编码联合的触觉编码方法、装置、设备及介质。


背景技术：

2.近年来，触觉互联网蓬勃兴起，而触觉遥操作系统作为触觉互联网的一种典型用例，其应用也越来越广泛，为了保证触觉遥操作系统的稳定性，触觉信息的采样率一般高于1khz，同时为了保证触觉信息传输的实时性，采集的数据应立即打包传输，因此触觉编码具有重要意义。
3.触觉信息主要分为动觉信息和纹理觉信息两大类。目前常见的动觉信息编码方法主要可以分为两大类，第一类是基于动觉信号统计特性的动觉信息编码方法，这一类方法借鉴了图像视频编码的有关方法，例如，基于离散余弦变换的动觉信息编码方法，在对动觉信息进行离散余弦变换之后，采用不同长度的比特来区分动觉信息中的高频分量以及低频分量的重要性；基于小波变换的动觉信息编码方法为了实现动觉信息的压缩，在高通滤波器的输出中，截断了小波系数。第二类是基于人类感知特性的动觉信息编码方法，在这类方法中主要使用了韦伯定理，例如，目前比较主流的基于感知死区的动觉信息编码方法，该方法会设定一个感知差异阈值，当采集到一个新的动觉信息时，该方法会将该动觉信息与参考信息作比较，并计算它们之间的差值，如果差值小于感知差异阈值，则传输该动觉信息，若大于感知差异阈值，则忽略该动觉信息。
4.在目前动觉信息编码方法中，主要是对动觉信息进行信源编码，考虑信道特性的编码方法比较少，故信源编码与信道编码处理割裂开来，导致对动觉信息的通信传输方案的设计一般难以考虑到信道的特点。但是实际上网络条件对于触觉遥操作系统中的触觉通信的吞吐量、误码率以及操作者的沉浸体验等等指标都有着很大的影响。


技术实现要素：

5.本发明的目的是提供一种信源信道联合触觉编码方法、装置、设备及介质，将实际网络条件充分考虑到触觉遥操作系统中，解决当前动觉信息编码方法中信源编码与信道编码割裂的问题。
6.为实现上述目的，本发明提供了如下方案：
7.第一方面，本发明提供了一种信源信道联合触觉编码方法，包括：
8.获取若干个触觉数据点；
9.计算每个所述触觉数据点的能量分配因子，并根据所述能量分配因子对所述触觉数据点进行能量分配，得到触觉数据包；
10.将所述触觉数据包进行hadamard变换，得到触觉数据编码矩阵；
11.利用正交频分多路复用信道将所述触觉数据编码矩阵发送至触觉解码端；所述触觉解码端用于将经过正交频分多路复用信道传输后的结果进行解码，实现触觉再现。
12.第二方面，本发明提供了一种信源信道联合触觉编码装置，包括：
13.触觉编码端，用于：
14.获取若干个触觉数据点；
15.计算每个所述触觉数据点的能量分配因子，并根据所述能量分配因子对所述触觉数据点进行能量分配，得到触觉数据包；
16.将所述触觉数据包进行hadamard变换，得到触觉数据编码矩阵；
17.利用正交频分多路复用信道将所述触觉数据编码矩阵发送至触觉解码端；
18.所述触觉解码端用于将经过正交频分多路复用信道传输后的结果进行解码，实现触觉再现。
19.第三方面，本发明提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据第一方面所述的信源信道联合触觉编码方法。
20.第四方面，本发明提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的信源信道联合触觉编码方法。
21.根据本发明提供的具体实施例，本发明公开了以下技术效果：
22.本发明充分考虑传输网络实际条件，将信源编码与信道编码联合进行触觉编码，通过一系列的线性变换，消除了当前触觉编码方法当中的“悬崖效应”，使得接收端接收到的触觉数据的质量与接收端的信道质量成线性关系。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明信源信道联合触觉编码方法的流程示意图；
25.图2为本发明信源信道联合触觉编码方法的过程示意图；
26.图3为本发明触觉数据格式示意图；
27.图4为本发明调制方法示意图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.softcast是一种信源信道联合编码的视频编码方法，由于这种方法的出色表现，也给触觉编码带来了新的启发。
30.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
31.实施例一
32.本发明实施例提供了一种信源信道联合触觉编码方法，如图1和图2所示，包括以下步骤：
33.步骤100：获取若干个触觉数据点。
34.在本发明实施例中，该触觉数据点为动觉数据点。
35.目前使用当前比较常见的触觉设备来采集真实的动觉数据；该动态数据点包括若干个动觉数据点。
36.本发明实施例采用的触觉数据的格式如图3所示，触觉数据采用3dof，其中，p_x代表x轴方向上的位置，p_y代表y轴方向上的位置，p_z代表z轴方向上的位置，v_x代表x轴方向上的速度，v_y代表y轴方向上的速度，v_z代表z轴方向上的速度。
37.步骤200：计算每个所述触觉数据点的能量分配因子，并根据所述能量分配因子对所述触觉数据点进行能量分配，得到触觉数据包。
38.在本发明实施例中，假设传输的第i个触觉数据点为xi，通过给传输的每一个触觉数据点乘一个能量分配因子gi来实现能量分配，对不同重要程度的触觉数据在不同信道条件下做出不同重要程度的保护，使得在信道条件差的情况下，保护触觉数据中较为重要的触觉数据点，最大程度的减少触觉数据的失真，从而达到差别误差保护的目的。主要通过以下步骤来确定每一个能量分配因子的大小。
39.(1)假设yi为触觉数据经过能量分配之后得到的结果，即yi＝g
i xi。
40.(2)假设当yi经过一个只存在随机加性高斯白噪声n(均值为0，方差为σ2)的信道到达触觉解码端之后得到的结果为即触觉解码端解码后可以得到解码后的触觉数据为即
41.(3)根据(1)和(2)可以得到，在触觉数据传输过程中的均方误差为(3)根据(1)和(2)可以得到，在触觉数据传输过程中的均方误差为为了将减小触觉数据传输过程中的均方误差，假设λi为第i个触觉数据点xi的能量值，即假设μi为第i个触觉数据点xi经过能量分配之后得到的yi的新的能量值，即假设触觉数据传输过程总能量为p，所以问题转化成了在∑iμi≤p,μi≥0的条件下，求err的极小值，即
42.(4)将(3)中的有约束条件的最优化问题用拉格朗日乘子法进行求解，可以得到最后得到λj为第j个触觉数据点xj的能量值。
43.故步骤200具体包括：根据在触觉数据传输过程中的均方误差函数以及对应的约束条件，计算每个所述触觉数据点的能量分配因子。
44.进一步地，所述根据在触觉数据传输过程中的均方误差函数以及对应的约束条件，计算每个所述触觉数据点的能量分配因子，具体包括：
45.对任一所述触觉数据点均执行以下操作：
46.利用拉格朗日乘子法进行求解目标函数；所述目标函数为将所述触觉数据点代入
均方误差极小值函数后的函数；所述均方误差极小值函数是根据在触觉数据传输过程中的均方误差函数以及对应的约束条件确定的；所述均方误差极小值函数为λi表示第i个触觉数据点xi的能量值。
47.所述均方误差函数为
48.所述均方误差函数对应的约束条件为∑iμi≤p,μi≥0；
49.其中，err表示第i个触觉数据点对应的均方误差；xi表示第i个触觉数据点；表示触觉解码端解码后得到的第i个触觉数据点；n表示随机加性高斯白噪声；gi表示第i个触觉数据点对应的能量分配因子；σ2表示随机加性高斯白噪声方差；μi为第i个触觉数据点xi经过能量分配之后得到的触觉数据包中的数据yi的新能量值；p表示触觉数据传输过程总能量。
50.步骤300：将所述触觉数据包进行hadamard变换，得到触觉数据编码矩阵。
51.在进行能量分配之后，触觉数据包，在传输过程中的能量分布不均匀，如果较为重要的触觉数据包，即能量分配较高的触觉数据包在传输过程中一旦发生丢包，会严重影响触觉传输的质量，因此需要进行能量重分配来提高触觉数据传输过程中的丢包抵抗能力。
52.hadamard矩阵主要是用来做正交变换的，它的元素只有两个， 1和-1，为了实现能量重分配的目的，使用hadamard变换将每个触觉数据包的能量进行均衡，这样每个触觉数据包将具有相近的能量，从而将丢包的损失降到最小，在触觉传输过程中可以极大的提高传输质量。hadamard矩阵可以由以下公式推导得出：
[0053][0054]
步骤400：利用正交频分多路复用信道将所述触觉数据编码矩阵发送至触觉解码端。
[0055]
在本发明中采用现有的正交频分复用技术(ofdm，orthogonal frequency division multiplexing)，对触觉数据编码矩阵进行物理层传输。如图4所示的调制方法，将经过上述触觉编码后的触觉数据编码矩阵分别映射到i分量和q分量，形成一个调制信号，然后利用ofdm实现触觉数据编码矩阵在物理层上的传输。
[0056]
一个示例为：
[0057]
假设xk为要传输的原始动觉数据矩阵(k表示动觉数据)，它由采集到的动觉数据点组成，yk为动觉编码端经过能量分配和能量再分配之后最终输出的动觉数据编码矩阵，其中，能量分配因子gi构成了一个能量分配矩阵gk(gk为对角矩阵)，hadamard矩阵用hk来表示，那么上述的整个编码过程可以用矩阵运算表示，即yk＝h
kgk
xk。令ck＝h
kgk
，ck为动觉编码矩阵，则yk＝ckxk。
[0058]
动觉解码端利用llse(linear least squares estimation)解码技术将经过正交频分多路复用信道传输后的结果进行解码，实现动觉再现。
[0059]
在动觉解码端，令通过ofdm信道传输后的动觉数据表示为且假设信道只存在随机加性高斯白噪声，则可以表示为，其中n为统计信息已知的噪声矩阵，接下来需要对xk进行估计，比较适合的一个解法是采用llse方法来得到xk的最佳估计值，用矩阵的形式去表示估计值如下公式所示：
[0060][0061]
在上述公式中，σ代表对角矩阵，矩阵中的对角元素与动觉数据传输过程中信道噪声的能量对应，也代表对角矩阵，矩阵中的对角元素是动觉数据的能量值λi。
[0062]
当动觉解码端的信道条件极好时，即信噪比较高时，信号的能量远大于噪声能量，噪声的方差较小，所以llse可忽略信道噪声的方差，于是，上述公式可以近似为：
[0063][0064]
通过llse解码，得到动觉数据的估计值，实现动觉再现。
[0065]
实施例二
[0066]
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种信源信道联合触觉编码装置。
[0067]
触觉编码端，用于：
[0068]
获取若干个触觉数据点；
[0069]
计算每个所述触觉数据点的能量分配因子，并根据所述能量分配因子对所述触觉数据点进行能量分配，得到触觉数据包；
[0070]
将所述触觉数据包进行hadamard变换，得到触觉数据编码矩阵；
[0071]
利用正交频分多路复用信道将所述触觉数据编码矩阵发送至触觉解码端；
[0072]
所述触觉解码端用于将经过正交频分多路复用信道传输后的结果进行解码，实现触觉再现。
[0073]
实施例三
[0074]
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的信源信道联合触觉编码方法。
[0075]
可选地，上述电子设备可以是服务器。
[0076]
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的信源信道联合触觉编码方法。
[0077]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0078]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不
应理解为对本发明的限制。