一种用于分布式交互系统的延迟补偿方法、装置及存储介质与流程

本发明涉及网络通信，具体涉及一种用于分布式交互系统的延迟补偿方法、装置及存储介质。

背景技术：

1、随着网络技术和智能设备的普及，由多个通过网络互联、支持用户交互的设备组成的分布式交互系统，例如包含交互平板、个人电脑、移动终端等的远程会议系统或协同教学系统，得到了广泛应用。在这些系统中，用户操作（如触控、手写、鼠标移动）需要被实时地从一个设备传输到其他设备并显示出来，以保证所有参与者的体验一致性和交互的即时性。

2、然而，在实际的网络环境中，数据包的传输不可避免地会受到网络带宽波动、拥塞和路由变化等因素的影响，从而产生网络延迟和抖动。当网络延迟过高时，用户在本地设备上的操作与远端设备显示该操作结果之间会存在一个明显的时滞。例如，在远程手写场景中，用户书写的笔迹会延迟出现在远端屏幕上，这种延迟严重破坏了交互的流畅性和自然感，降低了用户体验。

3、为了缓解网络延迟带来的负面影响，现有技术通常采用一些通用性的解决方案，例如增大接收端的播放缓冲区以对抗网络抖动，或者采用通用的网络传输协议。然而，简单地增大缓冲区会引入固定的额外延迟，不适用于要求低延迟的实时交互场景。而通用的传输协议也并未针对实时交互应用的特点进行优化，无法在延迟、可靠性和开销之间取得理想的平衡。

4、因此，现有技术普遍存在的问题是，缺乏一种能够主动预测网络状态变化，并协同发送端和接收端进行动态调整的机制，来系统性地补偿网络延迟对实时交互体验的影响。这导致在网络状况不佳时，交互延迟依然显著，用户体验难以得到保障。

技术实现思路

1、为了解决上述背景技术中提到的分布式交互系统中网络延迟影响用户体验的技术问题，本发明提供了一种用于分布式交互系统的延迟补偿方法、装置及存储介质。该方案通过对网络状态进行主动预测，并协同接收端的补偿渲染与发送端的传输策略调整，从而有效降低端到端的交互延迟。

2、本发明提供的一种用于分布式交互系统的延迟补偿方法，包括：采集分布式交互系统中设备间的历史通信数据，并基于所述历史通信数据训练时间序列预测模型；利用所述时间序列预测模型，实时预测未来预设时间段内的网络延迟和网络传输可靠性；在接收端，根据所述预测的网络延迟，在接收到与用户操作对应的原始数据之前，生成并输出用于补偿网络延迟的补偿内容；在发送端，根据所述预测的网络传输可靠性，动态调整数据传输策略；采集所述补偿内容应用后的补偿效果数据，以及所述数据传输策略调整后的实际网络状态数据；将所述补偿效果数据和所述实际网络状态数据作为新的历史通信数据，用于在线更新所述时间序列预测模型。通过这种预测、补偿、调整和反馈更新的闭环机制，本方法能够持续适应网络环境的变化，实现稳定且低延迟的交互体验。

3、在一些实施例中，所述时间序列预测模型为长短期记忆网络模型。该模型能够有效学习时间序列数据中的长期依赖关系，从而更准确地预测网络状态的趋势性变化。

4、在一些实施例中，为了在资源受限的嵌入式设备上高效运行，所述长短期记忆网络模型的参数量可以被优化至小于200k。这种轻量化的设计使得模型能够在保持较高预测精度的同时，显著降低计算和存储开销。

5、在一些实施例中，所述网络延迟具体可以为往返时间；所述补偿内容具体可以为补偿帧。接收端通过预测的往返时间来预估原始数据帧的到达时间，并在此之前生成并显示补偿帧，从而在视觉上掩盖了网络传输带来的延迟。

6、在一些实施例中，所述网络传输可靠性具体可以为丢包率；所述数据传输策略包括调整前向纠错的冗余度和/或数据重传策略。当预测到未来丢包率将升高时，发送端可以主动增加冗余数据量或采用更积极的重传策略，以保障关键数据的可靠到达，从而提升交互的流畅度。

7、在一些实施例中，为了加速模型的推理过程，所述方法还包括：将所述时间序列预测模型部署于神经网络处理单元上执行推理。利用专门的硬件加速器可以显著降低模型推理的延迟和功耗，确保预测结果的实时性。

8、在一些实施例中，为了优化系统内部的数据流转效率，所述方法还包括：利用直接存储器存取技术，在处理器核心之间实现零拷贝数据传递。这避免了数据在不同内存区域间的冗余拷贝，降低了中央处理器（cpu）的负担，进一步减少了系统内部处理延迟。

9、在一些实施例中，所述预设时间段为100毫秒至500毫秒。该时间范围既能为接收端补偿和发送端策略调整提供足够的提前量，又避免了因预测时间过长而导致的预测精度下降问题，是一个在预测准确性和实用性之间取得良好平衡的区间。

10、在一些实施例中，所述方法可应用于基于openharmony操作系统的分布式应用场景，为基于该系统的各类分布式应用提供底层的低延迟交互能力。

11、本发明还提供了一种用于分布式交互系统的延迟补偿装置，该装置与上述方法相对应，包括：训练模块，用于采集分布式交互系统中设备间的历史通信数据，并基于所述历史通信数据训练时间序列预测模型；预测模块，用于利用所述时间序列预测模型，实时预测未来预设时间段内的网络状态，所述网络状态包括网络延迟和网络传输可靠性；补偿模块，用于在接收端，根据所述预测的网络延迟，在接收到与用户操作对应的原始数据之前，生成并输出用于补偿网络延迟的补偿内容；调整模块，用于在发送端，根据所述预测的网络传输可靠性，动态调整数据传输策略；更新模块，用于采集所述补偿内容应用后的补偿效果数据以及所述数据传输策略调整后的实际网络状态数据，并将采集的数据作为新的历史通信数据，用于在线更新所述时间序列预测模型。

12、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，能够实现前述任一项方法所记载的步骤。

13、与现有技术相比，本发明具有以下有益效果：

14、1.显著降低交互延迟，提升用户体验。通过采用人工智能模型预测网络延迟，并在接收端提前生成补偿内容，本发明将用户的感知延迟从等待网络传输的被动过程，转变为本地预测生成的主动过程，从而能够将平均交互延迟大幅降低，为用户带来接近本地操作的流畅体验。

15、2.增强系统对网络波动的适应性和鲁棒性。本发明不仅在接收端进行补偿，还在发送端根据网络可靠性的预测动态调整数据传输策略。这种协同优化使得系统能够预见并主动应对网络丢包等问题，显著提升了在不稳定网络环境下的交互流畅度，提高了系统的丢包容忍度。

16、3.实现闭环的自适应优化。通过采集补偿效果和实际网络状态数据对预测模型进行在线更新，本发明构建了一个持续学习和优化的闭环系统。该系统能够自动适应特定网络环境的长期变化和用户行为模式，无需人工干预即可保持长期的最佳性能。

17、4.兼顾了嵌入式设备的资源限制。通过采用轻量化的模型设计，并结合神经网络处理单元加速、直接存储器存取零拷贝等硬件优化技术，本发明能够在算力、功耗和内存受限的交互平板等嵌入式设备上高效运行，具有很强的实用性和可部署性。

1.一种用于分布式交互系统的延迟补偿方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述时间序列预测模型为长短期记忆网络模型。

3.根据权利要求1所述的方法，其特征在于，所述网络延迟为往返时间；所述补偿内容为补偿帧。

4.根据权利要求1所述的方法，其特征在于，所述网络传输可靠性为丢包率；所述数据传输策略包括调整前向纠错的冗余度和/或数据重传策略。

5.根据权利要求2所述的方法，其特征在于，所述长短期记忆网络模型的参数量小于200k。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述时间序列预测模型部署于神经网络处理单元上执行推理。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用直接存储器存取技术，在处理器核心之间实现零拷贝数据传递。

8.根据权利要求1所述的方法，其特征在于，所述预设时间段为100毫秒至500毫秒。

9.一种用于分布式交互系统的延迟补偿装置，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-8中任一项所述的方法。