远程手术多模态画面的自适应编码控制方法、装置以及设备与流程

本申请涉及远程手术通信，尤其涉及一种远程手术多模态画面的自适应编码控制方法、装置以及设备。

背景技术：

1、现今，远程手术机器人通过远程操控机械臂完成微创手术，可打破地理空间限制，使优质医疗资源覆盖偏远地区。在远程手术中，手术视野图像的稳定、低延迟传输直接关系到手术操作的安全性与精准度。

2、目前，受网络带宽条件与系统部署成本的双重限制，现有远程手术图像传输多采用感兴趣区域（region of interest, roi）自适应编码方案，仅针对单一路内窥镜画面进行局部差异化编码，以在有限带宽下保留核心手术区域的画面清晰度。但该类编码方案无法适配画中画模式下的多模态合成画面，难以对画面内不同模态的区域实施分级质量保障，易导致关键临床信息的传输保真度不足，为远程手术的安全实施埋下隐患。

技术实现思路

1、本申请提供了一种远程手术多模态画面的自适应编码控制方法、装置以及设备，以通过对多模态合成画面中各区域进行差异化编码调控，解决现有编码方式与合成画面不适配的问题，提升关键临床信息的传输保真度与手术安全性。

2、第一方面，本申请实施例提供了一种远程手术多模态画面的自适应编码控制方法，方法包括：

3、实时获取画中画模式下的手术视频帧序列；其中，所述手术视频帧序列由主画面与至少一类辅助模态画面叠加后生成；

4、对所述手术视频帧序列中的当前帧进行实时画面感知，识别所述当前帧中的各独立画面区域，并确定各所述画面区域的画面属性信息；其中，所述画面属性信息包括边界框坐标与模态类型；

5、基于当前网络可用带宽和所述画面属性信息，确定各所述画面区域对应的编码控制参数；

6、基于各所述画面区域的所述编码控制参数，对所述当前帧进行差异化编码，输出编码后的视频码流。

7、第二方面，本申请实施例提供了一种远程手术多模态画面的自适应编码控制装置，所述装置包括：

8、数据获取模块，用于实时获取画中画模式下的手术视频帧序列；其中，所述手术视频帧序列由主画面与至少一类辅助模态画面叠加后生成；

9、多模态区域识别模块，用于对所述手术视频帧序列中的当前帧进行实时画面感知，识别所述当前帧中的各独立画面区域，并确定各所述画面区域的画面属性信息；其中，所述画面属性信息包括边界框坐标与模态类型；

10、编码参数确定模块，用于基于当前网络可用带宽和所述画面属性信息，确定各所述画面区域对应的编码控制参数；

11、视频差异化编码模块，用于基于各所述画面区域的所述编码控制参数，对所述当前帧进行差异化编码，输出编码后的视频码流。

12、第三方面，本申请实施例还提供了一种电子设备，电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本申请实施例任一的远程手术多模态画面的自适应编码控制方法。

13、本申请实施例提供了一种远程手术多模态画面的自适应编码控制方法、装置以及设备，其中方法包括：实时获取画中画模式下的手术视频帧序列，其中，手术视频帧序列由主画面与至少一类辅助模态画面叠加后生成；进而，对手术视频帧序列中的当前帧进行实时画面感知，识别当前帧中的各独立画面区域，并确定各画面区域的画面属性信息，其中，画面属性信息包括边界框坐标与模态类型；基于当前网络可用带宽和画面属性信息，确定各画面区域对应的编码控制参数；从而，基于各画面区域的编码控制参数，对当前帧进行差异化编码，输出编码后的视频码流。本实施例所提供的技术方案，通过实时感知画中画合成后各独立画面区域的模态类型及边界框坐标，并结合当前网络可用带宽为各区域分别确定差异化的编码控制参数，实现了对多模态合成画面中各区域的独立编码调控，解决了现有编码方式与多模态合成画面不匹配的问题，提升了有限带宽下关键临床信息的传输保真度与编码资源分配的针对性，从而保障了远程手术的操作安全性与稳定性。

1.一种远程手术多模态画面的自适应编码控制方法，其特征在于，所述方法包括：

2.根据权利要求1的方法，其特征在于，所述对所述手术视频帧序列中的当前帧进行实时画面感知，识别所述当前帧中的各独立画面区域，并确定各所述画面区域的画面属性信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1的方法，其特征在于，所述对所述手术视频帧序列中的当前帧进行实时画面感知，识别所述当前帧中的各独立画面区域，并确定各所述画面区域的画面属性信息，包括：

5.根据权利要求1所述的方法，其特征在于，所述编码控制参数包括编码量化参数，所述基于当前网络可用带宽和所述画面属性信息，确定各所述画面区域对应的编码控制参数，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述基准量化参数和各所述模态差异化偏移量，确定各所述画面区域对应的编码量化参数，还包括：

7.根据权利要求5所述的方法，其特征在于，所述基于所述画面属性信息中的模态类型，确定各所述画面区域的模态差异化参数偏移量，还包括：

8.根据权利要求1所述的方法，其特征在于，所述编码控制参数包括强制帧内刷新周期，所述基于当前网络可用带宽和所述画面属性信息，确定各所述画面区域对应的编码控制参数，包括：

9.根据权利要求8所述的方法，其特征在于，所述基于所述画面属性信息中的模态类型，确定需要进行帧内刷新的画面区域以及所述强制帧内刷新周期，包括：

10.根据权利要求1的方法，其特征在于，在所述确定各所述画面区域的画面属性信息之后，还包括：

11.根据权利要求1所述的方法，其特征在于，所述基于各所述画面区域的所述编码控制参数，对所述当前帧进行差异化编码，输出编码后的视频码流，包括：

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

13.根据权利要求11所述的方法，其特征在于，所述方法还包括：

14.根据权利要求1所述的方法，其特征在于，所述方法还包括：

15.一种远程手术多模态画面的自适应编码控制装置，其特征在于，所述装置包括：

16.一种电子设备，其特征在于，电子设备包括：