远程手术的自适应视频编码方法、系统及远程手术机器人与流程

摘要: 本申请实施例涉及远程手术的视频编码,尤其涉及一种远程手术的自适应视频编码方法、系统及远程手术机器人。背景技术:1、在远程手术场景中,目前高端手术机器人的手术视频...
远程手术的自适应视频编码方法、系统及远程手术机器人与流程

本申请实施例涉及远程手术的视频编码,尤其涉及一种远程手术的自适应视频编码方法、系统及远程手术机器人。

背景技术:

1、在远程手术场景中,目前高端手术机器人的手术视频通常以4k分辨率、60帧每秒的超高画质进行采集与传输,以满足医生对精细解剖结构识别、捕捉动态细节和降低视觉疲劳的基本需求。但实际应用中,受限于网络带宽和严格的低延迟要求,原始视频必须经过高效压缩编码后再传输,才能满足远程手术的要求。

2、为解决传统固定参数、全局均匀的编码模式无法区分术野关键操作区域与无效背景区域,存在“关键解剖细节压缩失真、无效背景占用大量码率资源”的核心痛点,相关技术中出现了基于深度学习的手术视频编码优化方案,例如利用yolo模型识别术野内血管、器械、脏器等关键特征,将对应cu块标记为重点区域并降低qp值(量化参数)、提升码率,对背景区域压缩码率,实现基于单帧静态图像内容的roi编码优化。但是,该方案仅基于单帧静态图像内容建立固定的组织-码率优先级映射关系,编码策略僵化,无法适配动态变化的手术临床场景。

技术实现思路

1、本申请实施例提供了一种视频编码方法、系统及远程手术机器人,通过至少融合手术阶段和语义标签,能够根据不同手术阶段下临床区域重要程度的变化,动态识别视频帧中的临床关键区域,并自动分配与当前临床场景匹配的编码参数,可以有效提升弱网环境下关键区域的图像清晰度与细节保留能力,提升远程手术的图像质量。

2、为达到上述目的,本申请实施例采用如下技术方案:

3、第一方面,本申请实施例提供了一种远程手术的自适应视频编码方法,应用于本地端,本地端与远程端建立通信连接以传输手术视频流,视频编码方法包括:获取手术视频流;对手术视频流中的中包含当前视频帧的多个视频帧进行时序特征分析,以确定所述当前视频帧所处的手术阶段,并生成对应的手术阶段标签;对当前视频帧进行图像语义识别,生成至少一个语义标签;其中语义标签包括解剖组织实体标签和/或手术器械实体的标签;基于手术阶段标签、各语义标签和位置分布信息,确定当前视频帧对应的编码参数;基于编码参数,使用由基于配置信息确定的编码器对当前视频帧进行编码。

4、采用本申请实施例提供的远程手术的自适应视频编码方法,通过对手术视频流中的连续多帧视频帧进行时序特征分析,确定当前手术阶段对应的手术阶段标签,能够捕捉手术过程中视频帧之间的时序演变规律,从而准确识别当前手术所处的阶段,为编码参数的差异化配置提供手术阶段维度的依据。同时,对手术视频流中的当前视频帧进行图像语义识别,生成至少一个语义标签及位置分布信息,其中语义标签包括解剖组织实体和/或手术器械实体的标签,能够识别出当前视频帧中关键解剖结构和手术器械等语义对象;同时,位置分布信息反映了部分语义标签对应的语义对象在当前视频帧中的空间位置,从而为编码参数的空间差异化分配提供语义维度和空间维度的依据。进一步地,基于手术阶段标签、语义标签和位置分布信息,确定当前视频帧对应的编码参数,将手术阶段与语义内容两个维度联合用于编码参数的确定,使得编码参数能够同时反映手术进程的时序特征和帧内关键区域的空间特征,实现编码参数与手术内容的高精度适配。最后基于编码参数,使用由基于配置信息确定的编码器对当前视频帧进行编码,编码器由配置信息确定,使得编码框架具有灵活性,能够适配不同的编码标准与编码需求;基于差异化编码参数对当前视频帧执行编码,实现编码资源向关键语义区域和关键手术阶段的精准倾斜。这样,本方案通过手术阶段标签与语义标签及位置分布信息的联合感知,从时序维度和空间语义维度双重建模手术视频内容,能够根据不同手术阶段下临床区域重要程度的变化,动态识别视频帧中的临床关键区域,并自动分配与当前临床场景匹配的编码参数,可以有效提升弱网环境下关键区域的图像清晰度与细节保留能力,提升远程手术的图像质量。

5、第二方面,本申请实施例还提供了一种远程手术的自适应视频编码系统,包括:视频采集模块,被配置为:获取所述手术视频流;手术阶段识别模块,被配置为:对所述手术视频流中包含当前视频帧的多个视频帧进行时序特征分析,以确定所述当前视频帧所处的手术阶段,并生成对应的手术阶段标签;其中,所述当前视频帧指的是当前时刻、待编码的视频帧;语义内容识别模块,被配置为:对所述当前视频帧进行图像语义识别,生成至少一个语义标签;其中,所述语义标签包括解剖组织实体标签和/或手术器械实体的标签;编码决策引擎,被配置为:基于所述手术阶段标签、所述语义标签,从预先构建的知识库中匹配对应的编码参数;其中,所述知识库包括多个映射条目,每一映射条目包括手术阶段标签、语义标签以及对应的编码参数;编码决策引擎,还被配置为:基于所述当前视频帧中各所述语义标签对应的编码参数,生成所述当前视频帧对应的编码参数集合;编码决策引擎,还被配置为:基于所述编码参数集合,利用编码器对所述当前视频帧进行编码。

6、第三方面,本申请实施例还提供了一种远程手术机器人,远程手术机器人包括本地端和远程端;本地端包括图像台车、患者台车以及第一远程模块;图像台车包括内窥镜摄像系统,患者台车与图像台车连接,图像台车与第一远程模块连接;内窥镜摄像系统,用于采集术野视频画面,生成手术视频流;患者台车用于承载手术执行设备,并基于手术执行设备执行手术操作;第一远程模块用于接收手术视频流,并对手术视频流进行编码,以生成编码码流;远程端包括医生台车以及第二远程模块,医生台车与第二远程模块连接;第一远程模块与第二远程模块建立通信连接,用于传输编码码流;第二远程模块用于接收编码码流,并对编码码流进行解码重建,得到重建视频流;医生台车用于显示重建视频流。

1.一种远程手术的自适应视频编码方法,应用于本地端,所述本地端与远程端建立通信连接以传输手术视频流,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述手术阶段标签、各所述语义标签,在预先构建的知识库中匹配对应的编码参数,包括:

3.根据权利要求1所述的方法,其特征在于,所述编码参数包括各所述语义标签对应的量化参数偏移量;所述基于所述手术阶段标签、各所述语义标签,在预先构建的知识库中匹配对应的编码参数,包括:

4.根据权利要求2所述的方法,其特征在于,所述阶段标签缓存器按照预设更新策略更新所述当前有效的手术阶段标签,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述手术视频流中的多个视频帧进行时序特征分析,以确定当前视频帧所处的手术阶段,并生成对应的手术阶段标签,包括:

6.根据权利要求1所述的方法,其特征在于,所述基于所述编码参数集合,利用编码器,对所述当前视频帧进行编码,包括:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.根据权利要求2所述的方法,其特征在于,还包括:

9.根据权利要求1所述的方法,其特征在于,还包括:

10.根据权利要求9所述的方法,其特征在于,所述基于所述质量评分和预设评分区间的比较结果,动态调整所述当前视频帧对应的所述量化参数偏移量,以得到调整后的所述当前视频帧对应的编码参数集合,包括:

11.根据权利要求9或10所述的方法,其特征在于,还包括:

12.根据权利要求1所述的方法,其特征在于,还包括:

13.一种远程手术的自适应视频编码系统,其特征在于,包括:

14.一种远程手术机器人,其特征在于,所述远程手术机器人包括本地端和远程端;