远程手术指导和示教系统及方法与流程

技术特征：
1.一种远程手术指导和示教系统，其特征在于，包括：手术室子系统，用于获取多路视频信息，通过服务器与示教子系统进行通话控制，实时同步画面拼接布局信息以及标记信息，基于所述画面拼接布局信息以及标记信息将所述多路视频信息拼接整合成一路视频信息，将所述一路视频信息和音频信息发送到服务器，通过所述服务器接收示教子系统发送的视频信息和音频信息，并基于所述画面拼接布局信息以及标记信息对所述示教子系统发送的视频信息和音频信息进行展示；服务器，用于对所述远程手术指导和示教系统进行参数设置及通话控制，进行音视频编码数据的转发处理；示教子系统，用于通过所述服务器获取所述手术室子系统发送的一路视频信息和音频信息，并通过所述服务器与所述手术室子系统进行通话控制，实时同步画面拼接布局信息以及标记信息，根据所述画面拼接布局信息以及标记信息对所述手术室子系统发送的一路视频信息和音频信息进行展示，将获取的视频信息和音频信息发送到所述服务器。2.根据权利要求1所述的系统，其特征在于，所述手术室子系统具体包括：多路图像采集模块，用于采集多路视频信息；第一信令模块，用于与所述服务器进行通话控制信息，并进行画面拼接布局信息和标记信息的实时同步交互，在每次输入完成或写完一个字符后，将新的标记信息进行转换，并将转换后的标记信息进行同步，其中，所述标记信息所支持的标记方式包括以下至少之一：规则图像的标记、不规则图形的标记、语音标记、文字标记；图像处理模块，用于接收所述图像采集模块传来的多路视频信息，根据所述第一信令模块发送的画面拼接布局信息将所述多路视频信息进行画面拼接整合调整，拼接整合成为一路视频信息，并根据所述第一信令模块发送的标记信息将标记整合在所述一路视频信息中；第一编解码模块，用于将所述图像处理模块输出的所述一路视频信息和音频信息进行编码发送到服务器，解码从服务器获取的音频信息和视频信息，基于所述画面拼接布局信息以及标记信息，输出解码后的音频信息和视频信息到多媒体播放终端，并通过覆盖当前视频信息的透明窗口对标记信息进行实时展示。3.根据权利要求1所述的系统，其特征在于，所述服务器具体包括：信令服务单元，用于进行手术室子系统和示教子系统的用户注册、通话控制、画面拼接布局信息和标记信息的同步实时控制；流媒体服务单元，用于将所述手术室子系统发送的一路视频信息和音频信息转发到所述示教子系统，将所述示教子系统发送的视频信息和音频信息发送到所述手术室子系统。4.根据权利要求1所述的系统，其特征在于，所述示教子系统具体包括：第二信令模块，用于与服务器交互流媒体控制信息，通过所述服务器与所述手术室子系统进行通话控制，并进行画面拼接布局信息和标记信息的实时同步交互，在每次输入完成或写完一个字符后，将新的标记信息进行转换，并将转换后的标记信息进行同步；第二编解码模块，用于解码从服务器获取的音频信息和视频信息，基于所述画面拼接布局信息以及标记信息，输出解码后的音频信息和视频信息到多媒体播放终端，并通过覆盖当前视频信息的透明窗口对标记信息进行实时展示；将影音录入设备采集的音频信息和视频信息进行编码，发送到服务器；
影音录入设备，用于采集音频信息和视频信息。5.根据权利要求2所述的系统，其特征在于，所述图像采集模块具体包括以下至少之一：全景摄像机、术野摄像机、腔镜摄像机、监护仪、超声波设备。6.一种远程手术指导和示教方法，其特征在于，用于权利要求1至5中任一项所述的远程手术指导和示教系统，所述方法具体包括：通过手术室子系统或者示教子系统发起远程手术指导和示教；通过所述手术室子系统计算拼接画面的建议分辨率，并根据所述建议分辨率和画面布局样式信息启动画面拼接，并与所述示教子系统进行所述画面布局样式信息和标记信息的实时同步；通过所述手术室子系统，对音频信息和拼接后的视屏信息进行编码并通过服务器发送到所述示教子系统；通过所述示教子系统，从所述服务器获取所述手术室子系统发送的音频信息和拼接后的视屏信息并进行展示；将从影音录入设备采集的音频信息和视频信息进行编码，并发送到服务器；通过所述手术室子系统，从服务器获取所述示教子系统发送的音频信息和视频信息并进行展示。7.根据权利要求6所述的方法，其特征在于，通过所述手术室子系统计算拼接画面的建议分辨率，并根据所述建议分辨率和画面布局样式信息启动画面拼接，并与所述示教子系统进行所述画面布局样式信息的实时同步具体包括：通过所述手术室子系统获取示教子系统的显示屏分辨率，手术图像分辨率、并获取用户预先设置的拼接分辨率，基于所述示屏分辨率、所述手术图像分辨率以及所述拼接分辨率计算拼接画面的建议分辨率，分配一个默认的画面布局样式，并基于所述拼接画面的建议分辨率和画面布局样式信息启动画面拼接，并将所述画面布局样式信息实时同步到所述示教子系统。8.根据权利要求7所述的方法，其特征在于，所述基于所述示屏分辨率、所述手术图像分辨率以及所述拼接分辨率计算拼接画面的建议分辨率具体包括：步骤1，获取手术影像的所有分辨率，其中，获取的分辨率的数目有n个，若n＝1，则建议分辨率为示教子系统的显示屏分辨率与手术影像分辨率中的小者，否则，执行步骤1；步骤2，若判断示教子系统的显示屏分辨率小于或dengyu1080p，则建议分辨率为示教子系统的显示屏分辨率，否则执行步骤3；步骤3，对n个分辨率中的最大分辨率、1080p以及示教子系统的显示屏分辨率进行大小排序，在这些分辨率中取排序在中间的分辨率值作为建议分辨率。9.根据权利要求6所述的方法，其特征在于，所述画面布局样式信息中的画面布局样式具体包括：均分、画中画、大小分布、单画面和关闭指定画面。10.根据权利要求6所述的方法，其特征在于，与所述示教子系统进行标记信息的实时同步具体包括：通过覆盖在视频信息呈现画面上的一层透明窗口，呈现对影像内容进行文字和/或图像的标记信息，并在每次输入完成或写完一个字符后，将新的标记信息进行转换，并将转换后的标记信息进行同步。

技术总结
本发明公开了一种远程手术指导和示教系统及方法，系统包括：手术室子系统，用于获取多路视频信息，与示教子系统进行通话控制，实时同步画面拼接布局信息以及标记信息，将多路视频信息拼接整合成一路视频信息并发送到服务器，接收示教子系统发送的视频信息和音频信息，对视频信息和音频信息进行展示；服务器，用于对远程手术指导和示教系统进行参数设置及通话控制，进行音视频编码数据的转发处理；示教子系统，用于获取手术室子系统发送的一路视频信息和音频信息，并与手术室子系统进行通话控制，实时同步画面拼接布局信息以及标记信息，对手术室子系统发送的一路视频信息和音频信息进行展示，将获取的视频信息和音频信息发送到服务器。送到服务器。送到服务器。


技术研发人员：王昊 许成 张克义
受保护的技术使用者：矩数（西安）智能科技有限公司
技术研发日：2022.08.31
技术公布日：2022/11/18