基于视频分析的超声检查自动测量辅助方法、系统及装置

本发明涉及超声检测，特别涉及一种基于视频分析的超声检查自动测量辅助方法、系统及装置。

背景技术：

1、超声检查是目前临床应用最广泛的影像学检查手段之一。在典型的超声检查业务流程中，超声医生操作超声成像设备对患者进行扫查，当观察到一个需要记录的关键图像（如需要对某一解剖结构进行径线测量、面积测量或血流参数测量）时，医生需暂停扫查并冻结图像，随后手动操作超声设备上的轨迹球或触控面板，在图像上放置测量卡尺或标记点，由超声设备计算出测量值。随后，医生通过语音口述将测量项目和数值告知一旁的录入员，录入员手动在超声报告工作站中录入对应字段，最终生成结构化报告。

2、上述现有主流的业务流程中，存在以下几个较为突出的技术与操作问题：

3、1、医生的操作负担重、扫查效率低：医生在扫查过程中不仅需要专注于解剖结构的观察和判断，还需要频繁中断扫查，手动执行放置卡尺、选择测量项等机械性操作，极大地分散了医生的注意力，延长了单次检查时间。

4、2、测量数据录入存在人为差错风险：在“医生口述→录入员听取→手动录入”的链条中，受限于繁忙嘈杂的工作环境，极易出现听错、记错、张冠李戴或遗漏等差错，严重影响超声报告的质量与医疗安全。

5、3、现有自动化与智能化升级方案成本高、兼容性差：目前市面上部分外置ai辅助设备主要聚焦于病灶辅助诊断（良恶性分析）或扫查质控，而非替代医生进行常规的径线自动测量。现有的数据自动传输方案大多依赖于dicom或其他数字接口（api），直接在超声设备与报告工作站之间建立数据通道。然而，不同医院使用的超声报告工作站品牌、系统版本各异，为每家医院定制接口开发和适配的成本极高，且极易因工作站升级而失效。同时部分超声设备厂商推出了内置的自动测量算法，但这要求医院花费高昂成本购买新机，对于目前医院内已部署的数以万计的存量超声设备（涵盖各个品牌和老旧型号）而言，完全无法受益。

6、综上所述，本领域亟需一种能够在不改造现有超声成像设备、不修改现有超声报告工作站软件底层的前提下，实现即插即用、跨品牌兼容，且能自动完成识别、测量并将数据透明无感地传输给工作站的超声检查辅助方案。从而减轻医生的手动测量负担，降低人工录入的差错风险，并提高超声检查与报告出具的整体工作效率。

技术实现思路

1、基于此，本发明的目的是提供一种基于视频分析的超声检查自动测量辅助方法、系统及装置，以从根本上解决现有超声检查过程中医生手动测量操作负担沉重、口头沟通与人工转抄录入差错率高、以及现有自动化方案对接超声报告工作站改造成本高昂且系统兼容性差的问题。

2、根据本发明实施例的一种基于视频分析的超声检查自动测量辅助方法，应用于分别与超声成像设备和超声报告工作站连接的超声检查自动测量辅助装置，所述方法包括：

3、实时接收来自超声成像设备输出的视频信号，并将所述视频信号转换为数字视频帧序列；

4、利用预训练的深度学习模型对所述数字视频帧序列进行关键测量图像识别，确定当前帧是否为目标关键测量图像；

5、若确定当前帧为目标关键测量图像，则在所述当前帧中定位目标解剖结构的测量区域，并基于所述当前帧内的视觉特征进行自动测量计算，得到目标测量数值以及对应的测量标记；

6、将所述目标测量数值及测量标记叠加绘制至所述当前帧上，生成携带测量信息的处理后图像帧；

7、将所述处理后图像帧通过模拟视频采集卡接口透明传输至超声报告工作站，并同步通过模拟采集控制接口向所述超声报告工作站发送硬件采集触发信号，以控制所述超声报告工作站将当前传输的处理后图像帧进行自动采集留存。

8、另外，根据本发明上述实施例的一种基于视频分析的超声检查自动测量辅助方法，还可以具有如下附加的技术特征：

9、进一步地，所述利用预训练的深度学习模型对所述数字视频帧序列进行关键测量图像识别，确定当前帧是否为目标关键测量图像的步骤包括：

10、对所述数字视频帧序列进行状态特征检测，判断当前帧中是否存在超声成像设备原生的冻结状态标识和/或是否包含预设的设备原生测量界面元素；

11、若判断当前帧中存在超声成像设备原生的冻结状态标识或包含预设的设备原生测量界面元素，则将当前帧标记为候选测量帧；

12、将标记为候选测量帧的当前帧输入预训练的深度学习模型，计算当前帧属于各类标准切面的置信度分数；

13、选取最高置信度分数对应的切面类别，若所述最高置信度分数大于预设的第一分类阈值时，确认当前帧对应的标准切面类型；

14、结合当前帧及其前后相邻多帧的识别结果进行时序平滑处理，若在预设时间窗口内连续被确认为相同标准切面类型的帧数超过预设比例，则确定当前帧为目标关键测量图像。

15、进一步地，所述在所述当前帧中定位目标解剖结构的测量区域，并基于所述当前帧内的视觉特征进行自动测量计算，得到目标测量数值以及对应的测量标记的步骤包括：

16、利用预训练的图像分割模型提取所述当前帧中超声画面边缘的刻度尺图形；

17、通过计算所述刻度尺图形中相邻刻度标记之间的像素点数量，反向推算出当前帧的像素至实际物理尺寸的映射比例尺；

18、利用预训练的目标检测模型或语义分割模型识别并定位出所述当前帧中目标解剖结构的边界极值点；

19、根据目标解剖结构对应的测量类型公式，计算各边界极值点之间的像素距离、像素面积或像素轮廓几何参数，并结合所述映射比例尺，计算转换得到所述目标解剖结构对应的目标测量数值。

20、进一步地，所述在所述当前帧中定位目标解剖结构的测量区域，并基于所述当前帧内的视觉特征进行自动测量计算，得到目标测量数值以及对应的测量标记的步骤包括：

21、查询预设的知识图谱或映射表，获取与所述目标关键测量图像的标准切面类型相关联的多个测量指标；

22、调用预训练的目标检测模型与语义分割模型，在所述当前帧中同步且分别定位出与所述多个测量指标相对应的多个解剖结构子区域或多个关键形态学标志点；

23、分别针对每个解剖结构子区域或关键形态学标志点并行执行测量计算，得到包含多项测量指标的目标测量数值集合。

24、进一步地，所述在所述当前帧中定位目标解剖结构的测量区域，并基于所述当前帧内的视觉特征进行自动测量计算，得到目标测量数值以及对应的测量标记的步骤之后，所述方法还包括：

25、根据目标检测模型或语义分割模型输出的边界极值点置信度以及当前帧的图像质量评分，加权计算得出当前自动测量的综合置信度分数；

26、判断所述综合置信度分数是否大于预设的安全评估阈值；

27、若所述综合置信度分数小于或等于预设的安全评估阈值，则生成包含预警提示信息的处理后图像帧，并拦截生成所述硬件采集触发信号的指令，以阻断超声报告工作站的自动采集留存动作；

28、若所述综合置信度分数大于预设的安全评估阈值，则执行将所述目标测量数值及测量标记叠加绘制至所述当前帧上的步骤。

29、进一步地，所述将所述目标测量数值及测量标记叠加绘制至所述当前帧上，生成携带测量信息的处理后图像帧的步骤包括：

30、在所述当前帧的解剖结构对应位置处，按照预设的视觉渲染参数绘制卡尺线段及轮廓线作为测量标记；

31、识别所述当前帧中非超声扫查影像区域的边缘空白区，获取所述边缘空白区的坐标范围；

32、将所述目标测量数值以结构化文本的形式绘制在所述边缘空白区的坐标范围内，生成所述处理后图像帧，以避免目标测量数值遮挡解剖结构原始病灶影像。

33、进一步地，所述将所述目标测量数值及测量标记叠加绘制至所述当前帧上的步骤包括：

34、解析接收到的所述视频信号，获取超声成像设备输出的原始视频帧分辨率及图像宽高比参数；

35、基于所述原始视频帧分辨率与基准模型计算分辨率的差异，计算对应的叠加渲染缩放系数以及坐标平移向量；

36、基于所述叠加渲染缩放系数及坐标平移向量，动态调整所述测量标记在当前帧上的绝对像素坐标映射关系、卡尺线段的绘制线宽，以及所述目标测量数值结构化文本的字体大小；

37、利用调整后的映射关系及样式参数进行渲染绘制，以确保在不同型号超声成像设备的输出分辨率下叠加的测量标记均能对齐解剖结构边缘且不产生视觉畸变。

38、进一步地，所述将所述处理后图像帧通过模拟视频采集卡接口透明传输至超声报告工作站，并同步通过模拟采集控制接口向所述超声报告工作站发送硬件采集触发信号的步骤包括：

39、将携带测量信息的处理后图像帧写入模拟视频采集卡模块的输出帧缓存区，以符合标准视频协议的视频信号持续输出至所述超声报告工作站；

40、在携带测量信息的处理后图像帧写入所述输出帧缓存区的同时或预设延时内，通过模拟采集控制接口向所述超声报告工作站发送所述硬件采集触发信号；

41、其中，所述硬件采集触发信号包括模拟usb hid键盘快捷键指令、通过vga接口特定针脚输出的ttl电平变化信号、串口com指令或joystick协议信号中的一种或多种。

42、进一步地，所述利用预训练的深度学习模型对所述数字视频帧序列进行关键测量图像识别的步骤之前，所述方法还包括：

43、读取预先配置的采集区域坐标参数；

44、根据所述采集区域坐标参数对所述数字视频帧序列中的每一帧图像进行固定区域的图像裁剪，剔除超声成像设备原生的非扫查区域界面，提取出纯净的超声扫查影像区域作为深度学习模型处理的输入图像。

45、进一步地，所述利用预训练的深度学习模型对所述数字视频帧序列进行关键测量图像识别的步骤之前，所述方法还包括：

46、计算连续数字视频帧序列之间的帧间运动矢量或光流速度；

47、当所述帧间运动矢量或光流速度大于预设运动失真阈值时，判定当前画面处于探头快速移动失真状态，并暂停执行所述利用预训练的深度学习模型对所述数字视频帧序列进行关键测量图像识别的步骤，直至所述帧间运动矢量或光流速度小于所述预设运动失真阈值。

48、进一步地，所述将所述处理后图像帧通过模拟视频采集卡接口透明传输至超声报告工作站的步骤执行的同时，所述方法还包括：

49、将提取的所述目标测量数值以及对应的检查项目标识封装转换为标准的医疗结构化数据格式文件，所述标准的医疗结构化数据格式包括json、xml或dicom sr格式；

50、通过预设的网络接口将所述医疗结构化数据格式文件发送至超声报告工作站所在的目标网络地址，以供所述超声报告工作站解析后，直接将所述目标测量数值填充至所述超声报告工作站当前正处于活动接收状态的患者报告模板的对应字段内。

51、本发明另一实施例的目的还在于提供一种基于视频分析的超声检查自动测量辅助系统，应用于分别与超声成像设备和超声报告工作站连接的超声检查自动测量辅助装置，所述系统包括：

52、视频采集模块，用于实时接收来自超声成像设备输出的视频信号，并将所述视频信号转换为数字视频帧序列；

53、图像识别模块，用于利用预训练的深度学习模型对所述数字视频帧序列进行关键测量图像识别，确定当前帧是否为目标关键测量图像；

54、自动测量模块，用于若图像识别模块确定当前帧为目标关键测量图像，则在所述当前帧中定位目标解剖结构的测量区域，并基于所述当前帧内的视觉特征进行自动测量计算，得到目标测量数值以及对应的测量标记；

55、叠加绘制模块，用于将所述目标测量数值及测量标记叠加绘制至所述当前帧上，生成携带测量信息的处理后图像帧；

56、采集触发模块，用于将所述处理后图像帧通过模拟视频采集卡接口透明传输至超声报告工作站，并同步通过模拟采集控制接口向所述超声报告工作站发送硬件采集触发信号，以控制所述超声报告工作站将当前传输的处理后图像帧进行自动采集留存。

57、本发明另一实施例的目的还在于提供一种超声检查自动测量辅助装置，分别与超声成像设备和超声报告工作站连接，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述所述的基于视频分析的超声检查自动测量辅助方法。

58、本发明实施例提供的基于视频分析的超声检查自动测量辅助方法，通过实时接收超声成像设备输出的视频信号并转换为数字视频帧序列，利用预训练的深度学习模型对数字视频帧序列进行关键测量图像识别，实现了对超声扫查过程中关键测量画面的全自动、连续且实时的智能感知，无需医生手动暂停或标记切面；而通过在确定为目标关键测量图像的当前帧中自动定位目标解剖结构的测量区域，并基于视觉特征自动执行测量计算以得到目标测量数值以及对应的测量标记，实现了对解剖结构形态学与尺寸参数的全自动提取，将超声医生从繁琐的手动打卡尺、选择测量项等机械性操作中彻底解放出来，有效降低了医生的操作负担，大幅提升了超声扫查的整体工作效率；而通过将目标测量数值及测量标记直接叠加绘制至当前帧上以生成携带测量信息的处理后图像帧，实现了测量依据（图形标记）与测量结果（数值文本）在原始影像上的直观融合与可视化呈现，确保了自动测量结果的直观性、可追溯性与透明度；而通过将处理后图像帧通过模拟视频采集卡接口透明传输至超声报告工作站，实现了对各类不同品牌、不同版本超声报告工作站的免安装驱动、免软件修改的即插即用式接入，有效避免了针对不同工作站系统定制开发专用软件接口所带来的高昂成本与兼容性失效问题；而通过在传输处理后图像帧的同时，同步通过模拟采集控制接口向超声报告工作站发送硬件采集触发信号以控制其自动采集留存，实现了对带有测量信息的关键图像帧的时序同步与无人工干预的自动归档，杜绝了传统流程中医生口述告知与录入员手动转抄所导致的听错、记错和漏录等人为差错，形成了从视频流输入到智能识别再到自动测量在到图层叠加最后硬件触发保存的全流程无感自动化闭环；解决了现有超声检查过程中医生手动测量操作负担沉重、口头沟通与人工转抄录入差错率高、以及现有自动化方案对接超声报告工作站改造成本高昂且系统兼容性差的问题。