超声数据处理方法、装置及计算机可读存储介质与流程

1.本发明涉及超声技术领域，尤其涉及一种超声数据处理方法、装置及计算机可读存储介质。


背景技术：

2.随着女性对自身健康的逐渐重视，女性乳腺健康服务市场越来越庞大，超声是公认适合用于进行乳腺癌筛查的技术，成本低、副作用小，为了提高乳腺癌患者生存率、降低死亡率，最有效方式群体性筛查。
3.乳腺健康的群体性筛查的超声扫查以及数据一般会通过医生或人工智能模型算法会对获取的乳腺超声数据进行阅片处理，最后给出筛查者对应的检查报告，而高质量、准确的检查报告与超声视频质量密不可分，而出现低质量超声视频后需要受检人员重新进行超声检测，但是在相关技术中，低质量超声视频的筛查通常由人工进行识别，但是在群体性筛查中，通过人工检测超声视频的质量效率太低。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种超声数据处理方法、超声数据处理装置及计算机可读存储介质，旨在达成提高检测超声视频质量的效率。
6.为实现上述目的，本发明提供一种超声数据处理方法，所述超声数据处理方法包括：获取采集到的超声视频的图像帧；根据分类任务模型确定所述图像帧对应的类别信息，其中，所述分类任务模型根据所述图像帧属于各个类别的概率，确定所述图像帧对应的类别；根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长；根据所述连续异常时长确定所述超声视频的检查质量。
7.可选地，所述类别包括正常图像、贴合异常图像和超声参数异常图像。
8.可选地，所述根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长的步骤包括：确定所述特征向量中表示所述图像帧是正常图像的向量元素对应的位置信息；根据所述位置信息确定所述连续异常时长。
9.可选地，所述根据所述位置信息确定所述连续异常时长的步骤包括：根据所述位置信息确定所述超声视频的连续异常帧数；获取所述超声视频的帧率；根据所述连续异常帧数和所述帧率确定所述连续异常时长。
10.可选地，所述根据分类任务模型确定所述图像帧对应的类别信息的步骤之前，还包括：对所述图像帧进行模板匹配，确定所述图像帧的无效深度信息区域；裁剪所述无效深度信息区域；将裁剪后的图像帧输入所述分类任务模型。
11.可选地，所述根据所述连续异常时长确定所述超声视频的检查质量的步骤包括：获取与所述超声视频对应的扫描探头的扫描速度；根据所述扫描速度确定预设阀值；若所述连续异常时长大于所述预设阀值时，则判定所述超声视频的检查质量异常。
12.可选地，所述若所述连续异常时长大于所述预设阀值时，则判定所述超声视频的检查质量异常的步骤之后，还包括：确定与所述超声视频对应的受检人员的身份信息；根据所述身份信息向超声检测设备的操作人员发出检查质量异常的提示。
13.此外，为实现上述目的，本发明还提供一种超声数据处理装置，所述超声数据处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声数据处理程序，所述超声数据处理程序被所述处理器执行时实现如上所述的超声数据处理方法的步骤。
14.此外，为实现上述目的，本发明还提供一种超声数据处理装置，所述超声数据处理装置包括：获取模块，用于获取采集到的超声视频的图像帧；分类模块，用于根据分类任务模型确定所述图像帧对应的类别信息，其中，所述分类任务模型根据所述图像帧属于各个类别的概率，确定所述图像帧对应的类别；构建模块，用于根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长；确定模块，用于根据所述连续异常时长确定所述超声视频的检查质量。
15.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有超声数据处理程序，所述超声数据处理程序被处理器执行时实现如上所述的超声数据处理方法的步骤。
16.本发明实施例提出的一种超声数据处理方法、装置及计算机可读存储介质，先获取采集到的超声视频的图像帧；根据分类任务模型确定所述图像帧对应的类别信息，其中，所述分类任务模型根据所述图像帧属于各个类别的概率，确定所述图像帧对应的类别；根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长；根据所述连续异常时长确定所述超声视频的检查质量。这样通过逐帧处理超声视频，通过分类任务模型确定每个图像帧的类别信息，根据该类别信息构建该超声视频对应的特征向量，从而确定而连续异常时长，根据该连续异常时长确定超声视频的检查质量，本方案不需要人工介入，可以提高检测超声视频质量的效率。
附图说明
17.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；图2为本发明超声数据处理方法的一实施例的流程示意图；图3为本发明超声数据处理方法的另一实施例的流程示意图；图4为本发明超声数据处理方法一实施例涉及的一异常图像帧；图5为本发明超声数据处理方法一实施例涉及的又一异常图像帧；图6为本发明超声数据处理方法一实施例涉及的一原始图像帧；图7为本发明超声数据处理方法一实施例涉及的一裁剪后图像帧；图8为本发明超声数据处理方法一实施例涉及的又一裁剪后图像帧；图9为本发明实施例涉及的超声数据处理装置架构简图。
18.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
19.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
20.由于在相关技术中，乳腺健康的群体性筛查的超声视频的质量检测一般时通过人工识别检测，但是这种方式在群体性筛查中，检测超声视频质量的效率太低。
21.为了提高检测超声视频质量的效率，本发明实施例提出一种超声数据处理方法、装置及计算机可读存储介质，其中，所述超声数据处理方法的主要步骤包括：获取采集到的超声视频的图像帧；根据分类任务模型确定所述图像帧对应的类别信息，其中，所述分类任务模型根据所述图像帧属于各个类别的概率，确定所述图像帧对应的类别；根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长；根据所述连续异常时长确定所述超声视频的检查质量。
22.这样通过分类任务模型对超声视频的图像帧进行分类处理，先确定图像帧属于各个类别的概率，进而确定图像帧的类别信息，根据该类别信息可以生成特征向量，从而确认所述超声视频对应的连续异常时长，根据连续异常时长确定超声视频的检查质量，本发明不需要人工参与。因此，基于可以提高检测超声视频质量的效率。
23.以下结合附图对本发明权利要求要求保护的内容进行详细说明。
24.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
25.本发明实施例终端可以是超声数据处理装置。
26.如图1所示，该终端可以包括：处理器1001，例如cpu，存储器1003，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。存储器1003可以是高速ram存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储装置。
27.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
28.如图1所示，作为一种计算机可读存储介质的存储器1003中可以包括操作系统以及超声数据处理程序。
29.在图1所示的终端中，处理器1001可以用于调用存储器1003中存储的超声数据处理程序，并执行以下操作：获取采集到的超声视频的图像帧；根据分类任务模型确定所述图像帧对应的类别信息，其中，所述分类任务模型根据所述图像帧属于各个类别的概率，确定所述图像帧对应的类别；根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长；根据所述连续异常时长确定所述超声视频的检查质量。
30.进一步地，处理器1001可以调用存储器1003中存储的超声数据处理程序，还执行以下操作：确定所述特征向量中表示所述图像帧是正常图像的向量元素对应的位置信息；根据所述位置信息确定所述连续异常时长。
31.进一步地，处理器1001可以调用存储器1003中存储的超声数据处理程序，还执行以下操作：根据所述位置信息确定所述超声视频的连续异常帧数；获取所述超声视频的帧率；根据所述连续异常帧数和所述帧率确定所述连续异常时长。
32.进一步地，处理器1001可以调用存储器1003中存储的超声数据处理程序，还执行以下操作：对所述图像帧进行模板匹配，确定所述图像帧的无效深度信息区域；裁剪所述无效深度信息区域；将裁剪后的图像帧输入所述分类任务模型。
33.进一步地，处理器1001可以调用存储器1003中存储的超声数据处理程序，还执行以下操作：获取与所述超声视频对应的扫描探头的扫描速度；根据所述扫描速度确定预设阀值；若所述连续异常时长大于所述预设阀值时，则判定所述超声视频的检查质量异常。
34.进一步地，处理器1001可以调用存储器1003中存储的超声数据处理程序，还执行以下操作：确定与所述超声视频对应的受检人员的身份信息；根据所述身份信息向超声检测设备的操作人员发出检查质量异常的提示。
35.随着女性对自身健康的逐渐重视，女性乳腺健康服务市场越来越庞大，超声是公认适合用于进行乳腺癌筛查的技术，成本低、副作用小，为了提高乳腺癌患者生存率、降低死亡率，最有效方式群体性筛查。
36.在基于aibus设备的群体性筛查过程中，乳腺健康的群体性筛查的超声扫查以及数据一般会通过医生或人工智能模型算法会对获取的乳腺超声数据进行阅片处理，最后给出筛查者对应的检查报告，而高质量、准确的检查报告与超声视频质量密不可分，若自动化超声扫查过程中没有超声视频的质量监测，可能会导致上传至数据系统的数据存在各样问
题。
37.超声扫查时常见贴合不佳导致组织信息缺失，长时间的贴合不佳导致大面积乳腺组织信息的缺失，耦合剂涂抹不均匀导致部分数据缺失(如图4所示)，超声探头参数异常导致超声成像偏暗且呈现近似无回声状态(如图5所示)，超声探头参数异常导致超声成像偏暗且呈现近似无回声状态等问题。上述问题的存在，都会不同程度的影响超声成像质量，导致图像中内容缺失，缺失的内容可能存在病灶信息，出现低质量超声视频后需要受检人员重新进行超声检测，但是在相关技术中，低质量超声视频的筛查通常由人工进行识别，但是在群体性筛查中，通过人工检测超声视频的质量效率太低。
38.由此可见，在相关超声视频处理方法中，存在上述缺陷。本发明实施例为解决上述缺陷，提出一种超声数据处理方法，旨在通过人工智能和超声视频的连续异常时长来判定超声视频的检查质量，以达成提高检测超声视频质量效率的效果。
39.以下，通过具体示例性方案对本发明权利要求要求保护的内容，进行解释说明，以便本领域技术人员更好地理解本发明权利要求的保护范围。可以理解的是，以下示例性方案不对本发明的保护范围进行限定，仅用于解释本发明。
40.示例性地，参照图2，在本发明超声数据处理方法的一实施例中，所述超声数据处理方法包括以下步骤：步骤s10、获取采集到的超声视频的图像帧；在本实施例中，执行主体可以超声数据处理装置，处理对象可以是条扫乳腺超声视频数据。
41.超声数据处理装置可以包括超声数据采集装置，其自身可以采集超声数据，也可以与超声数据采集装置连接，在执行超声数据处理方法时接收超声数据采集装置发送的超声视频。超声视频中包括若干图像帧，每一帧图像都是受检部位的超声图像，本实施例主要针对超声视频的单帧乳腺超声图像进行处理，对贴合不加、超声探头参数异常造成的超声视频检查质量低进行监测。
42.可选地，在超声数据采集装置采集到超声视频后，实时获取超声视频进行处理，以便实时提醒设备操作者进行相关核查、并对受检人员重新进行扫查。
43.步骤s20、根据分类任务模型确定所述图像帧对应的类别信息，其中，所述分类任务模型根据所述图像帧属于各个类别的概率，确定所述图像帧对应的类别。
44.在本实施例中，将超声视频输入分类任务模型，分类任务模型可以对超声视频的图像帧逐个依次处理，分类任务模型可以是深度学习网络模型，对于该类型模型而言，网络形式各式各样，大小不一，根据分类任务复杂程度选择大小不同的模型。对于简单数据而言，可以选用mobilenet、squeezenet、mobilenetv2等小型网络，对于复杂数据而言，可以选用resnet、densenet、efficientnet等网络，若本实施例提供的超声数据图像处理方法需集成部署在工控机使用，则会对分类任务模型算力和大小有极大限制，应考虑数据复杂程度、模型精度以及实际运行环境。
45.分类任务模型对单一的图像帧进行处理时，分类任务模型会确定图像帧属于各个类别的概率，根据该概率确定图像帧所对应的类别。
46.可选地，所述类别包括正常图像、贴合异常图像和超声参数异常图像。
47.分类任务模型可以完成多分类任务，对应的图像帧会涉及三种类别：类别0：正常
图像，类别1：贴合异常图像，类别2：超声参数异常图像。
48.可选地，分类任务模型是进行模型压缩后的mobilenetv2。
49.进一步地，分类任务模型可以采用softmax分类损失函数，公式如下：其中，c为分类任务类比为总数，若类别包括正常图像、贴合异常图像和超声参数异常图像，则c=3，softmax（zi）为输入zi对应的概率值。
50.经过softmax分类函数后，各类别概率被归一化，即输入数据输出的各类别概率相加和为1。即经过softmax损失函数后，输出形如[s0，s1，s2]的向量s，且s0 s1 s2=1。其中，s0，s1，s2中的最大值对应在向量s中的索引号为该数据对应类别。
[0051]
具体地，若s0为最大值，则其对应在列表s中的索引号为0，代表该图像帧为类别0，即正常图像；若s1为最大值，则其对应在列表s中的索引号为1，代表该图像帧为类别1，即贴合异常图像；若s2为最大值，则其对应在列表s中的索引号为2，代表该图像帧为类别2，即超声参数异常图像。
[0052]
可选地，为了减少计算量，可以根据需求，选取预设间隔数量的超声视频图像帧进行处理，比如，每间隔n个图像帧选取一个目标图像帧，通过分类任务模型确定类别信息。
[0053]
步骤s30、根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长。
[0054]
在本实施例中，超声视频的每个图像帧均通过分类任务模型确认了对应的类别信息，图像帧依次排列，根据该类别信息构建超声视频的特征向量。对特征向量进行处理，计算超声视频中质量连续异常时长。
[0055]
可选地，确定所述特征向量中表示所述图像帧是正常图像的向量元素对应的位置信息；根据所述位置信息确定所述连续异常时长。
[0056]
特征向量中每一个元素表示对应图像帧的类别信息，元素的位置信息是该元素在该特征向量中的排列顺序，其对应的图像帧在超声图像中也是相应的排列顺序，如果正常图像的向量元素之间存在其他元素，那该元素是在异常图像帧，如此，根据两个正常图像的向量元素可以定位到超声视频的连续异常时长，可以理解的是，超声视频出现连续异常的片段可能有多个，对应的连续异常时长的数值也可能是多个。
[0057]
进一步地，根据所述位置信息确定所述超声视频的连续异常帧数；获取所述超声视频的帧率；根据所述连续异常帧数和所述帧率确定所述连续异常时长。
[0058]
位置信息是表示该向量元素在特征向量的排列顺序，两个相邻的正常图像帧向量元素的排列顺序的差值，可以确定这两个正常图像帧向量元素之间的异常图像帧的个数，即连续异常帧数，确定特征向量的全部连续异常帧数，获取该超声视频的帧率，一般为20fps，根据以下公式确定连续异常时长：d=n/f其中，d为连续异常时长，n为连续异常帧数，f为帧率。
[0059]
步骤s40、根据所述连续异常时长确定所述超声视频的检查质量。
[0060]
在本实施例中，连续异常时长表示超声视频中连续出现异常情况的时长，若连续
异常时长太长或者出现连续异常的情况太多，则表示超声视频的检查质量太低，出现贴合异常或超声参数异常的问题比较严重，属于低质量视频，反之，若未确定到连续异常时长，或者连续异常时长较短，则表示超声视频的检查质量正常或者较好。
[0061]
可选地，获取与所述超声视频对应的扫描探头的扫描速度；根据所述扫描速度确定预设阀值。若所述连续异常时长大于所述预设阀值时，则判定所述超声视频的检查质量异常。
[0062]
超声视频的获取方式是通过扫描探头扫描收件部位采集视频，扫描探头的扫描速度可以确定，在群体筛查中，通常会常用aibus设备，aibus设备的机器臂移动速度7mm/s，即扫描速度为7mm/s，结合运行场景下可接受的重扫比例，设定连续异常时长的预设阀值为3s，在超声视频中存在连续异常时长超过预设阀值的情况，才会提示设备操作人员对受检人员重新扫查，以便获取更高质量超声数据。
[0063]
进一步地，确定与所述超声视频对应的受检人员的身份信息；根据所述身份信息向超声检测设备的操作人员发出检查质量异常的提示。
[0064]
在确定超声视频的检查质量异常后，获取会提示设备操作人员对受检人员重新扫查，以便获取更高质量超声数据。
[0065]
为了更好地理解，示例性地，若类别用索引号0，1，2表示，则构建的特征向量v形如[0，0，0，1，2，...，0，1， 2]，可以理解的是，特征向量v的元素个数等于输入分类任务模型的超声视频图像帧的个数，因此，对该特征向量v进行后处理，计算得到连续异常图像帧的总帧数n。首先，在特征向量v的首尾增加0元素，形成新的向量v1；然后获取特征向量v1中所有0元素的位置，依次存放至新的向量l中，则l形如[l1， l2， ...， ln]；依次计算向量l中连续两个元素间差值，即依次计算l2-l1， l3-l2， ...， ln
ꢀ‑
ln-1，将上述计算的差值存放至新的向量r中；r中的元素表示连续异常图像帧数，获取r中的最大元素值，该元素值即为最大连续异常图像帧数；超声视频帧率f为20fps，在换算成对应的连续异常时长d，最后，比较连续异常时长d与预设阀值t的关系。若d大于t，则该超声视频存在严重检测质量的问题，属于低质量超声数据，需要提示设备员对受检人员进行重新扫查，以便获取更高标准的超声视频数据。
[0066]
在本实施例公开的技术方案中，获取采集到的超声视频的图像帧；根据分类任务模型确定所述图像帧对应的类别信息，其中，所述分类任务模型根据所述图像帧属于各个类别的概率，确定所述图像帧对应的类别；根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长；根据所述连续异常时长确定所述超声视频的检查质量。这样通过分类任务模型确定超声视频图像帧的类别信息，通过类别信息构建超声图像的特征向量，从而确定连续异常时长，并根据连续异常时长确定超声视频的扫查质量，不需人工识别，在超声群体筛查过程中可以节约大量时间，且提高了检测超声视频质量的效率。
[0067]
可选地，参照图3，基于上述任一实施例，在本发明超声数据处理方法的另一实施例中，所述超声数据处理方法包括：步骤s50、对所述图像帧进行模板匹配，确定所述图像帧的无效深度信息区域；步骤s60、裁剪所述无效深度信息区域；步骤s70、将裁剪后的图像帧输入所述分类任务模型。
[0068]
在本实施例中，在获取采集到的超声视频的图像帧之后，以及在根据分类任务模型确定图像帧对应的类别信息之前，还需要对图像帧进行预处理，超声视频图像帧是具有深度信息的图像，原始采集的超声视频数据的图像帧一般会含有部分无效深度信息内容，如图6虚线框内所示，因此先通过模板匹配，确定图像帧的无效深度信息区域没在对该部分区域裁剪掉，剩下仅具有深度信息的图像帧，将经过裁剪后的图像帧输入所述分类任务模型进行处理，以确定该图像帧的深度信息图像。
[0069]
进一步地，选择超声视频的第一图像帧，确认第一图像帧的无效深度信息区域，根据所述无效深度信息区域裁剪超声视频的所有图像帧，在根据分类任务模型确定图像帧的类别信息。
[0070]
进一步地，根据超声视频的检查类型，确定重点检测区域，裁剪除所述重点检测区域的其他区域。
[0071]
为了更好地理解，示例性地，参照图6，图6是超声视频中某一图像帧，虚线框为无效深度信息区域，通过模板匹配，匹配刻度0的位置，基于一定后处理，对图像进行裁剪并记录该数据裁剪标记位置l，生成如图7所示的图像，即图7相较图6裁剪去了无效深度信息区域，根据裁剪标记l进行裁剪超声视频的其他图像帧，无需每帧图像都信息模板匹配计算，节约时间。进一步的，对于乳腺超声视频质量检测而言，重点关注腺体层以上图像信息，因远场图像若不含有腺体层，即使存在质量问题对医生出具报告也无实质影响。因此，考虑模型鲁棒性，裁剪图6或图7中图像高度的前0.75全部宽度的图像内容，得到图8，再进行灰度化、尺寸调整、归一化等操作，输入进网络模型进行推理。
[0072]
在本实施例公开的技术方案中，对所述图像帧进行模板匹配，确定所述图像帧的无效深度信息区域；裁剪所述无效深度信息区域；将裁剪后的图像帧输入所述分类任务模型，分类任务模型不需要对无效深度区域进行处理，无效深度区域也不会影响分类信息结果，从而使得分类任务模型确认的类别信息准确性更高，最终的检测质量结果准确性也会更高，减少计算量，提高检测超声视频质量的效率。
[0073]
此外，本发明实施例还提出一种超声数据处理装置，所述超声数据处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声数据处理程序，所述超声数据处理程序被所述处理器执行时实现如上各个实施例所述的超声数据处理方法的步骤。
[0074]
此外，本发明实施例还提出一种超声数据处理装置，示例性地，参照图9，所述超声数据处理装置 100包括：获取模块101、分类模块102、构建模块103和确认模块104，其中，所述获取模块101用于获取采集到的超声视频的图像帧；所述分类模块102用于根据分类任务模型确定所述图像帧对应的类别信息，其中，所述分类任务模型根据所述图像帧属于各个类别的概率，确定所述图像帧对应的类别；所述构建模块103用于根据所述类别信息构建所述超声视频对应的特征向量，并基于所述特征向量确定所述超声视频对应的连续异常时长；所述确认模块104用于根据所述连续异常时长确定所述超声视频的检查质量。
[0075]
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有超声数据处理程序，所述超声数据处理程序被处理器执行时实现如上各个实施例所述的超声数据处理方法的步骤。
[0076]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0077]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0078]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得超声数据处理装置执行本发明各个实施例所述的方法。
[0079]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。