一种甲状腺超声异常区域捕捉方法、系统及电子设备与流程

1.本发明涉及图像处理与识别技术领域，特别是涉及一种甲状腺超声异常区域捕捉方法、系统及电子设备。


背景技术：

2.甲状腺结节是指在甲状腺内的肿块，是临床常见的病症，可由多种病因引起。临床上有多种甲状腺疾病，如甲状腺退行性变、炎症、自身免疫以及新生物等都可以表现为结节。甲状腺结节可以单发，也可以多发，多发结节比单发结节的发病率高，但单发结节甲状腺癌的发生率较高。
3.现有的超声波诊断方式都是采用超声波对患者的甲状腺进行超声波扫描，可获得持续多帧的甲状腺超声影像，然后医生通过肉眼对甲状腺超声影像进行人工判断，确定异常区域。现有的紧靠肉眼诊断的方式对医生的经验要求较高，而且误判率也会很高。
4.如何采用图像识别技术实现甲状腺超声影像中异常区域的自动捕捉，获得异常区域的检测框信息反馈给医生，供医生诊断，以减小误判率，成为一个亟待解决的技术问题。


技术实现要素：

5.有鉴于此，本发明提供了一种甲状腺超声异常区域捕捉方法、系统及电子设备，以采用图像识别技术实现甲状腺超声影像中异常区域的自动捕捉。
6.为实现上述目的，本发明提供了如下方案：
7.一种甲状腺超声异常区域捕捉方法，所述方法包括如下步骤：
8.获取当前帧及当前帧的前n帧的甲状腺超声影像中的同一异常区域的检测框，组成n 1个检测框；
9.对n 1个所述检测框进行空间坐标注意力机制处理，得到待测检测框；
10.将所述待测检测框输入长短期记忆网络模型，获得待测检测框的参数信息；所述参数信息包括位置和面积；
11.根据所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框，作为异常区域检测结果。
12.可选的，所述获取当前帧及当前帧的前n帧的甲状腺超声影像中的同一异常区域的检测框，组成n 1个检测框，具体包括：
13.采用超声捕捉算法获取当前帧的甲状腺超声影像中的异常区域的初始检测框；
14.对所述初始检测框进行修正，获得当前帧的甲状腺超声影像中的异常区域的检测框，作为第n 1个检测框；
15.选取当前帧之前的第n帧的甲状腺超声影像中的所有检测框中与第n 1个检测框的交并比最大的检测框，作为第n 1-n个检测框；n＝1，2，...，n。
16.可选的，对所述初始检测框进行修正，获得当前帧的甲状腺超声影像中的异常区
域的检测框，作为第n 1个检测框，具体包括：
17.判断所有初始检测框中是否存在大框套小框的状态，获得判断结果；
18.当所述判断结果表示是，则对处于大框套小框状态的两个初始检测框的面积进行加权平均处理，获得第n 1个检测框。
19.可选的，所述对n 1个所述检测框进行空间坐标注意力机制处理，得到待测检测框，具体包括：
20.将n 1个所述检测框输入第一一维卷积层，进行一维卷积处理，获得第一卷积结果；
21.将n 1个所述检测框输入第二一维卷积层，进行一维卷积处理，获得第二卷积结果；
22.将n 1个所述检测框输入相对位置编码器，进行相对位置编码，获得编码结果；
23.将所述第二卷积结果和所述编码结果进行点乘，获得点乘结果；
24.将所述第一卷积结果和所述点乘结果进行相加，获得相加结果；
25.对所述相加结果依次进行softmax函数计算和reshape函数计算，获得计算结果作为所述待测检测框。
26.可选的，所述根据所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框的参数信息，作为异常区域检测结果，具体包括：
27.对所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息进行加权平均处理，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框的参数信息，作为异常区域检测结果。
28.一种甲状腺超声异常区域捕捉系统，所述系统应用于上述的方法，所述系统包括：
29.检测框获取模块，用于获取当前帧及当前帧的前n帧的甲状腺超声影像中的同一异常区域的检测框，组成n 1个检测框；
30.待测检测框获取模块，用于对n 1个所述检测框进行空间坐标注意力机制处理，得到待测检测框；
31.参数信息获取模块，用于将所述待测检测框输入长短期记忆网络模型，获得待测检测框的参数信息；所述参数信息包括位置和面积；
32.检测框优化模块，用于根据所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框的参数信息，作为异常区域检测结果。
33.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
34.一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的方法。
35.根据本发明提供的具体实施例，本发明公开了以下技术效果：
36.本发明公开一种甲状腺超声异常区域捕捉方法、系统及电子设备，所述方法包括：获取当前帧及当前帧的前n帧的甲状腺超声影像中的同一异常区域的检测框，组成n 1个检测框；对n 1个所述检测框进行空间坐标注意力机制处理，得到待测检测框；将所述待测检
测框输入长短期记忆网络模型，获得待测检测框的参数信息；所述参数信息包括位置和面积；根据所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框，作为异常区域检测结果。本发明结合甲状腺结节的移动性，基于空间坐标注意力机制和长短期记忆网络模型对连续多帧的异常区域的检测框进行记忆和分析，实现了甲状腺超声异常区域的捕捉。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明实施例提供的甲状腺超声异常区域捕捉方法的流程图；
39.图2为本发明实施例提供的甲状腺超声异常区域捕捉方法的原理图；
40.图3为本发明实施例提供的优化前后的甲状腺超声影像示例图；
41.图4为本发明实施例提供的空间坐标注意力机制的结构示意图；
42.图5为本发明实施例提供的长短期记忆网络模型的结构示意图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.本发明的目的是提供提供了一种甲状腺超声异常区域捕捉方法、系统及电子设备，以采用图像识别技术实现甲状腺超声影像中异常区域的自动捕捉。
45.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
46.实施例1
47.如图1和2所示，本发明实施例1提供一种甲状腺超声异常区域捕捉方法，所述方法包括如下步骤：
48.步骤101，获取当前帧及当前帧的前n帧的甲状腺超声影像中的同一异常区域的检测框，组成n 1个检测框。
49.每当用户使用甲状腺结节超声定位软件新建扫查并开始运行的时候，本发明便开始接收软件后端目标检测甲状腺结节的算法输出的每一帧的甲状腺超声影像和检测框信息作为本发明的输入。首先，本发明会对当前帧的检测框进行修正，修正依据是：甲状腺超声影像表现的是人体器官或组织的一个切面的解剖信息，同一种分类的检测框不会存在大框套小框的情况。例如图3所示，当出现同一种分类下大框套小框的情况时，会根据大小两个检测框的面积求加权平均，合并得到当前帧的修正后的检测框。公式如下：
[0050][0051]
随后，将当前帧的修正后的检测框和已缓存的记忆进行比对，通过计算交并比(intersection over union，简称iou，计算方法如下，即交集和并集的面积比值)的方式，选择交并比最大的缓存记录作为当前帧的检测框所要继承的记忆和将要更新的记忆，因为存在多结节的情况，需要确定当前帧的检测框识别的是哪一个结节。
[0052]
基于上述原理，本发明实施例1的步骤101包括：采用超声捕捉算法获取当前帧的甲状腺超声影像中的异常区域的初始检测框；对所述初始检测框进行修正，获得当前帧的甲状腺超声影像中的异常区域的检测框，作为第n 1个检测框；选取当前帧之前的第n帧的甲状腺超声影像中的所有检测框中与第n 1个检测框的交并比最大的检测框，作为第n 1-n个检测框；n＝1，2，...，n。
[0053]
其中，对所述初始检测框进行修正，获得当前帧的甲状腺超声影像中的异常区域的检测框，作为第n 1个检测框，具体包括：判断所有初始检测框中是否存在大框套小框的状态，获得判断结果；当所述判断结果表示是，则对处于大框套小框状态的两个初始检测框的面积进行加权平均处理，获得第n 1个检测框。
[0054]
步骤102，对n 1个所述检测框进行空间坐标注意力机制处理，得到待测检测框。
[0055]
由于此处lstm(long short-termmemory，长短期记忆网络模型)是对空间坐标信息而不是时序信息进行分析，因此，检测框坐标在输入时会进行一维卷积(one dimensional convolution，简称conv1d)和相对位置编码(relative position embedding，简称rpe)，实现空间坐标注意力机制，更好的解析坐标的相对空间关系。
[0056]
基于上述原理，如图4所示，本发明步骤102具体包括：将n 1个所述检测框输入第一一维卷积层conv1d_1，进行一维卷积处理，获得第一卷积结果；将n 1个所述检测框输入第二一维卷积层conv1d_2，进行一维卷积处理，获得第二卷积结果；将n 1个所述检测框输入相对位置编码器rpe，进行相对位置编码，获得编码结果；将所述第二卷积结果和所述编码结果进行点乘，获得点乘结果；将所述第一卷积结果和所述点乘结果进行相加，获得相加结果；对所述相加结果依次进行softmax函数计算和reshape函数计算，获得计算结果作为所述待测检测框x
t
。
[0057]
步骤103，将所述待测检测框输入长短期记忆网络模型，获得待测检测框的参数信息；所述参数信息包括位置和面积。
[0058]
该长短期记忆网络模型的结构如图5所示，一层lstm是由单个循环结构组成，既由输入数据的维度和循环次数决定单个循环结构需要自我更新几次，而不是多个单个循环结构连接组成，即当前层lstm的参数总个数只需计算一个循环单元就行，而不是计算多个连续单元的总个数。
[0059]
单个循环结构即lstm细胞，包括输入门、遗忘门、输出门和单元状态。
[0060]
输入门：决定当前时刻网络的输入数据有多少需要保存到单元状态。
[0061]
遗忘门：决定上一时刻的单元状态有多少需要保留到当前时刻。
[0062]
输出门：控制当前单元状态有多少需要输出到当前的输出值。
[0063]
上一个时刻的输出h
t-1
和当前的数据输入(待测检测框x
t
)，通过遗忘门得到f
t
(f
t
为遗忘门的输出)的过程为：
[0064]ft
＝σ(wf·
[h
t-1
，x
t
] bf)；
[0065]
其中，wf和bf分别为遗忘门的两个参数，σ(
·
)为sigmoid函数。
[0066]
上一个时刻的输出h
t-1
和当前的数据输入(待测检测框x
t
)，通过输入门得到i
t
，以及通过单元状态得到当前时刻暂时状态的过程为：
[0067][0068]
其中，wi和bi为输入门的两个参数，wc和bc为单元状态的两个参数。
[0069]
上一个单个循环结构的单元状态c
t-1
、遗忘门的输出f
t
、输入门的输出i
t
以及当前时刻暂时状态得到当前单个循环结构的状态c
t
的过程为：
[0070][0071]
应用上一个时刻的输出h
t-1
和当前的数据输入(待测检测框x
t
)，通过输出门得到o
t
(o
t
为输出门的输出)的过程，以及结合当前单个循环结构的单元状态c
t
和
ot
得到最终的输出h
t
的过程为：
[0072][0073]
其中，wo和bo为输出门的两个参数。
[0074]
步骤104，根据所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框，作为异常区域检测结果。
[0075]
可选的，所述根据所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框的参数信息，作为异常区域检测结果，具体包括：
[0076]
对所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息进行加权平均处理，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框的参数信息，作为异常区域检测结果。
[0077]
本发明通过lstm的输出、当前帧的检测框、前一帧的检测框三者进行求加权平均，得到优化后的检测框。并且以此更新所属结节的缓存记忆，并根据中心点计算记忆缓存期间的位移，以实现对目标的跟踪，同时抑制位移幅度超过限制的记忆，根据研究结果和临床医学专家的指导，甲状腺结节是一个孤立的个体，而其他的组织结构是连续的，在动态的画面中会发生形变和移动，因此，可以根据位移幅度实现假阳抑制。
[0078]
通过位移监测的检测框首先会与目前为止的自动留图记录比较并更新记录，根据临床医生的指导和实际的治疗习惯，算法会保留截面积最大的检测框和对应图像。
[0079]
接着会根据该结节的检测框连续出现的帧数，选择是否输出当前结果，由于本发明会根据lstm和前一帧的检测框坐标对当前帧的检测框进行修正，因此，本发明会设置3帧
的稳定期，即当前帧的检测框为连续出现的第3帧及以上，才会开始输出结果，以保证最佳的检测效果。
[0080]
根据当前扫查是否结束，若未结束，则继续接收下一帧的影像画面和检测框；若结束，则保存自动留图的图像和检测框信息，并开始下一次扫查。
[0081]
实施例2
[0082]
本发明实施例2提供一种甲状腺超声异常区域捕捉系统，所述系统应用于实施例1的方法，所述系统包括：检测框获取模块，用于获取当前帧及当前帧的前n帧的甲状腺超声影像中的同一异常区域的检测框，组成n 1个检测框；待测检测框获取模块，用于对n 1个所述检测框进行空间坐标注意力机制处理，得到待测检测框；参数信息获取模块，用于将所述待测检测框输入长短期记忆网络模型，获得待测检测框的参数信息；所述参数信息包括位置和面积；检测框优化模块，用于根据所述待测检测框的参数信息、当前帧及当前帧的前1帧的甲状腺超声影像中的检测框的参数信息，获得当前帧的甲状腺超声影像中的所述异常区域的优化后的检测框的参数信息，作为异常区域检测结果。
[0083]
本发明实施例提供的系统中的各模块的功能实现的具体方式与实施例1方法的具体步骤相同，在此不再赘述。
[0084]
实施例3
[0085]
本发明实施例3提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1的方法。实例性的该电子设备可集成在现有的甲状腺超声影像采集系统，对实时获取的甲状腺超声影像进行异常区域识别、记录，进而实现目标(异常区域)的自动跟踪和自动留图。
[0086]
此外，上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0087]
实施例4
[0088]
本发明实施例4提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的方法。
[0089]
本发明的优点
[0090]
1)本发明能将临床医学知识融合进甲状腺超声异常区域捕捉软件的目标检测算法，对输出的检测框进行优化，并实现假阳抑制；
[0091]
2)由于动态超声影像的阅片是基于画面的连续性，而甲状腺结节超声捕捉算法只能对每一帧影像进行独立分析，并不具备对连续性的数据进行记忆和分析的能力，因此本发明通过lstm网络和前一帧画面对当前帧结果进行优化，甲状腺超声异常区域捕捉软件具备对连续性的数据进行记忆和分析的能力；
[0092]
3)lstm网络原本是用来分析时序数据而非空间坐标信息，本发明创新的使用一维卷积和相对位置编码对lstm网络进行改造，使其具备处理连续的空间坐标的能力；
[0093]
4)自动留图的功能可以大大减少用户同时操作超声机和甲状腺超声异常区域捕捉软件的难度和工作量；
[0094]
5)本发明的程序运行速度极快，运行时间≤0.001秒，不会对软件运行或用户体验造成影响；
[0095]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0096]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的控制方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。