一种胶囊内镜图像的病灶识别装置的制作方法

1.本技术涉及医疗检测辅助技术领域，特别是涉及一种胶囊内镜图像的病灶识别装置。


背景技术：

2.胶囊内镜作为一种无创、便捷的诊断方式，在胃肠疾病中的应用已得到业界的一致认可。胶囊内镜结合肠道疾病的诊断取得了革命性突破。
3.目前，胶囊内镜图像的病灶识别主要有以下三种：第一种，用卷积神经网络对采集到的数据帧做特征提取，然后和知识库中人工标注的病灶图片特征进行比对，最终实现病灶识别；第二种，对采集到的数据帧做数据增强处理(图像降噪、纹理处理、边缘检测、图像分割、边缘提取)，对数据增强的图片做特征提取，然后再做病灶识别；第三种，通过单一分割识别模型对采集的数据帧进行分割、识别。以上存在的问题主要是容易造成误检和漏检。
4.因此，如何提高胶囊内镜图像中病灶识别的准确性是本领域技术人员亟需要解决的问题。


技术实现要素：

5.本技术的目的是提供一种胶囊内镜图像的病灶识别装置，用于提高胶囊内镜图像中病灶识别的准确性。
6.为解决上述技术问题，本技术提供一种胶囊内镜图像的病灶识别装置，包括：
7.第一获取模块，用于获取胶囊内镜图像；
8.识别模块，用于通过语义分割识别模型对所述胶囊内镜图像进行病灶识别；
9.第一发送模块，用于若未识别到病灶，将所述胶囊内镜图像发送至客户端，以便所述客户端接收标注操作对所述胶囊内镜图像进行标注以得到第一训练数据；
10.第一更新模块，用于获取所述第一训练数据，根据所述第一训练数据对所述语义分割识别模型进行更新，以便更新后的所述语义分割识别模型对所述胶囊内镜图像进行病灶识别。
11.优选地，还包括：
12.判断模块，用于通过二分类模型判断所述胶囊内镜图像有无病灶；
13.第二发送模块，用于若有病灶，将有病灶的所述胶囊内镜图像发送至所述语义分割识别模型，以便所述语义分割识别模型对所述胶囊内镜图像进行病灶识别；
14.第三发送模块，用于若无病灶，将无病灶的所述胶囊内镜图像发送至所述客户端，以便所述客户端接收标注操作对所述胶囊内镜图像进行标注以得到第二训练数据。
15.优选地，还包括：
16.第二获取模块，用于获取所述第二训练数据；
17.第二更新模块，用于根据所述第二训练数据对所述二分类模型进行更新。
18.优选地，所述识别模块包括：
19.分割单元，用于识别到病灶，对所述胶囊内镜图像中的病灶部分进行分割；
20.分类单元，用于对分割出的所述病灶部分进行病灶的分类。
21.优选地，所述识别模块还包括：
22.生成单元，用于对所述胶囊内镜图像进行分割和分类后生成识别结果。
23.优选地，还包括：
24.保存模块，用于保存所述第一训练数据和所述第二训练数据。
25.优选地，所述客户端包括：
26.第一标注模块，用于接收所述标注操作对所述胶囊内镜图像中的病灶区域和病灶类别进行标注得到第一标注数据；
27.第一数据处理模块，用于接收数据处理操作对所述第一标注数据进行数据预处理生成所述第一训练数据。
28.优选地，所述客户端还包括：
29.第二标注模块，用于接收所述标注操作对所述胶囊内镜图像进行有病灶和无病灶的标注以得到第二标注数据；
30.第二数据处理模块，用于接收数据处理操作对所述第二标注数据进行数据预处理生成所述第二训练数据。
31.本技术还一种胶囊内镜图像的病灶识别装置，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如下步骤：
32.获取胶囊内镜图像；
33.通过语义分割识别模型对所述胶囊内镜图像进行病灶识别；
34.若未识别到病灶，将所述胶囊内镜图像发送至客户端，以便所述客户端接收标注操作对所述胶囊内镜图像进行标注以得到第一训练数据；
35.获取所述第一训练数据，根据所述第一训练数据对所述语义分割识别模型进行更新，以便更新后的所述语义分割识别模型对所述胶囊内镜图像进行病灶识别。
36.本技术还一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
37.获取胶囊内镜图像；
38.通过语义分割识别模型对所述胶囊内镜图像进行病灶识别；
39.若未识别到病灶，将所述胶囊内镜图像发送至客户端，以便所述客户端接收标注操作对所述胶囊内镜图像进行标注以得到第一训练数据；
40.获取所述第一训练数据，根据所述第一训练数据对所述语义分割识别模型进行更新，以便更新后的所述语义分割识别模型对所述胶囊内镜图像进行病灶识别。
41.本技术所提供的一种胶囊内镜图像的病灶识别装置，包括：第一获取模块，用于获取胶囊内镜图像；识别模块，用于通过语义分割识别模型对胶囊内镜图像进行病灶识别；第一发送模块，用于若未识别到病灶，将胶囊内镜图像发送至客户端，以便客户端接收标注操作对胶囊内镜图像进行标注以得到第一训练数据；第二更新模块，用于获取第一训练数据，根据第一训练数据对语义分割识别模型进行更新，以便更新后的语义分割识别模型对胶囊内镜图像进行病灶识别。在语义分割识别模型未识别到病灶时，将胶囊内镜图发送至客户端进行病灶的标注，防止语义分割模型识别不准确而漏检的问题。根据第一训练数据更新
语义分割识别模型，提高模型的鲁棒性，降低模型的误检率和漏检率，从而提高胶囊内镜图像中病灶识别的准确性。
附图说明
42.为了更清楚地说明本技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术实施例提供的一种胶囊内镜图像的病灶识别装置的结构图；
44.图2为本技术实施例提供的服务器端和客户端应用场景的的示意图；
45.图3为本技术实施例提供的另一种胶囊内镜图像的病灶识别装置的结构图。
具体实施方式
46.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本技术保护范围。
47.本技术的核心是提供一种胶囊内镜图像的病灶识别装置。
48.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。
49.图1为本技术实施例提供的一种胶囊内镜图像的病灶识别装置的结构图，如图1所示，胶囊内镜图像的病灶识别装置包括：
50.第一获取模块10，用于获取胶囊内镜图像；
51.识别模块11，用于通过语义分割识别模型对胶囊内镜图像进行病灶识别；
52.第一发送模块12，用于若未识别到病灶，将胶囊内镜图像发送至客户端，以便客户端接收标注操作对胶囊内镜图像进行标注以得到第一训练数据；
53.第一更新模块13，用于获取第一训练数据，根据第一训练数据对语义分割识别模型进行更新，以便更新后的语义分割识别模型对胶囊内镜图像进行病灶识别。
54.本技术实施例中第一获取模块10具备图像数据流的采集和传输能力，通过数字分量串行接口(serial digital interface，sdi)，数字视频接口(digital visual interface，dvi)，多媒体接口(high definition multimedia interface，hdmi)等从胶囊内镜图像处理器逐帧接收待理的rgb格式图像。获取到胶囊内镜图像后将胶囊内镜图像传输到识别模块11。
55.识别模块11设有语义分割识别模型，用于对胶囊内镜图像进行病灶识别。
56.在第一发送模块12中，将语义分割识别模型中未识别到病灶的胶囊内镜图像发送至客户端，以便客户端接收标注操作对胶囊内镜图像进行标注以得到第一训练数据。具体的，医生或专家在客户端对语义分割识别模型未识别出病灶的胶囊内镜图像再进行判断，判别有病灶并对其进行标注，本技术实施例对标注操作不作具体限定，具体的，对所述胶囊内镜图像中的病灶区域和病灶类别进行标注，有颜色的区域为有病灶区域，不同的颜色表示不同的病灶类型。
57.第一更新模块13获取到第一训练数据，对语义分割识别模型中权重文件进行更新，权重文件指的是深度学习搭建的模型在训练过程中可以学习的参数，对语义分割识别模型进行训练，从而更新语义分割识别模型。
58.本技术实施例提供一种胶囊内镜图像的病灶识别装置，包括：第一获取模块，获取胶囊内镜图像；识别模块，通过语义分割识别模型对胶囊内镜图像进行病灶识别；第一发送模块，若未识别到病灶，将胶囊内镜图像发送至客户端，以便客户端接收标注操作对胶囊内镜图像进行标注以得到第一训练数据；第二更新模块，根据第一训练数据对语义分割识别模型进行更新，以便更新后的语义分割识别模型对胶囊内镜图像进行病灶识别。未识别到病灶时，将胶囊内镜图像发送至客户端进行病灶的标注，防止语义分割模型识别不准确而漏检。根据第一训练数据更新语义分割识别模型，提高模型的鲁棒性，降低模型的误检率和漏检率，从而提高胶囊内镜图像中病灶识别的准确性。
59.基于上述实施例，本技术实施例还包括：判断模块，用于通过二分类模型判断胶囊内镜图像有无病灶；第二发送模块，用于若有病灶，将有病灶的胶囊内镜图像发送至语义分割识别模型，以便语义分割识别模型对胶囊内镜图像进行病灶识别；第三发送模块，用于若无病灶，将无病灶的胶囊内镜图像发送至客户端，以便客户端接收标注操作对胶囊内镜图像进行标注以得到第二训练数据。
60.本技术实施例在胶囊内镜图像发送至语义分割识别模型之前，还通过二分类模型先将胶囊内镜图像分为有病灶和无病灶，将有病灶的胶囊内镜图像发送至语义分割识别模型进行病灶识别，将无病灶的胶囊内镜图像发送至客户端，以便客户端的医生对其进行标注以得到第二训练数据。本技术实施例中的标注操作与上述实施例不同，具体的，对胶囊内镜图像进行有病灶和无病灶的标注，有病灶标注为0，无病灶标注为1。
61.本技术实施，在语义分割识别模型的前端增加二分类识别模型，进一步降低对胶囊内镜图像中病灶的漏检率。
62.基于上述实施例，本技术实施例还包括：第二获取模块，用于获取第二训练数据；第二更新模块，用于根据第二训练数据对二分类模型进行更新。
63.与更新语义分割识别模型相似，根据第二训练数据对二分类模型的权重文件进行更新，对二分类模型进行训练，并对二分类模型进行更新。
64.本技术实施例通过更新二分类模型，进一步提高二分类模型对胶囊内镜图像有无病灶检测的准确性。
65.基于上述实施例，识别模块包括：分割单元，用于识别到病灶，对胶囊内镜图像中的病灶部分进行分割；分类单元，用于对分割出的病灶部分进行病灶的分类；生成单元，用于对胶囊内镜图像进行分割和分类后生成识别结果。
66.语义分割识别模型对胶囊内镜图像进行病灶识别，具体的，对胶囊内镜图像中的病灶部分进行分割，沿着病灶边缘把病灶从图像中区分出来，对区分出来的病灶进行分类，并生成识别结果。
67.基于上述实施例，本技术实施例客户端包括：第一标注模块，用于接收标注操作对胶囊内镜图像中的病灶区域和病灶类别进行标注得到第一标注数据；第一数据处理模块，用于接收数据处理操作对所述第一标注数据进行数据预处理生成第一训练数据；第二标注模块，用于接收标注操作对胶囊内镜图像进行有病灶和无病灶的标注以得到第二标注数
据；第二数据处理模块，用于接收数据处理操作对第二标注数据进行数据预处理生成第二训练数据。相应的，客户端将第一训练数据和第二训练数据发送至保存模块，保存模块保存第一训练数据和第二训练数据。
68.医生在客户端中对胶囊内镜图像进行标注，对胶囊内镜图像的病灶区域通过鼠标点击病灶边缘进行重新标注，鼠标点击位置形json文件(javascript object notation，js对象简谱)。数据预处理过程即对标注形成的json文件进行解析，最终形成第一训练数据和第二训练数据。服务器的保存模块将第一训练数据和第二训练数据保存，可以用于训练语义分割识别模型和二分类模型。
69.为了更加清楚的了解本方案，图2为本技术实施例提供的服务器端和客户端应用场景的的示意图，如图2所示，服务器端包括二分类模型和语义分割识别模型，该应用场景包括包括：
70.s20：服务器端的二分类模型获取胶囊内镜图像。
71.s21：服务器端的二分类模型将胶囊内镜图像分为无病灶和有病灶。
72.s22：服务器端将无病灶的胶囊内镜图像发送至客户端。
73.s23：客户端的医生对胶囊内镜图像进行有病灶和无病灶的标注以得到第二标注数据。
74.s24：客户端将第二标注数据发送至服务器端的二分类模型。
75.s25：服务器端的二分类模型根据第二标注数据进行更新。
76.s26：服务器端将有病灶的胶囊内镜图像发送至服务器端的语义分割识别模型。
77.s27：服务器端的语义分割识别模型对胶囊内镜图像进行分割和分类。
78.s28：服务器端将无分割和分类结果的胶囊内镜图像发送至客户端。
79.s29：客户端的医生对胶囊内镜图像中的病灶区域和病灶类别进行标注得到第一标注数据。
80.s30：客户端将第一标注数据发送至服务器端的语义分割识别模型。
81.s31：服务器端的语义分割识别模型根据第一标注数据进行更新。
82.s32：服务器端的语义分割识别模型将有分割和分类结果的胶囊内镜图像生成识别结果。
83.需要说明的是，本技术实施例中的每个步骤的序号并不代表时间上的先后顺序，例如，步骤s22和步骤s26并无时间上的先后顺序，步骤s22和步骤s26可以是同时进行的。
84.本技术实施例通过在语义分割识别模型的前端增加二分类识别模型，在不降低服务器端系统耗能的前提下降低了对病灶的漏检率；通过医生标注得到的训练数据更新二分类模型和语义分割识别模型，克服训练数据匮乏的缺点，提高模型的鲁棒性，极大地降低模型的误检率和漏检率。
85.图3为本技术实施例提供的另一种胶囊内镜图像的病灶识别装置的结构图，如图3所示，胶囊内镜图像的病灶识别装置包括：存储器20，用于存储计算机程序；
86.处理器21，用于执行计算机程序时实现实现如下步骤：获取胶囊内镜图像；通过语义分割识别模型对胶囊内镜图像进行病灶识别；若未识别到病灶，将胶囊内镜图像发送至客户端，以便客户端接收标注操作对胶囊内镜图像进行标注以得到第一训练数据；获取第一训练数据，根据第一训练数据对语义分割识别模型进行更新，以便更新后的语义分割识
别模型对胶囊内镜图像进行病灶识别。
87.本实施例提供的胶囊内镜图像的病灶识别装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
88.其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
89.存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括windows、unix、linux等。数据203可以包括但不限于胶囊内镜图像，第一训练数据等。
90.在一些实施例中，胶囊内镜图像的病灶识别装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
91.本领域技术人员可以理解，图3中示出的结构并不构成对胶囊内镜图像的病灶识别装置的限定，可以包括比图示更多或更少的组件。
92.本技术实施例提供的胶囊内镜图像的病灶识别装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：获取胶囊内镜图像；通过语义分割识别模型对胶囊内镜图像进行病灶识别；若未识别到病灶，将胶囊内镜图像发送至客户端，以便客户端接收标注操作对胶囊内镜图像进行标注以得到第一训练数据；获取第一训练数据，根据第一训练数据对语义分割识别模型进行更新，以便更新后的语义分割识别模型对胶囊内镜图像进行病灶识别。
93.最后，本技术还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取胶囊内镜图像；通过语义分割识别模型对胶囊内镜图像进行病灶识别；若未识别到病灶，将胶囊内镜图像发送至客户端，以便客户端接收标注操作对胶囊内镜图像进行标注以得到第一训练数据；获取第一训练数据，根据第一训练数据对语义分割识别模型进行更新，以便更新后的语义分割识别模型对胶囊内镜图像进行病灶识别。
94.可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本技术各个
实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
95.以上对本技术所提供的胶囊内镜图像的病灶识别装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
96.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。