一种胶囊内窥镜质控方法及系统与流程

1.本发明涉及医疗器械技术械领域，尤其涉及一种胶囊内窥镜质控方法及系统。


背景技术：

2.目前磁控胶囊内窥镜的控制方式主要有两种，第一种是医护人员根据个人的临床经验手动操作磁控设备引导胶囊内窥镜实现对目标区域的检查；第二种是安装有控制软件的终端设备控制磁控设备引导胶囊内窥镜实现对目标区域的自动检查。不管是第一种控制方法，还是第二种控制方法都有漏检的风险，而对目标区域的全面扫描检查是疾病诊断的前提和基础，因此如何确保胶囊内窥镜检查的全面性是目前亟待解决的问题。


技术实现要素：

3.为了解决现有技术中存在的上述技术问题，本发明提供一种胶囊内窥镜质控方法及系统，旨在磁控胶囊内窥镜对目标区域扫描过程，实时确定目标区域的各个目标部位是否被完整看到，以确保检查的全面性及质量。
4.本发明实施例提供一种胶囊内窥镜质控方法，包括步骤：磁控设备通过第一磁体驱动胶囊内窥镜在目标区域内运动；所述胶囊内窥镜在所述目标区域内采集图像，并将所述图像发送至终端设备；所述终端设备对所述图像中的特征部位进行识别，并输出所述特征部位的id及检测框；所述终端设备根据所述特征部位的所述id及所述检测框对所述图像中的场景进行识别，其中，所述场景包括k个所述特征部位以及所述特征部位之间的相互关系，并以所述相互关系定义所述场景的唯一性，其中k为正整数；所述终端设备根据所述场景或者场景组合确定目标部位是否被完整检查到。
5.在一些实施例中，所述相互关系包括：m个所述特征部位分别到所述胶囊内窥镜的镜头中心的距离在预设的第一阈值范围内；m个所述特征部位的面积之和在预设的第二阈值范围内；m个所述特征部位的质心之间的距离在预设的第三阈值范围内；m个所述特征部位的质心分别与所述镜头中心的连线的夹角在预设的第四阈值范围内；第m 1个特征部位的质心与所述镜头中心的连线和第m个特征部位的质心与所述镜头中心的连线的夹角的角度方向满足预设的顺逆时针选择；所述第m 1特征部位的质心到所述镜头中心的距离与所述第m个特征部位的质心到所述镜头中心的距离对比满足预设条件；其中m为正整数，且m≤k。
6.在一些实施例中，所述场景包括主要被看到的部位以及次要被看到的部位。
7.在一些实施例中，所述终端设备根据所述特征部位对所述图像中的场景进行识别包括：判断m个所述特征部位是否满足所述场景要求的特征部位id及特征部位数量；判断m个所述特征部位是否满足所述相互关系；当m个所述特征部位满足所述场景要求的特征部位id及特征部位数量以及m个所述特征部位满足所述相互关系时，所述场景识别成功。
8.在一些实施例中，所述终端设备根据所述场景或者场景组合确定目标部位是否被完整检查到包括：当所述场景或者场景组合中的主要被看到的部位包括所述目标部位，且次要被看到的部位包括所述目标部位的所有相邻部位时，所述目标部位被完整检查到。
9.在一些实施例中，所述方法还包括：当所述目标区域内的所有所述目标部位都被完整检查到时，所述目标区域检查完整。
10.在一些实施例中，所述方法还包括：所述终端设备对所述图像的图像质量进行检测，得到质检结果。
11.在一些实施例中，所述终端设备对所述图像的图像质量进行检测，得到质检结果包括步骤：所述终端设备对所述图像进行过曝检测，得到过曝检测结果；所述终端设备对所述图像进行欠曝检测，得到欠曝检测结果；所述终端设备对所述图像进行粘液检测，得到粘液检测结果；所述终端设备对所述图像进行模糊检测，得到模糊检测结果。
12.在一些实施例中，所述终端设备对所述图像进行过曝检测，得到过曝检测结果包括：所述终端设备通过高斯滤波去除所述图像的噪声，得到去噪后的图像；所述终端设备根据预设亮度阈值对所述去噪后的图像进行二值化处理，得到二值化图像；所述终端设备检测所述二值化图像中的高亮度区域，得到多个第一高亮度区域；所述终端设备确定多个所述第一高亮度区域中区域面积大于第一预设面积阈值的区域，得到多个第二高亮度区域；所述终端设备统计多个所述第二高亮度区域的区域面积之和，得到第一总面积；当所述第一总面积大于第二预设面积阈值时，所述图像过曝，得到所述过曝检测结果为所述图像不符合要求；当所述总面积小于或等于第二预设面积阈值时，得到所述过曝检测结果为所述图像符合要求。
13.在一些实施例中，所述终端设备对所述图像进行欠曝检测，得到欠曝检测结果包括：所述终端设备计算所述图像的平均灰度，得到所述平均灰度值；当所述平均灰度值小于预设灰度阈值时，所述图像欠曝，得到所述欠曝检测结果为所述图像不符合要求；
当所述平均灰度值大于或等于预设灰度阈值时，所述图像未欠曝，得到所述欠曝检测结果为所述图像符合要求。
14.在一些实施例中，所述终端设备对所述图像进行粘液检测，得到粘液检测结果包括：所述终端设备将所述图像转换到hsv空间，得到hsv图像；所述终端设备确定所述hsv图像中s空间值小于预设s阈值的区域，得到多个低饱和度区域；所述终端设备以多个所述低饱和度区域作为种子，在s空间根据色彩梯度变化进行漫水填充，得到多个第一粘液区域；所述终端设备确定多个所述第一粘液区域中区域面积大于第三预设面积阈值的区域，得到多个第二粘液区域；所述终端设备统计多个所述第二粘液区域的区域面积之和，得到第二总面积；当所述第二总面积大于第四预设面积阈值时，所述图像粘液多，得到所述粘液检测结果为所述图像不符合要求；当所述第二总面积小于或等于第四预设面积阈值时，所述图像粘液少，得到所述粘液检测结果为所述图像符合要求。
15.在一些实施例中，所述终端设备对所述图像进行模糊检测，得到模糊检测结果包括：所述终端设备对所述图像进行卷积运算处理，计算所述图像的色彩通道的梯度变化方差，得到梯度变化方差值；当所述梯度变化方差值小于预设阈值时，所述图像模糊，得到所述模糊检测结果为所述图像不符合要求；当所述梯度变化方差值大于或等于所述预设阈值时，所述图像清晰，得到所述模糊检测结果为所述图像符合要求。
16.本发明实施例提供一种胶囊内窥镜质控系统，包括磁控设备、胶囊内窥镜和终端设备，所述终端设备分别与所述磁控设备、所述胶囊内窥镜通讯连接；磁控设备用于通过第一磁体驱动胶囊内窥镜在目标区域内运动；所述胶囊内窥镜用于在所述目标区域内采集图像，并将所述图像发送至终端设备；所述终端设备用于对所述图像中的特征部位进行识别，并输出所述特征部位的id及检测框；所述终端设备用于根据所述特征部位的所述id及所述检测框对所述图像中的场景进行识别；所述终端设备还用于根据所述场景或者场景组合确定目标部位是否被完整检查到。
17.本发明实施例提供的一种胶囊内窥镜质控方法，磁控设备通过第一磁体驱动胶囊内窥镜在目标区域内运动；所述胶囊内窥镜在所述目标区域内采集图像，并将所述图像发送至终端设备；所述终端设备对所述图像中的特征部位进行识别，并输出所述特征部位的id及检测框；所述终端设备根据所述特征部位的所述id及所述检测框对所述图像中的场景
进行识别，其中，所述场景包括k个所述特征部位以及所述特征部位之间的相互关系，并以所述相互关系定义所述场景的唯一性，其中k为正整数；所述终端设备根据所述场景或者场景组合确定所述目标部位是否被完整检查到。从而确保每一个目标部位都能被完整检查到，从而保证胶囊内窥镜检查的全面性，避免漏检。
附图说明
18.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。
19.图1为本发明实施例中一种胶囊内窥镜质控方法的流程图；图2为本发明实施例中第一特征部位胃体腔和第二特征部位胃角之间的相互关系；图3为本发明实施例中又一种胶囊内窥镜质控方法的部分流程图；图4为本发明实施例中一种胶囊内窥镜质控系统的结构示意图。
具体实施方式
20.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
21.胶囊内窥镜是近十几年发展起来的一种新的，用于胃肠疾病检查的医疗器械，胶囊内窥镜与传统的电子内窥镜相比，具有无创、无痛，患者体验更佳等优点，迅速从实验室走向了临床，目前在国内外各大医疗机构或者体检机构内，用户已经可以选择胶囊内窥镜进行胃肠镜检查。胶囊内窥镜发展至今，经历了被动式到主动式控制来完成对胃肠道的检查。被动式的检查是指胶囊内窥镜通过胃肠道的蠕动带动胶囊内窥镜移动来完成对胃肠道的检查，由于胃肠道的蠕动是因人而异的，并且也是瞬息万变的，不可控的，无规律的，因此导致胶囊内窥镜的移动也是不可控的、随机的，进一步导致胶囊内窥镜的检查结果不准确，难以保证胶囊内窥镜对胃肠道的全面检查。通过对胶囊内窥镜的主动控制来完成对胃肠道的检查是指：体外的磁控设备通过控制第一磁体运动来带动体内的胶囊内窥镜中的第二磁体运动，从而使胶囊内窥镜可控地完成对胃肠道内各个目标部位的拍摄，然而由于胶囊内窥镜的尺寸较小，由于受到磁控精度及胃肠道蠕动的影响，无法实时精确的定位胶囊内窥镜的位置，并且对于目前的人工智能来说，还无法通过机器学习来实现对胃部24个目标部位的识别，以及对肠的各个部位的识别，由于存在前述的几个技术不足，因此，即使在通过对胶囊内窥镜的主动控制来完成对胃肠道的检查过程中，也无法确定胶囊内窥镜是否对胃部24个目标部位或者更多的目标部位，以及对肠道的各个部位是否已经完整检查到，造成漏检的风险，而漏检会导致错过疾病或者早癌的筛查期，从而错过疾病或者癌症的最佳治疗期。
22.本发明实施例根据ai模型可以识别出的特征部位构建多个场景，通过场景中各个特征部位之间的相互关系来定义所述场景的唯一性，构建的每个场景包括主要看到的部位和次要看到的部位，根据胃部的24个目标部位与其各自的相邻部位的对应关系来使构建的所有场景或者场景组合完全覆盖24个目标部位。检查过程中，磁控设备通过第一磁体驱动
胶囊内窥镜在目标区域内运动；所述胶囊内窥镜在所述目标区域内采集图像，并将所述图像发送至终端设备；所述终端设备对所述图像中的特征部位进行识别，并输出所述特征部位的id（identity document，身份标识号）及检测框；所述终端设备根据所述特征部位的所述id及所述检测框对所述图像中的场景进行识别，其中，所述场景包括k个所述特征部位以及所述特征部位之间的相互关系，并以所述相互关系定义所述场景的唯一性，其中k为正整数；所述终端设备根据所述场景或者场景组合确定所述目标部位是否被完整检查到，从而确保每个目标部位都被完整检查到，防止漏检。
23.如图1所示，本发明实施例提供一种胶囊内窥镜质控方法，应用于胶囊内窥镜质控系统，所述胶囊内窥镜质控系统包括磁控设备、胶囊内窥镜和终端设备，所述胶囊内窥镜质控方法包括如下步骤：s01：磁控设备通过第一磁体驱动胶囊内窥镜在目标区域内运动；s02：所述胶囊内窥镜在所述目标区域内采集图像，并将所述图像发送至终端设备；s03：所述终端设备对所述图像中的特征部位进行识别，并输出所述特征部位的id及检测框；s04：所述终端设备根据所述特征部位的所述id及所述检测框对所述图像中的场景进行识别，其中，所述场景包括k个所述特征部位以及所述特征部位之间的相互关系，并以所述相互关系定义所述场景的唯一性，其中k为正整数；s05：所述终端设备根据所述场景或者场景组合确定目标部位是否被完整检查到。
24.具体地，磁控设备设置有多轴传动机构或机器人手臂，本发明实施例以多轴传动机构为例，磁控设备根据控制指令控制多轴传动机构运动而带动第一磁体运动，胶囊内窥镜内置有第二磁体，第一磁体通过与第二磁体的相互作用而驱动胶囊内窥镜在目标区域内运动，胶囊内窥镜在目标区域内运动并采集图像。步骤s01中，胶囊内窥镜在目标区域内运动并采集图像，胶囊内窥镜的运动并非必定按照特定的巡航路径。本发明实施例中所述目标区域为一密闭空间，例如可以是仿生的胃部、胃部模型、离体的动物胃部或人体的胃部。
25.步骤s02中，所述胶囊内窥镜在第一磁体的驱动下改变位置和姿态并采集所述目标区域的图像，并将采集的图像实时发送至终端设备。
26.步骤s03中，所述终端设备通过训练好的ai模型识别每张所述图像中是否存在特征部位，针对每张图像，当未识别出特征部位时，则输出空值，否则输出识别出的特征部位的id（identity document，身份标识号）及检测框，所述特征部位的id也即所述特征部位的标识名称，所述特征部位的所述检测框可以为矩形框。输出的识别结果包括检测框的各个顶点的坐标位置以及检测框的中心的坐标位置，该检测框的中心的坐标位置也就是所述特征部位的质心的坐标位置。
27.特征部位是指目标区域中具有生物学特征，可以被识别的部位、部位组合或者特征点。目标区域以人体胃部为例，目前胃部被划分为24个部位，也即24个目标部位，分别是胃底、贲门、贲门下后壁、贲门下前壁、胃体上部前壁、胃体上部后壁、胃体上部大弯、胃体上部小弯、胃体中部前壁、胃体中部后壁、胃体中部大弯、胃体中部小弯、胃体下部前壁、胃体下部后壁、胃体下部大弯、胃体下部小弯、胃角、胃角前壁、胃角后壁、胃窦前壁、胃窦后壁、胃窦大弯、胃窦小弯、幽门。当然，随着医学的发展，人体胃部也有可能被划分为更多个目标
部位。对于人体胃部，特征部位是指以上24个目标部位中，具有特定的生理特征，并能被训练好的ai模型识别出的特定目标部位。例如，特征部位可以是贲门，胃底，胃小弯，胃大弯，上下胃体腔，胃角，胃窦，幽门等部位。
28.在进行特征部位的识别之前，首先对ai（artificialintelligence，人工智能）模型进行训练，ai模型的训练过程如下：选取胶囊内窥镜在目标区域内不同位置预先拍摄的图像集，图像集中每一张图像至少包含一个完整的、可辨认的特征部位；将选取的图像集中所有的特征部位完整地标注出来，并根据标识名称和标注框生成标注文件；将标注后的图像划分为训练集和测试集，所述训练集中的图像和测试集中的图像无重叠；用训练集对初始深度卷积神经网络模型进行训练；初始深度卷积神经网络模型是基于自然场景检测网络架构，其权重初始化为自然场景检测网络预训练模型权值；初始深度卷积神经网络模型在训练过程中通过各网络卷积层生成的特征图，通过级联方式相互传递，同时生成检测框，并通过损失函数梯度反向传播来更新初始深度卷积神经网络模型的参数，得到当前深度卷积神经网络模型。
29.利用训练集对当前深度卷积神经网络模型进行训练，利用测试集对单次迭代训练生成的当前深度卷积神经网络模型进行测试，得到当前深度卷积神经网络模型的识别精度、灵敏度、特异性之一或者其组合，以识别精度、灵敏度、特异性之一或者其组合来判断当前深度卷积神经网络模型对应的指标是否满足预定的识别精度、灵敏度、特异性要求，若满足则终止训练，将终止时间处的当前深度卷积神经网络模型作为最终的深度卷积神经网络模型，即所述训练好的ai模型；若不满足，则继续训练直到满足预定的识别精度、灵敏度、特异性要求为止。
30.s04：所述终端设备根据所述特征部位的所述id及所述检测框对所述图像中的场景进行识别，其中，所述场景包括k个所述特征部位以及所述特征部位之间的相互关系，并以所述相互关系定义所述场景的唯一性，其中k为正整数。
31.具体地，所述场景指的是所述胶囊内窥镜在目标区域拍摄到的图像，并且该图像包含特征部位以及所覆盖的相应目标部位。所述场景包括k个特征部位，同时该场景满足各特征部位之间相对于所述胶囊内窥镜的镜头的空间，位置，角度等相互关系，并以这些相互关系来定义所述场景的唯一性，以及在该场景下能看到的所有目标部位中的哪些目标部位，其中k为正整数。满足各个特征部位的相互关系的场景被检测到，则该场景下的相应目标部位一定被看到。
32.当满足所述场景要求的特征部位id及特征部位数量，以及各个所述特征部位满足所述相互关系时，所述场景识别成功。
33.进一步地，所述相互关系包括：m个所述特征部位分别到所述胶囊内窥镜的镜头中心的距离在预设的第一阈值范围内；m个所述特征部位的面积之和在预设的第二阈值范围内；m个所述特征部位的质心之间的距离在预设的第三阈值范围内；m个所述特征部位的质心分别与所述镜头中心的连线的夹角在预设的第四阈值范围内；第m 1个特征部位的质心与所述镜头中心的连线和第m个特征部位的质心与所述镜头中心的连线的夹角的角度方向满足预设的顺逆时针选择；所述第m 1特征部位的质心到所述镜头中心的距离与所述第m个特征部位的质心到所述镜头中心的距离对比满足预设条件；其中m为正整数，且m≤k。
34.s05：所述终端设备根据所述场景或者场景组合确定目标部位是否被完整检查到。
35.具体地，要看完整某一目标部位的前提是该目标部位的主要部分以及该目标部位的相邻部位都被看到。
36.对于上述定义的每个场景包括主要被看到的部位以及次要被看到的部位，主要被看到的部位定义为该部位的主要部分应在图像中位置适中并且能被清晰识别，次要被看到的部位则可以是该部位的部分被显示在图像中或是远景。
37.对于某一目标部位是否看完整一般需要一个场景或者多个场景组合，确保该场景或者场景组合能将该目标部位及其相邻的目标部位都包括在内。
38.当某一目标部位是该场景或场景组合中主要被看到的部位，而该目标部位的所有相邻部位是该场景或场景组合中主要被看到的部位或者次要被看到的部位时，则该目标部位被完整检查到。
39.本发明实施例提供的一种胶囊内窥镜质控方法，首先对胶囊内窥镜采集的图像进行特征部位识别，根据识别出的所述特征部位的所述id及所述检测框再对所述图像中的场景进行识别，之后根据识别出的场景或者场景组合确定各个目标部位是否被完整检查到。从而确保各个目标部位都被检查完整，防止漏检。
40.在一些实施例中，以每个场景包括两个特征部位为例，该两个特征部位分别为第一特征部位、第二特征部位，如图2所示，第一特征部位胃体腔和第二特征部位胃角的相互关系，其中a1为胃体腔的面积、a2为胃角的面积、d1为胃体腔的质心到胶囊内窥镜的镜头中心的距离、d2为胃角的质心到胶囊内窥镜的镜头中心的距离、s为胃体腔的质心与胃角的质心之间的距离、∠a为胃体腔的质心到胶囊内窥镜的镜头中心的连线与胃角的质心到胶囊内窥镜的镜头中心的连线之间的夹角。下面具体说明所述第一特征部位和所述第二特征部位的相互关系参数及参数计算方法：1）第一特征部位的质心到胶囊内窥镜的镜头中心的距离d1，第二特征部位的质心到胶囊内窥镜的镜头中心的距离d2，d1和d2分别根据如下公式（1）、公式（2）计算得到：（1） （2）其中，（x1，y1）为第一特征部位的质心的坐标，（x2，y2）为第二特征部位的质心的坐标，（x0，y0）为胶囊内窥镜的镜头中心的坐标。其中，第一特征部位的质心的坐标及第二特征部位的质心的坐标根据ai模型识别出的检测框进行计算得到，胶囊内窥镜的镜头中心的坐标可以是预设的固定值。
41.通常情况下特征部位的质心到胶囊内窥镜的镜头中心的距离越小则表明该特征部位越靠近镜头中心，反之则越远离镜头中心，此项判断能区分场景的不同拍摄角度从而获得不一样的被看到的部位。
42.2）第一特征部位的面积a1与第二特征部位的面积a2的和sum。其中，第一特征部位的面积a1及第二特征部位的面积a2根据ai模型识别出的检测框进行计算得到。
43.此项主要用于判断特征部位在胶囊内窥镜的镜头中出现的大小，从而判断镜头靠近特征部位的程度和，从而获得的不同的被看到的部位。
44.3）第一特征部位的质心与第二特征部位的质心之间的距离s ，s根据如下公式（3）
计算得到：（3）特征部位的质心之间的距离的差异能直接反馈获得不同的被看到的部位。
45.4）第一特征部位的质心到所述镜头中心的连线l1与第二特征部位的质心到所述镜头中心的连线l2之间的夹角∠a，夹角∠a根据如下公式（4）计算得到：（4） 夹角∠a的不同能直接导致所看到的部位不同。
46.5）第二特征部位的质心到所述镜头中心的连线l2与第一特征部位的质心到所述镜头中心的连线l1之间角度旋转方向，该角度旋转方向可以是顺时针、逆时针、共线或者无；第一特征部位的质心的坐标为（x1，y1），第二特征部位的质心的坐标为（x2，y2），胶囊内窥镜的镜头中心的坐标为（x0，y0）则，则l2和l1的叉积为如下公式（5）： （5）公式（5）的值为：；然后利用右手法则进行判断：如果l2
×
l1》0，则l2对于l1是逆时针的；如果l2
×
l1《0，则l2对于l1是顺时针的；如果l2
×
l1=0，则l2对于l1是共线的。
47.6）第二特征部位的质心到所述镜头中心的距离d2与第一特征部位的质心到所述镜头中心的距离d1的对比关系，该对比关系可以是大于、小于、等于或者无。例如，第二特征部位的质心到所述镜头中心的距离d2与第一特征部位的质心到所述镜头中心的距离d1比为θ，则θ按照如下公式（6）计算得到： （6）包括θ》1，θ《1，θ=1三个选项，选择的差异也将导致所看到的部位会不同。
48.进一步地，所述场景的识别过程包括：将图像中识别出的特征部位的id及数量分别与预设场景包括的特征部位的id及数量进行匹配；以及，根据将该图像中识别出的各个特征部位的检测框的顶点的坐标位置及中心的坐标位置按照上述实施例所述的方法确定相互关系参数，并将相互关系参数与预设场景中的相互关系参数设定值或者设定值范围进行匹配；当特征部位的id及数量匹配，以及满足各个相互关系参数设定值或者设定值范围时，则场景匹配成功，也即所述图像中识别出预设场景。
49.在一些实施例中，以人体胃部或者仿生胃为例，对其进行巡航扫描时，将胃部分为上中下三个部分进行巡航扫描。以患者面向磁控设备正面为基准，对于胃上部巡航扫描，受检者头朝左侧仰卧；对于胃中部巡航扫描，受检者头朝右侧左侧卧；对于胃下部巡航扫描，
受检者头朝左侧左侧卧。则对于胃上部，包括4个特征部分，分别为贲门、胃底、胃小弯和上胃体腔；对于胃中部，包括3个特征部位，分别为贲门、胃大弯和上胃体腔；对于胃下部，包括4个特征部位，分别为胃角、胃窦、幽门和下胃体腔。
50.胃部的24个目标部位的相邻关系，具体如下：1）贲门的相邻目标部位为：胃底，贲门下前壁，贲门下后壁，胃上部小弯；2）胃底的相邻目标部位为：贲门，贲门下前壁，贲门下后壁，胃上部大弯；3）贲门下前壁的相邻目标部位为：贲门，胃底，胃上部前壁，胃上部大弯；4）贲门下后壁的相邻目标部位为：贲门，胃底，胃上部后壁，胃上部大弯；5）胃上部前壁的相邻目标部位为：贲门下前壁，胃中部前壁，胃上部大弯，胃上部小弯；6）胃上部后壁的相邻目标部位为：贲门下后壁，胃中部后壁，胃上部大弯，胃上部小弯；7）胃上部小弯的相邻目标部位为：贲门，胃中部小弯，贲门下前壁，胃上部前壁，贲门下后壁，胃上部后壁；8）胃上部大弯的相邻目标部位为：胃底，胃上部后壁，贲门下后壁，胃上部前壁，胃中部大弯，贲门下前壁；9）胃中部前壁的相邻目标部位为：胃上部前壁，胃下部前壁，胃中部大弯，胃中部小弯；10）胃中部后壁的相邻目标部位为：胃上部后壁，胃下部后壁，胃中部大弯，胃中部小弯；11）胃中部小弯的相邻目标部位为：胃上部小弯，胃下部小弯，胃中部前壁，胃中部后壁；12）胃中部大弯的相邻目标部位为：胃上部大弯，胃下部大弯，胃中部前壁，胃中部后壁；13）胃下部前壁的相邻目标部位为：胃中部前壁，胃角前壁，胃下部大弯，胃下部小弯；14）胃下部后壁的相邻目标部位为：胃中部后壁，胃角后壁，胃下部大弯，胃下部小弯；15）胃下部小弯的相邻目标部位为：胃中部小弯，胃角，胃下部前壁，胃下部后壁；16）胃下部大弯的相邻目标部位为：胃中部大弯，胃窦大弯，胃下部前壁，胃角前壁，胃下部后壁，胃角后壁；17）胃角的相邻目标部位为：胃角前壁，胃角后壁，胃下部小弯，胃窦小弯；18）胃角前壁的相邻目标部位为：胃角，胃下部大弯，胃下部前壁，胃窦前壁；19）胃角后壁的相邻目标部位为：胃角，胃下部大弯，胃下部后壁，胃窦后壁；20）胃窦前壁的相邻目标部位为：胃窦小弯，胃窦大弯，胃角前壁，幽门；21）胃窦后壁的相邻目标部位为：胃窦小弯，胃窦大弯，胃角后壁，幽门；22）胃窦小弯的相邻目标部位为：胃窦前壁，胃窦后壁，胃角，幽门；23）胃窦大弯的相邻目标部位为：胃窦前壁，胃窦后壁，胃下部大弯，幽门；24）幽门的相邻目标部位为：胃窦前壁，胃窦后壁，胃窦小弯，胃窦大弯。
51.根据三个部分分别包括的特征部位以及各个目标部位之间的相邻关系构建场景，场景构建过程中，包括确定场景中各个特征部位之间的相互关系参数的预设值或者预设值范围，以及确定该场景中主要被看到的部位和次要被看到的部位。例如，胃上部中的场景用a编号，场景a1包括特征部位贲门和特征部位胃底；对于场景a1，贲门的面积与胃底的面积之和的预设范围为[40000，75000]，面积的单位为像素的平方，贲门的质心与胃底的质心之间的距离的预设范围为[60，280]，距离的单位为像素，胃底的质心与所述镜头中心的连线和贲门的质心与所述镜头中心的连线的角度关系为无，贲门、胃底的质心分别与所述镜头中心的连线的夹角小于或等于180
°
，贲门到所述胶囊内窥镜的镜头中心的距离的预设范围为[80，180]，胃底的质心,到所述胶囊内窥镜的镜头中心的距离的预设范围为[0，120]，胃底的质心到所述镜头中心的距离与贲门的质心到所述镜头中心的距离对比为无；场景a1中主要被看到的部位包括：贲门、胃底、贲门下前壁和贲门下后壁，次要被看到的部位包括胃上部大弯。
[0052]
场景a2包括特征部位贲门和特征部位胃腔体；对于场景a2，贲门的面积与胃腔体的面积之和的预设范围为[7000，30000]，面积的单位为像素的平方，贲门的质心与胃腔体的质心之间的距离的预设值为大于或等于160，距离的单位为像素，胃腔体的质心与所述镜头中心的连线和贲门的质心与所述镜头中心的连线的角度关系为无，贲门、胃腔体的质心分别与所述镜头中心的连线的夹角预设范围为[130
°
，180
°
]，贲门的质心到所述胶囊内窥镜的镜头中心的距离的预设范围为[80，220]，胃腔体的质心到所述胶囊内窥镜的镜头中心的距离的预设范围为[40，200]，胃腔体的质心到所述镜头中心的距离与贲门的质心到所述镜头中心的距离对比为无；场景a2中主要被看到的部位包括贲门、贲门下前壁、贲门下后壁、胃上部小弯、胃中部小弯、胃下部小弯、胃上部前壁、胃上部后壁、胃中部前壁、胃中部后壁、胃下部前壁和，次要被看到的部位包括胃下部后壁。需要说明的是，胃上部的场景包括多个，在此只是例举，不是穷举。
[0053]
胃中部中的场景用b编号，场景b1包括特征部位胃体腔和特征部位胃大弯；对于场景b1，胃体腔的面积与胃大弯的面积之和的预设范围为[10000，40000]，面积的单位为像素的平方，胃体腔的质心与胃大弯的质心之间的距离的预设范围为[120，400]，距离的单位为像素，胃大弯的质心与所述镜头中心的连线和胃体腔的质心与所述镜头中心的连线的角度关系为逆时针，胃体腔、胃大弯的质心分别与所述镜头中心的连线的夹角小于或等于150
°
，胃体腔的质心到所述胶囊内窥镜的镜头中心的距离≥100，胃大弯的质心到所述胶囊内窥镜的镜头中心的距离≥160；场景b1中主要被看到的部位包括：胃上部前壁、胃上部后壁、胃中部前壁、胃中部后壁、胃上部大弯和胃中部大弯，次要被看到的部位包括胃下部前壁、胃下部后壁、胃下部大弯和胃底。需要说明的是，胃中部的场景包括多个，在此只是例举，不是穷举。
[0054]
胃下部中的场景用c编号，场景c1包括特征部位胃体腔和特征部位胃窦；对于场景c1，胃体腔的面积与胃窦的面积之和的预设范围为[15000，70000]，面积的单位为像素的平方，胃体腔的质心与胃窦的质心之间的距离≥80，距离的单位为像素，胃窦的质心与所述镜头中心的连线和胃体腔的质心与所述镜头中心的连线的角度关系为逆时针，胃体腔、胃窦的质心分别与所述镜头中心的连线的夹角的预设范围为[20
°
，120
°
]，胃体腔的质心到所述胶囊内窥镜的镜头中心的距离的预设范围为[40，160]，胃窦的质心到所述胶囊内窥镜的镜
头中心的距离的预设范围为[70，180]；场景c1中主要被看到的部位包括：胃下部后壁、胃角后壁、胃窦后壁和胃窦小弯，次要被看到的部位包括胃角。需要说明的是，胃下部的场景包括多个，在此只是例举，不是穷举。
[0055]
构建场景要确保所有场景或场景组合涵盖胃部的24个目标部位，包括主要被看到的部位涵盖24个目标部位，次要被看到的部位也涵盖24个目标部位。每个场景包括主要被看到的部位和次要被看到的部位，完整看到一个目标部位即包括该目标都部位及其所有相邻部位被看到。
[0056]
在一些实施例中，在判断某一目标部位是否被完整检查到时，可以遍历识别出的所有场景，以确定各个场景或者场景组合中主要被看到的部位是否包括该目标部位，以及次要被看到的部位是否包括该目标部位的所有相邻部位，如果是，则说明该目标部位被完整检查到，否则说明该目标部位未被完整检查到，需要进行重新扫描检查。
[0057]
也可以根据预先建立好的目标部位与场景或者场景组合的对应关系来判断所述目标部位是否被完整检查到。目标部位与场景或场景组合的对应关系建立过程包括：根据预先构建的所有场景，及各个场景包括的特征部位，及各个场景包括的主要被看到的部位和次要被看到的部位，并按照胃部的24个目标部位的相邻关系构建每个目标部位与场景或场景组合的对应关系。目标部位与场景或场景组合的对应关系建立要确保场景或场景组合将该目标部位和该目标部位的所有相邻部位都包括在内。需要说明的是，每个目标部位可以对应一个或多个场景或场景组合，在匹配对应关系时，只需该目标部位的任意一组对应关系匹配成功，则可以确定该目标部位被完整检查到；若未匹配成功，则可以提示该目标部位缺失的相邻部位所需的场景，并手动或者自动控制胶囊内窥镜进行补扫。例如，贲门对应的场景或场景组合有a1 a2、a1 a3、a2 a3、a4、a12、a13，其中，a1 a2、a1 a3、a2 a3、a4、a12或a13中任意一个场景或场景组合被看到，则表明贲门已经被完整检查到。胃角后壁对应的场景或场景组合有c3、c4 c14，其中c3或c4 c14被看到，则表明胃角后壁已经被完整检查到。
[0058]
需要说明的是，可以在胶囊内窥镜巡航扫描过程中实时对每个目标部位进行完整性检查的确认，也可以胶囊内窥镜巡航扫描结束后分别对每个目标部位进行完整性检查的确认。
[0059]
进一步地，当确认所述目标区域内的所有目标部位都被完整检查到时，所述目标区域检查完整，从而确保了胶囊内窥镜检查的全面性和完整性，避免了漏检情况的发生。在一些实施例中，所述胶囊内窥镜质控方法还包括步骤s06：所述终端设备对所述图像的图像质量进行检测，得到质检结果。进一步，将质检结果中符合要求的图像输出并显示，以供医护人员进行审阅。
[0060]
如图3所示，进一步地，步骤s06包括如下子步骤：s06-01：所述终端设备对所述图像进行过曝检测，得到过曝检测结果；s06-02：所述终端设备对所述图像进行欠曝检测，得到欠曝检测结果；s06-03：所述终端设备对所述图像进行粘液检测，得到粘液检测结果；s06-04：所述终端设备对所述图像进行模糊检测，得到模糊检测结果。
[0061]
子步骤s06-01：所述终端设备对所述图像进行过曝检测，得到过曝检测结果包括：所述终端设备通过高斯滤波去除所述图像的噪声，得到去噪后的图像；所述终端设备根据
预设亮度阈值v对所述去噪后的图像进行二值化处理，得到二值化图像，其中0＜v＜1.0；所述终端设备检测所述二值化图像中的高亮度区域，得到多个第一高亮度区域；所述终端设备确定多个所述第一高亮度区域中区域面积大于第一预设面积阈值s1的区域，得到多个第二高亮度区域，其中0＜s1＜l*l；所述终端设备统计多个所述第二高亮度区域的区域面积之和，得到第一总面积；当所述第一总面积大于第二预设面积阈值s2时，所述图像过曝，得到所述过曝检测结果为所述图像不符合要求，其中s1≤s2≤l*l；当所述总面积小于或等于第二预设面积阈值时，得到所述过曝检测结果为所述图像符合要求。
[0062]
子步骤s06-02：所述终端设备对所述图像进行欠曝检测，得到欠曝检测结果包括：所述终端设备计算所述图像的平均灰度，得到所述平均灰度值；当所述平均灰度值小于预设灰度阈值 gray时，所述图像欠曝，得到所述欠曝检测结果为所述图像不符合要求，其中0＜gray＜255；当所述平均灰度值大于或等于预设灰度阈值时，所述图像未欠曝，得到所述欠曝检测结果为所述图像符合要求。
[0063]
子步骤s06-03所述终端设备对所述图像进行粘液检测，得到粘液检测结果包括：所述终端设备将所述图像转换到hsv空间，得到hsv图像；所述终端设备确定所述hsv图像中s空间值小于预设s阈值的区域，得到多个低饱和度区域，其中0＜s＜1.0；所述终端设备以多个所述低饱和度区域作为种子，在s空间根据色彩梯度变化进行漫水填充，得到多个第一粘液区域；所述终端设备确定多个所述第一粘液区域中区域面积大于第三预设面积阈值 s3的区域，得到多个第二粘液区域，其中0＜s3＜l*l；所述终端设备统计多个所述第二粘液区域的区域面积之和，得到第二总面积；当所述第二总面积大于第四预设面积阈值 s4时，所述图像粘液多，得到所述粘液检测结果为所述图像不符合要求，其中s3≤s4≤l*l；当所述第二总面积小于或等于第四预设面积阈值时，所述图像粘液少，得到所述粘液检测结果为所述图像符合要求。
[0064]
子步骤s06-04所述终端设备对所述图像进行模糊检测，得到模糊检测结果包括：所述终端设备对所述图像进行卷积运算处理，计算所述图像的色彩通道的梯度变化方差，得到梯度变化方差值；当所述梯度变化方差值小于预设阈值 d时，所述图像模糊，得到所述模糊检测结果为所述图像不符合要求，其中0＜d＜100*100；当所述梯度变化方差值大于或等于所述预设阈值时，所述图像清晰，得到所述模糊检测结果为所述图像符合要求。
[0065]
将质检结果中符合要求的图像输出并显示，可以是同时在过曝检测结果、欠曝检测结果、粘液检测结果、模糊检测结果中都符合要求的图像才被输出和显示。由于胶囊内窥镜采集的图像的分辨率较传统插管内窥镜低，并且胶囊内窥镜缺少清洁镜头的功能，导致胶囊内窥镜采集的图像不能始终保证清晰，通过对胶囊内窥镜采集的图像进行质量检测，输出质量检测结果中符合要求的图像，从而提高医护人员审阅图像的效率，也更有利于医护人员根据符合质检结果的图像作出准确的诊断结果。
[0066]
如图4所示，本发明实施例提供一种胶囊内窥镜质控系统，包括磁控设备、胶囊内窥镜和终端设备，所述终端设备分别与所述磁控设备、所述胶囊内窥镜通讯连接；所述磁控设备用于通过第一磁体驱动胶囊内窥镜在目标区域内运动；所述胶囊内窥镜用于在所述目标区域内采集图像，并将所述图像发送至所述终端设备；所述终端设备用于对所述图像中的特征部位进行识别，并输出所述特征部位的id及检测框；所述终端设备用于根据所述特征部位的所述id及所述检测框对所述图像中的场景进行识别；所述终端设备还用于根据所
述场景或者场景组合确定目标部位是否被完整检查到。
[0067]
具体地，胶囊内窥镜可以包括：摄像模块、控制模块、射频模块和第一磁体。所述磁控设备可以包括传动机构和第二磁体。其中，第一磁铁和第二磁铁可以是电磁铁、永磁铁或其他种类的磁铁。终端设备可以是但不限于各种智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。
[0068]
各个执行主体的具体实施方式请参见上述实施例的具体描述，在此不再赘述。
[0069]
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
[0070]
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
[0071]
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。