基于VITDET类算法的腹腔镜病变目标检测方法与流程

技术特征：
1.一种基于vitdet类算法的腹腔镜病变目标检测方法，其特征在于，包括如下步骤：步骤1、收集腹腔镜手术的视频与图片，并对视频和图片进行标注，得到腹腔镜检测数据库，数据库中的数据包括训练用的训练集数据和测试用的测试集数据步骤2、使用直方图均衡算法对数据库内的数据做预处理；步骤3、对预处理后的数据进行不失真的修改尺寸；步骤4、构建一个基于vitdet类算法的腹腔镜图像目标检测网络，其具体步骤包括：4.1、利用vitdet类算法的骨干网络swin-transformer提取数据特征；4.2、利用注意力机制对骨干网络vit得到的特征优化，以获得更有效底层特征；4.3、通过特征金字塔pannet获得用于最后检测任务的深层支路特征；4.4、使用yolo head对获得的特征处理，获得最后的预测结果；4.5、对预测结果解码，并计算损失函数；4.6、在原图绘制出检测结果边框；步骤5、将步骤1-3获得的训练集数据输入到目标检测网络中，用于训练目标检测网络，得到目标检测网络模型并保存；步骤6、将步骤1-3获得的测试集数据输入到目标检测网络模型中，通过目标检测网络模型检测是否有病变目标区域，测试目标检测网络模型；步骤7、将目标检测网络模型部署到gpu模块上用于检测客户端传输的图片，并把检测结果返还至交互界面。2.根据权利要求1所述的基于vitdet类算法的腹腔镜病变目标检测方法，其特征在于，步骤4.1具体包括如下步骤：4.1.1、先对特征图做norm；4.1.2、通过shift_size参数决定是否需要对特征图进行shift操作；4.1.3、将特征图进行窗口划分；4.1.4、计算attention，通过attn_mask来区分是window attention还是shift window attention，用于限制attention中每个位置能看到的内容；4.1.5、合并各个窗口；4.1.6、如果之前做了shift操作，则进行reverse shift，将之前的shift操作进行恢复；4.1.7、droppath和残差链接；4.1.8、再通过一层norm 全连接层，以及droppath和残差连接。3.根据权利要求1所述的基于vitdet类算法的腹腔镜病变目标检测方法，其特征在于，步骤4.4中，yolo head由卷积层和最大池化层还有下采样层组成，其特征处理具体包括如下步骤：4.4.1、提取骨干网络中特征图尺寸为13
×
13、26
×
26、52
×
52的特征图支路作为yolo head的输入；4.4.2、在这三条支路上做卷积池下采样的操作，顺序是从13
×
13深层到52
×
52再到13
×
13深层的多次处理结构；4.4.3、yolo head通过全连接层操作得到三条支路的目标类别预测结果和检测框位置。
4.根据权利要求1所述的基于vitdet类算法的腹腔镜病变目标检测方法，其特征在于，步骤4.5中，损失函数的具体计算方法如下：4.5.1、首先通过将相应距离值之间的所有欧几里得距离的平方相加，计算非重叠面积s，具体公式为：s＝(l
*-l)2 (t
*-t)2 (r
*-r)2 (b
*-b)2，其中，{l，t，r，b}和{l
*
，t
*
，r
*
，b
*
}分别是预测和真实标签的边框中心点坐标真相差异，l和t指从右下角到左和上边界的距离，r和b指从左上角到右和下边界的距离；真实框的{l
*
，t
*
，r
*
，b
*
}计算公式如下：}计算公式如下：}计算公式如下：w
(i)
＝w/s
i
，h
(i)
＝h/s
i
，其中，i表示本文的不同的3个尺度，s
i
＝{8,16,32}，(x,y)为真值框的中心点坐标，和表示比例i处左上角和右下角的各自坐标，表示比例i处左上角和右下角的各自坐标，和表示中心位置左上角和右下角的各自坐标；预测框的{l，t，r，b}计算公式如下：其中，σ表示sigmoid函数，p0，p1，p2，p3表示网络对距离值的预测，使用sigmoid保证他们在[0,1]之间，i＝{1,2,4}；4.5.2、通过计算相交区域对角线长度的平方来获得相交区域i，具体公式为：i＝(w
i
)2 (h
i
)2，其中，w
i
和h
i
分别表示交叉区域的宽度和高度；4.5.3、通过长和宽计算覆盖预测和真实框的最小区域c，具体公式为：c＝(w
c
)2 (h
c
)2，
其中，w
c
和h
c
分别覆盖预测和真实框的最小区域的宽度和高度，w
c
＝max(l
*
,l) max(r
*
,r)-1,h
c
＝max(t
*
,t) max(b
*
,b)-1；4.5.4、通过最小化c，预测框可以向朝向真实框移动4个方向，最终将sdiou计算为其中ρ表示有利于重叠区域的正权衡值，最终定义sdiou损失为loss＝1-sdiou。5.根据权利要求1所述的基于vitdet类算法的腹腔镜病变目标检测方法，其特征在于，步骤2中，直方图均衡算法的具体步骤如下：2.1、依次扫描原始灰度图像的每一个像素，计算出图像的灰度直方图；2.2、计算灰度直方图的累积分布函数；2.3、根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系；2.4、最后根据映射关系得到结果进行图像变换。6.根据权利要求1所述的基于vitdet类算法的腹腔镜病变目标检测方法，其特征在于，步骤3中，不失真的修改尺寸方法为：首先对原始图按比例缩放，然后对不满足尺寸要求的部分加上灰度条。

技术总结
一种基于VITDET类算法的腹腔镜病变目标检测方法，能够在实际手术操作过程中，将提取到的关键手术要素和手术安全模型进行计算匹配，手术过程中实时计算，并以图文形式是进行提示，有效的辅助外科医生提高手术安全性。有效的辅助外科医生提高手术安全性。有效的辅助外科医生提高手术安全性。


技术研发人员：帅建伟 王思璇 史依 李钰杭 李家和 陈浩满 陈钒萱 韦超祎 何情祖 帅真浩 阮煜闻
受保护的技术使用者：国科温州研究院（温州生物材料与工程研究所）
技术研发日：2022.08.23
技术公布日：2022/12/16