一种基于Swin-transformer与yolov5模型集成的手术器械清点方法与流程

技术特征：
1.一种基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于，包括以下步骤：s1、采集手术器械图像数据，制作样本数据集；s2、将样本数据集进行数据增强预处理，并对数据增强预处理后的数据集进行划分，构建训练样本集、测试样本集和验证样本集；s3、利用训练样本集分别对swin-transformer和yolov5模型进行训练，并将训练结束后的模型分别作为目标检测swin-transformer和目标检测yolov5模型；s4、构建模型集成系统；所述模型集成系统包括：数据源检测处理模块、目标检测yolov5模型、目标检测swin-transformer以及数据合并分析模块，且所述数据源为手术器械图像数据或视频流数据，其中，数据源检测处理模块的输入端输入数据源，数据源检测处理模块的输出端分别与目标检测swin-transformer和目标检测yolov5模型的输入端相连接，目标检测yolov5模型和目标检测swin-transformer并联连接，目标检测swin-transformer和目标检测yolov5模型的输出端分别与数据合并分析模块的输入端相连接，数据合并分析模块的输出端输出最终预测结果；所述数据源检测处理模块，用于对输入的数据源进行检测判别和处理，若检测所述数据源判别为图像数据，则直接将所述图像数据分别输入到目标检测yolov5模型和目标检测swin-transformer中；若判别为视频流数据，则抽取所述视频流数据中的图像帧，构成图像数据集，然后将构成的图像数据集分别输入目标检测swin-transformer和目标检测yolov5模型中；所述目标检测swin-transformer，用于检测图像数据中的长条形状器械，并输出长条形状器械的清点预测结果；所述目标检测yolov5模型，用于检测图像数据中的普通形状器械，并输出普通形状器械的清点预测结果；所述数据合并分析模块，用于将目标检测swin-transformer和目标检测yolov5模型各自输出的清点预测结果进行合并分析，并输出最终清点预测结果；s5、将待检测手术器械图像数据或视频流数据输入构建的模型集成系统中，输出最终清点结果。2.根据权利要求1所述的基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于：步骤s1中，所述采集手术器械图像数据，制作样本数据集，具体步骤包括：a1、将手术器械按形状分成两批，分别为长条形状器械和普通形状器械，然后分开对长条形状器械和普通形状器械进行拍摄，采集手术器械图像数据；a2、对所采集的手术器械图像数据进行标注，得到标签数据，并将所得标签数据保存在json文件中；其中，长条形状器械采用异形框标注，普通形状器械采用矩形框标注；a3、将得到的json文件和手术器械图像集成保存在同一个文件中，同时将所得文件中的标签数据格式转换成coco格式，得到样本数据集。3.根据权利要求2所述的基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于：步骤a1中，所述分开对长条形状器械和普通形状器械进行拍摄时，还包括
以下步骤：a11、搭建图像采集平台，并保证拍照条件统一；a12、将每批手术器械按照紧靠摆放和交叉摆放的方式随机摆放在图像数据采集平台上，且每种摆放方式的图像数量比例相等，以模拟实际应用中各种复杂情况，确保图像所包含的特征信息的丰富性和平衡性；a13、在分开对长条形状器械和普通形状器械进行采集时，根据设计要求拍摄指定数量的图像，采集手术器械图像数据。4.根据权利要求2所述的基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于：步骤a2中，所述对所采集的手术器械图像数据进行标注，具体步骤为：将采集的长条形状器械图像数据和普通形状器械图像数据分别采用标注软件进行标注，得到标签数据，其中，所述长条形状器械采用异形框标注，所述普通形状器械采用矩形框标注，然后将各自得到的标签数据保存在json文件中，分别得到长条形状器械json文件和普通形状器械json文件。5.根据权利要求4所述的基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于，步骤a3中，所述将得到的json文件和手术器械图像集成保存在同一文件中，同时将所得文件中的标签数据的格式转换成coco格式，具体步骤为：将得到的长条形状器械json文件和长条形状器械图像集成保存到同一文件中，并将所述文件中采用标注软件标注的标签数据的格式转换为coco格式，制作长条形状器械样本数据集；将得到的普通形状器械json文件和普通形状器械图像集成保存到同一文件中，并将所述文件中采用标注软件标注的标签数据的格式转换为coco格式，制作普通形状器械样本数据集。6.根据权利要求1所述的基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于：步骤s2中，所述数据增强预处理采用mosaic数据增强方式，具体为：将完成标注的手术器械图像随机缩放、裁剪、排布和拼接来扩充样本数据集。7.根据权利要求5所述的基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于，步骤s2中，所述构建训练样本集、测试样本集和验证样本集，具体步骤为：将数据增强预处理后的长条形状器械样本数据集进行划分，依次得到长条形状器械训练样本集、长条形状器械验证样本集以及长条形状器械测试样本集；将数据增强预处理后的普通形状器械样本数据集进行划分，得到普通形状器械训练样本集、普通形状器械验证样本集以及普通形状器械测试样本集。8.根据权利要求7所述的基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于，步骤s3中，所述利用训练样本集分别对swin-transformer和yolov5模型进行训练，具体步骤为：将长条形状器械训练样本集输入swin-transformer中进行训练，保存训练好的网络参数，得到目标检测swin-transformer；将普通形状器械训练样本集输入yolov5模型中进行训练，保存训练好的网络参数，得到目标检测yolov5模型。9.根据权利要求8所述的基于swin-transformer与yolov5模型集成的手术器械清点方法，其特征在于，步骤s5中，所述将待检测手术器械图像数据或视频流数据输入构建的模型集成系统中，输出最终清点结果，具体步骤为：当将所述图像数据输入构建的的模型集成系统中时，由数据源检测处理模块将所述图像数据分别输入目标检测swin-transformer和目标检测yolov5模型中，然后由目标检测
swin-transformer检测图像数据中的长条形状器械，并输出长条形状器械的清点预测结果至数据合并分析模块中；由目标检测yolov5模型检测清点图像数据中的普通形状器械，并输出普通形状器械的清点预测结果至数据合并分析模块中，最后由数据合并分析模块将目标检测swin-transformer和目标检测yolov5模型输出的清点预测结果进行合并分析，输出最终清点预测结果；当将所述视频流数据输入构建的的模型集成系统中时，由数据源检测处理模块对输入的视频流数据进行抽取处理，抽取所述视频流数据中的图像帧，构成图像数据集，并将构成的图像数据集分别输入目标检测swin-transformer和目标检测yolov5模型中，然后由目标检测swin-transformer检测图像数据中的长条形状器械，并输出长条形状器械的清点预测结果至数据合并分析模块中，由目标检测yolov5模型检测清点图像数据中的普通形状器械，并输出普通形状器械的清点预测结果至数据合并分析模块中，最后由数据合并分析模块将目标检测swin-transformer和目标检测yolov5模型输出的所述图像数据集中所有图像数据输出的清点预测结果进行融合，然后求平均值，即为视频流数据最终的清点预测结果。

技术总结
本发明公开了一种基于Swin-transformer与yolov5模型集成的手术器械清点方法，包括以下步骤：S1、采集手术器械图像数据，制作样本数据集；S2、将样本数据集进行数据增强预处理，构建训练样本集、测试样本集和验证样本集；S3、利用训练样本集分别训练Swin-transformer和yolov5模型；S4、构建模型集成系统；S5、将待检测手术器械图像数据或视频流数据输入构建的模型集成系统中，输出最终清点结果。本发明清点方法能够提高对复杂手术器械清点的准确率、精度与效率，大幅减少人力资源的消耗。大幅减少人力资源的消耗。大幅减少人力资源的消耗。


技术研发人员：黄鹏 王志浩 关思宇 孙志强 蒋文波
受保护的技术使用者：上海可明科技有限公司
技术研发日：2022.10.08
技术公布日：2023/1/13