一种基于改进YOLOv5s的舌体定位方法

本发明涉及中医舌体智能定位的，具体而言，涉及一种基于改进yolov5s的舌体定位方法。

背景技术：

1、舌诊作为中医“四诊”中望诊的重要组成部分，通过观察舌象变化，可以判断气血的盛衰、分辨病位的深浅、测知病情的预后，为体质辨识提供依据。传统的中医舌诊过程易受医生的知识水平和诊断技术以及自然环境等因素影响，具有较强的主观性，不利于辩证的客观化与标准化。因此，以现代化科技手段研究舌诊原理，对于解决制约发挥中医特色优势的基础科学问题，具有重要的理论价值和实际意义。

2、舌体定位是整个自动化舌诊流程中至关重要且不可或缺的预处理基础步骤。其核心目标是从一张口腔图像中，自动地、精确地分割出舌体区域。传统舌体定位方法主要依赖于数字图像处理和计算机视觉技术，大致可分为三类方法：

3、第一类是基于颜色空间的方法。该类方法将图像从rgb颜色空间转换到更适合颜色分割的空间(如hsv或lab)，通过设定合适的颜色阈值，将舌体像素与背景像素分离开。然而，光照条件的变化会改变舌体颜色表现，导致固定阈值失效，容易产生错误分割。

4、第二类方法是基于边缘检测的方法。该类方法使用边缘检测算子检测出图像中的边缘，通过轮廓查找确定最可能是舌体轮廓的闭合区域。但舌图像中可能存在其他无关边缘，会干扰对舌体轮廓的正确筛选，造成提取的轮廓出现断裂，无法形成闭合区域。

5、第三类方法是基于主动轮廓模型的方法。该类方法在舌体附近初始化一个闭合的曲线轮廓，该曲线在内部能量和外部能量的共同作用下，主动变形并最终贴合到舌体的真实边界上。但舌体前缘可能存在的深裂或凹陷使得轮廓极易收敛到错误的局部最小值。

6、综上所述，上述三类传统方法均依赖于人工设计的低层视觉特征，难以应对光照变化、舌体形态多样及图像噪声等干扰因素。因此，如何提升舌体定位的准确性和鲁棒性，成为本领域亟待解决的技术问题。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明的目的在于提出一种基于改进yolov5s的舌体定位方法。

3、为了实现上述目的，本发明的技术方案，提供了一种基于改进yolov5s的舌体定位方法。该基于改进yolov5s的舌体定位方法，包括：步骤s1：获取患者舌图像数据集，对所述舌图像数据集中的每张舌图像进行舌体区域多边形标注，获得舌体区域的标注信息；根据所述标注信息，提取各张舌图像中舌体区域的多边形顶点坐标序列，并基于所述多边形顶点坐标序列生成对应各张舌图像的yolo格式标签文件；步骤s2：基于患者病历号对所述舌图像数据集进行来源分组，同一病历号对应的全部舌图像归属于同一来源分组；以所述来源分组为最小划分单元，按预设比例将各所述来源分组随机分配至训练集、验证集和测试集中，由分配至各子集的来源分组分别构成所述训练集、验证集和测试集；步骤s3：构建标准化数据集存储目录；所述存储目录包括并行的图像存储主目录和标签存储主目录，所述图像存储主目录和所述标签存储主目录下均包含与所述训练集、验证集和测试集一一对应的三个子目录；将所述训练集、验证集和测试集中的图像文件及其对应的标签文件分别存入对应的子目录中；步骤s4：对所述训练集中的样本图像执行预处理与数据增强，对所述验证集和测试集中的样本图像执行预处理且不执行数据增强，以分别生成对应的标准化输入数据；步骤s5：搭建舌体定位模型；所述舌体定位模型基于yolov5s模型改进得到，包括依次连接的输入端、骨干网络、颈部网络和检测头网络；所述骨干网络包括沿下采样方向依次设置的下采样模块、特征提取模块、注意力模块和池化模块；所述下采样模块用于对输入特征图进行空间分辨率降采样和通道数扩展；所述特征提取模块用于对降采样后的特征图进行逐层卷积操作，提取舌体区域的边缘轮廓特征；所述注意力模块用于对输入特征图进行空间位置注意力加权，以增强舌体目标区域的特征激活值并抑制背景干扰区域的特征响应；所述池化模块用于对注意力加权后的特征图进行多尺度空间池化，以增大网络感受野并捕获舌体在不同尺度下的上下文语义信息；所述颈部网络采用特征金字塔结构与路径聚合网络相结合的双向融合结构，用于对所述骨干网络生成的多尺度特征图进行特征融合；所述检测头网络用于对所述颈部网络融合后的多尺度特征图进行目标检测，输出舌体边界框的位置坐标及其对应的类别置信度；步骤s6：基于预设的总损失函数，使用所述训练集对所述舌体定位模型进行迭代训练，直至模型收敛；其中，所述总损失函数包括边界框回归损失、分类损失和置信度损失；步骤s7：在所述步骤s6的训练过程中，每完成预设轮次的迭代训练，将所述验证集输入当前模型进行前向传播，计算验证集上的损失值，并根据所述损失值的变化趋势调整训练策略，选取验证集损失最小的模型权重作为训练结果；

4、步骤s8：将所述测试集输入训练完成后的所述舌体定位模型进行前向传播，获取预测的舌体边界框坐标及置信度得分，并基于所述测试集上的预测结果与真实标注框计算评估指标，以验证所述舌体定位模型的泛化性能。

5、优选地，所述注意力模块为坐标注意力模块，所述坐标注意力模块用于：对输入特征图分别进行水平方向的全局平均池化和垂直方向的全局平均池化，生成水平方向特征张量和垂直方向特征张量；将所述水平方向特征张量和所述垂直方向特征张量沿空间维度拼接，经1×1卷积层进行通道压缩与非线性激活，生成中间特征张量；将所述中间特征张量沿空间维度拆分为水平方向子张量和垂直方向子张量，并分别经1×1卷积层进行通道恢复与sigmoid激活，生成水平方向注意力权重张量和垂直方向注意力权重张量；将所述输入特征图分别与所述水平方向注意力权重张量和所述垂直方向注意力权重张量逐元素相乘，输出加权后的特征图。

6、优选地，所述总损失函数由所述边界框回归损失、分类损失和置信度损失三部分分别乘以各自的预设权重系数后求和构成；其中，所述边界框回归损失采用eiou loss，所述分类损失采用focal loss，所述置信度损失采用二元交叉熵损失。

7、优选地，所述预处理为用于确保所有输入图像格式统一的标准化流程，包括尺寸调整、像素归一化和标签同步处理；所述数据增强为仅应用于训练集的用于扩充样本多样性的操作，包括几何变换操作和噪声生成操作。

8、本发明基于yolov5s网络架构进行改进，提出了一种改进的舌体定位方法。相比于现有技术，本发明具有以下有益效果：

9、（1）在yolov5s网络架构预设的数据增强方式（包括但不限于mosaic、mixup、hsv增强、随机翻转）基础上，进一步设计了针对舌体形态变异（如伸舌角度、张口幅度差异）的几何变换增强策略，以及针对舌象采集环境噪声的噪声生成增强策略；

10、所述几何变换通过对舌图像进行旋转、平移、缩放和剪切等操作，使得所述舌体定位模型能够学习到不同伸舌角度下的舌体特征，提升对舌体形态变化的鲁棒性；

11、所述噪声生成通过向舌图像中注入随机高斯噪声，模拟真实舌象采集过程中的光照波动和设备噪声，增强所述舌体定位模型对噪声干扰的抑制能力，提升舌体定位在复杂采集环境下的稳定性。

12、（2）在yolov5s主干网络中的最后一个c3模块和sppf模块之间添加坐标注意力模块，所述坐标注意力模块通过沿水平与垂直两个空间方向对输入特征图分别进行一维全局池化，生成方向感知的注意力权重，使得所述舌体定位模型在特征提取过程中能够同时保留目标的空间位置信息与通道语义信息，从而在舌体与背景对比度较低或背景复杂的情况下，仍能精准聚焦于舌体区域，有效抑制背景干扰，提升复杂场景下的舌体定位精度。

13、（3）对yolov5s颈部网络中的上采样方法进行优化：将原始yolov5s采用的最近邻插值方法替换为双线性插值方法，以缓解上采样过程中产生的锯齿效应和特征图粗糙问题；同时，在双线性插值上采样的输出端增设一个3×3卷积层，利用该卷积层的可学习参数对插值后特征图的局部纹理进行细节补偿，有效恢复因双线性插值平滑化而损失的高频边缘信息；

14、通过上述优化，所述舌体定位模型在抑制上采样伪影的同时保留了舌体边缘的精细结构，显著提升了舌体定位精度和预测边界框与真实舌体边缘的贴合度。

15、（4）对yolov5s网络架构的损失函数进行组合优化：

16、采用所述eiou loss替换ciou loss作为边界框回归损失，有效解决了ciou loss中宽高比耦合导致的梯度方向不明确问题，显著加速了边界框回归的收敛速度，提升了舌体定位精度；

17、采用所述focal loss作为分类损失，通过引入调制因子动态降低易分类样本的权重、提高难分类样本的权重，有效缓解了舌体检测中正负样本严重不平衡的问题，使得所述舌体定位模型在训练过程中更聚焦于难以区分的舌体目标；

18、保留所述二元交叉熵损失作为置信度损失，使得所述舌体定位模型在训练过程中持续优化置信度评分的预测准确性，进而在推理阶段能够有效区分有效预测框与无效预测框，保障所述舌体定位模型输出结果的可靠性；

19、由此，所述eiou loss、focal loss与二元交叉熵损失分别从边界回归精度、难样本聚焦和置信度评估三个维度共同优化所述舌体定位模型的训练过程，使所述舌体定位模型在舌体检测任务中具备更高的定位精度与更强的抗干扰能力。

20、本发明的附加方面和优点将在下面的描述中变得明显，或通过本发明的实践了解到。