一种基于重参数化多尺度残差网络的舌象识别方法及系统

摘要: 本发明属于人工智能、边缘计算、图像处理及中医舌象辅助识别,具体涉及一种基于重参数化多尺度残差网络的舌象识别方法及系统。背景技术:1、舌诊是中医望诊的重要组成部分...
一种基于重参数化多尺度残差网络的舌象识别方法及系统

本发明属于人工智能、边缘计算、图像处理及中医舌象辅助识别,具体涉及一种基于重参数化多尺度残差网络的舌象识别方法及系统。

背景技术:

1、舌诊是中医望诊的重要组成部分,医生通常通过观察舌色、苔色、舌形、裂纹、齿痕、剥落等舌象特征,对人体健康状态进行辅助判断和健康趋势分析。舌象能够在一定程度上反映人体状态变化,具有直观、便捷、非接触等特点,适合用于日常健康观察和中医辅助分析。然而,传统舌诊对医生经验依赖较强,中医舌象辨识能力的形成需要较长时间的学习和实践积累,非专业用户难以准确理解舌象变化,也难以在没有明显疾病症状时通过舌象获得及时、规范的健康参考信息。

2、随着居民健康管理意识的提高,越来越多用户希望在家庭、社区、基层医疗或教学场景中,通过每天固定时间进行舌象自测,了解自身健康状态变化,并在未达到必须就医程度时获得一定的可调理的辅助指导。但是,现有人工舌诊方式通常需要依赖专业中医师进行面对面判断,用户需要前往医院或诊所,存在时间成本高、服务资源有限且不便于日程连续追踪,不利于舌诊技术向大众健康管理场景普及。

3、近年来,人工智能、图像处理和深度学习技术逐渐应用于舌象识别领域。在推动舌诊客观化、数字化和智能化方面发挥了一定作用,但仍存在以下不足:一方面,部分方案依赖服务器或云端平台进行图像处理和模型推理,需要将用户原始舌象图像上传至远程端,存在网络依赖强、响应延迟高和隐私泄漏风险,特别是现在的网络防火墙会自动认定舌象图像不通过而无法上传;另一方面,部分舌诊设备结构相对复杂,硬件成本较高,对采集环境、存储空间、计算资源和持续供电能力要求较高,不利于家庭、社区、基层医疗和教学演示等场景的低成本部署。同时,现有舌象识别模型往往参数量和计算量较大,若直接部署在方便大众携带和使用的树莓派、嵌入式ai开发板或边缘计算盒等低功耗设备上,容易出现推理速度慢、设备发热、功耗较高和运行稳定性不足等问题。

技术实现思路

1、本发明的目的在于提供一种基于重参数化多尺度残差网络的舌象识别方法及系统,在保障用户隐私的前提下实现脱离云端依赖的本地化智能舌诊分析,能够支撑大众日常自测、基层布设以及长期连续健康观测。

2、为达到上述目的,本发明提供如下技术方案:

3、一种基于重参数化多尺度残差网络的舌象识别系统,包括舌象图像采集模块、轻量化边缘设备、模型训练与数据管理端和边缘模型更新模块;所述轻量化边缘设备配置有舌象图像优化模块、yolo26轻量化舌象识别模块、辅助分析模块、隐私保护与脱敏数据管理模块与本地显示与交互模块;所述yolo26轻量化舌象识别模块基于改进yolo26舌象识别模型构建,包括主干特征提取网络backbone、特征融合网络neck和多尺度检测头head;所述主干特征提取网络backbone包括多个卷积层conv、多个c3k2特征提取模块、多个rep-elan重参数化轻量特征卷积模块、空间金字塔池化模块sppf和通道位置自注意力模块c2psa;舌象图像首先输入至所述主干特征提取网络backbone的卷积层conv,经所述卷积层conv完成初步特征提取与下采样处理后,依次经过多个c3k2特征提取模块;在不同层级的所述c3k2特征提取模块的输出端分别设置有rep-elan重参数化轻量特征卷积模块,用于在模型训练阶段通过多分支卷积结构提取舌面纹理、裂纹方向、齿痕边缘和舌体轮廓特征,并在模型部署阶段转换为单分支卷积结构;所述空间金字塔池化模块sppf设置于所述主干特征提取网络backbone的深层,所述通道位置自注意力模块c2psa设置于所述空间金字塔池化模块sppf的输出端,所述主干特征提取网络backbone分别输出浅层特征、中层特征和深层特征,并将所述浅层特征、中层特征和深层特征输入所述颈部特征融合网络neck;所述特征融合网络neck包括上采样层upsample、特征拼接层concat、c3k2特征融合模块、卷积下采样层conv以及hfgs-af模块;其中hfgs-af模块包括高频细节引导提取分支、高频细节提取单元、中层结构增强分支、全局语义提取分支、全连接层、自适应融合权重生成单元;所述特征融合网络neck首先采用自顶向下的特征传递路径,将深层低分辨率特征进行上采样,并与来自所述主干特征提取网络backbone的中层或浅层特征进行拼接,得到具有较强语义信息和较高空间分辨率的融合特征;随后,所述特征融合网络neck采用自底向上的特征传递路径,对融合特征进行卷积下采样,并与相邻尺度特征再次进行拼接和特征提炼,从而增强不同尺度特征之间的信息传递;所述hfgs-af模块接收不同尺度的浅层特征、中层特征和深层特征,对浅层特征中的高频细节、深层特征中的全局语义以及中层结构特征进行自适应加权融合,输出增强后的多尺度检测特征图;所述多尺度检测头head包括lrdbr局部残差分布边界精修检测头检测结果解码模块detect和c3k2特征精炼模块,每个lrdbr检测头均包括分类分支、粗定位回归分支和局部残差分布分支;针对每个尺度的所述检测特征图,首先经由c3k2模块进行特征精炼处理,随后输入至lrdbr局部残差分布边界精修检测头对输入特征进行边界回归与分类预测,输出初始边界框及类别信息,并在该初始边界框四侧预测局部残差分布,据此计算修正量以获得最终边界框;最终通过detect检测模块对类别预测结果及边界框预测结果进行解码、筛选和合并,形成最终舌象特征识别结果;所述隐私保护与脱敏数据管理模块在获取用户授权的前提下,剔除原始舌象图像及各类身份关联信息,并提取舌象特征类别、类别置信度及最终边界框坐标生成脱敏结构化记录,通过加密通信传输至模型训练与数据管理端。

4、进一步的,所述改进 yolo26舌象识别模型的搭建具体过程如下:

5、步骤1、通过摄像头采集待识别的舌象图像,或者从轻量化边缘设备的本地存储器中读取舌象图像;对所述舌象图像进行质量判断、舌体感兴趣区域裁剪、尺寸调整、像素归一化和张量转换,得到符合改进yolo26模型输入要求的舌象图像;

6、步骤2、将预处理后的舌象图像输入主干特征提取网络backbone,通过卷积层与c3k2特征提取模块进行逐级下采样与分层特征提取,并将不同阶段的特征输入rep-elan模块,随后rep-elan模块采用重参数化后形成的单一等效3×3卷积,提取舌面纹理、裂纹方向、齿痕边缘和舌体轮廓特征;

7、步骤3、将backbone输出的深层特征依次输入sppf模块和c2psa模块,通过sppf模块的连续最大池化与特征拼接扩大深层特征的有效感受范围,再通过c2psa模块的自注意力机制增强不同空间位置之间的特征关联,增强舌体整体区域、舌苔分布和舌象形态相关的深层特征;

8、步骤4、将所述主干特征提取网络backbone输出的不同层级舌象特征输入特征融合网络neck,通过上采样、特征拼接、c3k2特征融合及卷积下采样操作,依次执行自顶向下和自底向上的多尺度特征传递,形成高分辨率中间特征n3、中等分辨率中间特征n4和低分辨率中间特征n5;

9、步骤5、将所述高分辨率中间特征n3、中等分辨率中间特征 n4和低分辨率中间特征n5输入hfgs-af模块;通过所述hfgs-af模块提取高分辨率中间特征中的高频细节信息、中等分辨率中间特征中的结构信息以及低分辨率中间特征中的全局语义信息,并根据所述高频细节信息、结构信息及全局语义信息生成对应的自适应权重,对三个尺度的中间特征分别进行加权调制,获得高分辨率检测特征 p3、中等分辨率检测特征p4和低分辨率检测特征p5;

10、步骤6、将所述高分辨率检测特征p3、中等分辨率检测特征p4和低分辨率检测特征p5分别输入lrdbr检测头;通过分类分支获得舌象特征类别概率,通过粗定位回归分支获得初始边界框参数,通过局部残差分布分支获得所述初始边界框参数对应的左边界、上边界、右边界及下边界的候选残差概率,并根据各候选残差偏移量与其对应的候选残差概率计算边界修正量,获得最终边界框;

11、步骤7、对所述p3、p4及p5三个检测尺度输出的舌象特征类别概率与最终边界框进行解码与合并,删除类别置信度低于预设阈值的候选结果,并对类别相同且边界框重叠程度超过预设阈值的候选结果执行重复边界框抑制;

12、步骤8、按照模型输入图像与原始舌象图像之间的缩放比例和裁剪位置,将筛选后的边界框恢复至原始舌象图像坐标系,输出舌象特征类别、类别置信度、最终边界框坐标和对应的特征属性,并将识别结果发送至所述辅助分析模块生成舌象辅助识别结果。

13、进一步的,所述高分辨率检测特征p3、中等分辨率检测特征p4和低分辨率检测特征p5通过以下步骤生成:

14、步骤1:获取特征融合网络neck前级结构形成的高分辨率中间特征n3、中等分辨率中间特征n4和低分辨率中间特征n5,并分别输入对应的1×1卷积层;

15、步骤2:分别通过三个1×1卷积层对n3、n4和n5进行通道维度调整,得到通道对齐后的特征a3、a4和a5:

16、

17、

18、

19、其中,表示1×1卷积操作;

20、步骤3:将高分辨率特征a3输入所述高频细节引导提取分支,对a3进行局部平均池化处理,得到局部平滑特征l3:

21、其中,avgpool表示局部平均池化操作,且池化前后的特征空间尺寸保持一致;

22、将a3与局部平滑特征l3进行差分处理,获得高频残差特征r3:

23、将r3输入所述高频细节提取单元进行特征变换,获得浅层高频引导特征h3:

24、步骤4:将通道对齐后的中等分辨率特征a4作为中层结构特征,并进入所述中层结构增强分支对a4进行全局特征描述,获得中层结构描述特征m4:

25、其中,(gap)表示全局平均池化操作;

26、步骤5:将通道对齐后的低分辨率特征a5输入所述全局语义提取分支,通过全局平均池化处理获得全局上下文特征g5:

27、将所述全局上下文特征g5输入所述全连接层进行语义映射,获得深层语义嵌入特征s5:,其中,fc表示全连接映射操作;

28、步骤6:对所述浅层高频引导特征h3进行全局特征描述,获得浅层高频描述特征d3:,将浅层高频描述特征d3、中层结构描述特征m4以及深层语义嵌入特征s5进行拼接,并输入自适应融合权重生成单元:

29、

30、其中,concat表示特征拼接操作;

31、所述自适应融合权重生成单元根据拼接后的特征z生成三个尺度对应的权重分数,并通过softmax函数进行归一化,获得自适应权重、和:

32、

33、其中,weightgen表示自适应融合权重生成操作,、和分别对应高分辨率、中等分辨率和低分辨率三个尺度,并满足:

34、步骤7:利用自适应权重、和分别对通道对齐后的a3、a4和a5进行加权调制,输出高分辨率检测特征p3、中等分辨率检测特征p4和低分辨率检测特征p5:

35、

36、

37、

38、其中,表示自适应权重与对应尺度特征之间的乘法运算。

39、进一步的,所述rep-elan舌象重参数化轻量卷积模块的具体步骤包括:

40、步骤1、获取主干特征提取网络backbone不同层级输出的舌象特征图,并将所述舌象特征图输入对应的rep-elan重参数化轻量特征卷积模块;其中,第一rep-elan模块接收浅层c3k2特征提取模块输出的浅层舌象特征,第二rep-elan模块接收中层c3k2特征提取模块输出的中层舌象特征,第三rep-elan模块接收c2psa模块输出的深层语义特征;

41、步骤2、在模型训练阶段,通过所述rep-elan模块的五个并行分支对输入的特征图进行并行处理;所述五个并行分支包括3×3卷积分支、1×1卷积分支、1×3非对称卷积分支、3×1非对称卷积分支和恒等映射分支;其中所述3×3卷积分支、所述1×1卷积分支、所述1×3非对称卷积分支及所述3×1非对称卷积分支均包括依次连接的卷积层和批量归一化层;其中,所述3×3卷积分支用于提取舌面纹理、裂纹、红点、舌苔边界及局部轮廓特征,所述1×1卷积分支用于进行通道维度变换及跨通道信息融合,所述1×3非对称卷积分支用于增强横向延伸的裂纹、舌苔边界及局部横向轮廓特征,所述3×1非对称卷积分支用于增强纵向延伸的裂纹、舌体两侧轮廓及齿痕边缘特征;所述恒等映射分支用于保留输入特征;当所述恒等映射分支的输入通道数与目标通道数不一致时,通过1×1投影卷积进行通道维度匹配;

42、步骤3、将所述五个分支输出的特征图调整为相同的空间尺寸和通道数,并进行逐元素相加,并将相加后的融合结果输入激活函数,获得rep-elan模块在训练阶段的输出特征;并根据yolo26舌象识别模型的损失函数计算结果进行反向传播,更新所述rep-elan模块中各卷积分支的可训练参数,直至模型训练完成;

43、步骤4、模型训练完成后,对所述rep-elan模块的五个并行分支进行等效参数转换,对于所述3×3卷积分支、1×1卷积分支、1×3非对称卷积分支及3×1非对称卷积分支,将各分支中的卷积参数与其对应的批量归一化层参数进行融合,分别得到各分支对应的融合卷积核和融合偏置,从而将训练阶段各分支中的卷积运算和批量归一化运算转换为一次等效卷积运算;对于所述恒等映射分支,当输入通道数与输出通道数相同且步长为1时,将恒等映射转换为对应的单位卷积核;当所述恒等映射分支采用1×1投影卷积进行通道维度匹配时,将所述1×1投影卷积转换为对应的等效卷积参数;

44、步骤4.1、对所述rep-elan模块执行结构重参数化,将各并行分支的卷积核转换为3×3卷积核形式:对所述1×1卷积分支的卷积核进行外围零填充,获得第一3×3卷积核;对所述1×3非对称卷积分支的卷积核进行上下两侧零填充,获得第二3×3卷积核;对所述3×1非对称卷积分支的卷积核进行左右两侧零填充,获得第三3×3卷积核;

45、步骤4.2、将所述恒等映射分支转换为第四3×3卷积核:在输入通道与对应输出通道的卷积核中心位置设置单位值、其余位置设置为零,使所述恒等映射分支以3×3卷积形式参与后续参数融合;

46、步骤4.3、将所述3×3卷积分支的原始卷积核、所述第一3×3卷积核、所述第二3×3卷积核、所述第三3×3卷积核及所述第四3×3卷积核的权重参数逐元素相加,并将各分支的偏置参数相加,获得等效3×3融合卷积核和融合偏置,作为所述rep-elan模块在推理阶段的运算单元;

47、所述等效3×3卷积核及等效偏置可表示为:

48、

49、式中,和分别表示重参数化后用于部署的等效3×3融合卷积核和融合偏置;q表示训练阶段各卷积分支的集合;和分别表示第q个卷积分支中的卷积参数与批量归一化参数融合后得到的卷积核和偏置;表示按照第q个卷积分支的卷积核尺寸进行外围补零并嵌入3×3卷积核的转换操作;和分别表示恒等映射分支转换得到的单位卷积核和对应偏置;通过上述参数合并,使训练阶段的多分支结构在部署阶段转换为单一3×3卷积结构;

50、步骤5、在模型推理阶段,以所述等效3×3融合卷积核及所述融合偏置构建等效3×3卷积层,并将所述rep-elan模块中的五个并行分支替换为所述等效3×3卷积层与激活函数的串行连接结构,获得重参数化后的单分支rep-elan模块;

51、步骤6、将包含所述重参数化后的单分支rep-elan模块的模型部署至边缘计算设备。

52、进一步的,所述lrdbr局部残差分布边界修正检测头的具体步骤如下:

53、步骤1、将所述c3k2特征精炼模块输出的对应尺度的检测特征输入分类分支,依次经过3×3卷积层、批量归一化层及silu激活层进行特征提取、归一化和非线性变换,再通过1×1分类预测卷积层进行类别维度映射,获得各空间位置对应的舌象特征类别分数;

54、步骤2、对所述舌象特征类别分数进行概率转换,获得舌体、裂纹、齿痕、红点、苔质及苔色中一种或多种舌象特征类别的概率分布;

55、步骤3、通过所述粗定位回归分支中的卷积层获得初始边界框参数b0;

56、步骤4、基于所述初始边界框参数确定待识别舌象特征的粗定位区域,并将所述初始边界框参数传递至所述局部残差分布分支作为边界精修的基准输入;

57、步骤5、在所述初始边界框参数的左边界、上边界、右边界及下边界各自的邻域内,分别设置预设数量的候选残差偏移量;

58、步骤6:根据当前增强融合特征对应的下采样倍数确定残差步长,并基于所述残差步长将特征图尺度下的候选残差偏移量映射至原始舌象图像坐标尺度,获得原始图像尺度下的边界修正量;

59、步骤7:通过所述局部残差分布分支中的卷积层,分别输出左边界、上边界、右边界和下边界在各候选残差位置上的原始分数;

60、步骤8、对每条边界对应的各候选残差偏移量的原始残差分数分别执行softmax归一化,获得各候选残差偏移量对应的残差概率;其中,同一条边界的各候选残差偏移量的残差概率之和为1;

61、步骤9、将每条边界的各候选残差偏移量与其对应的残差概率相乘后求和,分别获得左边界残差修正量、上边界残差修正量、右边界残差修正量及下边界残差修正量;

62、步骤10、将所述左边界残差修正量、上边界残差修正量、右边界残差修正量及下边界残差修正量按预设顺序组合,获得边界修正量,将所述边界修正量与所述粗定位回归分支输出的初始边界框参数b0相加,得到最终边界框:

63、

64、式中,m表示p3、p4或p5对应的检测尺度;e表示左、上、右或下边界;k表示候选残差位置索引集合;表示第m个检测尺度中第e条边在第k个候选残差位置处的预测概率;表示相应候选残差位置映射至原始舌象图像坐标尺度后的残差偏移;表示对候选残差位置求概率期望得到的连续边界修正量;表示由四条边的修正量组成的边界修正向量;和分别表示初始边界框和精修后的最终边界框。

65、进一步的,所述隐私保护与脱敏数据管理模块的具体处理过程如下:

66、步骤1:将所述舌象图像采集模块采集的原始舌象图像,所述yolo26轻量化舌象识别模块获取的舌象特征类别及类别置信度,以及所述辅助分析模块获取的舌象特征分析结果与辅助建议汇聚为输入数据,通过隐私保护与脱敏数据管理模块对其进行敏感信息识别,将识别出的敏感信息标记为待脱敏数据

67、所述敏感信息至少包括:原始舌象图像中的完整面部、文字记录;原始文件名称、精确采集时间、精确地理位置、设备序列号、文件路径和网络地址;能够与用户真实身份建立对应关系的本地用户编号或历史记录关联信息;

68、步骤2:将原始舌象图像、优化后舌象图像、用户真实身份信息以及本地用户映射关系保留于轻量化边缘设备本地,不将其加入待上传数据,对于待上传记录中包含的敏感字段执行删除、替换或泛化处理;

69、步骤3:从yolo26轻量化舌象识别模块、舌象图像优化模块以及轻量化边缘设备中提取脱敏特征;所述脱敏特征包括舌象特征类别、类别置信度、边界框坐标、图像质量评分、低置信度标记、模型版本号、模型推理时间、输入图像尺寸、采集时间段、匿名设备编号、处理状态及异常代码中的至少一种;

70、步骤4:为每条脱敏特征生成一次性随机记录编号,所述随机记录编号采用随机字符串或通用唯一标识符生成,不使用用户姓名、联系方式、证件号码本地用户编号或者设备硬件序列号作为记录编号;

71、步骤5:将经敏感信息剥离、脱敏特征提取及去标识化处理后的数据封装为结构化记录;所述结构化记录的格式为json文件、数据库记录或其他结构化数据格式,包括以下字段中的一种或多种:随机记录编号、舌象特征类别、类别置信度、归一化边界框坐标、图像质量评分、低置信度标记、模型版本号、输入图像尺寸、泛化后的采集时间段、匿名设备类别或匿名设备编号、模型推理时间、处理状态及异常代码;

72、步骤6:将原始舌象图像及优化后舌象图像、本地用户信息及用户映射关系、脱敏结构化数据分别存储于轻量化边缘设备的不同存储目录或数据库表中,并为不同类型的数据设置相应的访问权限;

73、步骤7、当接收到用户数据上传授权指令时,对待上传的脱敏结构化数据进行字段完整性校验、数据格式校验及敏感字段残留校验;当校验通过时,通过加密通信通道将所述脱敏结构化数据发送至模型训练与数据管理端,用于模型性能统计、低置信度样本分析及后续模型优化;当校验未通过时,停止发送并生成对应的错误记录;当网络连接异常或者数据传输失败时,将已完成脱敏处理的结构化数据存入本地待传输队列,并在网络恢复且用户授权状态仍然有效时重新进行传输。

74、进一步的,所述模型训练与数据管理端的具体处理过程如下:

75、步骤1:所述模型训练与数据管理端获取公开舌象数据集、自建舌象数据集及经授权获得的舌象样本,对所述舌象数据进行去重、异常图像剔除、类别标注和边界框标注,并按照预设比例划分为训练集、验证集和测试集;同时记录数据集版本、舌象类别、样本数量及标注信息,用于模型训练和数据版本追踪;

76、步骤2:利用训练集训练改进yolo26舌象识别模型;

77、训练过程中,根据舌象特征类别预测结果、初始边界框、局部残差分布以及修正后的最终边界框计算对应训练损失,并通过反向传播更新模型参数;

78、训练完成后,利用验证集和测试集对模型的识别精度、召回率、边界定位精度、模型参数量及推理速度进行评估,并保存满足预设性能要求的模型;

79、步骤3:对训练完成的模型进行部署转换;将rep-elan模块在训练阶段使用的3×3卷积分支、1×1卷积分支、1×3非对称卷积分支、3×1非对称卷积分支和恒等映射分支进行参数融合,转换为单一等效3×3卷积结构;将完成重参数化的模型导出为适于轻量化边缘设备运行的模型文件,并生成与所述模型文件对应的部署信息,所述部署信息至少包括模型版本号、模型格式、输入图像尺寸、模型文件大小、支持的舌象类别、模型文件校验值及适配设备类型;

80、步骤4:当完成部署转换的模型满足预设发布条件时,模型训练与数据管理端生成待更新模型版本,并将所述模型文件及其对应的部署信息发布至模型更新服务,以供边缘模型更新模块获取;

81、步骤5:所述模型训练与数据管理端接收轻量化边缘设备在获得用户授权后上传的脱敏结构化数据,并对所述脱敏结构化数据进行汇总和统计分析;

82、所述统计分析至少包括不同模型版本对应的舌象类别分布、平均类别置信度、低置信度样本比例、模型推理时间以及设备运行状态;当某一舌象类别对应的低置信度比例或异常比例达到预设阈值时,将该类别确定为待优化类别,并通过补充对应训练样本、调整类别权重或重新调整模型参数的方式进行下一轮模型训练;

83、优化后的模型重新执行步骤2至步骤4,形成新的待更新模型版本,并发布至模型更新服务,由此形成模型持续优化过程。

84、进一步的,所述边缘模型更新模块包括模型校验单元、模型替换单元和异常回滚单元,所述边缘模型更新模块的工作过程包括:

85、步骤1、通过模型校验单元对待更新模型文件依次进行完整性校验和适配性校验;当完整性校验失败时,终止本次模型更新并继续使用当前运行模型;当完整性校验通过后,进一步检测待更新模型的模型格式、输入图像尺寸、输出类别数量、运行环境、适配设备类型及版本信息是否与当前轻量化边缘设备相匹配;

86、所述完整性校验包括:通过模型校验单元读取待更新模型文件,并根据模型训练与数据管理端发布的模型文件校验值进行校验;当待更新模型文件缺失、文件无法正常读取或者轻量化边缘设备计算得到的模型文件校验值与发布端提供的校验值不一致时,判定完整性校验失败,终止本次模型更新,并继续使用当前运行模型;

87、所述适配性校验包括:当待更新模型通过所述的完整性校验后,通过模型校验单元检测待更新模型的模型格式、输入图像尺寸、输出类别数量、运行环境、适配设备类型及版本信息是否与当前轻量化边缘设备相匹配;

88、步骤2、当待更新模型同时通过完整性校验和适配性校验后,通过所述模型替换单元保存当前运行模型及其对应的版本信息,形成更新前的稳定模型备份;

89、步骤2.1、通过所述模型替换单元加载待更新模型,并利用预设测试舌象图像执行试运行,检测所述待更新模型是否能够正常完成模型加载、前向推理以及舌象类别和边界框结果输出;当试运行结果满足预设运行条件时,判定待更新模型能够正常运行;否则终止模型替换,并继续使用更新前的稳定模型;

90、步骤2.2、当待更新模型通过试运行后,通过所述模型替换单元将待更新模型设置为当前运行模型,并同步更新模型版本信息,使后续舌象识别任务调用更新后的模型执行本地推理;

91、步骤3、模型替换完成后,对更新模型的加载状态和推理运行状态进行监测;当检测到模型加载失败、推理程序异常退出、预测输出格式异常或其他预设模型运行异常时,通过所述异常回滚单元停止调用更新后的模型,并恢复所述模型替换单元在模型替换前保存的稳定模型备份及其对应的版本信息;

92、步骤4、完成模型替换或者异常回滚后,记录本次更新对应的原模型版本、待更新模型版本、校验结果、试运行结果、模型替换结果、回滚状态及更新时间,作为后续模型版本管理和系统维护的依据。

93、进一步的,所述舌象图像采集模块包括摄像头采集单元、图像获取单元、图像传输单元和边缘设备输入单元;其中,所述摄像头采集单元用于采集用户舌象原始图像;所述图像获取单元用于从摄像头输出数据中提取有效舌象图像;所述图像传输单元用于将所述有效舌象图像传输至轻量化边缘设备;所述边缘设备输入单元用于将接收到的舌象图像输入至轻量化边缘设备内部的后续处理模块中;

94、所述舌象图像优化模块包括光照增强单元、对比度优化单元、去噪锐化单元和roi裁剪单元;其中,所述光照增强单元用于对亮度不足或局部亮度不均的舌象图像进行亮度校正;所述对比度优化单元用于增强舌体与舌苔、裂纹、齿痕及红点等区域之间的灰度或颜色差异;所述去噪锐化单元用于抑制图像中的随机噪声,并增强舌体边缘、舌面纹理及局部细节;所述roi裁剪单元用于确定舌体区域,并从输入图像中裁剪得到包含完整舌体的感兴趣区域,以减少面部、口唇及背景区域对后续识别的干扰;

95、所述辅助分析模块用于接收yolo26轻量化舌象识别模块输出的舌象特征类别、检测位置及类别置信度,并对所述识别结果进行汇总和关联分析;根据预先建立的舌象特征与健康提示信息之间的对应关系,对识别得到的舌色、苔色、裂纹、齿痕、红点及舌体形态等特征进行组合分析,生成对应的舌象特征说明、日常饮食建议、作息建议、生活习惯建议及健康关注提示,并将所述识别结果和建议内容按照预设报告模板生成舌象辅助分析报告,以供用户在本地显示与交互模块中查看;

96、所述本地显示与交互模块包括舌诊结果展示单元、历史记录查询单元、用户信息管理单元以及设置与维护单元;所述舌诊结果展示单元,被配置为在舌象识别完成后,将舌象识别结果及对应的辅助分析报告以可视化方式呈现于本地显示界面;所述历史记录查询单元,被配置为响应于用户的查询操作,从本地存储中检索并展示该用户的历史舌象识别记录;所述用户信息管理单元,被配置为对本地存储的用户信息进行新增、修改、删除及查看操作;所述设置与维护单元,被配置为提供系统参数配置、运行状态监测及日常维护管理的操作入口,并在接收到用户的设置指令后对相应参数或维护项执行更新。

97、本发明还提供一种基于重参数化多尺度残差网络的舌象识别方法,包括以下步骤:

98、步骤1、用户进入到轻量化舌象识别系统,通过舌象图像采集模块获取用户舌象原始图像,并将所述舌象原始图像传输至轻量化边缘设备;

99、步骤2、所述轻量化边缘设备调用舌象图像优化模块对所述舌象原始图像依次执行光照增强、对比度优化、去噪锐化及roi裁剪处理,得到优化舌象图像;其中,当亮度指标、对比度指标及roi完整性指标均满足预设阈值时,判定所述优化舌象图像合格;当任一指标未满足预设阈值时,针对未满足的指标重新执行对应的处理操作;若经预设次数处理后仍存在指标未满足预设阈值,则输出重新采集提示;

100、步骤3、将合格的优化舌象图像输入yolo26轻量化舌象识别模块,依次执行重参数化轻量特征提取、多尺度特征传递、高频细节与全局语义自适应融合、粗边界回归及局部残差边界修正处理,输出舌象特征类别、类别置信度及对应的边界框坐标;

101、步骤4、所述辅助分析模块基于所述舌象特征类别、类别置信度及边界框坐标进行辅助分析,生成包含日常调理与防护建议的舌象辅助识别结果。

102、与现有技术相比,本发明具有以下有益效果:

103、本发明针对舌象图像中细小纹理易丢失、不同层级特征利用不充分以及模糊边界定位偏差的问题,对yolo26舌象识别模型的主干特征提取网络、特征融合网络和检测头进行协同改进。其中,在主干特征提取网络中设置rep-elan舌象重参数化轻量卷积模块,使浅层和中层特征通过3×3卷积、1×1卷积、1×3非对称卷积、3×1非对称卷积及恒等映射分支,对舌面局部纹理、颜色通道、横纵方向边缘及原始特征进行互补提取;深层特征则通过sppf模块扩大有效感受范围,并通过c2psa模块增强不同空间位置之间的关联表达。之后再次进入rep-elan舌象重参数化轻量卷积模块对特征进行提取。在此基础上,hfgs-af模块分别提取浅层高频细节、保留中层结构特征并获取深层全局语义,根据当前舌象图像动态生成不同层级特征的融合权重,使局部裂纹、齿痕、红点等细节信息与舌体整体形态、舌苔分布等全局信息得到有效融合;进一步通过lrdbr局部残差分布边界修正检测头,先获得初始边界框,再根据边界附近的局部残差概率对左、上、右、下四条边进行精细修正,从而有利于提高模型对不同尺度、不同形态以及低对比度舌象特征的识别和定位能力。

104、本发明进一步兼顾了模型特征表达能力与轻量化边缘部署需求。rep-elan舌象重参数化轻量卷积模块在训练阶段采用多分支结构增强局部特征提取能力,在模型训练完成后,将各卷积分支中的卷积参数和批量归一化参数进行融合,并将1×1、1×3、3×1卷积核及恒等映射分支统一转换为单一等效3×3卷积结构,使模型部署阶段无需同时执行多个并行分支,从而减少分支调用、中间特征缓存及特征融合带来的运行开销。经过轻量化处理后的yolo26舌象识别模型可部署于树莓派等资源受限的边缘设备,使舌象图像优化、模型推理、辅助分析和结果显示均能够在本地完成,模型训练与数据管理端无需参与当次实时识别,从而降低系统对远程服务器及网络通信条件的依赖,有利于提高弱网或断网环境下的实时响应能力、运行稳定性和部署便利性。

105、本发明还通过隐私保护与脱敏数据管理模块以及边缘模型更新机制,实现用户数据安全与模型持续优化的结合。原始舌象图像、历史识别记录优先保存在边缘设备本地,通过敏感信息识别、敏感信息剥离、脱敏特征提取及去标识化处理,并在获得授权后生成脱敏结构化数据上传至模型训练与数据管理端,从而减少原始舌象图像及身份关联信息在网络传输和集中存储过程中产生的泄漏风险。模型训练与数据管理端可根据回传数据分析不同舌象类别的识别表现和低置信度样本分布,对模型进行重新训练和优化,并通过模型校验、模型替换及异常回滚方式将更新后的轻量化模型安全下发至边缘设备,由此形成“边缘推理—脱敏数据反馈—模型优化—模型更新”的闭环,实现模型的持续迭代和稳定运行。