基于柔性传感与红外热成像的皮肤状态监测方法及系统与流程
本发明涉及皮肤监测,尤其涉及基于柔性传感与红外热成像的皮肤状态监测方法及系统。
背景技术:
1、皮肤肿瘤边界的精确识别是外科手术方案制定与预后评估的关键环节,临床长期依赖触诊和目视检查等传统手段,借助医生对病灶硬度、色泽及形态的主观经验进行判断。随着影像学技术发展,高频超声、皮肤镜和光学相干断层扫描等无创检测手段逐步应用于临床辅助诊断,这些技术能够提供病灶区域的结构形态或血管分布信息。热成像技术亦被用于皮肤表面温度场的测量,通过温差分布间接反映组织代谢活跃程度。此类检测方式通常以单一模态图像输出为主,辅以人工判读或传统图像处理算法,按固定流程完成数据采集、特征提取与分类决策。
2、单一模态的成像手段各自存在固有的信息获取盲区,结构成像对早期微小浸润灶的空间分辨能力有限,热成像则容易受到环境温度及血流动力学干扰,单纯依赖某一类参数难以全面反映肿瘤浸润边界所涉及的力学、热学与代谢等多维度生理变化。常规临床路径往往将不同来源的检查结果分开解读,医生需要在大脑中非正式地整合多组影像与触诊信息,这一过程高度依赖个人经验且缺乏可量化的统一标准。边界判断结果因此常出现主观偏差,对隐匿浸润区域容易产生低估,导致手术切缘阳性率居高不下。
3、现有技术中虽然存在将影像特征与物理参数进行综合分析的尝试,但多数方法停留在对多种特征向量进行简单拼接或浅层融合,没有从数据时空对应关系上建立真正一致的多模态分析框架。不同传感器数据各自采用独立坐标体系和采样时间,在综合分析时难以保证空间位置与时间状态的有效对齐,融合后的特征描述存在信息冗余与不一致问题。此外,已有的分析模型普遍采用离线训练、固定参数的工作模式,缺少针对个体差异和不同病灶类型进行动态调整的机制,模型面对新样本时的泛化能力受限。
技术实现思路
1、本发明实施例提供基于柔性传感与红外热成像的皮肤状态监测方法及系统,能够解决现有技术中的问题。
2、本发明实施例的第一方面,提供基于柔性传感与红外热成像的皮肤状态监测方法,包括:
3、获取待测皮肤区域的柔性多模态传感数据与红外热成像数据,对所述柔性多模态传感数据与所述红外热成像数据进行时空配准,基于各传感数据的空间坐标与时间戳建立统一的多维特征空间,生成空间对齐的多参数融合特征图;
4、对所述多参数融合特征图进行特征提取,通过多尺度卷积核提取不同空间分辨率下的肿瘤组织特征与正常组织特征,生成多层级特征表示;
5、将所述多层级特征表示输入特征融合模块,根据所述特征融合模块对不同模态特征进行加权融合,根据各模态特征对肿瘤边界识别的贡献度动态分配融合权重,生成融合特征向量;
6、将所述融合特征向量输入边界预测网络,所述边界预测网络基于对比学习策略构建肿瘤边缘区域与正常组织边缘区域的特征差异表征,通过最大化肿瘤边界特征与正常边界特征之间的距离度量,生成肿瘤浸润边界的像素级分割结果;
7、根据所述像素级分割结果生成肿瘤边界定位图,并利用所述肿瘤边界定位图的预测误差反馈更新所述特征融合模块中的融合权重与所述边界预测网络中的特征差异表征,形成自适应优化闭环。
8、对所述柔性多模态传感数据与所述红外热成像数据进行时空配准,基于各传感数据的空间坐标与时间戳建立统一的多维特征空间,生成空间对齐的多参数融合特征图包括:
9、构建形变自适应坐标系统,通过实时追踪各传感节点在皮肤表面的三维位置变化,建立随皮肤形变动态更新的空间基准坐标,并将红外热成像数据的二维像素坐标投影至所述形变自适应坐标系统,得到各像素点在形变补偿后的空间位置;
10、基于所述形变自适应坐标系统中各传感节点的空间位置,对柔性多模态传感数据的离散采样点进行空间重构,根据传感节点与目标像素位置的空间距离关系计算各节点对目标位置的贡献度,生成与所述红外热成像数据的像素网格对齐的连续化传感数据场;
11、提取所述柔性多模态传感数据与所述红外热成像数据的时间戳序列,构建时间同步索引以量化不同时刻数据间的时间对应关系,通过所述时间同步索引对时间戳序列进行非线性映射,确定各模态数据在统一时间基准下的采样时刻;
12、依据所述时间同步索引将所述连续化传感数据场与所述红外热成像数据进行逐像素融合,构建包含温度分布、机械阻抗分布、电阻抗分布、酸碱度分布的时空特征张量,生成空间对齐的多参数融合特征图。
13、对所述多参数融合特征图进行特征提取,通过多尺度卷积核提取不同空间分辨率下的肿瘤组织特征与正常组织特征,生成多层级特征表示包括:
14、构建多尺度并行卷积架构,该架构针对多参数融合特征图同时执行不同感受野尺寸的卷积运算,生成包含细胞尺度特征与浸润区域特征的多尺度特征响应;
15、对所述多尺度特征响应中不同尺度的特征响应进行空间对应关系建模,通过分析同一空间位置在不同尺度下的特征激活模式,识别该位置的组织类型归属与边界过渡特性,生成空间-尺度联合表征;
16、对所述空间-尺度联合表征进行特征层级编码,通过逐层卷积变换将浅层的纹理差异特征与浸润区域特征转化为深层的组织类型判别特征;
17、将浅层卷积层输出作为纹理特征层、中层卷积层输出作为结构特征层、深层卷积层输出作为判别特征层,组织形成多层级特征表示。
18、对所述多尺度特征响应中不同尺度的特征响应进行空间对应关系建模,通过分析同一空间位置在不同尺度下的特征激活模式,识别该位置的组织类型归属与边界过渡特性,生成空间-尺度联合表征包括:
19、建立跨尺度特征对应关系,针对多尺度特征响应中的每个空间位置,提取该位置在小感受野卷积核输出与大感受野卷积核输出中的特征激活向量,构建该位置的多尺度特征激活序列;
20、对所述多尺度特征激活序列进行尺度一致性度量,计算各尺度特征激活向量之间的相关性系数,当相关性系数呈现一致性时判定该位置处于组织内部均质区域,当相关性系数呈现尺度间差异时判定该位置处于肿瘤边界过渡区域,生成该位置的边界过渡特性指标;
21、基于所述边界过渡特性指标与所述多尺度特征激活序列的联合分析,对组织内部均质区域的位置通过其小感受野特征激活向量识别细胞尺度的组织类型归属,对肿瘤边界过渡区域的位置通过其大感受野特征激活向量识别浸润方向与过渡范围,生成各位置的组织类型归属标识与边界过渡方向标识;
22、将所述多尺度特征激活序列、所述边界过渡特性指标、所述组织类型归属标识与所述边界过渡方向标识进行张量融合,生成空间-尺度联合表征。
23、将所述多层级特征表示输入特征融合模块,根据所述特征融合模块对不同模态特征进行加权融合,根据各模态特征对肿瘤边界识别的贡献度动态分配融合权重,生成融合特征向量包括:
24、将多层级特征表示中的纹理特征层、结构特征层与判别特征层分别输入特征融合模块,针对当前待识别的肿瘤边界区域,计算各特征层在所述肿瘤边界区域的特征激活强度与特征区分度的乘积,量化各特征层对肿瘤边界识别的贡献度数值;
25、基于所述贡献度数值构建注意力权重分配策略,将所述贡献度数值进行归一化处理得到各模态特征的融合权重;
26、将所述融合权重分别作用于对应的纹理特征层、结构特征层与判别特征层,通过加权运算生成加权特征表示,对所述加权特征表示进行跨模态聚合,将来自不同模态的加权特征表示融合至统一特征空间,生成融合特征向量。
27、将所述融合特征向量输入边界预测网络,所述边界预测网络基于对比学习策略构建肿瘤边缘区域与正常组织边缘区域的特征差异表征,通过最大化肿瘤边界特征与正常边界特征之间的距离度量,生成肿瘤浸润边界的像素级分割结果包括:
28、将融合特征向量输入边界预测网络,根据所述边界预测网络从所述融合特征向量中提取肿瘤边缘区域对应的特征子集与正常组织边缘区域对应的特征子集,通过计算两个特征子集在特征空间中的分布中心,建立肿瘤边界特征原型与正常边界特征原型;
29、基于所述边界预测网络对所述肿瘤边界特征原型与所述正常边界特征原型进行特征空间优化,通过增大两个特征原型之间的欧氏距离同时减小同类边界特征与其对应特征原型之间的距离,使得肿瘤边界特征与正常边界特征在特征空间中形成可分离的聚类分布;
30、将优化后的所述融合特征向量输入像素级分类器,根据所述像素级分类器计算各像素位置的特征向量与所述肿瘤边界特征原型的相似度以及与所述正常边界特征原型的相似度,通过比较两个相似度的大小判定该像素位置归属于肿瘤浸润边界或正常组织边界,生成像素级分割结果。
31、根据所述像素级分割结果生成肿瘤边界定位图,并利用所述肿瘤边界定位图的预测误差反馈更新所述特征融合模块中的融合权重与所述边界预测网络中的特征差异表征,形成自适应优化闭环包括:
32、对像素级分割结果进行边界连续性重构,提取标记为肿瘤浸润边界的像素点并构建边界轮廓曲线,生成肿瘤边界定位图;
33、将所述肿瘤边界定位图与标注的真实肿瘤边界进行像素级对比,计算各边界位置的空间偏差值,针对空间偏差值超出容忍范围的误差区域,回溯所述误差区域对应的融合特征向量,分析所述融合特征向量中各模态特征的融合权重配比与所述误差区域的边界特性的匹配程度,生成融合权重修正矩阵;
34、将所述融合权重修正矩阵反馈至特征融合模块的贡献度评估单元,根据所述融合权重修正矩阵调整各模态特征的贡献度计算策略,同时将所述误差区域的特征分布信息反馈至边界预测网络,驱动所述边界预测网络重新调整肿瘤边界特征原型与正常边界特征原型在特征空间中的位置,缩小误差区域特征与正确分类所需特征原型之间的距离;
35、基于更新后的融合权重与特征差异表征重新执行特征融合与边界预测,验证更新后的预测精度,形成自适应优化闭环。
36、本发明实施例的第二方面,提供基于柔性传感与红外热成像的皮肤状态监测系统,包括:
37、时空配准单元,用于获取待测皮肤区域的柔性多模态传感数据与红外热成像数据,对所述柔性多模态传感数据与所述红外热成像数据进行时空配准,基于各传感数据的空间坐标与时间戳建立统一的多维特征空间,生成空间对齐的多参数融合特征图;
38、多级特征单元,用于对所述多参数融合特征图进行特征提取,通过多尺度卷积核提取不同空间分辨率下的肿瘤组织特征与正常组织特征,生成多层级特征表示;
39、加权融合单元,用于将所述多层级特征表示输入特征融合模块,根据所述特征融合模块对不同模态特征进行加权融合,根据各模态特征对肿瘤边界识别的贡献度动态分配融合权重,生成融合特征向量;
40、边界预测单元,用于将所述融合特征向量输入边界预测网络,所述边界预测网络基于对比学习策略构建肿瘤边缘区域与正常组织边缘区域的特征差异表征,通过最大化肿瘤边界特征与正常边界特征之间的距离度量,生成肿瘤浸润边界的像素级分割结果;
41、优化闭环单元,用于根据所述像素级分割结果生成肿瘤边界定位图,并利用所述肿瘤边界定位图的预测误差反馈更新所述特征融合模块中的融合权重与所述边界预测网络中的特征差异表征,形成自适应优化闭环。
42、本发明实施例的第三方面,提供一种电子设备,包括:
43、处理器;
44、用于存储处理器可执行指令的存储器;
45、其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
46、本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
47、柔性多模态传感与红外热成像数据经时空配准后构建统一多维特征空间,消除了不同传感模态间采样时间与空间位置的偏差,使多参数融合特征图在空间上精确对齐,为后续分析提供高保真数据基础。多模态互补信息得以充分结合,皮肤表面力学参数与深层热辐射特征相互印证,避免单一模态数据缺失或噪声干扰造成的误判,提升监测结果在复杂皮肤状态下的可信度与稳定性。
48、多尺度卷积核并行提取不同空间分辨率的肿瘤组织与正常组织特征,兼顾微小病灶的细节信息与浸润区域的整体轮廓,多层级特征表示全面刻画组织异质性。特征融合模块依据各模态对肿瘤边界识别的贡献度动态分配融合权重,摒弃固定权重带来的适应性不足,使融合特征向量在个体差异和病灶类型变化时仍保持高判别力,增强边界识别的准确性与泛化能力。
49、边界预测网络利用对比学习策略拉大肿瘤边缘与正常边缘的特征距离,使像素级分割结果清晰刻画出浸润边界,降低边界模糊区域的分级不确定性。像素级分割结果生成的肿瘤边界定位图,其预测误差反馈至特征融合模块与边界预测网络,在线修正融合权重并优化特征差异表征,形成自适应优化闭环,使系统随使用数据积累持续提升边界定位精度,实现对肿瘤浸润范围的动态精准监测。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com