一种树状结构数据的图像与分割标签生成模型及应用

技术特征：
1.一种两阶段的树状结构数据的图像与分割标签生成模型，其特征在于，该模型包含两个模块，第一模块为基于少量专家知识设计的树状结构图像仿真器模型，用于生成粗粒度的树状结构图像，第二模块为基于形态损失函数的生成网络模型，用于学习真实树状结构图像风格，对仿真图像细节进行调整；(1)基于少量专家知识设计的树状结构图像仿真器模型m
γ
：通过归纳真实图像的先验知识构建仿真器，生成树状结构仿真图像与其对应的分割标签，树状图像的先验知识包含，树的形态、像素或体素强度直方图、背景噪声和枝干的模糊效应特征；(2)基于形态损失函数的生成网络模型r：在保证图像底层分割级标签不变的情况下，学习真实图像的风格与形态特征，对模拟图像的细节纹理和整体像素或体素分布风格进行调整。2.根据权利要求1所述的图像与分割标签生成模型，其特征在于，第一模块中，基于少量专家知识设计的树状结构图像仿真器模型将树状结构图像的特征分为内部特征和外部特征，内部特征关注于图像中枝干的几何图像特征，包括树的深度，枝干分叉度，枝干半径，枝干长度和枝干方向，外部特征指图像的纹理特点，枝干强度分布和噪声分布。3.根据权利要求2所述的图像与分割标签生成模型，其特征在于，树状结构图像的内部特征用于模拟枝干形状，神经元的基本形态用树形结构表示，其基本形态表示为一种层次的嵌套结构，具有多级分支、三维伸展的形态特征，从一个根节点出发，沿枝干生长形成分支，在每层的分叉节点进行一次分裂后继续生长，以此形成多层次的树结构，结构的开端，称为根结点，根节点之外的节点，称为子节点，没有连到其他子节点的节点，称为叶子节点，使用一系列不同半径的节点来模拟典型的树状结构：其中，n
i
为单个结点，其位置为p
i
＝(x
i
,y
i
,z
i
)，半径为r
i
，结点n
j
为结点n
i
的父节点，结点n0为根节点，在此基础上，仿真模型m
γ
生成仿真树状结构图像还需要以下参数，包括节点半径r、分枝长度l、分枝角度、枝干分叉度b和树的深度t，按照图像中枝干的形态统计的相关工作的结果设定；树的深度t是指从根节点开始，树的分叉次数，按照均匀分布u(t
min
,t
max
)获得，其概率密度为：其中，t
max
，t
min
分别为最大和最小的树深度；枝干分叉度b是指分叉处的分叉子枝干树，在此按指数分布获得：其中，α取1；每条枝干上节点半径r按均匀分布u(r
min
,r
max
)获得，并且分支半径以δ
r
的速率在每层树的深度上递减：
其中，r
max
，r
min
分别为最大和最小的枝干半径，枝干半径衰减率为δ
r
；分枝长度l按均匀分布u(l/2,3l/2)获得，并且枝干长度以δ
l
的速率在每层树的深度上递减：递减：其中，l为根据统计获得枝干的平均长度，枝干长度衰减率为δ
l
；子枝干的方向根据其父枝干方向确定，通过沿z轴和y轴依次旋转，旋转角度为θ
z
和θ
y
，角θ
y
取较小的角度，按照均匀分布u(π/4,π/2)获得，使子枝干与父枝干的方向大致相同：角θ
z
按照等差数列获得：其中，b为枝干分叉度，使得子枝干均匀的沿中心轴环绕分布。4.根据权利要求2所述的图像与分割标签生成模型，其特征在于，树状结构图像的外部特征，在树状结构图像中，设定前景为枝干信号，背景为除枝干外的噪声，外部特征包括前景和背景强度分布，成像过程中的模糊效应和噪声模式；图像中，树状结构的枝干像素或体素强度m
f
和背景部分m
b
分别采用正态分布m
f
～n(μ
f
,σ
f
)和m
b
～n(μ
b
,σ
b
)模拟：)模拟：其中，μ
f
，σ
f
为前景的均值和方差，μ
b
，σ
b
为背景的均值和方差；对于图像前景的枝干，使用高斯核进行模糊处理，模拟显微镜成像的效果，同时，在背景中随机的位置添加大小随机的圆形斑点，以模拟图像中常见的斑点状噪声信号。5.根据权利要求1所述的图像与分割标签生成模型，其特征在于，第二模块中，在保证图像底层标签不变的情况下，学习真实树状图像的底层风格对模拟图像进行调整，来自模拟器m
γ
的合成图像z被输入细化器r以生成细化图像r(z)，然后，将真实图像x和精细图像r(z)送入鉴别器d，该鉴别器学习区分真实图像和精细图像，鉴别器d和细化器r可通过以下
公式进行优化：公式进行优化：其中，x来自于真实图像分布p
real
，z来自于第一阶段仿真图像分布p
sim
，其中，调整器r的目标函数有两项，一个是调整器用于学习真实图像风格的对抗目标函数，另一个是控制输入图像的分割标签变化的6.根据权利要求5所述的图像与分割标签生成模型，其特征在于，调整器r中控制输入图像的分割标签变化的目标函数对生成图像与原图像整体分布之间的相似度进行控制：其中，z为仿真图像，r(z)为使用调整器r生成的图像，表示针对图像外部特征设计的图像相似度损失，是针对图像内部特征设计的图像形状保持损失，α和β为平衡各项损失函数的超参。7.根据权利要求6所述的图像与分割标签生成模型，其特征在于，图像相似度损失是无监督生成学习模型中较为常用的损失函数，其目的是为控制调优模型在训练中的稳定性，避免模型陷入到单一的映射方式中，将数据相似度损失项写为：‖
·
‖1为l1正则项；形状保持损失在调优器r对模型进行风格迁移的过程中，保持其基本的底层分割标签不变，定义为：其中，z
f
表示仿真图像的前景，r(z)
f
表示生成图像的前景，衡量仿真图像和生成图像的前景的像素或体素值差异，使用以下两个式子计算|z
f
∪r(z)
f
|和|z
f
∩r(z)
f
|：|：其中，其中，k是一个较大的数，其用于将图像的前景和背景明确的区分开，μ为前景和背景的阈值，根据图像预定义好的分割标签自动的统计得到：
其中，p
b
(x)是图像背景分布，当k值较大时，且当z
f
和r(z)
f
均为前景时，|z
f
∩r(z)
f
|趋于1，否则趋于0，同理，当z
f
或r(z)
f
为前景时，|z
f
∪r(z)
f
|趋于1，否则趋于0。

技术总结
本发明提供一种树状结构数据的图像与分割标签生成模型及应用。所述模型包含基于少量专家知识设计的树状结构图像仿真器模型和基于形态损失函数的生成网络模型。本发明无需任何人工标注信息，即可以生成与真实目标图像风格极为相似的有标签仿真树状结构图像。此项技术可以针对各类医学图像中树状目标(如：大脑神经元，视网膜血管，肺部气管等)进行图像与分割标签生成，数据质量可达到人工标注数据的水平。本发明是首个具备自动生成分割级数据的模型，具有模型配置简单灵活、生成数据质量高，应用范围广泛的优势，可用于取代高成本高耗时的人工标注数据过程，有望彻底解决深度学习在处理医学树状图像分割问题时缺乏标注数据的瓶颈。颈。颈。


技术研发人员：郑能干 刘超 王得利 张焓 吴朝晖
受保护的技术使用者：浙江大学
技术研发日：2022.05.19
技术公布日：2022/8/1