基于深度学习卷积神经网络的人类染色体图像摆正方法与流程

技术特征：
1.一种基于深度学习卷积神经网络的人类染色体图像摆正方法，其特征在于，包括：获取染色体中期图的单条染色体图像；对所述单条染色体图像进行关键点标注，标注的五个关键点分别是染色体短臂左端点、染色体短臂右端点、染色体长臂左端点、染色体长臂右端点以及着丝粒中心点；对染色体图像进行预处理，对所述五个关键点分别生成高斯热力图；根据染色体图像和高斯热力图标签训练u-net网络，得到染色体关键点位置预测模型；将新的待测试单条染色体图像经过相同预处理后输入所述染色体关键点位置预测模型进行推理，输出待测染色体关键点位置的预测高斯热力图；根据预测高斯热力图计算相应的五个关键点的坐标信息，利用坐标信息计算摆正角度后旋转图像，最后利用前期分类结果，对同源染色体进行着丝粒对齐操作。2.如权利要求1所述的基于深度学习卷积神经网络的人类染色体图像摆正方法，其特征在于，对所述单条染色体图像进行关键点标注，标注的五个关键点分别是染色体短臂左端点、染色体短臂右端点、染色体长臂左端点、染色体长臂右端点以及着丝粒中心点之后，还包括：对标注后的数据进行审核，排除脏数据和错误标注。3.如权利要求1所述的基于深度学习卷积神经网络的人类染色体图像摆正方法，其特征在于，对染色体图像进行预处理，对所述五个关键点分别生成高斯热力图包括：对标注的五个关键点生成高斯热力图，每个关键点一张高斯热力图，高斯热力图半径为6，中心点像素为1，周围像素值中心向外逐渐变小至0；将染色体图像由输入的gray格式或者bgr格式转为rgb格式，根据染色体中期图的分割结果，去除图像周边与其交叉粘连的其他染色体和背景杂质干扰；将高斯热力图尺寸和rgb格式图像统一到固定尺寸128*128，对统一尺寸后的rgb格式图像进行归一化，归一化使数据服从高斯分布，归一化采用图像减去其像素均值除以方差。4.如权利要求1所述的基于深度学习卷积神经网络的人类染色体图像摆正方法，其特征在于，根据染色体图像和高斯热力图标签训练u-net网络，得到染色体关键点位置预测模型，包括：网络预测输出五张预测的高斯热力图，计算五张高斯热力图的最大激活值位置，分别得到染色体短臂左端点、染色体短臂右端点、染色体长臂左端点、染色体长臂右端点以及着丝粒中心点的具体坐标；计算五个关键点的预测位置相对于真实标注位置的距离误差，距离误差转换成预测准确率；计算预测的高斯热力图与真实的高斯热力图的损失，利用损失进行梯度反向传播，更新u-net网络权重，u-net网络再次前向推理，计算新的损失，依次反复，直到在验证集中五个关键点的预测准确率达到最高值不再上升时，保存u-net网络此刻的权重，得到最佳权重的染色体关键点位置预测模型。5.如权利要求4所述的基于深度学习卷积神经网络的人类染色体图像摆正方法，其特征在于，计算预测的高斯热力图与真实的高斯热力图的损失，包括：使用损失函数jointsmseloss计算预测高斯热力图与真实高斯热力图的损失，按通道计算均方误差损失函数mseloss，再求加权平均值；
式中，代表第i张预测输出的高斯热力图的坐标，代表第i张真实的高斯热力图的坐标，n为正整数，代表每张染色体的像素个数，mseloss
i
是单张高斯热力图的均方误差，是第i张高斯热力图的分配权重，在该网络中设置五个关键点的权重相等，都为1，m为正整数，代表每条染色体的高斯热力图张数，每条染色体都有5张高斯热力图，因此m等于5。6.如权利要求5所述的基于深度学习卷积神经网络的人类染色体图像摆正方法，其特征在于，计算五个关键点的预测位置相对于真实标注位置的预测准确率，包括：使用拉格朗日距离公式计算预测的高斯热力图与真实的高斯热力图之间的距离；式中，下标p_i代表第i个预测点，t_i代表第i个真实标签点，表示第i个预测点的x坐标，第i个预测点的y坐标，表示第i个z真实点的x坐标，表示第i个真实点的y坐标；w代表图像宽度，h代表图像高度，m为正整数，代表预测点的个数；根据五个关键点的预测位置与真实标注位置的拉格朗日距离，确定预测准确率。7.如权利要求6所述的基于深度学习卷积神经网络的人类染色体图像摆正方法，其特征在于，根据五个关键点的预测位置与真实标注位置的拉格朗日距离，确定预测准确率，包括：判断五个关键点的预测位置与真实标注位置的拉格朗日距离是否小于0.5；如果某个关键点的预测位置与真实标注位置的拉格朗日距离小于0.5，将所述关键点记为正确预测的关键点，反之记为预测失败；根据正确的关键点的数量与关键点的总数量的比值，得到预测准确率。8.如权利要求1所述的基于深度学习卷积神经网络的人类染色体图像摆正方法，其特征在于，根据预测高斯热力图计算相应的五个关键点的坐标信息，利用坐标信息计算摆正角度后旋转图像，最后利用前期分类结果，对同源染色体进行着丝粒对齐操作，包括：计算五张预测高斯热力图的最大激活值位置，分别得到染色体短臂左端点、染色体短臂右端点、染色体长臂左端点、染色体长臂右端点以及着丝粒的预测位置坐标；利用染色体短臂左端点、染色体短臂右端点、染色体长臂左端点、染色体长臂右端点的预测位置坐标，计算预测染色体摆正所需的旋转角度，计算旋转矩阵；根据所述旋转矩阵旋转所述单条染色体图像，计算旋转后的关键点坐标，实现染色体长臂在上短臂在下；根据旋转后的着丝粒的位置，和前期分类结果，实现对同源染色体的着丝粒对齐操作。

技术总结
本发明公开一种基于深度学习卷积神经网络的人类染色体图像摆正方法。本发明通过对单条染色体图像标注染色体短臂左端点、染色体短臂右端点、染色体长臂左端点、染色体长臂右端点以及着丝粒中心点五个关键点，对染色体图像预处理，对五个关键点分别生成高斯热力图，训练U-Net网络，得到染色体关键点位置预测模型，将新的待测试单条染色体图像进行处理后输入染色体关键点位置预测模型进行推理后计算相应的五个关键点的坐标信息，利用坐标信息计算摆正角度后旋转图像，最后利用前期分类结果，对同源染色体进行着丝粒对齐操作，解决了传统复杂染色体区域分割方法对着丝粒定位效果有待提升，难以做到复杂情况下的适应性的问题。难以做到复杂情况下的适应性的问题。难以做到复杂情况下的适应性的问题。


技术研发人员：闭世兰 卢沁阳 刘丽珏 穆阳 彭伟雄 蔡昱峰
受保护的技术使用者：湖南自兴智慧医疗科技有限公司
技术研发日：2022.10.17
技术公布日：2022/11/11