一种基于自学习的五边形绘图测试智能评价系统及方法与流程

1.本发明涉及图形分析与评价方法，尤其涉及一种基于自学习的五边形绘图测试智能评价系统及方法。


背景技术：

2.五边形绘图测试(pentagon drawing test，pdt)是简易精神状态检查(mini-mental state examination，mmse)的其中一项，被广泛应用于老年人认知障碍筛查。测试者被要求画出两个相交的五边形，其相交区域为一个四边形。pdt可以快速、可靠地评估受检者视觉空间功能，该功能通常在神经退行性疾病如帕金森病和阿尔茨海默病中出现不同程度的下降。研究表明，该测试还可有效区分各种类型的认知缺陷和预测整体认知功能障碍。pdt通常按照“通过”或“未通过”的方式评分，即正确画出整个图形得1分，反之为0分。
3.当前，pdt由熟悉此测试的专家或训练有素的技术人员进行评分。虽然这项任务对于数量有限的测试可能很容易，但面对大数据，例如大范围社区认知功能筛查或个人多年的病程记录，它变得非常耗时和具有挑战性。另外，一张绘图是否满足评分标准实际上是一种主观判断，它可能会受到图中各种细微的不确定性影响，例如存在模棱两可的形状、略微弯曲的边缘和不对称的图形。因此，不同评分者之间和同一评分者前后的一致性会受到不少因素的干扰，包括评分标准、经验、注意力甚至可能的失误。
4.随着人工智能(artificial intelligence，ai)的发展，为解决此局限性以及实现自动评分提出了方案。与人类的主观判断相比，人工智能程序有更高的效率和可重复性，此外，它可以降低成本并促进pdt和mmse的电子化或远程应用，这符合当前新冠大流行时期的卫生策略和未来数字健康的趋势。
5.现有技术中，对比文件1【park i,kim yj,kim yj,lee u(2020)automatic,qualitative scoring of the interlocking pentagon drawing test(pdt)based on u-net and mobile sensor data.sensors(switzerland)20,1283.】中记载了一种利用深度学习开发对电子pdt的自动评分工具，其中记载的模型是专门为在智能手机或平板电脑采集的pdt评分而设计的，并且采用了一套自行开发、更复杂的评分标准—共有4个评分项总计11分，包括角的数量、五边形间的距离、图形轮廓完整性和是否存在震颤。实现该模型的功能需要使用数字图像以及包括空间坐标、时间戳和触摸事件在内的移动设备传感器数据。然而，这些要求不仅增加了计算量和模型大小，还极大降低其实用性。具体而言，不但该评分标准不具有普遍性，而且在缺少任何以上数据输入的情况下该模型均无法准确地评分，这些因素限制了其在传统纸质pdt上的应用，而且纸质pdt是更常见的测试方式，尤其在发展中国家或地区。综上所述，包括以上模型在内的大多数深度学习算法均为“黑匣子”，即其决策依据无法被追踪或分析，从而结果难以为人类所理解和判断其合理性。
6.此外，对比文件2(申请号为202010390856.x、名称为“基于卷积深度神经网络的ad量表手绘交叉五边形分类方法”的中国发明专利公开文献)，该专利文献使用中值滤波方法，该方法在黑白图片中使用的效果是去除离散孤立点噪声，无法去除大片的背景阴影或
亮斑，再者，该专利文献直接使用评估结果对手绘图片进行标注，标签结果只对应某一评估标准，当评估标准发生改变如“通过/不通过”变成“评分”将需要重新标注，其次，该专利文献使用卷积深度神经网络方法对图片进行分类，并且未涉及图片获取、传输与储存方案，此外，在几百张图片的数据量下，该专利文献需要使用中值滤波、图像增强进行训练来获得60～70％的准确率，特别是在不同图像中，手绘交叉五边形线条粗细不一致，由此限制了该专利方法的泛化能力。


技术实现要素：

7.本发明要解决的技术问题在于，针对现有技术的不足，提供一种能够对数字化图像进行快速、准确的评分，而且处理结果可追踪、易理解的基于自学习的五边形绘图测试智能评价系统及方法。
8.为解决上述技术问题，本发明采用如下技术方案。
9.一种基于自学习的五边形绘图测试智能评价系统，其数字图像获取模块，用于获取指定数量的五边形绘图数字化图像；数据预处理模块，用于将所述数字图像获取模块获取的五边形绘图数字化图像组成图像训练集，并调整所述图像训练集中的数字化图像以突出显示所述数字化图像中的四边形和五边形，以及对所述数字化图像中的四边形和五边形进行标记，记录所述数字化图像中的四边形和五边形坐标信息；图像分析模块，用于根据所述图像训练集中全部数字化图像的四边形和五边形坐标信息训练得到深度学习模型，所述深度学习模型用于对经过预处理后的pdt图像进行分析并得出所述pdt图像中的几何图形类型和坐标信息；评价与显示模块，用于根据所述深度学习模型的分析结果判断所述pdt图像中的几何图形是否满足预设的pdt图形条件，同时生成评价结果信息。
10.一种基于自学习的五边形绘图测试智能评价方法，该方法基于一系统实现，所述系统包括有数字图像获取模块、数据预处理模块、图像分析模块和评价与显示模块，所述方法包括：步骤s1，所述数字图像获取模块获取指定数量的五边形绘图数字化图像；步骤s2，所述数据预处理模块将所述数字图像获取模块获取的五边形绘图数字化图像组成图像训练集，并调整所述图像训练集中的数字化图像以突出显示所述数字化图像中的四边形和五边形；步骤s3，所述数据预处理模块对所述数字化图像中的四边形和五边形进行标记，记录所述数字化图像中的四边形和五边形坐标信息；步骤s4，所述图像分析模块基于所述图像训练集中全部数字化图像的四边形和五边形坐标信息训练得到深度学习模型；步骤s5，将经过预处理后的pdt图像输入至所述深度学习模型，所述深度学习模型分析得出所述pdt图像中的几何图形类型和坐标信息；步骤s6，所述评价与显示模块根据所述深度学习模型的分析结果判断所述pdt图像中的几何图形是否满足预设的pdt图形条件，同时生成评价结果信息。
11.优选地，所述步骤s1中，所述数字图像获取模块获取的所述数字化图像包括拍摄、扫描或者拷贝得到的图像。
12.优选地，所述步骤s2中，所述数据预处理模块对所述数字化图像进行预处理的过程包括黑白化、降噪、识别目标区域、裁剪和调整尺寸大小中的任意一个或者多个。
13.优选地，所述步骤s2中包括对所述数字化图像的降噪处理步骤：步骤s200，将彩色的所述数字化图像从多色通道图像转换为单通道灰度图像，并根据像素灰度的直方图分布
选择最佳的阈值；步骤s201，使用该阈值将灰度图二值化：将强度低于该阈值的所有像素点设置为0，其余为1，该步骤将灰度图像转化为黑白图像，进而完成图像降噪处理。
14.优选地，若所述步骤s21中降噪处理后的数字化图像边缘伪影较多，则对该数字化图像进行裁剪，形成一个仅包含目标几何图形的新图片。
15.优选地，对所述数字化图像进行裁剪的过程包括人工裁剪或者利用预先训练的自动识别目标区域算法实现自动化裁剪。
16.优选地，所述步骤s1中，所述数字图像获取模块获取的一部分五边形绘图数字化图像还组成图像测试集，所述步骤s4中，将所述图像测试集中的数字化图像经过预处理后输入至所述深度学习模型进行检验。
17.优选地，所述步骤s6，所述评价与显示模块生成的评价结果信息包括但不限于：“通过”和“未通过”信息；被识别出的四边形和五边形的概率；对每张数字化图像的评分。
18.本发明公开的基于自学习的五边形绘图测试智能评价系统及方法中，所述数字图像获取模块可用于获取指定数量的五边形绘图数字化图像，所依赖的硬件设备包括但不限于电脑、手机或平板的绘图程序及其摄像头、以及数码相机、扫描仪等；所述数据预处理模块通过分析上述数字图像的像素特征，实现对目标区域的提取、降噪、去色和裁剪，最后生成包含目标绘图的标准化图像；所述图像分析模块包含但不限于深度神经网络等深度学习模型，可通过卷积运算判断出图像当中每一个五边形和四边形的位置和概率等信息，所述评价与显示模块通过对几何图形种类、数量和位置关系的分析，得出最终评分，并且显示出上述信息。相较于传统的机器学习方法，本发明结合了现有最先进的深度学习方法与可被理解的逻辑分析方法，实现比传统深度学习效率更高、精确度更高、泛化能力更强的功能。
附图说明
19.图1为本发明基于自学习的五边形绘图测试智能评价系统的组成框图；
20.图2为本发明基于自学习的五边形绘图测试智能评价方法流程图；
21.图3为图像预处理步骤中的图形变化示意图；
22.图4为yolo模型结构图；
23.图5为深度学习模型预测结果及可视化示意图；
24.图6为深度学习模型roc曲线对比示意图。
具体实施方式
25.下面结合附图和实施例对本发明作更加详细的描述。
26.本发明公开了一种基于自学习的五边形绘图测试智能评价系统，请参见图1，其包括有：
27.数字图像获取模块1，用于获取指定数量的五边形绘图数字化图像；
28.数据预处理模块2，用于将所述数字图像获取模块1获取的五边形绘图数字化图像组成图像训练集，并调整所述图像训练集中的数字化图像以突出显示所述数字化图像中的四边形和五边形，以及对所述数字化图像中的四边形和五边形进行标记，记录所述数字化图像中的四边形和五边形坐标信息；
29.图像分析模块3，用于根据所述图像训练集中全部数字化图像的四边形和五边形
坐标信息训练得到深度学习模型，所述深度学习模型用于对经过预处理后的pdt图像进行分析并得出所述pdt图像中的几何图形类型和坐标信息；
30.评价与显示模块4，用于根据所述深度学习模型的分析结果判断所述pdt图像中的几何图形是否满足预设的pdt图形条件，同时生成评价结果信息。
31.上述系统中，所述数字图像获取模块1可用于获取指定数量的五边形绘图数字化图像，当然也可以扩展生成、提取、传输和/或存储数字化图像的功能，本发明对具体的功能扩展不作限制。本发明所依赖的硬件设备包括但不限于电脑、手机或平板的绘图程序及其摄像头、以及数码相机、扫描仪等；所述数据预处理模块2用于分析上述数字图像的像素特征，包括标记和划分图像数据集用于训练和测试模型，以及图像预处理功能，后者通过分析数字图像的像素特征，实现对目标区域的提取、降噪、去色和裁剪，最后生成包含目标绘图的标准化图像；所述图像分析模块3包含深度神经网络等深度学习模型，通过训练物体识别深度学习模型，用于判断出图像当中每一个五边形和四边形的位置和概率等信息，所述评价与显示模块4通过对几何图形种类、数量和位置关系的分析，得出最终评分，并且显示出上述信息。相较于传统的机器学习方法，本发明结合了现有最先进的深度学习方法与可被理解的逻辑分析方法，实现比传统深度学习效率更高、精确度更高、泛化能力更强的功能。
32.本发明使用的物体识别模型依赖于深度神经网络，常用于计算机视觉领域的各类任务，如人脸识别、自动驾驶等。与传统图像分类模型不同，物体识别模型需训练识别出图像中的物体种类以及位置，而图像分类模型只需要辨别图像的总体分类。
33.在此基础上，本发明公开了一种基于自学习的五边形绘图测试智能评价方法，该方法基于所述系统实现，所述系统包括有数字图像获取模块1、数据预处理模块2、图像分析模块3和评价与显示模块4，结合图1和图2所示，所述方法包括：
34.步骤s1，所述数字图像获取模块1获取指定数量的五边形绘图数字化图像；
35.步骤s2，所述数据预处理模块2将所述数字图像获取模块1获取的五边形绘图数字化图像组成图像训练集，并调整所述图像训练集中的数字化图像以突出显示所述数字化图像中的四边形和五边形；
36.步骤s3，所述数据预处理模块2对所述数字化图像中的四边形和五边形进行标记，记录所述数字化图像中的四边形和五边形坐标信息；
37.步骤s4，所述图像分析模块3基于所述图像训练集中全部数字化图像的四边形和五边形坐标信息训练得到深度学习模型；
38.步骤s5，将经过预处理后的pdt图像输入至所述深度学习模型，所述深度学习模型分析得出所述pdt图像中的几何图形类型和坐标信息；
39.步骤s6，所述评价与显示模块4根据所述深度学习模型的分析结果判断所述pdt图像中的几何图形是否满足预设的pdt图形条件，同时生成评价结果信息。
40.相比对比文件1、2而言，本发明方法模型有如下优势：
41.第一，本发明仅需数字图像数据，因此适用性更广，可以同时用于电子以及纸质的pdt。例如，使用者只需提供由电子版pdt生成的数字绘图，或者拍摄画在纸质界面上的图形通过移动设备的摄像头或扫描仪，即可获得评分。处理纯图像数据还可以降低整个ai框架的复杂度，从而减少对硬件配置的要求以及提高计算效率。
42.第二，本发明建立了一套完整、标准化的图像预处理流程，包括训练模型时数据集
的划分，标记，以及可以进行目标区域检测、裁剪、降噪、生成标准化图片等一系列自动化操作。图像处理可以降低不同质量的原始图片带来的图像噪声如背景伪影、光照不均等干扰，提高模型运算效率和判断准确性。
43.第三、本发明模型采用最为通用的评分标准，即“通过”及“未通过”，使结果更容易被分析和为下一步决策提供依据；但同时此方案亦可用于开发更复杂的评分模型。
44.第四，本发明模型使用了目标图形识别技术，能够自动定位并显示出原始图像中所有的五边形和四边形，从而能够直观地反映其做出判断的依据，方便使用者理解以及对模型进行深入的调试或优化。
45.进一步地，所述步骤s1中，所述数字图像获取模块1获取的所述数字化图像包括拍摄、扫描或者拷贝得到的图像。
46.在该步骤s1中，所述数字图像获取模块1可以从云端或本地数据库获取五边形绘图数字化图像，例如，方案实施者可从医学机构或者公共数据库获取已有的ptd绘图数据，或者自行采集新的数据。如原绘图存在于纸质界面，首先将其数字化，可用方法包括但不限于：使用手机摄像头拍摄、数码相机拍摄、扫描仪扫描等。此过程尽量设置合适光照条件、拍摄角度和范围，以减少图片的背景噪声。图像保存为jpg格式，其他格式的图像可通过任意图片处理软件将其另存为jpg。如原绘图为数字化图像，则只需将其导出并保存为jpg格式。实际应用中，所用的数据来自于两个独立的健康服务机构，包括机构a的399张pdt绘图以及机构b的424张。原绘图为纸质，通过手机摄像头拍摄将其数字化，并保存成jpg文件，图像的每个维度分辨率至少为1500像素。这些图像用于训练和测试深度学习模型。
47.作为一种优选方式，所述步骤s2中，所述数据预处理模块2对所述数字化图像进行预处理的过程包括黑白化、降噪、识别目标区域、裁剪和调整尺寸大小中的任意一个或者多个。进一步地，所述步骤s2中包括对所述数字化图像的降噪处理步骤：
48.步骤s200，将彩色的所述数字化图像从多色通道图像转换为单通道灰度图像，并根据像素灰度的直方图分布选择最佳的阈值；
49.步骤s201，使用该阈值将灰度图二值化：将强度低于该阈值的所有像素点设置为0，其余为1，该步骤将灰度图像转化为黑白图像，进而完成图像降噪处理。此外，若所述步骤s21中降噪处理后的数字化图像边缘伪影较多，则对该数字化图像进行裁剪，形成一个仅包含目标几何图形的新图片。其中，对所述数字化图像进行裁剪的过程包括人工裁剪或者利用预先训练的自动识别目标区域算法实现自动化裁剪。
50.作为一种替换方案，数据预处理模块中对目标区域的识别和裁剪是通过人工进行，因为原始数据的背景噪音较多，此举为保证训练数据的质量和模型的准确率。但是，本步骤也可以通过专门训练一个物体识别的ai模型，用于识别和提取整个目标绘图，从而实现全过程自动化。即前述步骤中提出的可以训练cnn模型实现自动化目标区域识别和提取，具体方法类似于前述对四边形和五边形的训练识别过程，只不过目标几何图形从四五边形变成整个绘图。
51.上述图像预处理的实现过程具体可参考如下实施例一和实施例二：
52.实施例一
53.请参见图3，本发明中的数据预处理过程可分为必需步骤和可选步骤，必需步骤包括在训练模型时划分数据集为训练集和测试集，以及对图像进行标记，记录每张图中所有
的四边形和五边形的坐标信息。这些坐标信息和图像用于下一步训练深度学习模型。可选步骤为对数字图像进行预处理，本实施例中采用的处理方式包括对数字化图像进行黑白化、降噪、识别目标区域、裁剪、调整大小等一个或多个步骤的处理，目的为了减少图像伪影以及标准化图片尺寸，以进一步提高训练时的效率和模型的性能。具体来说，首先将彩色图片从多色通道如：红绿蓝rgb三色、青红黄黑cmyk四色转换为单通道灰度图，并根据像素灰度的直方图histogram分布选择最佳的阈值。使用该阈值将灰度图二值化，即强度低于该阈值的所有像素点设置为0，其余为1。通过该转换将灰度图转化为黑白图，可实现降噪目的。如图片边缘伪影仍较多，可选择对其进行适当的裁剪，形成一个主要包含目标绘图的新图片。实现此点需要识别目标区域范围，可通过人工实施，或者通过训练自动识别目标区域的算法实现自动化。后者通常使用基于cnn的神经网络，如yolo(you only look once)，r-cnn(region-based cnn)，fastr-cnn等具体参见下一步的深度学习网络介绍。识别出目标区域后，使用矩形窗口进行裁剪，并可根据下一步选用的深度学习网络要求调整成理想尺寸的最终图像。如原黑白图像的背景伪影以及尺寸已达到所需要求，亦可不进行裁剪。
54.实施例二
55.本实施例中，对原数据集进行分层5折交叉验证stratified 5-fold cross-validation，即把数据集划分为5等份，每份子集中pdt通过和未通过的样本数比例保持一致，在训练-验证模型的实验过程中，每次保留其中一份20％，n＝165用于测试，其余四份80％，n＝658用于训练，此过程重复5次，每次对应其中一份测试集，最终结果是所有的样本都会不重复地被测试一次，通过此方法产生的结果更加可信，具体地，使用labelimg软件对训练集的图像进行标记。
56.在此基础上，所述步骤s2包括如下步骤：
57.步骤s210，将所述数字化图像从rgb通道图像转换为单通道灰度图像；
58.步骤s211，针对灰度图像，使用以下公式确定每张数字化图像的阈值：
59.h＝η1min(i
xy
) η2max(i
xy
) (1-η
1-η2)mean(i
xy
)；
60.其中：η是比例权重，ixy(1≤x≤lx,1≤y≤ly)是整个图像的像素灰度；
61.步骤s212，转换成黑白图像后，利用矩形窗口lx
×
ly人工裁剪出目标几何图形，根据如下公式将裁剪区域扩展为正方形d
×
d图像：
62.d＝max(l
x
,ly)。
63.作为一种优选方式，所述步骤s1中，所述数字图像获取模块1获取的一部分五边形绘图数字化图像还组成图像测试集，所述步骤s4中，将所述图像测试集中的数字化图像经过预处理后输入至所述深度学习模型进行检验。但是这仅是本发明一种较佳的实现方式，本发明优选提取五边形绘图数字化图像中的一部分组成图像测试集，这种方式可快速、方便地生成图像测试集，但是在实际应用中却不限于此，根据实际的环境条件，还可以采用其他方式组成图像测试集，例如，可以从相同或者相关机构额外收集少量图像组成测试集，本发明对于图像测试集的具体组成方式不作唯一限制，即只要利用现有技术手段来组成图像测试集的方式，皆属于在本发明精神指导之下的灵活应用，因此均属于本发明的保护范围。
64.实际应用中，分析图像的步骤涉及深度学习模型，实施方法根据训练阶段和应用阶段分开叙述。在训练阶段，使用上面步骤预处理好的数据来训练物体检测object detection的深度学习模型。这类模型一般基于cnn结构，包括但不限于r-cnn、fast r-cnn、
faster r-cnn、yolo或者ssd(single shot multibox detector)等。实施者可选择其中之一建模，并调整模型超参数hyperparameter tuning以获得满意的效果。训练所得的深度学习模型的性能通过测试集进行检验，并且应用于实践。在应用阶段，将任何新的pdt图片输入训练好的模型，经分析后得出里面所含的几何图形的类型和方位，此信息用于下一步判断结果。如果在训练时图像数据采用了可选的图像优化处理步骤降噪、裁剪等，在应用时建议采用同样的方法处理新图片。
65.例如，深度学习网络选择yolo模型，该模型的神经网络结构包含backbone、panet、output等主要部分，根据复杂程度分为小、中、大、特大几种不同的子模型，请参见图4。本次实施采用中等大小的yolo(yolov5m)，大约2100万个参数，2个输出层，在pytorch环境下对模型进行100轮epoch训练。得出的模型使用测试集进行检验，结果见下一步骤。
66.作为一种优选方式，所述步骤s6，所述评价与显示模块4生成的评价结果信息包括但不限于：
[0067]“通过”和“未通过”信息；
[0068]
被识别出的四边形和五边形的概率；
[0069]
对每张数字化图像的评分。
[0070]
对于评价结果生成过程，举例如下：根据深度学习模型分析得出的四边形及五边形的方位信息，对该图作出评分，评分方法可分为“通过”及“未通过”两类，或者使用其它更复杂的评分标准，例如根据识别出的五边形个数、各自的完整性、以及之间的距离等细节进行百分制或其他分制评分。算法可根据评分标准进行相应的调整。最终结果可输出成文件或显示于目标设备的图形界面如手机app界面或电脑图像浏览软件，同时，生成的评价结果信息上传至所述云端数据库。
[0071]
作为一种优选的技术手段，评分方法采用“通过”及“未通过”的标准。具体而言，一幅pdt绘图只有在以下情况被认为是“通过”的：图中有且仅有两个五边形以及一个四边形，并且四边形区域的坐标包含在两个五边形相交的区域之内。其余不符合以上标准的均判断为“未通过”。最终显示的结果包括每张图的评分，以及图中被识别出的四边形和五边形的范围和概率图5a-f，左侧为原图，右侧为显示结果。本发明中建立的模型的预测能力在分层5折交叉验证实验的测试集中得到验证，以3位神经内科专家的最终共识评分为准，此ai模型的平均准确率为94％，灵敏度95％，精准度93％，特异性93％。经完全相同的数据测试，传统图像分类模型(对比文件1、2)分别只有62％，62％，65％和63％。图6显示两种深度学习模型的roc曲线比较，曲线以下面积越大表明该模型的性能越好，左侧传统图像分类模型平均面积为0.725，而右侧为本发明使用的模型，平均面积为0.954。这些结果表明此发明能大大提高模型的表现，具有很高的实际应用价值。
[0072]
在本发明的替换方案下，所述评价与显示模块4的输出结果除了显示绘图是否通过，还显示识别到的每个五边形和四边形的概率。这些概率信息实质上反映了ai模型对每个几何图形标准程度的判断。因此，使用者可以设置一个“阈值”原模型默认为0，即只要ai识别出的都认为存在，即使该形状可能有别于标准正四五边形，把概率低于该值如0.5的几何图形排除在下一步判断依据之外，这样可以进一步提高模型的性能。换句话说，这样的设置允许使用者增加评分的“严格”程度，即需接近标准的正四五边形才满足要求。
[0073]
本发明公开的基于自学习的五边形绘图测试智能评价系统及方法，其提出了一个
ai框架和相应的系统，可实现对pdt进行自动评分。该框架仅需要数字图像数据，即可实现快速、准确的评分，并且结果具有可重复、可追踪和可理解的优点。此框架既可以和现代的数码设备整合用于数字化绘图测试，也可用于对传统纸质测试的评分。这些特点使其能够可靠地辅助临床医师进行大数据分析和提供决策依据，实现精准和高效的数字化医疗。
[0074]
相比较对比文件2(申请号为202010390856.x、名称为“基于卷积深度神经网络的ad量表手绘交叉五边形分类方法”的中国发明专利公开文献)而言，本发明与对比文件2的主要区别在于：1、在彩色/灰度图转成黑白图片方面，对比文件2未描述图像二值化阀值的具体计算方法，本发明使用基于直方图分析的动态阈值方式产生二值化图片，能够针对不同亮度、对比度的图片计算合适的阈值，使得手绘图案凸显于背景之上。2、去除噪声方面，对比文件2中值滤波方法，该方法在黑白图片中使用的效果是去除离散孤立点噪声，无法去除大片的背景阴影或亮斑；而本发明所用的动态阀值方法是针对图片来源的多样性提出的，会最大限度的压缩背景阴影或亮斑，而离散点噪声不会影响手绘线条的识别效果。本发明在二值化之后没有进一步滤波去噪，提高了图片预处理效率。3、在图片标注方面，对比文件2直接使用评估结果对手绘图片进行标注，标签结果只对应某一评估标准，当评估标准发生改变如“通过/不通过”变成“评分”将需要从新标注，而本发明专利标注四边形和五边形的步骤不需要改变，只要修改对应评估标准逻辑的代码就可以。4、在分析方面，对比文件2使用卷积深度神经网络方法对图片进行分类，本发明结合图形识别和集合论方法，对手绘图案进行识别和逻辑判断，更接近医生实际诊断的做法，因此该方法也更容易被理解和纠错。5、对比文件2仅局限于图片处理的步骤，未涉及图片获取、传输与储存方案。6、在同样几百张图片的数据量下，对比文件2需要使用中值滤波、图像增强进行训练来获得60～70％的准确率，本发明未使用中值滤波、图像增强仍获得超过90％的准确率，可见降噪滤波、图像增强并非必要步骤。7、不同图像中的手绘交叉五边形线条粗细不一致，这限制了对比文件2方法的泛化能力，而本发明具有很好的容错和泛化能力。
[0075]
相比现有技术而言，本发明的有益效果包含如下几点：
[0076]
首先，本发明可应用于不同种类的人工绘图结果分析，包括纸质pdt和电子pdt；可开发成手机app、电脑软件或后台程序，结合智能手机、绘图板、数码相机等多种电子设备，适用于不同的医疗或科研环境；
[0077]
其次，本发明包含可靠的图像预处理流程，能够在不牺牲图像有效信息的情况下最大程度减少图像噪声以及图片大小，从而提高模型性能和计算效率。同时其具有自动设置阈值和裁剪的功能，可以准确、高效地处理来自不同地域、不同设备、不同环境获取的多种格式的图片。进一步地，本发明基于动态阀值的二值化图片处理，一定程度上起到了滤波降噪效果，因为基于直方图分析可大致区分手绘图形与背景，而二值化阀值是基于直方图分析计算获取，从而把部分噪声归类到背景去除掉。同时，结合图形识别和集合论分析，有效降低了局部区域像素噪声对评分结果的干扰。因此，虽然本方案没有针对具体噪声特点的设计滤波器，但应用中能产生比使用滤波预处理的卷积深度神经网络更好的容错率、稳定性和预测精度。
[0078]
再次，本发明中的自动评分方案融合图像目标检测与数学逻辑的深度学习方法，与传统的有监督迁移学习(supervised transfer learning)和图像分类(image classification)方法相比，本方法所需的数据量更少，泛化能力更强，结果具有可追踪、易
理解的特点、并且可以根据实际需要使用更复杂、细化的评分方法。
[0079]
此外，本发明自动评分方法经测试可达到专家级别的表现，因此能可靠地辅助临床医师进行数据分析，从而提高决策的准确性和效率。
[0080]
以上所述只是本发明较佳的实施例，并不用于限制本发明，凡在本发明的技术范围内所做的修改、等同替换或者改进等，均应包含在本发明所保护的范围内。