一种数字影像人工智能分析方法和系统与流程

1.本发明属于数字影像分析技术领域，尤其涉及一种数字影像人工智能分析方法和系统。


背景技术：

2.数字影像作为一种携带方便的医学影像载体，是一种方便患者携带、被医生普遍接受并且直观有效的医学影像信息传递介质，可以作为疾病诊治、随访、技术业务交流和医疗鉴定等医学活动的客观依据。随着各种医学信息系统在医疗机构中投入使用，医院的分析报告除了可以包含检测描述、诊断结论等文字内容，也可以包含数字影像等图像信息。
3.数字影像可以显示用户的身体变化情况，对于医生和病人都有重要意义。数字医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。同时随着人工智能、数据分析技术等核心技术的不断发展，推动了人工智能向社会各领域的渗透，当前，数字影像分析和医疗领域是人工智能发展相对蓬勃的领域之一，基于人工智能的数字影像分析能够辅助医生阅片，已然成为全新的数字智慧健康时代发展的必然趋势。
4.在这样的情况下，如何在数字影像信息蕴含信息复杂的情况下，提高人工智能模型的工作效率，降低模型的复杂度的同时提升准确率，是待解决的问题。本发明通过将指数级增加复杂度降维成线性复杂度，在待识别目标数量较多情况下能够降低模型识别的难度，从而大大降低模型的复杂度，对于深度神经网络来说，可以设置较少的层级就能够实现较高精度。


技术实现要素：

5.为了解决现有技术中的上述问题，本发明提出了一种数字影像人工智能分析方法和系统，所述方法包含：步骤s1：进行数字影像一级分割；步骤s2：进行数字影像二级分割以得到独立的待识别目标；步骤s3：合并部分待识别目标以构成一个或多个输入目标，未合并的待识别目标每个构成一个输入目标；步骤s4：采用人工智能模型预测输入目标为目标类型的概率；其中：所述人工智能模型是双层模型，包括前端模型和后端模型；所述前端模型包括多个并行子预测模型，基于所述多个并行子预测模型分别预测输入目标为目标类型的子概率，其中u是子预测模型的编号；所述后端模型用于基于输入目标之间的位置关系以及输入目标的子概率，预测输入目标为目标类型的最终概率。
6.进一步的，建立3d-unet网络结构，通过网络分割提取待识别目标。
7.基于相同的发明构思，本发明提供一种数字影像人工智能分析系统，所述系统包
含：用户终端和服务器；所述服务器用于接收用户终端的分析请求，执行数字影像分析处理，并将分析得到的概率结果发送给用户终端；所述服务器包括：一级分割模块、二级分割模块、合并模块和预测模块；所述一级分割模块，用于执行数字影像一级分割；所述二级分割模块，用于执行数字影像的二级分割，并得到独立的待识别目标；所述合并模块，用于合并部分待识别目标以构成输入目标，未合并的待识别目标每个构成一个输入目标；所述预测模块，用于采用人工智能模型预测输入目标为目标类型的概率；其中：所述人工智能模型是双层模型，包括前端模型和后端模型；所述前端模型包括多个并行子预测模型，基于所述多个并行子预测模型分别预测输入目标为目标类型的子概率，其中u是子预测模型的编号；所述后端模型用于基于输入目标之间的位置关系以及输入目标的子概率，预测输入目标为目标类型的最终概率。
8.进一步的，所述执行数字影像的二级分割以得到独立的待识别目标，具体为：将待识别目标区分为一个或多个独立的待识别目标，为待识别目标设置标识，并记录待识别目标之间的位置关系；所述合并模块用于执行如下步骤：步骤s31：将尺寸在预设范围内的待识别目标放入待合并目标集合；步骤s32：从待合并目标集合中取出一个待合并目标；步骤s33：依次获取所述待合并目标的相邻待识别目标，计算所述待合并目标和每个相邻待识别目标的合并显著度，当所述合并显著度大于显著度阈值时，合并所述待合并目标和相邻待识别目标；所述计算所述待合并目标和每个相邻待识别目标的合并显著度，具体为：采用下式计算相邻待识别目标i的合并显著度；其中：是所述待合并目标的面积尺寸；是第i相邻待识别目标的面积尺寸；是待合并目标和第i相邻待识别目标的距离最远点之间的距离；是待合并目标的平均灰度值，是相邻待识别目标i的平均灰度值；步骤s34：判断是否所有待合并目标均处理完毕，如果是，则进入下一步骤s4；否则，返回步骤s32；所述前端模型包括多个并行子预测模型，基于所述多个并行子预测模型分别预测输入目标为目标类型的子概率，其中u是子预测模型的编号；所述后端模型用于基于输入目标之间的位置关系以及输入目标的子概率，预测输入目标为目标类型的最终概率；所述预测模块用于执行如下步骤：步骤s41：提取输入目标特征后分别输入前端模型中的每个并行子模型，以得到输入目标为目标类型的子概率；其中：多个子概率分别和所述多个并行子预测模型相对应；
步骤s42：确定各个输入目标对应的位置关系向量；步骤s43：将位置关系向量分别输入后端模型中各个输入目标对应的输入神经元，将子概率作为权重输入，并从输出神经元获取输出结果。
9.进一步的，将待识别目标的背景填充为预设像素值。
10.进一步的，所述位置关系为相邻位置关系。
11.进一步的，所述人工智能模型为神经网络模型。
12.基于相同的发明构思，本发明提供一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行所述的数字影像人工智能分析方法。
13.基于相同的发明构思，本发明提供一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行所述的数字影像人工智能分析方法。
14.基于相同的发明构思，本发明提供一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的数字影像人工智能分析方法。
15.本发明的有益效果包括：（1）将指数级增加复杂度降维成线性复杂度，在待识别目标数量较多情况下能够降低模型识别的难度，从而大大降低模型的复杂度，对于深度神经网络来说，可以设置较少的层级就能够实现较高精度；（2）引入双层识别模型结构，降低了每个层级的人工智能模型的内部深度，通过并行子预测模型充分利用不同预测模型对各种目标形态的识别能力，同时也支持了增加待识别目标的位置关系的考虑，提高了预测的准确性；（3）基于子概率的权重设置，充分利用不同预测模型的差异化预测能力的同时，能够调整和加快收敛速度和预测准确率。
附图说明
16.此处所说明的附图是用来提供对本发明的进一步理解，构成本技术的一部分，但并不构成对本发明的不当限定，在附图中：图1为本发明的数字影像人工智能分析系统结构示意图。
17.图2为本发明的数字影像一级分割过程示意图。
具体实施方式
18.下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定；本发明提出一种数字影像人工智能分析系统，所述系统包括如下步骤：用户终端和服务器；所述服务器用于接收用户终端的分析请求，执行数字影像分析处理，并将分析得到的概率结果发送给用户终端；所述服务器包括：一级分割模块、二级分割模块、合并模块和预测模块；所述一级分割模块，用于执行数字影像一级分割；所述二级分割模块，用于执行数字影像的二级分割，并得到独立的待识别目标；所述合并模块，用于合并部分待识别目标以构成输入目标，未合并的待识别目标每个构成一个输入目标；
所述预测模块，用于采用人工智能模型预测输入目标为目标类型的概率；基于相同的发明构思，如附图1所示，本发明提出一种数字影像人工智能分析方法，所述方法包括如下步骤：步骤s1：进行数字影像一级分割；具体的：对数字影像进行对象提取后进行待识别目标分割；分割后得到一个或者多个待识别目标；一个对象中包含一个或多个待识别目标；以对象为肺部，待识别目标为病变肺部结节识别为例，如附图2所示，一级分割进行目标识别的常见环节对输入的数字影像进行肺部提取和分割后就得到针对目标分割后的待识别目标，可以直接用于肺部结节的分类；优选的：采用最大类间方差方式，在数字影像中选取一个最优分割阈值，将数字影像分为背景、对象、待识别目标；对象和待识别目标颜色保持不变，背景颜色置0或255，这里待识别目标之间可能是连通或者不连通的；优选的：建立3d-unet网络结构，通过网络分割提取待识别目标，例如：通过分割网络分割得到疑似候选结节，最大化敏感度，降低漏检率；步骤s2：进行数字影像二级分割以得到独立的待识别目标；具体的：将待识别目标区分为一个或多个独立的待识别目标，为待识别目标设置标识，并记录待识别目标之间的位置关系；例如：将多个疑似病变的候选结节分成一个个独立的疑似候选结节，为每个独立的疑似候选结节设置标识，例如：1号、2号等；当只采用一级分割时，人工智能模型的分析对象是整片，也即是全部结节都是一个待识别目标，当结节的数量较多时，模型设置和训练的复杂度需要成指数级增长才能够保持一定的识别准确度；相比于现有技术中的只采用一次分割的方法，通过目标的区分，将指数级增加复杂度降维成线性复杂度，在结节数量较多情况下能够降低模型识别的难度，从而大大降低模型的复杂度，对于深度神经网络来说，可以设置较少的层级就能够实现较高精度；优选的：将待识别目标的背景填充为预设像素值；优选的：所述位置关系为相邻位置关系，例如：上、下、左和/或右相邻等；步骤s3：合并部分待识别目标以构成一个或多个输入目标，未合并的待识别目标每个构成一个输入目标；二级分割是建立在一级分割基础上的，得到的是一个个独立的待识别目标，但是当待识别目标过小时，无法提供有效的特征信息也就无法得到有效的识别结果，通过待识别目标的合并能够使得进入识别过程的每个目标都能够提供有效的信息得到有效的识别；所述步骤s3具体包括如下步骤：步骤s31：将尺寸在预设范围内的待识别目标放入待合并目标集合；优选的：所述预设范围为两个范围，大范围和小范围；步骤s32：从待合并目标集合中取出一个待合并目标；步骤s33：依次获取所述待合并目标的相邻待识别目标，计算所述待合并目标和每个相邻待识别目标的合并显著度，当所述合并显著度大于显著度阈值时，合并所述两个待合并目标和相邻待识别目标；优选的：所述显著度阈值为预设值；
所述计算所述待合并目标和每个相邻待识别目标的合并显著度，具体为：采用下式计算相邻待识别目标i的合并显著度；其中：是所述待合并目标的尺寸；是第i相邻待识别目标的尺寸；这两个尺寸是面积尺寸；是待合并目标和第i相邻待识别目标的距离最远点之间的距离；是待合并目标的平均灰度值，是相邻待识别目标i的平均灰度值；越大、越接近于1，指示这两个目标之间的空间位置和色彩差异越小，合并意义越大；这里的面积尺寸可以是大概的面积尺寸，例如，可以是通过最远点距离作为最长径估算得到的面积尺寸；优选的：在发生一次合并后，返回步骤s31以重新判断合并后的待识别目标是否仍旧是待合并目标；优选的：在发生一次合并后，为所述合并后的待识别目标设置标识，并重新确定合并后的待识别目标的相邻待识别目标以及位置关系信息；步骤s34：判断是否所有待合并目标均处理完毕，如果是，则进入下一步骤；否则，返回步骤s32；步骤s4：采用人工智能模型预测输入目标为目标类型的概率；其中：所述人工智能模型是双层模型，包括前端模型和后端模型；所述前端模型包括多个并行子预测模型，基于所述多个并行子预测模型分别预测输入目标为目标类型的子概率，其中u是子预测模型的编号；所述后端模型用于基于输入目标之间的位置关系以及输入目标的子概率，预测输入目标为目标类型的最终概率；所述步骤s4具体包括如下步骤：步骤s41：提取输入目标特征后分别输入前端模型中的每个并行子模型，以得到输入目标为目标类型的子概率；其中：多个子概率分别和所述多个并行子预测模型相对应；优选的：所述u的最大值为5；优选的；设置u的最大值为3，此时，所述并行子模型为残差网络、inception 残差网络、densent网络；这样的模型设置支持并行子模型，并可以根据复杂度需要作实时替换，同时，毕竟不同的模型没有明确的好坏评价，往往针对一定形态的输入目标有差异化的识别能力；步骤s42：确定各个输入目标对应的位置关系向量；具体的：设置每个位置关系向量为n向量，其中：n元向量中第k元素指示和第k输入目标存在特定位置关系的输入目标编号；优选的：所述特定位置关系为α角度方向；那么，所述特定位置关系的输入目标为和第k输入目标α角度方向上直接相邻的输入目标；例如：所述α角度方向为对象中重要血管的延伸方向；优选的：α角度方向为向上90度方向；步骤s43：将位置关系向量分别输入后端模型中各个输入目标对应的输入神经元，将子概率作为权重输入，并从输出神经元获取输出结果；后端模型的输入层包括n个输入神经元，所述n个输入神经元分别和n个输入目标相对应；后端模型的输出层包括n个输出神经
元，所述n个输出神经元分别和n个输出目标相对应；其中：n是输入目标的个数；在隐含层间连接时，将子概率作为权重值输入；可替换的：在输入层和隐含层连接时，将子概率作为权重值输入；所述步骤s43具体为：获得各输入目标对应的位置关系向量p1, p2,..., pn，将 p1, p2,..., pn分别输入至各自对应的输入神经元，获得各个输出神经元的预测值作为后端模型的输出结果；其中：后端模型中的损失函数为函数；；1≤k≤n；其中：k为正整数，表示输入目标编号，n为输入目标的个数；和是模型收敛参数；优选的：所述和均是和前端模型输出子概率相关的收敛参数；设置；；表示第k输入目标取值为是的最终概率，例如：，表示第k输入目标为目标类型的最终概率是0.99；后端模型的学习过程就是逐步反映在神经网络的某两个神经元的关联的过程，当权重逐渐趋于0时就表明该神经元节点对整个模型网络的影响变小，因此，当优选的设置权重值为时，模型收敛的速度会降低，但是整体模型应对复杂数字影像的稳定性会提升；当然，可替换的设置；现有技术中在进行人工智能分析时，往往是整片数字影像直接输入分析，对待识别目标的识别时也丢失了位置信息这一重要元素，而实际上，不同对象均有其特殊的内在物理形态，位置信息非常重要，本发明通过目标二次分割和合并简化了后续的模型复杂度，从而在针对输入目标进行独立分析的基础上，引入双层识别模型结构，降低了每个层级的人工智能模型的内部深度，通过并行子预测模型充分利用不同预测模型对各种目标形态的识别能力，同时也支持了增加待识别目标的位置关系的考虑，提高了预测的准确性；所述方法还包括步骤exs1：在进行数字影像的分析之前，对人工智能模型作训练；优选的：在进行训练之前通过旋转平移等几何变换针对有限数量的正样本作数字影像的多样性增加；例如：对经过二级分割的子图像，顺时针以第一角度旋转n次，并在每个旋转位置作水平翻转，得到n
×
2张图像；随机选择一个大小数值，并将调整每张子图像到预设大小范围内后，将其作为输入人工智能模型的样本输入；可替换的：利用生成对抗网络（gan），从随机噪声中产生新的结节正样本，学习生成新形态的待识别目标样本，深度用于训练的样本的多样性，提升模型的适应性能力。
19.优选的：所述目标为结节；以肺部结节识别为例，识别92741例数字影像，通过上述人工智能识别方式，筛查敏感性达到96.6%，针对2-5mm 肺结节的检出率达到92%，大于5mm 肺结节检出率达到了98%，对结节良恶性预测的准确率为95.3%。而在通过影像专家结合的人机合作模式可达到日阅片效能提升至2000 例以上；基于相同的发明构思，本发明提供一种数字影像人工智能分析云系统；所述系统包括：用户终端和云服务器；云服务器是云平台中的一个计算节点，所述服务器执行的数字
影像分析处理，并将计算分析得到的概率结果发送给用户终端；优选的：医生通过所述用户终端进行人机共阅片；优选的：所述云服务器构建于云平台之上，云服务器所依托的云计算平台的核心服务层提供的服务包括基础设施即服务（iaas，infrastructure as aservice）、平台即服务（paas，platform as a service）、软件即服务（saas，software as a service）。其中 iaas 提供实体或虚拟的计算、存储和网络服务，paas 提供应用程序部署与管理服务，saas 提供应用程序。业务终端所属企业可以租用进行信息交换处理。
20.术语“数据处理装置”、“数据处理系统”、“用户设备”或“计算设备”包涵用于处理数据的所有种类的装置、设备和机器，举例包括可编程处理器、计算机、片上系统、或者上述中的多个或其组合。所述装置能够包括专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。除了硬件，所述装置还可以包括代码，创建用于所述计算机程序的执行环境，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或上述一个或多个的组合的代码。该装置和执行环境可以实现各种不同计算模型基础设施，诸如web服务、分布式计算、和网格计算基础设施。
21.计算机程序(也被称为程序、软件、软件应用、脚本或代码)能够以编程语言的任何形式来撰写，包括汇编或解释语言、说明或过程性语言，且其可以以任何形式部署，包括作为单机程序或者作为模块、组件、子例程、对象或适于在计算环境中使用的其他单元。计算机程序可以但不必与文件系统中的文件相对应。程序能够存储在保持其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中，在专用于所述程序的单个文件中，或者在多个协同文件中(例如，存储一个或多个模块、子例程或代码部分的文件)。计算机程序可以部署为在一个计算机上或位于一个站点或跨多个站点分布且由通信网络互连的多个计算机上执行。
22.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
23.本发明是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
24.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
25.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
26.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。