医疗影像分类方法、装置、设备及存储介质与流程

1.本发明涉及计算机视觉技术领域，具体涉及一种医疗影像分类方法、装置、设备及存储介质。


背景技术：

2.医学影像(又称医疗影像)是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。
3.医学影像包含以下两个相对独立的研究方向：医学成像系统(medical imaging system)和医学图像处理(medical image processing)。前者是指图像行成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。在医疗影像处理的过程中，通常是通过训练好的机器学习模型，对医疗图像进行处理，判别出医疗图像中是否存在病灶等特征元素，从而将医疗影像进行分类。
4.上述方案中，通过机器学习模型对图像中的某一特征元素进行识别的准确率较低，导致对医疗影像的分类准确率低。


技术实现要素：

5.本技术提供了一种医疗影像分类方法、装置、设备及存储介质，提高了医疗图像的分类准确率，该技术方案如下。
6.一方面，提供了一种医疗影像分类方法，所述方法包括：
7.获取目标医疗影像，以及所述目标医疗影像所生成的目标光流视频；
8.从所述目标医疗影像中截取至少两帧目标医疗图像；从所述目标光流视频中截取至少两帧目标光流图像；
9.通过特征提取模型分别对所述至少两帧目标医疗图像以及所述至少两帧目标光流图像进行处理，获得第一图像特征以及第二图像特征；
10.将所述第一图像特征以及所述第二图像特征拼接，并将拼接后的目标图像特征通过分类网络模型进行数据处理，获得所述目标医疗影像所对应的类别。
11.再一方面，提供了一种医疗影像分类装置，所述装置包括：
12.医疗影像获取模块，用于获取目标医疗影像，以及所述目标医疗影像所生成的目标光流视频；
13.图像截取模块，用于从所述目标医疗影像中截取至少两帧目标医疗图像；从所述目标光流视频中截取至少两帧目标光流图像；
14.图像特征获取模块，用于通过特征提取模型分别对所述至少两帧目标医疗图像以及所述至少两帧目标光流图像进行处理，获得第一图像特征以及第二图像特征；
15.影像分类模块，用于将所述第一图像特征以及所述第二图像特征拼接，并将拼接
后的目标图像特征通过分类网络模型进行数据处理，获得所述目标医疗影像所对应的类别。
16.在一种可能的实现方式中，所述目标医疗影像包括目标区域的超声b模式图像以及所述目标区域的造影图像中的至少一者。
17.在一种可能的实现方式中，所述装置还包括：
18.预训练模块，用于通过自然视频训练集对所述特征提取模型进行训练，获得具有预训练参数的特征提取模型；所述自然视频数据集中包含目标训练图像以及目标训练图像所对应的标注信息；
19.特征提取模型训练模块，用于通过医疗视频训练集对所述特征提取模型进行训练，获得所述特征提取模型。
20.在一种可能的实现方式中，当所述特征提取模型为第一特征提取模型时，所述医疗视频训练集中包括医疗训练图像以及所述医疗训练图像所对应的标注信息；
21.当所述特征提取模型为第二特征提取模型时，所述医疗视频训练集中包括光流训练图像以及所述光流训练图像所对应的标注信息。
22.在一种可能的实现方式中，所述图像特征获取模块，还用于，
23.通过所述第一特征提取模型对所述至少两帧目标医疗图像进行处理，获得所述第一图像特征；
24.通过所述第二特征提取模型对所述至少两帧目标光流图像进行处理，获得所述第二图像特征。
25.在一种可能的实现方式中，所述特征提取模型包括至少两类候选特征提取模型；
26.所述图像特征获取模块，还包括：
27.候选图像特征获取单元，用于通过各个候选特征提取模型分别对所述至少两帧目标医疗图像以及所述至少两帧目标光流图像进行处理，获得各个候选特征提取模型分别对应的候选图像特征；所述候选图像特征包括第一候选图像特征以及第二候选图像特征；
28.图像特征确定模块，用于在各个候选特征提取模型中，确定出所述特征提取模型，并将所述特征提取模型对应的候选图像特征中包含的第一候选图像特征以及第二候选图像特征，确定为所述第一图像特征以及第二图像特征。
29.在一种可能的实现方式中，所述图像特征确定模块，还用于，
30.获取各个候选特征提取模型分别对应的候选图像特征的信息值；
31.比较所述各个候选特征提取模型分别对应的候选图像特征之间的相关系数；
32.在相关系数大于系数阈值的两个候选图像特征分别对应的候选特征提取模型中，舍去候选图像特征的信息值较小的候选特征提取模型，以确定出所述特征提取模型。
33.在一种可能的实现方式中，所述图像特征确定模块，还用于，
34.通过各个候选特征提取模型的候选图像特征进行逻辑回归操作，获得所述各个候选特征提取模型所对应的逻辑回归权重；
35.将逻辑回归权重大于阈值的候选特征提取模型确定为所述特征提取模型。
36.在一种可能的实现方式中，所述图像分类模块，还用于，
37.将所述目标图像特征与医学特征进行拼接，并将拼接后的特征通过分类网络模型进行数据处理，获得所述目标医疗视频所对应的类别；
38.其中，所述医学特征是通过医学特征提取模型对医学特征图像进行提取得到的。
39.再一方面，提供了一种计算机设备，所述计算机设备中包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述医疗影像分类方法。
40.又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的医疗影像分类方法。
41.再一方面，提供了一种计算机程序产品还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的医疗影像分类方法。
42.本技术提供的技术方案可以包括以下有益效果：
43.当需要对医疗影像进行分类时，可以获取目标医疗影像，以及根据目标医疗影像所生成的目标光流视频，目标医疗影像中表征了人体的静态特征，而目标光流视频则表征了人体的动态特征，此时特征提取模型分别对至少两帧目标医疗图像以及目标光流图像进行处理，得到第一图像特征以及第二图像特征，以便通过分类网络模型进行类别分析。上述方案分析出的医疗影像类别，同时考虑了目标医疗影像中人体的静态图像特征以及动态图像特征，提高了目标医疗影像的类别识别准确率。
附图说明
44.为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是根据一示例性实施例示出的一种医疗影像分类系统的结构示意图。
46.图2是根据一示例性实施例示出的医疗影像分类方法的方法流程图。
47.图3是根据一示例性实施例示出的医疗影像分类方法的方法流程图。
48.图4是根据一示例性实施例示出的医疗影像分类方法的流程框图。
49.图5示出了本技术实施例涉及的一种数据预处理流程示意图。
50.图6是根据一示例性实施例示出的图数据库更新装置的结构方框图。
51.图7是根据本技术一示例性实施例提供的一种计算机设备示意图。
具体实施方式
52.下面将结合附图对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.应理解，在本技术的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，a指示b，可以表示a直接指示b，例如b可以通过a获取；也可以表示a间接指示b，例如a指示c，b可以通过c获取；还可以表示a和b之间具有关联关系。
54.在本技术实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
55.本技术实施例中，“预定义”可以通过在设备(例如，包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本技术对于其具体的实现方式不做限定。
56.在对本技术所示的各个实施例进行说明之前，首先对本技术涉及到的几个概念进行介绍。
57.1)ai(artificial intelligence，人工智能)
58.人工智能(artificial intelligence)，英文缩写为ai。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。
59.用来研究人工智能的主要物质基础以及能够实现人工智能技术平台的机器就是计算机。除了计算机科学以外，人工智能还涉及信息论、控制论、自动化、仿生学、生物学、心理学、数理逻辑、语言学、医学和哲学等多门学科。人工智能学科研究的主要内容包括：知识表示、自动推理和搜索方法、机器学习和知识获取、知识处理系统、自然语言理解、计算机视觉、智能机器人、自动程序设计等方面。
60.2)cv(computer vision，计算机视觉)
61.计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取
‘
信息’的人工智能系统。这里所指的信息指shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
62.3)机器学习(machine learning，ml)
63.机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
64.本技术实施例中提供的医疗影像分类方法可以应用于具有较强数据处理能力的计算机设备中。该医疗影像分类方法可以是对分类网络模型的训练后，通过分类网络模型对医疗影像提取出的特征进行识别分类的方法，该分类网络模型可以实现对输入特征进行处理，得到对应于输入特征的影像类别。在一种可能的实现方式中，本技术实施例提供的医
疗影像分类可以应用于个人计算机、工作站或服务器中，即通过个人计算机、工作站以及服务器中至少一者进行分类网络模型的训练。
65.图1是根据一示例性实施例示出的一种医疗影像分类系统的结构示意图。该图像分类系统中包含服务器110以及终端120。其中，终端120与服务器110之间通过通信网络进行数据通信，该通信网络可以是有线网络也可以是无线网络。
66.可选的，终端120中安装有具有图像处理功能的应用程序，该应用程序可以是专业图像处理应用程序、社交类应用程序，虚拟现实类应用程序、或者具有图像处理功能的ai应用程序，本技术实施例对此不做限定。
67.可选的，该终端120可以是具有图像采集组件的终端设备，该图像采集组件用于获取图像并存储与终端120中的数据存储模块中；该终端120还可以是具有数据传输接口的终端设备，该数据传输接口用于接收具有图像采集组件的图像采集设备所采集到的图像数据。
68.可选的，该终端120可以是智能手机、平板电脑，膝上便携式笔记本电脑等移动终端，也可以是台式电脑、投影式电脑等终端，或是具有数据处理组件的智能终端，本技术实施例对此不设限制。
69.服务器110可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实现方式中，服务器110是终端120中应用程序的后台服务器。
70.在本技术实施例的一种可能的实现方式中，服务器110通过预先设置的训练样本集(包括各个训练样本图像)对分类网络模型进行训练，其中训练样本集中可以包含不同类别的样本医疗影像提取出的特征，各个训练样本图像均存在各自的类别标注信息(即标签值)。当服务器110对该分类网络模型的训练过程完成后，通过有线网络或无线网络，将该训练好的分类网络模型发送至终端120中。
71.终端120接收到该训练好的分类网络模型，并将该分类网络模型所对应的数据信息(例如权重信息)发送至具有识别分类功能的应用程序中，以便用户使用该应用程序时，可以对输入的特征进行识别分类处理。
72.可选的，上述服务器可以是独立的物理服务器，也可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等技术运计算服务的云服务器。
73.可选的，该系统还可以包括管理设备，该管理设备用于对该系统进行管理(如管理各个模块与服务器之间的连接状态等)，该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。
74.可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述
数据通信技术。
75.图2是根据一示例性实施例示出的医疗影像分类方法的方法流程图。该方法由计算机设备执行，该计算机设备可以是如图1所示的医疗影像分类系统中的服务器或终端。如图2所示，该医疗影像分类方法可以包括如下步骤：
76.步骤201，获取目标医疗影像，以及该目标医疗影像所生成的目标光流视频。
77.在本技术实施例的一种可能的实现方式中，该目标医疗影像可以是超声b模式所生成的医疗影像；或者该目标医疗影像可以是通过造影技术所采集得到的目标区域的医疗图像。
78.在医疗领域，造影视频可以实时的动态显示目标区域的血流灌注情况，而超声b模式可以显示目标区域的各个部位的回声情况，二者都可以起到提示目标区域的状况(例如病变)的作用。
79.在本技术实施例的另一种可能的实现方式中，该目标医疗影像可以是超声造影视频，该超声造影视频是同时对目标区域进行超声b模式影像以及造影视频的获取所得到的。
80.在超声造影视频中，视频分左右两半部分，分别是造影和b模式的图像，即该造影图像与b模式的图像可以展示目标区域在某一时刻的血流灌注以及回声情况。
81.当获取到目标医疗影像后，在本技术实施例，计算机设备可以通过目标医疗影像获取与该目标医疗影像所对应的目标光流视频。
82.视频处理领域，光流是捕捉视频中运动信息的常用手段，光流是由对象或相机的移动引起的两个连续帧之间的图像对象的明显运动的模式.它是2d矢量场，其中每个矢量是位移矢量，表示从第一帧到第二帧的点的移动。光流法的工作原理基于如下假设：连续的两帧图像之间，目标像素灰度值不变；相邻的像素之间有相似的运动。
83.在本技术实施例中，可以用gunnar farneback算法计算每个视频对应的光流视频，即运动信息的视频，从而得到包含各个光流图像的目标光流视频。且该各个光流图像中的各个视频帧的像素大小指示为该位置的像素位移值。因此该光流图像中的各个视频帧，可以表征在该视频帧所对应的时刻的物体运动情况。
84.步骤202，从该目标医疗影像中截取至少两帧目标医疗图像；从该目标光流视频中截取至少两帧目标光流图像。
85.由于目标医疗影像以及目标光流视频分别是由各帧图像组成的，为了减小计算机设备的运算负担，因此本技术实施例中可以在目标医疗影像中截取至少两帧目标医疗图像作为待识别图像，并在目标光流视频中截取至少两帧目标光流图像作为待识别图像，在减小计算机设备的运算负担的前提下，通过对多帧图像进行识别，保证了在识别过程中能注意到目标区域的变化情况。
86.步骤203，通过特征提取模型分别对该至少两帧目标医疗图像以及该至少两帧目标光流图像进行处理，获得第一图像特征以及第二图像特征。
87.当获取到至少两帧目标医疗图像以及至少两帧目标光流图像后，可以分别通过特征提取模型进行特征提取，从而得到目标医疗图像所对应的第一图像特征，以及目标光流图像所对应的第二图像特征。
88.此时第一图像特征则代表着从静态图像角度，在不同时刻，提取出的不同目标医疗图像的图像特征的集合；此时第二图像特征则代表着从动态光流角度，在不同时刻提取
出的不同目标光流图像的图像特征的集合。
89.步骤204，将该第一图像特征以及该第二图像特征拼接，并将拼接后的目标图像特征通过分类网络模型进行数据处理，获得该目标医疗影像所对应的类别。
90.此时计算机设备将第一图像特征以及第二图像特征进行拼接，从而得到目标图像特征。此时该目标图像特征即包含了从目标医疗图像中提取出的特征，与而包含了从目标光流图像中提取出的特征。通过分类网络模型对该目标图像特征进行数据处理，从而得到目标医疗影像所对应的类别(例如该目标医疗影像是否指示目标区域发生病变)，是同时考虑了动态特征以及静态特征所得到的结果，具有更高的分类准确性。
91.综上所述，当需要对医疗影像进行分类时，可以获取目标医疗影像，以及根据目标医疗影像所生成的目标光流视频，目标医疗影像中表征了人体的静态特征，而目标光流视频则表征了人体的动态特征，此时特征提取模型分别对至少两帧目标医疗图像以及目标光流图像进行处理，得到第一图像特征以及第二图像特征，以便通过分类网络模型进行类别分析。上述方案分析出的医疗影像类别，同时考虑了目标医疗影像中人体的静态图像特征以及动态图像特征，提高了目标医疗影像的类别识别准确率。
92.图3是根据一示例性实施例示出的医疗影像分类方法的方法流程图。该方法由计算机设备执行，该计算机设备可以是如图1所示的医疗影像分类系统中的服务器或终端。如图3所示，该医疗影像分类方法可以包括如下步骤：
93.步骤301，获取目标医疗影像，以及该目标医疗影像所生成的目标光流视频。
94.在一种可能的实现方式中，该目标医疗影像包括目标区域的超声b模式图像以及该目标区域的造影图像中的至少一者。
95.步骤302，从该目标医疗影像中截取至少两帧目标医疗图像；从该目标光流视频中截取至少两帧目标光流图像。
96.在一种可能的实现方式中，当目标医疗影像既包括目标区域的超声b模式图像也包括目标区域的造影图像时，此时计算机设备从目标医疗影像中截取至少两帧目标区域的超声b模式图像以及至少两帧目标区域的造影图像。
97.同理，当目标医疗影像中既包括目标区域的超声b模式图像也包括目标区域的造影图像时，此时目标光流视频中即包括根据超声b模式图像所生成的光流视频，也包括根据造影图像所生成的光流视频。因此计算机设备从目标光流视频中，截取至少两帧根据超声b模式图像所生成的目标光流图像，再截取至少两帧根据造影图像所生成的目标光流图像。
98.可选的，上述目标光流图像以及目标医疗图像的图像截取时刻相同。即计算机设备为了保证数据之间的关联性，可以在指定的若干个时刻，进行目标医疗图像以及目标光流图像的截取。
99.步骤303，通过特征提取模型分别对该至少两帧目标医疗图像以及该至少两帧目标光流图像进行处理，获得第一图像特征以及第二图像特征。
100.在一种可能的实现方式中，当目标医疗图像包括既目标区域的超声b模式图像也包括目标区域的造影图像，此时通过对目标医疗图像进行特征提取，所得到的第一图像特征，可以是对超声b模式进行特征提取得到的图像特征，以及对造影图像进行特征提取得到的图像特征合并所得到的第一图像特征。
101.可选的，上述图像特征的合并，可以是在不同维度上进行合并，例如100维的图像
特征与100维的图像特征合并为200维的图像特征；或者上述图像特征的合并可以按照相同维度进行合并，例如，1*100的图像特征与1*100的图像特征合并为2*100的图像特征。
102.此时目标光流图像提取得到的第二图像特征，也可以是通过上述图像特征合并得到的，其具体步骤与上述目标医疗图像的特征提取过程以及图像特征合并过程类似，此处不再赘述。
103.在本技术实施例中，该特征提取模型是在对目标光流图像以及目标医疗图像进行识别之前就已经训练好的，因此该特征提取模型可以对目标医疗图像以及目标光流图像进行特征提取。在一种可能的实现方式中，通过自然视频训练集对该特征提取模型进行训练，获得具有预训练参数的特征提取模型；该自然视频数据集中包含目标训练图像以及目标训练图像所对应的标注信息；通过医疗视频训练集对该特征提取模型进行训练，获得该特征提取模型。
104.在通过医疗视频训练集对特征提取模型进行训练之前，可以先通过自然视频训练集对特征提取模型进行预训练，获得特征提取模型的预训练参数，再通过医疗视频训练集对具有预训练参数的特征提取模型进行再训练，从而得到对目标医疗图像以及目标光流图像的特征提取模型，尽可能避免了由于医疗训练集过小，医疗训练样本过少导致的特征提取模型的特征提取能力较差的问题。
105.在一种可能的实现方式中，当该特征提取模型为第一特征提取模型时，该医疗视频训练集中包括医疗训练图像以及该医疗训练图像所对应的标注信息；当该特征提取模型为第二特征提取模型时，该医疗视频训练集中包括光流训练图像以及该光流训练图像所对应的标注信息。
106.对应的，计算机设备通过该第一特征提取模型对该至少两帧目标医疗图像进行处理，获得该第一图像特征；通过该第二特征提取模型对该至少两帧目标光流图像进行处理，获得该第二图像特征。
107.即由于目标光流图像以及目标医疗图像的图像内容显然差异较大，因此为了提高特征提取的效果，可以分别采用不同的模型，对目标光流图像以及目标医疗图像进行特征提取。对目标医疗图像进行特征提取的第一特征提取模型，可以是通过医疗训练图像以及医疗训练图像所对应的标注信息得到的，因此该第一特征提取模型对该目标医疗图像具有较好的特征提取效果；对目标光流图像进行特征提取的第二特征提取模型，可以是通过光流训练图像以及光流训练图像所对应的标注信息得到的，因此该第二特征提取模型对该目标光流图像具有较好的特征提取效果。
108.在一种可能的实现方式中，该特征提取模型包括至少两类候选特征提取模型；通过各个候选特征提取模型分别对该至少两帧目标医疗图像以及该至少两帧目标光流图像进行处理，获得各个候选特征提取模型分别对应的候选图像特征；该候选图像特征包括第一候选图像特征以及第二候选图像特征；在各个候选特征提取模型中，确定出该特征提取模型，并将该特征提取模型对应的候选图像特征中包含的第一候选图像特征以及第二候选图像特征，确定为该第一图像特征以及第二图像特征。
109.即在本技术实施例中，在用进行目标医疗图像以及目标光流图像的特征提取时，可以采用多组候选特征提取模型同时进行特征提取，并按照各组候选特征提取模型所提取出的候选图像特征，确定出最终的特征提取模型，以及所对应的第一图像特征以及第二图
像特征。
110.在一种可能的实现方式中，获取各个候选特征提取模型分别对应的候选图像特征的信息值；比较该各个候选特征提取模型分别对应的候选图像特征之间的相关系数；在相关系数大于系数阈值的两个候选图像特征分别对应的候选特征提取模型中，舍去候选图像特征的信息值较小的候选特征提取模型，以确定出该特征提取模型。
111.在本技术实施例中，计算信息值，需要用到一个中间变量——woe，woe是计算信息值的基础。以训练集500个病例的图像的第t个特征(即第t个候选图像特征)为例，先对这个特征的数值进行从小到大的排序；排序后分成若干组，对于第i组，它的woe值为
[0112][0113]
#i表示第i组图像中恶性的图像数，#
t
表示总的训练集图像中恶性图像数；#i表示第i组图像中良性的图像数，#
t
表示总的训练集图像中良性图像数；所以woei表示“当前第i组中恶性图像和良性图像的比例”和“总图像中恶性图像和良性图像的比例”的差异。差异越大，woei越大，否则，越小。
[0114]
有了第i组的woei值，该组的信息值ivi计算公式为：
[0115][0116]
有了每个分组的信息值，第t个特征的信息值iv计算公式为：
[0117][0118]
其中，n表示分组的个数。显然，iv越大，该特征包含的信息越多。
[0119]
当计算到各个候选图像特征的信息值后，再将各个候选图像特征进行两两之间的相关系数计算，在相关系数大于系数阈值时，则代表两个候选图像特征较为相近，此时则将信息值多的候选图像特征所对应的候选特征提取模型保留，舍去信息值少的候选图像特征所对应的候选特征提取模型。
[0120]
最后保留的各个候选特征提取模型，则可以被认为是可以对目标医疗图像以及目标光流图像进行特征提取的特征提取模型。
[0121]
在一种可能的实现方式中，通过各个候选特征提取模型的候选图像特征进行逻辑回归操作，获得该各个候选特征提取模型所对应的逻辑回归权重；将逻辑回归权重大于阈值的候选特征提取模型确定为该特征提取模型。
[0122]
逻辑回归的基本表现形式为，对于一个输入的样本x(x1,x2,x3,x4
…
xn)，赋予不同的权重w(w1,w2,w3,w4
…
wn)来表征各特征的重要性差异，对各个特征进行求和，得到x
t
w并输入sigmoid函数，使之映射到0-1区间，得到预测的概率，如下公式所示。
[0123]
[0124]
在本技术实施例中，将各个候选图像特征带入上述公式，并对上述公式进行梯度下降算法，确定出各个候选图像特征所对应的权重，即为各个候选特征提取模型所对应的逻辑回归权重。
[0125]
当逻辑回归权重大于阈值时，则代表着该候选特征提取模型提取出的候选图像特征的相关性较大，可以将该候选特征提取模型保留为特征提取模型。
[0126]
在一种可能的实现方式中，计算机设备既通过信息值对候选特征提取模型进行筛选，也通过逻辑回归权重对候选特征提取模型进行筛选。例如，计算机设备可以先通过相关系数以及信息值，舍去一部分候选特征提取模型，再将剩下的候选特征提取模型所对应的候选图像特征，通过逻辑回归操作进行处理，最终筛选出对目标医疗图像以及目标光流图像进行特征提取的特征提取模型。
[0127]
步骤304，将目标图像特征与医学特征进行拼接，并将拼接后的特征通过分类网络模型进行数据处理，获得该目标医疗视频所对应的类别，该目标图像特征是通过第一图像特征与第二图像特征拼接得到的。
[0128]
其中，该医学特征是通过医学特征提取模型对医学特征图像进行提取得到的。
[0129]
在本技术实施例的一种可能的实现方式中，该分类网络模型可以是二分类神经网络模型，也可以是svm，随机森林等传统机器学习分类器。本技术实施例对分类网络模型的具体结构不设限制。
[0130]
在本技术实施例中，当获取到第一图像特征以及第二图像特征拼接得到的目标图像特征后，还可以与预先获取到的医学图像特征进行再拼接，并将拼接后的特征进行分类网络模型进行分类。
[0131]
例如该医学图像特征可以包括肝炎特征、甲胎蛋白特征等，通过在目标图像特征中拼接该医学图像特征，则可以使得分类网络模型在分类过程中，同时考虑提取出的目标图像特征以及新增的医学图像特征之间的关系，从而提高分类网络模型在医疗图像上的分类能力。
[0132]
在通过分类网络模型对拼接的特征进行分类之前，还需要通过样本图像特征与医学特征进行拼接，并通过分类网络模型进行处理，以对分类网络模型进行训练。
[0133]
该样本图像特征可以是通过上述特征提取模型对样本医疗视频进行特征提取后得到的。
[0134]
综上所述，当需要对医疗影像进行分类时，可以获取目标医疗影像，以及根据目标医疗影像所生成的目标光流视频，目标医疗影像中表征了人体的静态特征，而目标光流视频则表征了人体的动态特征，此时特征提取模型分别对至少两帧目标医疗图像以及目标光流图像进行处理，得到第一图像特征以及第二图像特征，以便通过分类网络模型进行类别分析。上述方案分析出的医疗影像类别，同时考虑了目标医疗影像中人体的静态图像特征以及动态图像特征，提高了目标医疗影像的类别识别准确率。
[0135]
图4是根据一示例性实施例示出的医疗影像分类方法的流程框图。该方法由计算机设备执行，该计算机设备可以是如图1所示的医疗影像分类系统中的服务器或终端。该医疗影像分类方法可以包括如下步骤：
[0136]
在本技术实施例中，计算机设备中保存有从多家医院收集患者的超声造影视频，这些视频中包含能体现视频是良性或恶性的帧，也包含对判断视频良恶性无参考信息的
帧；并且这些病例的诊断结果都由手术进行了确认。
[0137]
拿到超声造影视频，首先需要进行数据预处理。具体过程为去除掉视频上出现的敏感信息，如医院信息，检查者的姓名等信息；并且因为视频分左右两半部分，分别是造影和b模式的图像，造影在左边，b模式在右边；造影视频可以实时动态显示血流灌注情况，b模式图像可以显示超声图像中的各个部位的回声，它们都能起到提示病变的作用。计算机设备将视频中的b模式部分和造影部分分别裁剪出来，这两部分视频形成独立的视频；对这两部分视频都进行尺寸统一的操作，统一到长宽都为224像素大小，并且保持视频中图像的原始长宽比例；因为视频中连续的几帧图像很接近，为降低计算量，可以每3帧取一帧处理。
[0138]
视频处理领域，光流是捕捉视频中运动信息的常用手段，计算机设备可以采用gunnar farneback算法计算每个视频对应的光流视频，即运动信息的视频，这些动态的光流视频和静态的超声造影视频将作为预测方法的输入数据。因为计算机设备将使用3d的神经网络进行预测，如果输入的视频段帧数很多的话，计算量会非常大，所以计算机设备将完整的一个病例的视频分成若干小段，每小段包含16帧图像。将每小段视频里像素的大小归一化到0到1的范围，这有利于神经网络预测的收敛。最后，将视频分为训练集和验证集，等待输入神经网络，神经网络输入大小是16帧*224*224*3。如图5所示，其示出了本技术实施例涉及的一种数据预处理流程示意图。
[0139]
视频数据预处理好之后，输入神经网络。首先原始的超声造影的rgb的视频和运动信息的光流视频作为两支分别输入n个3d神经网络，比如i3d、csn网络，这些3d神经网络进行视频中的特征提取；这些神经网络各有侧重，它们计算超声视频不同的特征，这将提高预测结果；这部分使用了迁移学习的方法，因为医学数据集一般较小，所以用了自然视频数据集预训练的神经网络的权重后再在训练集上迭代训练5000次，在验证集上效果最好的参数作为最终参数；用最终参数计算神经网络在每个视频的特征，提取到的特征是4*7*7*1024大小，三维平均池化得到4096个数就是每个3d神经网络的特征，前2048个特征是造影特征，后2048是b模式特征；以上3d神经网络训练时，要对视频做简单数据增强；以上3d神经网络训练时，若类别不平衡，即恶性样本远小于良性样本时，把每个样本恶性的预测概率手动减0.1，良性的概率手动加0.1。
[0140]
上面的步骤一共提取到4096*n个特征，将这些特征使用不同的筛选方法进行筛选，包括信息值，根据逻辑回归的权重等，发现得到的最有价值的特征几乎是相同的那些特征；计算机设备进一步将特征进行去重，即线程相关程度较高的特征只保留其中一个。上述特征筛选过程与图3所示实施例类似，此处不再赘述。
[0141]
最后是将以上精简过的特征与临床特征融合，利用二分类神经网络或者传统机器学习方法进行超声视频的分类，这部分的输入是上面计算得到的特征；可以使用比如逻辑回归，svm，随机森林等常用的有效的传统机器学习分类器。临床特征包括甲胎蛋白、肝炎等；例如神经网络特征用随机森林分类效果不好，用逻辑回归分类效果更好；而临床数据的那些特征用随机森林效果好；而融合的特征用svm效果好；用逻辑回归模型时，可以检查模型系数的正负，判断是否符合逻辑进而进行调整；传统机器学习分类器训练时，参数用网格搜索的方法，要确认一下搜索到的最好参数是否合理，即可以训练4种模型进行对比，这4中模型的主要区别是使用不同的特征组合，即分别为使用神经网络特征，神经网络特征加肝炎，神经网络特征加甲胎蛋白，神经网络特征加肝炎、甲胎蛋白训练视频分类分类神经网
络；使用传统机器学习进行视频分类时，使用的特征总数目不能多于训练样本的数量。
[0142]
图6是根据一示例性实施例示出的图数据库更新装置的结构方框图。所述装置包括：
[0143]
医疗影像获取模块601，用于获取目标医疗影像，以及所述目标医疗影像所生成的目标光流视频；
[0144]
图像截取模块602，用于从所述目标医疗影像中截取至少两帧目标医疗图像；从所述目标光流视频中截取至少两帧目标光流图像；
[0145]
图像特征获取模块603，用于通过特征提取模型分别对所述至少两帧目标医疗图像以及所述至少两帧目标光流图像进行处理，获得第一图像特征以及第二图像特征；
[0146]
影像分类模块604，用于将所述第一图像特征以及所述第二图像特征拼接，并将拼接后的目标图像特征通过分类网络模型进行数据处理，获得所述目标医疗影像所对应的类别。
[0147]
在一种可能的实现方式中，所述目标医疗影像包括目标区域的超声b模式图像以及所述目标区域的造影图像中的至少一者。
[0148]
在一种可能的实现方式中，所述装置还包括：
[0149]
预训练模块，用于通过自然视频训练集对所述特征提取模型进行训练，获得具有预训练参数的特征提取模型；所述自然视频数据集中包含目标训练图像以及目标训练图像所对应的标注信息；
[0150]
特征提取模型训练模块，用于通过医疗视频训练集对所述特征提取模型进行训练，获得所述特征提取模型。
[0151]
在一种可能的实现方式中，当所述特征提取模型为第一特征提取模型时，所述医疗视频训练集中包括医疗训练图像以及所述医疗训练图像所对应的标注信息；
[0152]
当所述特征提取模型为第二特征提取模型时，所述医疗视频训练集中包括光流训练图像以及所述光流训练图像所对应的标注信息。
[0153]
在一种可能的实现方式中，所述图像特征获取模块，还用于，
[0154]
通过所述第一特征提取模型对所述至少两帧目标医疗图像进行处理，获得所述第一图像特征；
[0155]
通过所述第二特征提取模型对所述至少两帧目标光流图像进行处理，获得所述第二图像特征。
[0156]
在一种可能的实现方式中，所述特征提取模型包括至少两类候选特征提取模型；
[0157]
所述图像特征获取模块，还包括：
[0158]
候选图像特征获取单元，用于通过各个候选特征提取模型分别对所述至少两帧目标医疗图像以及所述至少两帧目标光流图像进行处理，获得各个候选特征提取模型分别对应的候选图像特征；所述候选图像特征包括第一候选图像特征以及第二候选图像特征；
[0159]
图像特征确定模块，用于在各个候选特征提取模型中，确定出所述特征提取模型，并将所述特征提取模型对应的候选图像特征中包含的第一候选图像特征以及第二候选图像特征，确定为所述第一图像特征以及第二图像特征。
[0160]
在一种可能的实现方式中，所述图像特征确定模块，还用于，
[0161]
获取各个候选特征提取模型分别对应的候选图像特征的信息值；
rom)、磁带、软盘和光数据存储设备等。
[0176]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
[0177]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。