一种图片分类装置及方法与流程

1.本发明涉及图像处理领域，尤其涉及一种图片分类装置及方法。


背景技术：

2.传统的特定领域的图片处理过程中，由于图片上文字的专业性和特殊性，往往需要大量的人工审核处理，难以实现自动化，因此这些图片的处理过程不但效率低下，且容易出现差错。现在也有一些使用ocr文字识别技术将纸质图片自动识别为结构化的电子图片，对图片的处理效率有了明显的提升，但是具体实践中发现，一般的ocr文字识别技术无法适应于特定领域的文字识别，错误率很高，例如在医学领域，对处方图片的处理过程中，由于处方中含有大量医学领域的专用名词，通过ocr技术处理之后，有许多识别错误的内容，后期仍然需要大量的审核和修正工作，目前，这部分审核和修正的工作只能人工完成，无法实现机器自动化，导致整个工作效率仍然低下，如何解决这类特定领域的图片自动化分类的效率和准确率，是目前该领域亟待解决的技术难题。


技术实现要素：

3.本发明为解决现有技术中存在的上述缺陷，提出一种图片分类装置和图片分类方法。
4.为了实现以上目的，本发明提出了一种图片分类装置，包括图片预处理模块、第一神经网络模块、第二神经网络模块、特征融合模块、分类器、总体损失函数模块，其中：
5.图片预处理模块用以对输入图片的无标签图片进行增强处理，得到第一增强图片和第二增强图片；
6.第一神经网络模块抽取第一增强图片的特征和输入图片的有标签图片的特征，得到第一特征集，同时根据第一增强图片生成第一伪标签，其中，所述第一特征集包括第一有标签特征向量和第一无标签特征向量；作为一种优选，伪标签均采用softmax分类器进行预测得到；
7.第二神经网络模块用以抽取第二增强图片的特征和输入图片的有标签图片的特征，得到第二特征集，同时根据第二增强图片生成第二伪标签，其中，所述第二特征集包括第二有标签特征向量和第二无标签特征向量；作为一种优选，伪标签均采用softmax分类器进行预测得到；
8.特征融合模块将所述第一无标签特征向量和第二伪标签进行融合，以及将第一伪标签和第二无标签特征向量进行融合，得到特征损失分值；
9.分类器用以根据所述特征损失分值得到图片的目标分类；
10.总体损失函数模块用以计算得到装置的损失，并更新所述第一神经网络模块。
11.进一步地，所述第一神经网络模块包括：
12.第一特征抽取模块：用以抽取所述第一增强图片的特征和所述输入图片的有标签图片的特征，得到第一特征集；
13.第一分类器模块：用以根据所述有标签图片的特征向量计算交叉熵损失值，同时生成第一伪标签；
14.第二分类器模块：用以根据所述有标签图片的特征向量计算交叉熵损失值，同时根据所述第一增强图片生成第一伪标签；
15.第一损失函数模块：用于对第一分类器模块和第二分类器模块输出的损失值加权求和，得到第一神经网络模块的总体损失值。
16.进一步地，所述第二神经网络包括：
17.第二特征抽取模块：用以抽取所述第二增强图片的特征和输入图片的有标签图片的特征，得到第二特征集；
18.第三分类器模块：用以根据所述有标签图片的特征向量计算交叉熵损失值，同时根据第二增强图片生成第二伪标签；
19.第四分类器模块：用于根据所述第二增强图片的特征计算损失值；
20.第二损失函数模块：用于对第三分类器模块和第四分类器模块输出的损失值加权求和，得到第二神经网络模块的总体损失值。
21.进一步的，所述第二神经网络还包括更新模块，所述更新模块根据第二神经网络模块的总体损失更新所述的第二特征抽取模块。
22.进一步的，所述装置包括至少一个第一神经网络。
23.进一步的，所述装置包括至少一个第二神经网络。
24.进一步的，所述总体损失函数模块还包括更新第二神经网络模块的参数。
25.本发明还公开一种图片分类方法，应用于图片分类装置，包括：
26.读入输入图片，所述输入图片包括有标签图片和无标签图片；
27.对所述无标签图片进行增强处理，得到第一增强图片和第二增强图片；
28.将所述第一增强图片和所述有标签图片输入第一神经网络模块，得到第一特征集和第一伪标签；
29.将所述第二增强图片和所述有标签图片输入第二神经网络模块，得到第二特征集和第二伪标签；
30.将第一特征集、第二特征集、第一伪标签和第二伪标签输入特征融合模块得到特征损失值；具体的，特征融合模块将第一无标签特征向量和第二伪标签进行融合，以及将第一伪标签和第二无标签特征向量进行融合。
31.将所述特征损失值输入分类器，得到图片的目标分类；
32.利用总体损失函数模块计算得到所述图片分类装置的损失，并更新所述第一神经网络模块；
33.所述的图片分类装置为所述的任意一种图片分类装置。
34.进一步的，所述利用总体损失函数模块计算得到装置的损失之后，还包括：更新第二神经网络模块。
35.本发明还公开一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行所述的处方识别方法。
36.本发明还公开一种存储介质，所述存储介质上存储有计算机程序，所述计算机程
序被处理器运行时执行所述的处方识别方法。
37.本发明公开的方法和系统中所述模块，在实际应用中，即可以在一台目标服务器上部署多个模块，也可以每一模块独立部署在不同的目标服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群目标服务器上。
38.由此可见，本发明的图片分类装置采用了递归式双层神经网络，增强图片分类装置的泛化能力，对同一张无标签图片采用不同的增强方式，使得得到的特征分布接近，可以解决现有ocr文字识别技术不能对图片进行有效分类的问题，提高了在图片识别和处理过程中的准确率，减少人力投入，提高效率的同时节约了成本。
39.为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。
附图说明
40.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本技术实施例的一种图片分类装置的结构示意图。
42.图2为本技术实施例的一种第一神经网络的具体实施结构示意图。
43.图3为本技术实施例的一种第二神经网络的具体实施结构示意图。
44.图4为本技术实施例的一种图片分类装置的另一种结构示意图。
45.其中：图片预处理模块1、第一神经网络模块2、第二神经网络模块3、特征融合模块4、分类器5、总体损失函数模块6。
具体实施方式
46.请参阅图1，图1示出了一种图片分类装置的结构示意图。
47.本技术的一种图片分类装置，读入输入图片，输入图片包括有标签图片和无标签图片，首先对输入图片中的无标签图片进行不同的增强处理，得到两组增强的输入图片；然后将两种增强的输入图片分别独立通过第一神经网络模块分析和第二神经网络模块分析，分别得到两组特征集以及伪标签，再将输出进行交叉特征融合处理，得到损失函数分值，然后利用分类器得到此图片的目标分类，最后利用总体损失函数模块计算得到装置的损失，并根据所述损失更新所述第一神经网络模块；作为一种优选，可同时更新第一神经网络和第二神经网络，其优势是可进一步提高准确率。
48.作为一种实施方式，本技术实施例的图片分类装置包括图片预处理模块、第一神经网络模块、第二神经网络模块、特征融合模块、分类器、总体损失函数模块，其中：
49.图片预处理模块用以对输入图片的无标签图片进行增强处理，得到第一增强图片和第二增强图片；
50.第一神经网络模块用以抽取第一增强图片的特征和输入图片的有标签图片的特征，得到第一特征集，同时根据第一增强图片生成第一伪标签，其中，所述第一特征集包括第一有标签特征向量和第一无标签特征向量；
51.第二神经网络模块用以抽取第二增强图片的特征和输入图片的有标签图片的特征，得到第二特征集，同时根据第二增强图片生成第二伪标签，其中，所述第二特征集包括第二有标签特征向量和第二无标签特征向量；
52.特征融合模块将所述第一无标签特征向量和第二伪标签进行融合，以及将第一伪标签和第二无标签特征向量进行融合，得到特征损失分值；
53.分类器用以根据所述特征损失分值得到图片的目标分类；
54.总体损失函数模块用以计算得到装置的损失，并更新所述第一神经网络模块。
55.在该实施例中，图片预处理模块对无标签图片分别采用两种不同的增强方式，目的是增强网络的泛化能力。作为一种举例，第一增强方式可采用拼接、水平翻转，图像对比度增强等方式，第二增强方式为随机裁剪、缩放、补零、色彩抖动，加噪声等方式，对同一张无标图片采用不同的增强方式，得到的特征分布更接近，以此增强模型的抗噪声能力。
56.作为一种实施方式，上述伪标签均采用softmax分类器进行预测得到。
57.作为一种实施方式，总体损失函数模块还包括更新第二神经网络模块的参数，具体请参阅图4所示的另一种结构示意图。
58.请参阅图2，图2示出了一种第一神经网络的具体实施结构示意图。
59.作为一种实施方式，第一神经网络模块包括第一特征抽取模块、第一分类器模块、第二分类器模块、第一损失函数模块，其中：
60.第一特征抽取模块：用以抽取所述第一增强图片的特征和所述输入图片的有标签图片的特征，得到第一特征集；
61.第一分类器模块：用以根据所述有标签图片的特征向量计算交叉熵损失值，同时根据所述第一增强图片生成第一伪标签；具体实现中，第一分类器模块根据输入的有标签图片的特征向量计算交叉熵损失，再采用softmax函数生成无标签图片的第一伪标签。
62.第二分类器模块：用以根据所述第一增强图片的特征计算损失；具体实现中，第二分类器模块将第一类增强数据的第一伪标签乘以第二类增强数据的特征得到损失。
63.第一损失函数模块：用于对第一分类器模块和第二分类器模块输出的损失值加权求和，得到第一神经网络模块的总体损失值。
64.请参阅图3，图3示出了一种第二神经网络的具体实施结构示意图。
65.作为一种实施方式，本技术实施例中第二神经网络包括第二特征抽取模块、第三分类器模块、第四分类器模块、第二损失函数模块，其中：
66.第二特征抽取模块：用以抽取所述第二增强图片的特征和输入图片的有标签图片的特征，得到第二特征集；
67.第三分类器模块：用以根据所述有标签图片的特征向量计算交叉熵损失值，同时根据第二增强图片生成第二伪标签；具体应用中，可以利用第一神经网络得到的特征集，采用softmax函数生成无标签图片的第二伪标签。
68.第四分类器模块：用于根据所述第二增强图片的特征计算损失值。
69.第二损失函数模块：用于对第三分类器模块和第四分类器模块输出的损失值加权求和，得到第二神经网络模块的总体损失值。
70.作为一种优选的实施方式，本技术实施例中所述的第二神经网络还包括更新模块，所述更新模块根据第二神经网络模块的总体损失更新所述的第二特征抽取模块。
71.当处理较大数据量时，为了提高处理的效率和准确率，作为一种优选的实施方式，所述装置包括至少一个第一神经网络。同样的，作为一种优选的实施方式，所述装置包括至少一个第二神经网络。
72.作为一种优选的实施方式，本技术实施例中特征融合模块采用cnn卷积神经网络实现，cnn卷积神经网络用以将输入的特征进行融合，得到更丰富的特征。
73.请参阅图4，图4示出了一种图片分类装置的具体实施结构示意图。
74.作为一种实施方式，本技术实施例中图片分类装置包括图片预处理模块、第一神经网络模块、第二神经网络模块、特征融合模块、分类器、总体损失函数模块,其中：
75.图片预处理模块用以对输入图片的无标签图片进行增强处理，得到第一增强图片和第二增强图片；
76.第一神经网络模块用以抽取第一增强图片的特征和输入图片的有标签图片的特征，得到第一特征集，同时根据第一增强图片生成第一伪标签，其中，所述第一特征集包括第一有标签特征向量和第一无标签特征向量；
77.第二神经网络模块用以抽取第二增强图片的特征和输入图片的有标签图片的特征，得到第二特征集，同时根据第二增强图片生成第二伪标签，其中，所述第二特征集包括第二有标签特征向量和第二无标签特征向量；
78.特征融合模块将所述第一无标签特征向量和第二伪标签进行融合，以及将第一伪标签和第二无标签特征向量进行融合，得到特征损失分值；
79.分类器用以根据所述特征损失分值得到图片的目标分类；当装置用在不同的行业，目标分类是不同的，作为一种举例，在医用处方图片识别应用中，处方图片就是一种目标分类。
80.总体损失函数模块用以计算得到装置的损失，并更新所述第一神经网络模块。
81.本实施例中，第一神经网络模块包括第一特征抽取模块、第一分类器模块、第二分类器模块、第一损失函数模块，具体请参阅图2所示第一神经网络的结构示意图。
82.本实施例中，第二神经网络模块包括第二特征抽取模块、第四分类器模块、第三分类器模块、第二损失函数模块，更新模块，具体请参阅图3所示第二神经网络的结构示意图。
83.基于上述实施例的识别纠错装置，本技术还公开处方识别方法，应用于所述图片分类装置，其步骤包括：
84.读入输入图片，所述输入图片包括有标签图片和无标签图片；
85.对所述无标签图片进行增强处理，得到第一增强图片和第二增强图片；
86.将所述第一增强图片和所述有标签图片输入第一神经网络模块，得到第一特征集和第一伪标签；
87.将所述第二增强图片和所述有标签图片输入第二神经网络模块，得到第二特征集和第二伪标签；
88.将第一特征集、第二特征集、第一伪标签和第二伪标签输入特征融合模块得到特征损失值；
89.将所述特征损失值输入分类器，得到图片的目标分类；
90.利用总体损失函数模块计算得到所述图片分类装置的损失，并更新所述第一神经网络模块；
91.其中，所述的图片分类装置为上述任意一种实施例的图片分类装置。
92.作为一种实施方式，所述利用总体损失函数模块计算得到装置的损失之后，还包括：更新第二神经网络模块。
93.本技术还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述实施例所述的方法。
94.本技术还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述实施例所述的方法。
95.需要说明的是，本领域普通技术人员可以理解上述实施例的各中方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
96.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多中修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的条件下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。