钢印字符识别方法、装置、设备和介质与流程

1.本发明涉及字符识别技术领域，尤其是涉及钢印字符识别方法、装置、设备和介质。


背景技术：

2.在医院药房发药窗口，进行处方药品与实际发放药品的核验过程中，常需要比对药品的种类以及药品的有效期批号。而其中，有效期批号常是以钢印字符的方式印刷在药盒上的，然而由于药盒本身厚度有限，钢印字符没有足够的空间深入药盒表面，导致其只能在药盒表面留下较浅的痕迹，这导致药盒上的钢印字符通常字体偏细，且钢印字符本身无颜色，药盒上的钢印字符常与周边区域的颜色一致。这些原因都导致传统单一的字符识别方法不能很好的识别到钢印字符。


技术实现要素：

3.基于此，有必要针对上述问题，提供钢印字符识别方法、装置、设备和介质，以准确识别钢印字符。
4.一种钢印字符识别方法，所述方法包括：
5.获取待识别药盒的待识别特征图像及待识别合成图像；其中，同一药盒的特征图像与合成图像中的药盒的位置及大小相同，所述待识别特征图像包含待识别特征标识的位置及待识别钢印字符，特征标识用于指示药盒的类别，合成图像中的钢印字符比特征图像中的钢印字符清晰；
6.获取模板特征图像；其中，所述模板特征图像内包括模板特征标识的位置及包含模板钢印字符的第三钢印字符区域的位置，所述模板特征标识与所述待识别特征标识相同；
7.根据所述第三钢印字符区域相对所述模板特征标识的第一位置关系，与所述第一钢印字符区域相对所述待识别特征标识的第二位置关系，确定所述第一钢印字符区域的位置；其中，所述第一位置关系与所述第二位置关系相同，所述第一钢印字符区域为所述待识别特征图像中包含待识别钢印字符的区域；
8.根据所述第一钢印字符区域的位置在所述待识别合成图像中确定第二钢印字符区域的位置，对所述第二钢印字符区域进行识别，以得到所述待识别药盒的待识别钢印字符。
9.在其中一个实施例中，所述根据所述第三钢印字符区域相对所述模板特征标识的第一位置关系，与所述第一钢印字符区域相对所述待识别特征标识的第二位置关系，确定所述第一钢印字符区域的位置，包括：
10.根据所述模板特征标识，在所述模板特征图像中构建第三坐标系，及根据所述待识别特征标识，在所述待识别特征图像中构建第一坐标系；其中，所述模板特征标识相对所述第三坐标系的第三位置关系，与所述待识别特征标识相对所述第一坐标系的第四位置关
系相同；
11.确定所述第三钢印字符区域在所述第三坐标系中的第三区域坐标，根据所述第三区域坐标在所述第一坐标系中确定第一区域坐标，将所述第一区域坐标作为所述第一钢印字符区域的位置；其中，所述第三区域坐标与所述第一区域坐标的坐标范围，及与各自对应坐标系中坐标原点的相对位置关系相同。
12.在其中一个实施例中，所述根据所述第一钢印字符区域的位置在所述待识别合成图像中确定第二钢印字符区域的位置，包括：
13.根据所述第一坐标系在所述待识别合成图像中构建第二坐标系；其中，所述第一坐标系的坐标原点在所述待识别特征图像中的位置与所述第二坐标系的坐标原点在所述待识别合成图像中的位置相同；
14.根据所述第一区域坐标在所述第二坐标系中确定第二区域坐标，将所述第二区域坐标作为所述第二钢印字符区域的位置；其中，所述第二区域坐标与所述第一区域坐标的坐标范围，及与各自对应坐标系中坐标原点的相对位置关系相同。
15.在其中一个实施例中，所述根据所述模板特征标识，在所述模板特征图像中构建第三坐标系，及根据所述待识别特征标识，在所述待识别特征图像中构建第一坐标系，包括：
16.获取所述模板特征标识的第一外接矩形，以所述第一外接矩形中的第一定位点作为坐标原点构建所述第三坐标系；其中，所述第一定位点为外接矩形中的任意一个预设点；
17.获取所述待识别特征标识的第二外接矩形，以所述第二外接矩形中的第一定位点作为坐标原点构建所述第一坐标系。
18.在其中一个实施例中，所述方法，还包括：
19.获取目标模板药盒的模板合成图像；其中，所述目标模板药盒为多个预先获取的模板药盒中的任意一个，所述目标模板药盒的特征图像为所述模板特征图像；
20.根据所述第三坐标系在所述模板合成图像中构建第四坐标系；其中，所述第三坐标系在所述模板特征图像中的坐标原点与所述第四坐标系在所述模板合成图像中的坐标原点相同；
21.获取在所述模板合成图像中预设的第四钢印字符区域的第四区域坐标，根据所述第四区域坐标在所述第三坐标系中确定所述第三区域坐标，将所述第三区域坐标作为所述第三钢印字符区域；其中，所述第四钢印字符区域为所述模板合成图像中包含模板钢印字符的区域，所述第四区域坐标与所述第三区域坐标的坐标范围相同，及与各自对应坐标系中坐标原点的相对位置关系相同。
22.在其中一个实施例中，所述获取待识别药盒的待识别特征图像及待识别合成图像，包括：
23.获取所述待识别药盒的多张打光图像；其中，所述多张打光图像中的药盒与所述待识别特征图像中药盒的位置及大小相同，且不同打光图像中的钢印字符有来自不同打光角度的打光；
24.对所述多张打光图像进行合成，以得到所述待识别合成图像。
25.一种钢印字符识别装置，所述装置包括：
26.待识别图像获取模块，用于获取待识别药盒的待识别特征图像及待识别合成图
像；其中，同一药盒的特征图像与合成图像中的药盒的位置及大小相同，所述待识别特征图像包含待识别特征标识的位置及待识别钢印字符，特征标识用于指示药盒的类别，合成图像中的钢印字符比特征图像中的钢印字符清晰；
27.模板图像获取模块，用于获取模板特征图像；其中，所述模板特征图像内包括模板特征标识的位置及包含模板钢印字符的第三钢印字符区域的位置，所述模板特征标识与所述待识别特征标识相同；
28.定位及识别模块，用于根据所述第三钢印字符区域相对所述模板特征标识的第一位置关系，与所述第一钢印字符区域相对所述待识别特征标识的第二位置关系，确定所述第一钢印字符区域的位置；其中，所述第一位置关系与所述第二位置关系相同，所述第一钢印字符区域为所述待识别特征图像中包含待识别钢印字符的区域；根据所述第一钢印字符区域的位置在所述待识别合成图像中确定第二钢印字符区域的位置，对所述第二钢印字符区域进行识别，以得到所述待识别药盒的待识别钢印字符。
29.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述钢印字符识别方法的步骤。
30.一种钢印字符识别设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述钢印字符识别的步骤。
31.本发明提供了钢印字符识别方法、装置、设备和介质，首先获取待识别药盒的待识别特征图像及待识别合成图像，其中待识别特征图像中钢印字符相对模糊，而待识别合成图像中钢印字符相对清晰，两个图像中药盒的位置及大小均相同。待识别特征图像包含待识别特征标识，再获取包含相同特征标识的模板特征图像，也即找到属于同一种类别的模板药盒。该模板特征图像内包含模板特征标识及包含模板钢印字符的第三钢印字符区域，再根据各自字符区域的相对位置关系确定钢印字符所在的第一钢印字符区域的位置，由于钢印字符在待识别特征图像不够清晰且在待识别合成图像中更为清晰，通过将该第一钢印字符区域的位置迁移到待识别合成图像中以找到第二钢印字符区域的位置，并对第二钢印字符区域进行识别，便能得到清晰的待识别钢印字符，从而提高钢印字符识别的准确性。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.其中：
34.图1为一个实施例中钢印字符识别方法的流程示意图；
35.图2为一个实施例中待识别特征图像的示意图；
36.图3为一个实施例中对待识别药盒进行打光的示意图；
37.图4为一个实施例中待识别合成图像的示意图；
38.图5为一个实施例中模板特征图像的示意图；
39.图6为一个实施例中模板合成图像的示意图；
40.图7为一个实施例中在待识别特征图像上确定第一钢印字符区域位置的示意图；
41.图8为一个实施例中在待识别合成图像上确定第二钢印字符区域位置的示意图；
42.图9为一个实施例中钢印字符识别装置的结构示意图；
43.图10为一个实施例中钢印字符识别设备的结构框图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.如图1所示，图1为一个实施例中钢印字符识别方法的流程示意图，本实施例中钢印字符识别方法提供的步骤包括：
46.步骤102，获取待识别药盒的待识别特征图像及待识别合成图像。
47.其中，待识别药盒是指当前需要识别钢印字符的药盒。可以理解的是，钢印字符一般会印刷在药盒的其中一面上，而特征图像则是指对药盒中包含该钢印字符的一面进行拍摄后得到的图像，且特征图像内还包含特征标识，该特征标识用于指示药盒的类别。示例性的，如图2所示，其中“2022.1.1”示意为钢印字符，由于药盒本身厚度有限，钢印字符采用的又是向内凹陷的印刷方式，导致钢印字符没有足够的空间深入药盒表面，其只能在药盒表面留下较浅的痕迹，因此待识别特征图像中的钢印字符通常不是很清晰，较为难以直接进行字符识别。“感冒灵”为特征标识，可用于区分“健胃消食片”、“整肠丸”等其他类别的药盒。由于特征标识为普通印刷字符，因此较为清晰，可以准确地确定特征标识的位置。
48.待识别合成图像是指通过合成技术来使得待识别药盒中的钢印字符更为清晰的图像。并且要求同一药盒的特征图像与合成图像中的药盒的位置及大小相同。
49.在其中一个具体实施例中实施例中，获得待识别合成图像的步骤为：首先从一个打光角度对钢印字符盒进行打光，如图3所示，例如在待识别药盒水平面靠上的位置设置一光源，基于该光源仅对钢印字符进行打光。再基于拍摄待识别特征图像时相同的位置对待识别药盒进行拍摄，这样就能得到第一张打光图像，且该打光图像中的药盒与待识别特征图像中药盒的位置及大小相同。同理，调整光源的位置，例如将光源设置在药盒水平面靠下的位置，再进行拍摄从而得到第二张打光图像。接着再反复调整光源的位置并重复进行拍摄，以得到多张打光图像。最后对这多张打光图像进行合成，由于每张打光图像都携带有不同的亮暗变化特征，合成后的待识别合成图像中钢印字符便具有更多的亮暗变化特征，因此钢印字符也更清晰。
50.示例性的，如图4所示，钢印字符变得更为清晰(以加粗的方式示意)，但在实际操作过程中发现，合成图像中钢印字符虽然更清晰了，但字迹边缘并不是十分明确，存在一个渐变的过程，因此难以直接确定合成图像中钢印字符的区域，且从示意的图4中可以看出，处理后的合成图像中“感冒灵”等其他特征也已经被抹去，因此单独的合成图中并不适合直接的进行定位，以确定钢印字符的区域范围。
51.步骤104，获取模板特征图像。
52.其中，本实施例中会预先获取多个模板药盒，例如“感冒灵”、“健胃消食片”“整肠丸”等模板药盒，每个模板药盒均会同步骤102一般获取对应的特征图像与合成图像。
53.由于待识别特征图像中的待识别特征标识为“感冒灵”，因此其中带有“感冒灵”的模板药盒为目标模板药盒，而目标模板药盒的特征图像就是该模板特征图像。具体的，如图5所示，该模板特征图像内包括相同的模板特征标识“感冒灵”的位置(图5中实线外接矩形)，以及包含模板钢印字符(图中xxxx.x.x)的第三钢印字符区域的位置(图5中虚线外接矩形)。同样的，其他模板药盒的特征图像也一样包含特征标识及钢印字符区域的位置，只不过由于药盒的类别不同，因此钢印字符的印刷位置不同，此时暂不会使用到。
54.在其中一个具体实施例中，确定该第三钢印字符区域的位置的步骤为：第一步，获取目标模板药盒的模板合成图像。也即不断调整光源的位置并对目标模板药盒进行拍摄，以得到多张打光图像，每张打光图像都携带有不同的亮暗变化特征。最后对这多张进行合成，便能得到有较清晰钢印字符的模板合成图像，并且要求该模板合成图像与该模板特征图像中的药盒的位置及大小相同。第二步，根据模板特征标识，在模板特征图像中构建第三坐标系。如图5所示，例如获取模板特征标识“感冒灵”的第一外接矩形，基于该第一外接矩形的左上角顶点构建该第三坐标系。第三步，根据第三坐标系在模板合成图像中构建第四坐标系。由于模板合成图像与该模板特征图像中的药盒的位置及大小相同，因此只需将第三坐标系迁移至模板合成图像中即可，如图6所示，也即第三坐标系在模板特征图像中的坐标原点与第四坐标系在模板合成图像中的坐标原点相同。第四步，获取在模板合成图像中预设的第四钢印字符区域的第四区域坐标，根据第四区域坐标在第三坐标系中确定第三区域坐标，将第三区域坐标作为第三钢印字符区域。也即图6中的虚线矩形区域为第四钢印字符区域，由于合成图像中钢印字符的字迹边缘并不是十分明确，存在一个渐变的过程，因此该第四钢印字符区域的第四区域坐标是需要人为预设的，例如预设顶点坐标(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)代表第四钢印字符区域，再将这些顶点坐标迁移至第三坐标系，从而就能确定第三坐标系中的(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)表示的是第三钢印字符区域，也即图5中的虚线外接矩形。
55.步骤106，根据第三钢印字符区域相对模板特征标识的第一位置关系，与第一钢印字符区域相对待识别特征标识的第二位置关系，确定第一钢印字符区域的位置。
56.其中，由于图2图5中的均为相同类别的“感冒灵”，因此在客观上第一位置关系与第二位置关系相同(本实施例仅简单假设“感冒灵”均使用相同的印刷模板，暂不考虑第一类感冒灵，第二类感冒灵的情形。当然在实际应用中可结合多个特征标识来具体确定药盒的类别)。而第一钢印字符区域为待识别特征图像中包含待识别钢印字符的区域，也即图7中虚线外接矩形的区域。
57.结合图5和图7可知，模板特征图像与待识别特征图像中药盒的位置，可能因拍摄设备的拍摄位置不同而不完全相同，因此并不能简单在两个图像中进行字符区域位置的迁移。在其中一个具体实施例中，确定第一钢印字符区域的位置的步骤为：首先，根据待识别特征标识，在待识别特征图像中构建第一坐标系。例如获取待识别特征标识的第二外接矩形，再同样将该第二矩形的左上角顶点作为坐标原点来构建第一坐标系，这样模板特征标识相对第三坐标系的第三位置关系，与待识别特征标识相对第一坐标系的第四位置关系相同，也即第一坐标系的坐标原点与第三坐标系的坐标原点表示的是“感冒灵”这个药盒的相同位置。当然，第一坐标系与第二坐标系的坐标原点也可以选择外接矩形内的其他任意点，只要位置是对应相同的即可。接着，将第三区域坐标迁移至第一坐标系，以得到第一区域坐
标，将第一区域坐标作为第一钢印字符区域的位置。也就是将预设顶点坐标(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)迁移至第一坐标系，这样就能确定第一坐标系中的(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)表示的是第一钢印字符区域，也即图7中的虚线外接矩形。
58.步骤108，根据第一钢印字符区域的位置在待识别合成图像中确定第二钢印字符区域的位置，对第二钢印字符区域进行识别，以得到待识别药盒的待识别钢印字符。
59.可以理解的是，由于在步骤102中已要求同一药盒的特征图像与合成图像中的药盒的位置及大小相同，因此可以直接将图7中第一钢印字符区域的位置迁移至图8，以得到第二钢印字符区域的位置。
60.而在其中一个具体实施例中，迁移字符区域位置的过程为：首先，根据第一坐标系在待识别合成图像中构建第二坐标系；该第一坐标系的坐标原点在待识别特征图像中的位置与第二坐标系的坐标原点在待识别合成图像中的位置相同。接着，再将第一区域坐标迁移至第二坐标系，以得到第二区域坐标，将第二区域坐标作为第二钢印字符区域的位置。也即将预设顶点坐标(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)迁移至第二坐标系，从而确定第二钢印字符区域的所在位置。
61.这样就可以在待识别合成图像中明确钢印字符的区域范围，由于钢印字符相对较为清晰，便能准确识别得到“2022.1.1”。
62.上述钢印字符识别方法，首先获取待识别药盒的待识别特征图像及待识别合成图像，其中待识别特征图像中钢印字符相对模糊，而待识别合成图像中钢印字符相对清晰，两个图像中药盒的位置及大小均相同。待识别特征图像包含待识别特征标识，再获取包含相同特征标识的模板特征图像，也即找到属于同一种类别的模板药盒。该模板特征图像内包含模板特征标识及包含模板钢印字符的第三钢印字符区域，再根据各自字符区域的相对位置关系确定钢印字符所在的第一钢印字符区域的位置，由于钢印字符在待识别特征图像不够清晰且在待识别合成图像中更为清晰，通过将该第一钢印字符区域的位置迁移到待识别合成图像中以找到第二钢印字符区域的位置，并对第二钢印字符区域进行识别，便能得到清晰的待识别钢印字符，从而提高钢印字符识别的准确性。
63.在一个实施例中，如图9所示，提出了一种钢印字符识别装置，该装置包括：
64.待识别图像获取模块902，用于获取待识别药盒的待识别特征图像及待识别合成图像；其中，同一药盒的特征图像与合成图像中的药盒的位置及大小相同，待识别特征图像包含待识别特征标识的位置及待识别钢印字符，特征标识用于指示药盒的类别，合成图像中的钢印字符比特征图像中的钢印字符清晰；
65.模板图像获取模块904，用于获取模板特征图像；其中，模板特征图像内包括模板特征标识的位置及包含模板钢印字符的第三钢印字符区域的位置，模板特征标识与待识别特征标识相同；
66.定位及识别模块906，用于根据第三钢印字符区域相对模板特征标识的第一位置关系，与第一钢印字符区域相对待识别特征标识的第二位置关系，确定第一钢印字符区域的位置；其中，第一位置关系与第二位置关系相同，第一钢印字符区域为待识别特征图像中包含待识别钢印字符的区域；根据第一钢印字符区域的位置在待识别合成图像中确定第二钢印字符区域的位置，对第二钢印字符区域进行识别，以得到待识别药盒的待识别钢印字符。
67.图10示出了一个实施例中钢印字符识别设备的内部结构图。如图10所示，该钢印字符识别设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该钢印字符识别设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现钢印字符识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行钢印字符识别方法。本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的钢印字符识别设备的限定，具体的钢印字符识别设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
68.一种钢印字符识别设备，包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序，该处理器执行该计算机程序时实现如下步骤：获取待识别药盒的待识别特征图像及待识别合成图像；获取模板特征图像；根据第三钢印字符区域相对模板特征标识的第一位置关系，与第一钢印字符区域相对待识别特征标识的第二位置关系，确定第一钢印字符区域的位置；根据第一钢印字符区域的位置在待识别合成图像中确定第二钢印字符区域的位置，对第二钢印字符区域进行识别，以得到待识别药盒的待识别钢印字符。
69.一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：获取待识别药盒的待识别特征图像及待识别合成图像；获取模板特征图像；根据第三钢印字符区域相对模板特征标识的第一位置关系，与第一钢印字符区域相对待识别特征标识的第二位置关系，确定第一钢印字符区域的位置；根据第一钢印字符区域的位置在待识别合成图像中确定第二钢印字符区域的位置，对第二钢印字符区域进行识别，以得到待识别药盒的待识别钢印字符。
70.需要说明的是，上述钢印字符识别方法、装置、设备及计算机可读存储介质属于一个总的发明构思，钢印字符识别方法、装置、设备及计算机可读存储介质实施例中的内容可相互适用。
71.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
72.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
73.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能
因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。