测试文本图片的生成方法、装置及标注质量的确定方法与流程

1.本说明书属于互联网技术领域，尤其涉及测试文本图片的生成方法、装置及标注质量的确定方法。


背景技术：

2.在训练ocr(optical character recognition，光学字符识别)识别模型时，往往需要先由标注员对样本图片进行标注，得到标注后的样本图片；再利用上述标注后的样本图片对模型进行具体训练。显然，标注员的标注质量会影响到标注后的样本图片的数据质量，进而会对ocr识别模型的训练产生影响。
3.目前，亟需一种能够较为准确地确定出标注员的标注质量的方法。


技术实现要素：

4.本说明书提供了一种测试文本图片的生成方法、装置及标注质量的确定方法，能够自动生成埋设有与原有文本字符匹配度较高的埋点文本且测试效果较好的测试文本图片，进而能够利用上述测试文本图片，较为准确地确定出负责标注的目标对象的标注质量。
5.本说明书提供的测试文本图片的生成方法、装置及标注质量的确定方法是这样实现的：
6.一种测试文本图片的生成方法，包括：获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符；对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；根据所述文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，以得到测试文本图片。
7.一种标注质量的确定方法，包括：根据目标文本图片，生成对应的测试文本图片；其中，所述测试文本图片中设置有埋点文本；所述埋点文本为根据目标文本图片中的文本字符数据生成的；利用所述测试文本图片，确定目标对象的标注质量。
8.一种测试文本图片的生成装置，包括：获取模块，用于获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符；预处理模块，用于对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；设置模块，用于根据所述文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，以得到测试文本图片。
9.一种标注质量的确定装置，包括：生成模块，用于根据目标文本图片，生成对应的测试文本图片；其中，所述测试文本图片中设置有埋点文本；所述埋点文本为根据目标文本图片中的文本字符数据生成的；确定模块，用于利用所述测试文本图片，确定目标对象的标注质量。
10.一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述测试文本图片的生成方法或标注质量的确定方法的相关步骤。
11.一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述
测试文本图片的生成方法或标注质量的确定方法的相关步骤。
12.本说明书提供的测试文本图片的生成方法、装置及标注质量的确定方法，可以先对目标对象待标注的目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；再根据文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，从而可以高效地自动生成埋设有与原有文本字符匹配度较高的埋点文本，且测试效果较好的测试文本图片，进而后续可以利用上述测试文本图片，通过相应测试，较为准确地确定出负责标注的目标对象的标注质量。
附图说明
13.为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1是应用本说明书实施例提供的标注质量的确定方法的系统的组成的一个实施例的示意图；
15.图2是在一个场景示例中，应用本说明书实施例提供的标注质量的确定方法的一种实施例的示意图；
16.图3是在一个场景示例中，应用本说明书实施例提供的标注质量的确定方法的一种实施例的示意图；
17.图4是在一个场景示例中，应用本说明书实施例提供的标注质量的确定方法的一种实施例的示意图；
18.图5是在一个场景示例中，应用本说明书实施例提供的标注质量的确定方法的一种实施例的示意图；
19.图6是本说明书的一个实施例提供的测试文本图片的生成方法的流程示意图；
20.图7是本说明书的一个实施例提供的标注质量的确定方法的流程示意图；
21.图8是本说明书的一个实施例提供的服务器的结构组成示意图；
22.图9是本说明书的一个实施例提供的测试文本图片的生成装置的结构组成示意图；
23.图10是本说明书的一个实施例提供的标注质量的确定装置的结构组成示意图。
具体实施方式
24.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
25.本说明书实施例提供的标注质量的确定方法具体可以应用于包含有服务器和客户端的系统中。具体可以参阅图1所示。服务器和客户端可以通过有线或无线的方式相连，以进行具体的数据交互。
26.在本实施例中，所述服务器具体可以包括一种应用于业务平台一侧，能够实现数
据传输、数据处理等功能的负责评价确定标注员的标注质量的服务器。具体的，所述服务器例如可以为一个具有数据运算、存储功能以及网络交互功能的电子设备。或者，所述服务器也可以为运行于该电子设备中，为数据处理、存储和网络交互提供支持的软件程序。在本实施例中，并不具体限定所述服务器的数量。所述服务器具体可以为一个服务器，也可以为几个服务器，或者，由若干服务器形成的服务器集群。
27.在本实施例中，所述客户端具体可以包括一种应用于标注员一侧，能够实现数据采集、数据传输等功能的前端电子设备。具体的，所述客户端例如可以为台式电脑、平板电脑、笔记本电脑、智能手机等。或者，所述客户端也可以为能够运行于上述电子设备中的软件应用。例如，可以是在台式电脑上运行的某业务平台的标注端口界面等。
28.通常服务器会将待标注的文本图片通过客户端分发给标注员。标注员在接收到上述文本图片后，可以先找出文本图片中所包含的文本字符，再以文本数据的形式注出具体的文本字符，作为标注结果，并通过客户端反馈给服务器，实现对该文本图片标注。
29.当前业务平台想要以量化的方式确定该标注员的标注质量。
30.具体实施时，服务器可以先获取多个包含有待标注的文本字符的文本图片(可以记为目标文本图片)；通过对上述多个目标文本图片进行相应的处理，得到对应的多个设置有埋点文本的、测试效果较好的测试文本图片。
31.下面以处理多个目标文本图片中的任意一个目标文本图片(可以记为图片p)来生成对应的一个测试文本图片为例，说明生成测试文本图片的数据处理过程。其中，目标文本图片p可以参阅图2所示。在目标文本图片p中所包含的文本字符是一种图像数据形式的文本字符。
32.具体的，首先，服务器可以调用当前已有的预设的ocr识别模型(可以是精度不高的ocr识别模型)对目标文本图片进行ocr识别，以获得允许存在误差的该目标文本图片中的文本字符数据。
33.其中，上述文本字符数据可以表示为wp＝{w1,w2,...,wi,..,wn}。w中的wi可以表示为在目标文本图片中识别出的文本字符串中编号为i的文本字符。例如，参阅图2所示，wp中的文本字符w3为“集”，文本字符w4为“团”。
34.同时，调用图像检测模型对目标文本图片进行空白图像检测，以确定出目标文本图片中不包含有文本字符的空白区域，并获取上述空白区域在目标文本图片中的位置数据作为目标文本图片中的空白区域数据。
35.其中，上述空白区域数据可以表示为bp＝{[x11,y11,x12,y12],[x21,y21,x22,y22],...,[xi1,yi1,xi2,yi2],...,[xn1,yn1,xn2,yn2]}。bp中的[xi1,yi1,xi2,yi2]具体可以表示为所检测到的n个矩形的空白区域中编号为i的矩形空白区域bi的位置数据。例如，参阅图3所示，[x11,y11,x12,y12]可以为编号为1的矩形空白区域b1的位置数据。
[0036]
此外，服务器可以调用文本字符分类模型处理目标文本图片，以对目标文本图片中的文本字符进行图形分类识别，以确定出目标文本图片中各个文本字符的字体、字号等属性数据。
[0037]
其中，文本字符的属性数据可以表示为fp＝{f1,f2,...,fi,..,fn}。fp中的fi具体可以表示为文本字符数据中的编号为i的文本字符的属性数据。
[0038]
接着，服务器可以调用预设的文本生成模型通过处理目标文本图片中的文本字符
数据，生成多个(通常为3个)与目标文本图片中的文本字符相匹配的文本语句，作为埋点文本。例如，图4中的埋点文本b1、b2和b3。
[0039]
服务器可以先根据空白区域数据，在目标文本图片中确定出多个空白区域；再通过检测并根据各个空白区域附近的文本段落，从多个空白区域中筛选出位于段尾，或位于相连两段之间的空白区域作为符合要求的布设位置。进而可以在上述布设位置处设置埋点文本。具体可以参阅图4所示。通过在上述布设位置处设施埋点文本，可以使得所设置的埋点文本相对于周围原有文本字符差异性较小、匹配度较高，在整个文本图片中表现得较为协调、统一，这样可以减少后续利用埋点文本确定标注质量时存在的误差。
[0040]
同时，服务器还会一并记录下所设置的埋点文本的文本字符串，以及该埋点文本的布设位置的位置信息等作为该埋点文本的关联数据。
[0041]
其中，与目标文本图片p对应的测试文本图片中的埋点文本的关联数据可以表示为dmp＝{m1,m2,..,mi..,mn}。dmp中的mi具体可以表示为编号为i的埋点文本的关联数据。具体的，mi可以表示为以下形式：mi＝{si＝{w1,w2,...,wt},bi＝[xi1,yi1,xi2,yi2]}。其中，si表示编号为i的埋点文本的文本字符串(或称真实值)，bi表示编号为i的埋点文本的布设位置的位置信息。
[0042]
服务器在具体布设位置处设置埋点文本时，可以先获取该布设位置处的邻近范围(例如，与该布设位置距离小于等于2个字符的范围区域)内原有文本字符的字号、字体等属性数据分别为宋体、小四号。接着，可以将埋点文本中的文本字符也调整为宋体、小四号，得到调整后，与周围原有文本字符差异更小、更加协调的调整后的埋点文本。再将上述调整后的埋点文本以图片数据的形式设置在布设位置处，从而得到与该目标文本图片对应的测试文本图片。
[0043]
此外，还可以获取并根据布设位置处的邻近范围内原有文本段落中的字符间距、行间距等细节特征，进一步调整处理埋点文本，以减少埋点文本与周围的文本字符之间的差异性。
[0044]
并且，在预设位置处设置好埋点文本之后，还可以根据布设位置处的邻近范围内的文本字符，对所设置的埋点文本进行字符对齐处理。从而可以使得埋点文本与周围的文本字符更加的匹配、协调。
[0045]
通过上述处理，参阅图5所示，可以得到测试效果相对更好，所设置的埋点文本相对原文本字符更加的协调、统一的测试文本图片。
[0046]
按照上述方式，服务器通过处理多个目标文本图片，可以得到埋设有埋点文本的、测试效果相对较好的多个测试文本图片；并记录有各个测试文本图片中的埋点文本的关联数据。
[0047]
然后服务器可以利用上述多个测试文本图片对标注员进行标注测试，以量化的方式确定出标注员的标注质量。
[0048]
具体的，服务器可以使用上述多个测试文本图片代替目标文本图片，发送至客户端。标注员可以通过客户端接收到上述多个测试文本图片。
[0049]
对于标注员而言，标注员无法区分测试文本图片中的原有文本字符串和埋点文本，因此会对测试文本图片中所找出的文本字符统一进标注，得到对应的多个标注结果；再通过客户端将上述多个标注结果反馈给服务器。
[0050]
服务器接收到标注结果后，可以根据埋点文本的关联数据，只针对标注结果中的关于埋点文本的标注结果进行评价，以确定出该标注员的标注质量。
[0051]
具体的，服务器可以根据各个测试文本图片中埋点文本的关联数据，确定该测试文本图片中的埋点文本的文本字符串，以及埋点文本的布设位置的位置信息；再根据各个测试文本图片的标注结果、所述埋点文本的文本字符串，以及埋点文本的布设位置的位置信息，统计标注员在各个测试文本图片中标注出的埋点文本的数量，以及标注正确的埋点文本的数量；进而，可以基于各个测试文本图片中埋点文本的关联数据，综合标注员标在各个测试文本图片注出的埋点文本的数量，以及标注正确的埋点文本的数量，计算针对该标注员的埋点文本的标注准确率(mo)、埋点文本的漏标率(mm)，以及埋点文本的标注错误率(me)等评价参数；最后可以根据上述评价参数，确定出该标注员最终的标注质量。
[0052]
以利用单个测试文本图片(参阅图4)对标注员进行测试为例。服务器可以先将该测试文本图片发送给标注员。标注员可以通过客户端获取该测试文本图片。
[0053]
对于标注员而言，并不知晓所获取的测试文本图片是用于测试确定标注质量的文本图片，会正常对该测试文本图片中所发现的文本字符进行标注，得到对应的标注结果；再将该标注结果通过客户端发送给服务器。
[0054]
服务器在接收到标注员反馈的标注结果之后，可以先根据标注结果所对应的测试文本图片的图片标识，查询获取该测试文本图片的关联数据。接着，服务器可以根据该测试文本图片的关联数据确定再该测试文本图片中设置有3个埋点文本分别为b1、b2和b3。
[0055]
然后，服务器可以根据测试文本图片的关联数据中的埋点文本的布设位置的位置信息，有针对性地对标注结果中对应位置处进行文本字符检测，以确定出标注员标注出的埋点文本的数量，以及未标注出的埋点文本的数量。
[0056]
例如，通过检测发现在标注结果中对应b1、b2的布设位置处存在有标注员标注出的文本字符，而在对应b3的布设位置处不存在标注员标注出的文本字符，因此，可以确定出标注员标注出的埋点文本的数量为2，未标注出的埋点文本的数量为1。
[0057]
进一步，服务器可以根据测试文本图片的关联数据中的埋点文本的文本字符串，对标注员所标注出的埋点文本的文本字符串进行比对，以确定并统计出该标注员标注正确的埋点文本，并统计出标注正确的埋点文本的数量。
[0058]
例如，通过根据测试文本图片的关联数据中的埋点文本b1的文本字符串，比对标注结果中对应b1的布设位置处标注员标注出的文本字符，发现该位置处标注员标注出的文本字符与b1的文本字符串完全相同(或者字符差异值小于预设的字符差异阈值)，则将b1确定为标注员标注正确的埋点文本。
[0059]
相反，通过根据测试文本图片的关联数据中的埋点文本b2的文本字符串，比对标注结果中对应b2的布设位置处标注员标注出的文本字符，发现该位置处标注员标注出的文本字符与b2的文本字符串完全不同(或者字符差异值大于等于预设的字符差异阈值)，则将b2确定为标注员标注正确的埋点文本。
[0060]
这样可以统计出该标注员正确标注的埋点文本数量为1。
[0061]
进而，服务器可以根据标注员标注出的埋点文本的数量，以及标注正确的埋点文本的数量，分别计算出该标注员埋点文本的标注准确率(可以记为mo)、该标注员埋点文本的漏标率(可以记为mm)，以及该标注员埋点文本的标注错误率(可以记为me)等评价参数。
再根据上述评价参数，以量化的方式来确定出该标注员的标注质量
[0062]
例如，计算出标注准确率为mo＝1/3。计算出漏标率为mn＝1/3。计算出标注错误率为me＝1/3。在得到上述三个评价参数之后，可以综合使用上述三个评价参数，以及与上述三个评价参数分别对应的预设的权重系数，进行求和运算；将运算结果作为该标注员的标注质量。
[0063]
从而可以生成得到测试效果较好的、设置有埋点文本的测试文本图片，并利用上述测试文本图片通过对标注员进行相应测试，准确、客观地以量化的方式确定出该标注员的标注质量。
[0064]
参阅图6所示，本说明书实施例提供了一种测试文本图片的生成方法。其中，该方法具体可以应用于服务器一侧。具体实施时，该方法可以包括以下内容。
[0065]
s601：获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符。
[0066]
s602：对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据。
[0067]
s603：根据所述文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，以得到测试文本图片。
[0068]
在一些实施例中，上述目标文本图片具体可以理解为包含有待标注的文本字符的图片或视频帧。可以参阅图2所示。其中，目标文本图片中的文本字符为图像数据形式的文本字符。
[0069]
在一些实施例中，上述目标文本图片中的文本字符数据具体可以是在目标文本图片中识别并提取出的文本字符串。
[0070]
具体的，所获取的目标文本图片中的文本字符数据可以表示为以下形式：w＝{w1,w2,...,wi,..,wn}。其中，wi可以表示为在目标文本图片中识别出的文本字符串中编号为i的文本字符。
[0071]
上述目标文本图片中的空白区域数据具体可以是在目标文本图片中检测到的空白区域(或称非文本的图像区域)的位置数据。
[0072]
具体实施时，可以根据空白区域的轮廓形状，使用相应尺寸的矩形框，将在目标图片中检测到的空白区域细分成多个矩形形状的空白区域。可以参阅图3所示。进一步，可以使用各个矩形形状的空白区域的对角线上的像素点的位置坐标，来表示出所对应的空白区域的位置数据。例如，可以使用空白区域的左上角位置处的像素点的横坐标和纵坐标，以及右下角位置处的像素点的横坐标和纵坐标，来表示该空白区域的位置数据。
[0073]
具体的，所获取的目标文本图片中的空白区域数据可以表示为以下形式：b＝{[x11,y11,x12,y12],[x21,y21,x22,y22],...,[xi1,yi1,xi2,yi2],...,[xn1,yn1,xn2,yn2]}。其中，[xi1,yi1,xi2,yi2]具体可以表示为所检测到的n个空白区域中编号为i的空白区域(可以记为bi)的位置数据。其中，xi1,yi1具体可以是空白区域中左上角位置处的像素点的横坐标和纵坐标；xi2,yi2具体可以是空白区域中右下角位置处的像素点的横坐标和纵坐标。
[0074]
在一些实施例中，具体实施时，可以通过对目标文本图片进行预处理，来获取上述目标文本图片中的文本字符数据和空白区域数据。
[0075]
在一些实施例中，上述对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据，具体实施时，可以包括以下内容：对目标文本图片进行ocr识别，以获取目标文本图片中的文本字符数据；调用图像检测模型对目标文本图片进行空白图像检测，以获取目标文本图片中的空白区域数据。
[0076]
其中，上述ocr识别具体可以是指通过检测图片中的暗、亮的模式确定出图片中字符的形状，再将上述字符形状翻译成对应的文本字符的数据处理过程。
[0077]
在一些实施例中，具体实施时，可以调用预设的ocr识别模型通过对目标文本图片进行ocr识别处理，以从目标文本图片中识别并提取相应的文本字符数据。
[0078]
其中，上述预设的ocr识别模型具体可以是已经训练好的精度较高的模型，也可以是当前已有的但尚未训练好，或者精度较差但能够支持基本的ocr识别功能的模型。
[0079]
对于所获取的目标文本图片中的文本字符数据允许存在预设容忍度内的数据误差。
[0080]
在一些实施例中，在对目标文本图片进行ocr识别的过程中，对于目标文本图片中的某几个ocr识别失败文本字符，可以通过查询系统字典或系统配置文档，确定出对应的文本字符。
[0081]
在一些实施例中，上述图像检测模型具体可以是一种预先训练好的，能够区分图片中的文本区域(包含有文本字符的图像区域)和空白区域(或称非文本区域)，并输出空白区域的位置数据的图像处理模型
[0082]
具体实施时，可以将目标文本图片作为模型输入，输入至图像检测模型中，并运行该图像检测模型，得到对应的模型输出，作为目标文本图片中的空白区域数据。
[0083]
在一些实施例中，上述对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据，具体实施时，还可以包括以下内容：调用文本字符分类模型对目标文本图片中的文本字符进行图形分类识别，以获取目标文本图片中的文本字符的属性数据。
[0084]
其中，上述文本字符分类模型具体可以是一种预先训练好的能够通过图像分类检测并确定出图片中文本字符的属性数据的分类模型。
[0085]
其中，所述属性数据具体可以包括以下至少之一：字体、字号、倾斜角等。当然，需要说明的是，上述所列举的属性数据只是一种示意性说明。具体实施时，根据具体的应用场景和处理需求，上述属性数据还可以包括诸如颜色、粗细等其他的属性数据。
[0086]
具体的，所获取的目标文本图片中的文本字符的属性数据可以表示为以下形式：f＝{f1,f2,...,fi,..,fn}。其中，fi具体可以表示为文本字符数据中的编号为i的文本字符的属性数据。
[0087]
在一些实施例中，在调用文本字符分类模型对目标文本图片中的文本字符进行图形分类识别的过程中，对于某几个分类识别失败的文本字符，可以使用相距最近的已分类识别成功的文本字符的属性数据，作为该分类识别失败的文本字符的属性数据。
[0088]
在一些实施例中，上述埋点文本具体可以理解为埋设于目标文本图片中的用于衡量判断负责标注的目标对象的标注质量的文本。
[0089]
其中，上述目标对象具体可以是负责数据标注的标注员，也可以是能自动对数据进行标注处理的标注模型。
[0090]
上述测试文本图片具体可以理解为在目标文本图片中布设有埋点文本的文本图片。其中，上述测试文本图片具体可以用于确定目标对象的标注质量。
[0091]
需要说明的是，区别于目标文本图片中的原有文本字符，布设于测试文本图片中的埋点文本的文本字符串(或者称埋点文本的真实值)，以及埋点文本的位置信息对于服务器是已知的。因此，服务器可以根据埋点文本的文本字符串，以及埋点文本的位置信息，能够对目标对象标注测试文本图片所得到的标注结果中的关于埋点文本的标注结果，进行较为准确的评价，进而可以确定出该目标对象的标注质量。
[0092]
在一些实施例中，上述根据所述文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，具体实施时，可以包括以下内容：根据所述文本字符数据，生成与目标文本图片中的文本字符相匹配的埋点文本；根据空白区域数据，在目标文本图片中确定出符合要求的布设位置；在所述布设位置处设置埋点文本，并记录埋点文本的关联数据。
[0093]
其中，所记录的埋点文本的关联数据具体可以包括：埋点文本的文本字符串，以及埋点文本的布设位置的位置信息等。
[0094]
具体的，埋点文本的关联数据可以表示为以下形式：dm＝{m1,m2,..,mi..,mn}。其中，mi具体可以表示为编号为i的埋点文本的关联数据。具体的，mi可以表示为以下形式：mi＝{si＝{w1,w2,...,wt},bi＝[xi1,yi1,xi2,yi2]}。其中，si表示编号为i的埋点文本的文本字符串(或称真实值)，bi表示编号为i的埋点文本的布设位置的位置信息。
[0095]
在一些实施例中，上述根据所述文本字符数据，生成与目标文本图片中的文本字符相匹配的埋点文本，具体实施时，可以包括：调用预设的文本生成模型处理所述文本字符数据，以生成与目标文本图片中的文本字符相匹配的埋点文本。
[0096]
其中，上述预设的文本生成模型(或者文本生成服务)具体可以是指一种预先训练好的，能够基于所输入的文本字符数据，生成与该文本字符数据结构相近或语义相关等匹配度较高的文本语句的数据处理模型。例如，可以参阅图4所示，通过上述预设的文本生成模型根据目标文本图片中原有的文本字符数据，可以生成语义相关的文本语句b1、b2和b3。
[0097]
在一些实施例中，具体实施时，还可以从文本字符数据中随机抽取多个文本字符进行组合，得到相应的文本字符串作为所述埋点文本。
[0098]
在一些实施例中，上述根据空白区域数据，在目标文本图片中确定出符合要求的布设位置，具体实施时，可以包括：根据所述空白区域数据，在目标文本图片中确定出多个空白区域；从所述多个空白区域中筛选出位于段尾，或位于相邻两段之间的空白区域，作为所述符合要求的布设位置。
[0099]
具体实施时，还可以从多个空白区域中筛选出文本段落上方的空白区域，或者文本段落下方的空白区域等作为所述符合要求的布设位置。具体可以参阅图4所示。
[0100]
通过筛选并使用上述空白区域作为布设位置来设置埋点文本，可以使得测试文本图片中的埋点文本与目标文本图片中原文本字符的差异性较小、匹配度较高，使得埋点文本在测试文本图片中表现得更加协调，从而可以减少埋点文本在测试文本图片中所表现出的差异性对后续确定标注质量所产生的干扰。
[0101]
在一些实施例中，所述布设位置处设置埋点文本，具体实施时，可以包括以下内容：获取布设位置处的邻近范围内的文本字符的属性数据；根据所述布设位置处的邻近范围内的文本字符的属性数据，调整埋点文本中的文本字符的相关属性，得到调整后的埋点
文本；在所述布设位置处设置所述调整后的埋点文本。
[0102]
具体的，例如，检测到布设位置处的邻近范围内的文本字符为宋体、小四号字。相应的，可以将埋点文本中的文本字符也调整为宋体、小四号字，得到调整后的埋点文本。再将上述调整后的埋点文本以图片数据的形式设置在布设位置处。这样可以使得测试文本图片中所埋设的埋点文本与周围原有文本字符更为统一、协调，进一步减少对后续确定标注质量所产生的干扰。
[0103]
其中，上述邻近范围具体可以包括：与布设位置处的距离小于等于预设的距离阈值的范围区域。
[0104]
在一些实施例中，在所述位置处设置埋点文本之后，所述方法具体实施时，还可以包括：根据布设位置处的邻近范围内的文本字符，对所设置的埋点文本进行字符对齐处理。
[0105]
此外，还可以根据布设位置处的邻近范围内的文本字符，调整埋点文本中文本字符的间距，以及为埋点文本设置较合适的标点符号。
[0106]
通过上述实施例，可以使得埋点文本相对于邻近的原有文本字符差异性更小，在测试文本图片中表现得更加协调、匹配，从而可以得到测试效果相对更好的测试文本图片。
[0107]
在一些实施例中，在得到测试文本图片之后，所述方法具体实施时，还可以包括以下内容：利用所述测试文本图片，确定目标对象的标注质量。
[0108]
在一些实施例中，上述利用所述测试文本图片，确定目标对象的标注质量，具体实施时，可以包括以下内容：将所述测试文本图片发送至目标对象；其中，所述目标对象对所述测试文本图片中的文本字符进行标注得到对应的标注结果；接收标注结果；根据所述标注结果和所述埋点文本的关联数据，确定目标对象的标注质量。
[0109]
其中，上述标注结果具体可以表示为以下形式：dl＝{lm1,lm2,...,lmi,...,lmk}。其中，lmi具体可以表示为标注结果中编号为i的标注结果。
[0110]
在本实施例中，目标对象不知晓测试文本图片中哪些文本字符串属于原有文本字符，哪些文本字符串属于埋点文本。因此，在对测试文本图片进行标注时，目标对象不会区分原有文本字符串和埋点文本，而是对所识别到的文本字符都进行标注。例如，目标对象可以对文本测试图片中所识别到的文本字符都标注出对应的文本数据形式的文本字符，作为针对该测试文本图片的标注结果。
[0111]
服务器可以接收目标对象标注后反馈的标注结果，再根据埋点文本的关联数据，对标注结果中关于埋点文本的标注结果进行针对性的评价，以确定出目标对象的标注质量。
[0112]
在一些实施例中，具体实施时，可以按照以下方式根据所述标注结果和所述埋点文本的关联数据，确定目标对象的标注质量：根据所述埋点文本的关联数据，确定测试文本图片中的埋点文本的文本字符串，以及埋点文本的布设位置的位置信息；根据所述标注结果、所述埋点文本的文本字符串，以及埋点文本的布设位置的位置信息，统计目标对象标注出的埋点文本的数量，以及标注正确的埋点文本的数量；根据目标对象标注出的埋点文本的数量，以及标注正确的埋点文本的数量，确定目标对象的标注质量。
[0113]
在一些实施例中，具体实施时，可以将所统计出的目标对象标注出的埋点文本的数量记为t。同时，可以根据t，并结合埋点文本的关联数据，计算出目标对象未标注出的埋点文本的数量，记为tb。此外，可以将所统计出的目标对象标注正确的埋点文本的数量记为
te。
[0114]
进一步，可以根据目标对象标注出的埋点文本的数量，以及标注正确的埋点文本的数量，分别计算出目标对象埋点文本的标注准确率(可以记为mo)、目标对象埋点文本的漏标率(可以记为mm)，以及目标对象埋点文本的标注错误率(可以记为me)等评价参数。
[0115]
接着，可以根据预设的权重系数，综合利用目标对象埋点文本的标注准确率、目标对象埋点文本的漏标率，以及目标对象埋点文本的标注错误率，计算出该目标对象的标注质量。
[0116]
其中，上述标注准确率可以按照以下算式计算得到：mo＝1-(tb te)/(t)*100％。上述漏标率可以按照以下算式计算得到：mm＝tb/(t)*100％。上述标注错误率可以按照以下算式计算得到：me＝te/t*100％。
[0117]
在一些实施例中，具体实施时，还可以生成多个不同的测试文本图片，并将多个测试文本图片发送给目标对象进行标注，以得到目标对象反馈的针对多个测试文本图片的多个标注结果。进而可以根据多个标注结果，结合多测试文本图片的埋点文本的关联数据，更加准确地确定出目标对象的标注质量。
[0118]
在一些实施例中，在确定出目标对象的标注质量之后，所述方法具体实施时，还可以包括：根据目标对象的标注质量，确定目标对象的标注质量是否符合预设的质量要求。在确定目标对象的标注质量不符合预设的质量要求的情况下，可以生成针对该目标对象的提示信息。从而可以较为精准、客观地找出标注质量较差，不符合预设的质量要求的目标对象；并通过生成相应的提示信息，以有针对性地提示并促进该目标对象进行改进，以提高标注质量。
[0119]
在一些实施例中，具体实施时，还可以采用上述方式对多个不同的目标对象进行测试，以确定出各个目标对象的标注质量。进一步，可以根据各个目标对象的标注质量，确定出针对各个目标对象的标注后的样本数据的可靠性权重系数。
[0120]
具体的，例如，目标对象a的标注质量高于目标对象b的标注质量，这时可以将目标对象a所提供的标注后的样本数据的可靠性权重系数设置为一个相对较大的数值，而将目标对象b所提供的标注后的样本数据的可靠性权重系数设置为一个相对较小的数值。
[0121]
这样，后续在利用多个目标对象所提供的标注后的样本数据训练ocr识别模型时，可以结合上述可靠性权重系数，有效区分和使用不同的目标对象所提供的标注后的样本数据，从而可以使得模型在训练过程中能够有针对性地增加对标注质量较高的目标对象所提供的标注后的样本数据的学习，减少对标注质量较差的目标对象所提供的标注后的样本数据的学习，提高模型训练精度。
[0122]
由上可见，基于本说明书实施例提供的测试文本图片的生成方法，可以先对目标对象待标注的目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；再根据文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，从而可以高效地自动生成埋设有与原文本字符匹配度较高的埋点文本且测试效果较好的测试文本图片，进而后续可以利用上述测试文本图片，较为准确地确定出负责标注的目标对象的标注质量。
[0123]
参阅图7所示，本说明书实施例还提供了一种标注质量的确定方法。其中，该方法具体实施时，可以包括以下内容。
[0124]
s701：根据目标文本图片，生成对应的测试文本图片；其中，所述测试文本图片中设置有埋点文本；所述埋点文本为根据目标文本图片中的文本字符数据生成的；
[0125]
s702：利用所述测试文本图片，确定目标对象的标注质量。
[0126]
在一些实施例中，上述根据目标文本图片，生成对应的测试文本图片，具体实施时，可以包括以下内容：获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符；对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；根据所述文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，以得到测试文本图片；并记录埋点文本的关联数据。
[0127]
由于所使用的埋点文本时根据目标文本图片中原有文本字符数据生成得到的，因此，埋点文本与周围原有文本字符相比差异性较小、匹配度较高，在测试文本图片中表现得到较为协调、统一，从而可以有效地减少埋点文本对后续确定目标对象的标注质量的干扰和影响。
[0128]
在一些实施例中，所述埋点文本的关联数据至少可以包括：埋点文本的文本字符串，以及埋点文本的布设位置的位置信息等。
[0129]
在一些实施例中，上述利用所述测试文本图片，确定目标对象的标注质量，具体实施时，可以包括以下内容：将所述测试文本图片发送至目标对象；其中，所述目标对象对所述测试文本图片中的文本字符进行标注得到对应的标注结果；接收标注结果；根据所述标注结果和所述埋点文本的关联数据，确定目标对象的标注质量。
[0130]
在一些实施例中，上述根据所述标注结果和所述埋点文本的关联数据，确定目标对象的标注质量，具体实施时，可以包括以下内容：根据所述埋点文本的关联数据，确定测试文本图片中的埋点文本的文本字符串，以及埋点文本的布设位置的位置信息；根据所述标注结果、所述埋点文本的文本字符串，以及埋点文本的布设位置的位置信息，统计目标对象标注出的埋点文本的数量，以及标注正确的埋点文本的数量；根据目标对象标注出的埋点文本的数量，以及标注正确的埋点文本的数量，确定目标对象的标注质量。
[0131]
由上可见，基于本说明书实施例提供的标注质量的确定方法，可以先生成得到测试效果较好的测试文本图片，进而可以利用上述测试文本图片较为准确、客观地确定出目标对象的标注质量。
[0132]
本说明书实施例还提供一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器具体实施时可以根据指令执行以下步骤：获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符；对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；根据所述文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，以得到测试文本图片。
[0133]
为了能够更加准确地完成上述指令，参阅图8，本说明书实施例还提供了另一种具体的服务器，其中，所述服务器包括网络通信端口801、处理器802以及存储器803，上述结构通过内部线缆相连，以便各个结构可以进行具体的数据交互。
[0134]
其中，所述网络通信端口801，具体可以用于获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符。
[0135]
所述处理器802，具体可以用于对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；根据所述文本字符数据和空白区域数据，在目标文本
图片中设置相应的埋点文本，以得到测试文本图片。
[0136]
所述存储器803，具体可以用于存储相应的指令程序。
[0137]
在本实施例中，所述网络通信端口801可以是与不同的通信协议进行绑定，从而可以发送或接收不同数据的虚拟端口。例如，所述网络通信端口可以是负责进行web数据通信的端口，也可以是负责进行ftp数据通信的端口，还可以是负责进行邮件数据通信的端口。此外，所述网络通信端口还可以是实体的通信接口或者通信芯片。例如，其可以为无线移动网络通信芯片，如gsm、cdma等；其还可以为wifi芯片；其还可以为蓝牙芯片。
[0138]
在本实施例中，所述处理器802可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
[0139]
在本实施例中，所述存储器803可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如ram、fifo等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、tf卡等。
[0140]
本说明书实施例还提供另一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器具体实施时可以根据指令执行以下步骤：根据目标文本图片，生成对应的测试文本图片；其中，所述测试文本图片中设置有埋点文本；所述埋点文本为根据目标文本图片中的文本字符数据生成的；利用所述测试文本图片，确定目标对象的标注质量。
[0141]
本说明书实施例还提供了一种基于上述测试文本图片的生成方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符；对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；根据所述文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，以得到测试文本图片。
[0142]
在本实施例中，上述存储介质包括但不限于随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、缓存(cache)、硬盘(hard disk drive,hdd)或者存储卡(memory card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
[0143]
本说明书实施例还提供了一种基于上述标注质量的确定方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：根据目标文本图片，生成对应的测试文本图片；其中，所述测试文本图片中设置有埋点文本；利用所述测试文本图片，确定目标对象的标注质量。
[0144]
在本实施例中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
[0145]
参阅图9所示，在软件层面上，本说明书实施例还提供了一种测试文本图片的生成装置，该装置具体可以包括以下的结构模块：
[0146]
获取模块901，具体可以用于获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符；
[0147]
预处理模块902，具体可以用于对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；
[0148]
设置模块903，具体可以用于根据所述文本字符数据和空白区域数据，在目标文本图片中设置相应的埋点文本，以得到测试文本图片。
[0149]
在一些实施例中，上述预处理模块902具体实施时，可以按照以下方式对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据：对目标文本图片进行ocr识别，以获取目标文本图片中的文本字符数据；调用图像检测模型对目标文本图片进行空白图像检测，以获取目标文本图片中的空白区域数据。
[0150]
在一些实施例中，上述预处理模块902具体实施时，还可以用于调用文本字符分类模型对目标文本图片中的文本字符进行图形分类识别，以获取目标文本图片中的文本字符的属性数据；其中，所述属性数据包括以下至少之一：字体、字号、倾斜角。
[0151]
在一些实施例中，上述设置模块903具体实施时，可以根据所述文本字符数据，生成与目标文本图片中的文本字符相匹配的埋点文本；根据空白区域数据，在目标文本图片中确定出符合要求的布设位置；在所述布设位置处设置埋点文本，并记录埋点文本的关联数据。
[0152]
在一些实施例中，上述设置模块903具体实施时，可以调用预设的文本生成模型处理所述文本字符数据，以生成与目标文本图片中的文本字符相匹配的埋点文本。
[0153]
在一些实施例中，上述设置模块903具体实施时，可以根据所述空白区域数据，在目标文本图片中确定出多个空白区域；从所述多个空白区域中筛选出位于段尾，或位于相邻两段之间的空白区域，作为所述符合要求的布设位置。
[0154]
在一些实施例中，上述设置模块903具体实施时，可以按照以下方式在所述布设位置处设置埋点文本：获取布设位置处的邻近范围内的文本字符的属性数据；根据所述布设位置处的邻近范围内的文本字符的属性数据，调整埋点文本中的文本字符的相关属性，得到调整后的埋点文本；在所述布设位置处设置所述调整后的埋点文本。
[0155]
在一些实施例中，所述装置还包括质量确定模块，具体可以用于在得到测试文本图片之后，利用所述测试文本图片，确定目标对象的标注质量。
[0156]
在一些实施例中，上述质量确定模块具体实施时，可以将所述测试文本图片发送至目标对象；其中，所述目标对象对所述测试文本图片中的文本字符进行标注得到对应的标注结果；接收标注结果；根据所述标注结果和所述埋点文本的关联数据，确定目标对象的标注质量。
[0157]
参阅图10所示，本说明书实施例还提供了一种标注质量的确定装置，具体可以包括以下结构模块：
[0158]
生成模块1001，具体可以用于根据目标文本图片，生成对应的测试文本图片；其中，所述测试文本图片中设置有埋点文本；所述埋点文本为根据目标文本图片中的文本字符数据生成的；
[0159]
确定模块1002，具体可以用于利用所述测试文本图片，确定目标对象的标注质量。
[0160]
在一些实施例中，上述生成模块1001具体实施时，可以获取目标文本图片；其中，所述目标文本图片至少包含有待标注的文本字符；对目标文本图片进行预处理，以获取目标文本图片中的文本字符数据和空白区域数据；根据所述文本字符数据和空白区域数据，
在目标文本图片中设置相应的埋点文本，以得到测试文本图片；并记录埋点文本的关联数据。
[0161]
在一些实施例中，所述埋点文本的关联数据至少可以包括：埋点文本的文本字符串，以及埋点文本的布设位置的位置信息等。
[0162]
在一些实施例中，上述确定模块1002具体实施时，可以将所述测试文本图片发送至目标对象；其中，所述目标对象对所述测试文本图片中的文本字符进行标注得到对应的标注结果；接收标注结果；根据所述标注结果和所述埋点文本的关联数据，确定目标对象的标注质量。
[0163]
在一些实施例中，上述确定模块1002具体实施时，可以根据所述埋点文本的关联数据，确定测试文本图片中的埋点文本的文本字符串，以及埋点文本的布设位置的位置信息；根据所述标注结果、所述埋点文本的文本字符串，以及埋点文本的布设位置的位置信息，统计目标对象标注出的埋点文本的数量，以及标注正确的埋点文本的数量；根据目标对象标注出的埋点文本的数量，以及标注正确的埋点文本的数量，确定目标对象的标注质量。
[0164]
需要说明的是，上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0165]
由上可见，通过本说明书实施例所提供的相关装置，可以生成得到测试效果较好的、设置有埋点文本的测试文本图片，并利用上述测试文本图片通过对标目标对象进行相应测试，准确、客观地以量化的方式确定出该目标对象的标注质量。
[0166]
虽然本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
[0167]
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或
者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0168]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0169]
通过以上的实施例的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
[0170]
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
[0171]
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。