试剂盒标线区域数据集标注方法、装置、介质及设备与流程

1.本发明涉及图像处理技术领域，特别涉及一种试剂盒标线区域数据集标注方法、装置、介质及设备。


背景技术：

2.在新冠疫情期间，新冠病毒抗原检测试剂盒是一种简单快速的自助检测方法，非医疗专业人士也可以通过试剂盒上标线对检测结果进行判读。通常，各级卫生部门会要求上传检测结果的照片图片，对检测结果进行核实和统计，但是人工判读海量检测结果是一个工作量巨大的重复性工作。因此，使用基于深度学习模型的方法对抗原检测试剂盒结果进行判读成为缓解人工判读压力的替代方法。在使用深度学习模型进行试剂盒的位置检测前，需要对模型进行训练。因此，如何构建训练数据集，对模型的检测能力和效果具有不可忽视的影响。通常情况下，为提高数据集的泛化能力，需要采集真实环境下各类可能场景下的图片作为训练数据集。
3.此外，还需要对数据集图片进行标注，以使得训练后的模型可以检测到试剂盒标线区域的位置。现有技术中例如公布号为cn109902680a(公布日期为2019年6月18日)的中国专利申请公开了一种基于卷积神经网络的图片旋转角度检测与校正方法，包括以下步骤：a.构造网络的训练的数据集；b.构建网络结构及训练参数设置；c.模型训练及训练后的模型参数保存；d.角度检测及校正；e.旋转角计算及图片旋转校正。本发明采用结合图像处理和卷积神经网络的方法，通过深度学习技术手段来提升角度检测的高效性和精确性，利用本方法对图片做角度检测并做旋转校正，可完美解决大角度图片文本检测效果较差的问题，有效提升文本ocr识别率。现有技术中虽然较多应用到某一对象的旋转角度等信息，但是并未给出一种高效的旋转角度的信息的表示方法。
4.数据标注需要将试剂盒标线区域的位置进行标注。因为在数据集图片生成时，对试剂盒进行了旋转，因此在标注时，也需要将旋转角度信息进行标注。传统的方法是在位置坐标信息之外，单独对角度信息进行标注。
5.综上，现有技术中训练数据集生成时对于标线区域直接进行角度信息的标注方式需要优化。


技术实现要素：

6.为解决上述现有技术中的不足，本发明提供一种试剂盒标线区域数据集标注方法，包括以下步骤：
7.s10：获取训练数据图片，所述训练数据图片中包含显示标线区域的试剂盒图片；
8.s20：设定矩形标注框，使得所述标线区域位于所述矩形标注框内，所述矩形标注框相对所述；
9.s30：获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述
试剂盒图片的第一参考系具有特定关系；
10.s40：将所述第一点和所述第二点各自的绝对坐标数据按顺序存储为所述训练数据图片的标注信息。
11.在一些实施例中，所述第一参考系相对所述试剂盒图片的摆放方向固定，所述第一参考系的纵轴指向所述试剂盒图中的字母“t”到“c”的方向。
12.在一些实施例中，所述特定关系包括：对于不同的训练数据图片中的所述标注框，由所述第一点a和所述第二点b在所述第一参考系构成的向量为特定象限的向量。
13.在一些实施例中，所述特定象限包括第四象限。
14.在一些实施例中，步骤s40中包括：
15.s41：获取所述训练数据图片的宽度width和高度height；
16.s41：根据所述训练数据图片的宽度和高度对所述第一点a的绝对坐标数据(xa,ya)以及所述第二点b的绝对坐标数据(xb,yb)进行归一化处理。
17.在一些实施例中，所述归一化处理包括通过以下公式计算出浮点数xa2、ya2、xb2以及yb2，将所述浮点数列(xa2、ya2、xb2、yb2)存储入对应的训练数据图片的信息中；其中，
18.xa2＝xa/width；
19.ya2＝ya/height；
20.xb2＝xb/width；
21.yb2＝yb/height。
22.在一些实施例中，所述训练数据图片包括通过对不同厂商的试剂盒拍摄获得或者合成获得的。
23.本发明还提供一种试剂盒标线区域数据集标注装置，包括：
24.图片获取模块，用于获取训练数据图片，所述训练数据图片中包含显示标线区域的试剂盒图片；
25.标注框设定模块，用于设定矩形标注框，使得所述标线区域位于所述矩形标注框内，所述矩形标注框相对所述；
26.特征点锚定模块，用于获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；
27.存储模块，用于将所述第一点和所述第二点各自的绝对坐标数据按顺序存储。
28.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机被处理器执行时实现如上任一项所述的一种试剂盒标线区域数据集标注方法。
29.本发明还提供一种计算机设备，包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如上任一项所述的一种试剂盒标线区域数据集标注方法。
30.基于上述，与现有技术相比，本发明提供的一种试剂盒标线区域数据集标注方法，通过设定矩形标注框，使得所述标线区域位于所述矩形标注框内，获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关
系；然后将第一点和第二点的绝对坐标数据按顺序存储为标注信息，所述使得标线区域的旋转角度信息隐藏于标注信息之中，对标注信息的进行了简化。
31.本发明的其它特征和有益效果将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他有益效果可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；在下面描述中附图所述的位置关系，若无特别指明，皆是图示中组件绘示的方向为基准。
33.图1为本发明提供的试剂盒标线区域数据集标注方法流程示意图；
34.图2为实施例标注框示意图；
35.图3为实施例第一点和第二点选取示意图；
36.图4为本发明实施例试剂盒标线区域数据集标注装置示意图；
37.图5为本发明实施例计算机设备示意图。
具体实施方式
38.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；下面所描述的本发明不同实施方式中所设计的技术特征只要彼此之间未构成冲突就可以相互结合；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.在本发明的描述中，需要说明的是，本发明所使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员通常所理解的含义相同的含义，不能理解为对本发明的限制；应进一步理解，本发明所使用的术语应被理解为具有与这些术语在本说明书的上下文和相关领域中的含义一致的含义，并且不应以理想化或过于正式的意义来理解，除本发明中明确如此定义之外。
40.以下通过具体实施例进行说明。
41.为达所述优点至少其中之一或其他优点，本发明提供一种试剂盒标线区域数据集标注方法，如图1所示，包括以下步骤：
42.s10：获取训练数据图片，所述训练数据图片中包含显示标线区域的试剂盒图片；
43.s20：设定矩形标注框，使得所述标线区域位于所述矩形标注框内，所述矩形标注框相对所述；
44.s30：获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；如图2为一实施例中的训练数据图片及其标注框。
45.s40：将所述第一点和所述第二点各自的绝对坐标数据按顺序存储为所述训练数据图片的标注信息。
46.在一些实施例中，所述第一参考系相对所述试剂盒图片的摆放方向固定，所述第一参考系的纵轴指向所述试剂盒图中的字母“t”到“c”的方向。
47.在一些实施例中，所述特定关系包括：对于不同的训练数据图片中的所述标注框，由所述第一点a和所述第二点b在所述第一参考系构成的向量为特定象限的向量。
48.如图3所示，对第一参考系的定位是为了说明第一点和第二点相对试剂盒图片的关系，第一参考系相对于试剂盒图片固定，指的是即使试剂盒图片发生旋转，则第一参考系也会发生旋转，因此对于第一点a和第二点b的位置选取是跟随试剂盒图片的放置方向发生改变的。例如对于某第一试剂盒图片，该第一试剂盒图片的摆放方向是字母“t”在上，字母“c”在下，此时，假设所述特定象限是第四象限，则所选取的第一点a是标注框的左上顶点，而第二点b是标注框的右下顶点，二者符合预设在第一参考系中的特定关系；而对于某第二试剂盒图片，该第二试剂盒图片的摆放方向相对第一试剂盒图片的摆放方向旋转了180度，是一个倒置的角度，则根据预设的特定关系，第一点a应当是标注框的右下顶点，而第二点b是标注框的左上顶点。
49.在一些实施例中，所述特定象限包括第四象限。
50.在一些实施例中，步骤s40中包括：
51.s41：获取所述训练数据图片的宽度width和高度height；
52.s41：根据所述训练数据图片的宽度和高度对所述第一点a的绝对坐标数据(xa,ya)以及所述第二点b的绝对坐标数据(xb,yb)进行归一化处理。
53.在一些实施例中，所述归一化处理包括通过以下公式计算出浮点数xa2、ya2、xb2以及yb2，将所述浮点数列(xa2、ya2、xb2、yb2)存储入对应的训练数据图片的信息中；其中，
54.xa2＝xa/width；
55.ya2＝ya/height；
56.xb2＝xb/width；
57.yb2＝yb/height。
58.在一些实施例中，可根据上述实施例的标注信息推测试剂盒图片的旋转角度，推测过程包括如下步骤：
59.1、获取图片标注信息为(xa2,ya2,xb2,yb2)
60.2、如果xa2《xb2，跳转到步骤3；否则跳转到步骤4；
61.3、如果ya2《yb2，则旋转角度rotate_angle＝0；否则rotate_angle＝90，并跳转到步骤5；
62.4、如果ya2《yb2，则旋转角度rotate_angle＝270；否则rotate_angle＝180；
63.5、此时rotate_angle即为试剂盒逆时针旋转的角度。
64.在一些实施例中，所述训练数据图片包括通过对不同厂商的试剂盒拍摄获得或者合成获得的。
65.本发明还提供一种试剂盒标线区域数据集标注装置，如图4所示，包括：
66.图片获取模块，用于获取训练数据图片，所述训练数据图片中包含显示标线区域的试剂盒图片；
67.标注框设定模块，用于设定矩形标注框，使得所述标线区域位于所述矩形标注框内，所述矩形标注框相对所述；
68.特征点锚定模块，用于获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；
69.存储模块，用于将所述第一点和所述第二点各自的绝对坐标数据按顺序存储。
70.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机被处理器执行时实现如上任一项所述的一种试剂盒标线区域数据集标注方法。
71.具体实施时，计算机可读存储介质为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；计算机可读存储介质还可以包括上述种类的存储器的组合。
72.本发明还提供一种计算机设备，如图5所示，包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如上任一项所述的一种试剂盒标线区域数据集标注方法。
73.具体实施时，处理器的数量可以是一个或多个，处理器可以为中央处理器，(central processing unit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
74.存储器与处理器可以通过总线或其他方式通信连接，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使处理器执行如上任一项的试剂盒标线区域数据集标注方法。
75.基于上述，与现有技术相比，本发明提供的一种试剂盒标线区域数据集标注方法，通过设定矩形标注框，使得所述标线区域位于所述矩形标注框内，获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；然后将第一点和第二点的绝对坐标数据按顺序存储为标注信息，所述使得标线区域的旋转角度信息隐藏于标注信息之中，对标注信息的进行了简化。
76.另外，本领域技术人员应当理解，尽管现有技术中存在许多问题，但是，本发明的每个实施例或技术方案可以仅在一个或几个方面进行改进，而不必同时解决现有技术中或者背景技术中列出的全部技术问题。本领域技术人员应当理解，对于一个权利要求中没有提到的内容不应当作为对于该权利要求的限制。
77.尽管本文中较多的使用了诸如训练数据图片、标线区域、试剂盒图片、矩形标注框等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的；本发明
实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
78.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。