扫译笔的自动测试方法、装置、电子设备及存储介质与流程

1.本发明属于文字识别技术领域，尤其涉及一种扫译笔的自动测试方法、装置、电子设备及存储介质。


背景技术：

2.扫译笔是一种用于自动识别文字并可进行双向互译的便携式智能产品，主要用于家庭教育，随着用户量的增加，对于该产品的稳定性有比较高的期望。扫译笔目前的测试方法大多是测试人员手持扫译笔，对待扫译的文件点击进行扫译，并查看扫译笔上显示的文字或听扫译笔播放的语音是否与扫译文件一致，来判断扫译笔的准确性。对于扫译笔的稳定性测试，则一般需反复重复上述的操作步骤，成百上千次的扫译文件，来判断扫译笔系统的稳定性，该稳定性测试需要耗费测试人员大量的精力与时间。
3.本发明的目的是提供一种基于机器视觉和机械手的扫译笔自动测试方法及装置，该自动测试方法能够针对放置在测试台上的不同的纸质目标文件，通过机器视觉对文件中每一行文字的起点和终点精准定位，然后使用机械手带动扫译笔按照文字定位进行顺序扫描或随机扫描，从而代替人工进行测试，并可设置测试次数，对扫译笔进行长时间压力测试，减少人力投入，提升测试效率。


技术实现要素：

4.本发明的目的在于提供一种扫译笔的自动测试方法、装置、电子设备及存储介质，旨在解决现有技术中人工执行扫译测试导致的测试成本高及测试效率低的问题。
5.一方面，本发明提供一种扫译笔的自动测试方法，所述方法包括下述步骤：
6.通过摄像头获取待扫译文件的第一图像；
7.根据所述第一图像获取待扫译文本的第一坐标信息；
8.根据所述第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使所述扫译笔扫译所述待扫译文本，得到所述扫译笔的测试日志；
9.根据所述测试日志，输出测试结果。
10.优选地，根据所述第一图像获取待扫译文本的第一坐标信息的步骤之前，还包括：
11.设定所述机械手的原点；
12.通过所述摄像头获取目标文件的第二图像，并获取所述第二图像中目标区域的第二坐标信息；
13.获取所述目标区域对应的机械手的第三坐标信息；
14.基于所述原点、所述第二坐标信息和所述第三坐标信息得到所述预设的坐标映射关系。
15.优选地，所述预设的扫译规则包括预设的扫译方式，所述第一坐标信息包括每个文本行的起始坐标和终止坐标，根据所述第一坐标信息、预设的坐标映射关系以及预设的
扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动的步骤，包括：
16.根据预设的扫译方式从所述第一坐标信息中获取待扫译目标行的起始坐标和终止坐标；
17.根据所述预设的坐标映射关系，对所述待扫译目标行的起始坐标和终止坐标进行坐标映射，得到所述机械手的目标运动坐标信息；
18.根据所述目标运动坐标信息，通过所述可编程逻辑控制器控制所述机械手的运动轨迹。
19.优选地，所述预设的扫译规则包括预设的扫译次数，通过可编程逻辑控制器控制固定有扫译笔的机械手运动的步骤之后，包括：
20.判断当次扫译对应的测试日志中是否出现预设的错误关键词；
21.若出现所述预设的错误关键词，则停止扫译并保留出错现场；
22.若未出现所述预设的错误关键词，则判断当前扫译次数是否达到所述预设的扫译次数；
23.若达到所述预设的扫译次数，则跳转至根据所述测试日志，输出测试结果的步骤；
24.若未达到所述预设的扫译次数，则跳转至根据所述第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动的步骤。
25.优选地，所述预设的扫译规则包括预设的扫描速度，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使所述扫译笔扫译所述待扫译文本的步骤，还包括：
26.通过所述可编程逻辑控制器控制所述机械手的运动速度，以使所述扫译笔按照所述扫描速度扫译所述待扫译文本。
27.优选地，所述预设的扫译规则包括预设的扫描角度，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使所述扫译笔扫译所述待扫译文本的步骤，还包括：
28.通过所述可编程逻辑控制器控制所述机械手的运动姿态，以使所述扫译笔按照所述扫描角度扫译所述待扫译文本。
29.另一方面，本发明提供了一种扫译笔的自动测试装置，所述装置包括：
30.第一图像获取单元，用于通过摄像头获取待扫译文件的第一图像；
31.第一坐标获取单元，用于根据所述第一图像获取待扫译文本的第一坐标信息；
32.扫译测试执行单元，用于根据所述第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使所述扫译笔扫译所述待扫译文本，得到所述扫译笔的测试日志；以及
33.测试结果输出单元，用于根据所述测试日志，输出测试结果。
34.另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
35.另一方面，本发明还提供了一种扫译笔的自动测试系统，包括如上所述的电子设备，以及与所述电子设备分别连接的摄像头、扫译笔和可编程逻辑控制器，所述扫译笔固定于机械手上，所述机械手与所述可编程逻辑控制器连接。
36.另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质
存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
37.本发明通过摄像头获取待扫译文件的第一图像，根据第一图像获取待扫译文本的第一坐标信息，根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本，得到扫译笔的测试日志，根据测试日志，输出测试结果，从而基于机器视觉和机械手实现了扫译笔的自动测试，提高了扫译笔的测试效率并降低了测试成本。
附图说明
38.图1a是本发明实施例一提供的扫译笔的自动测试方法的应用场景示意图；
39.图1b是本发明实施例一提供的扫译笔的自动测试方法的实现流程图；
40.图2是本发明实施例二提供的扫译笔的自动测试装置的结构示意图；
41.图3是本发明实施例三提供的电子设备的结构示意图；以及
42.图4是本发明实施例四提供的扫译笔的自动测试系统的结构示意图。
具体实施方式
43.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
44.图1a为本发明实施例的应用场景示意图。图1a中，电子设备10分别与摄像头11、扫译笔14和可编程逻辑控制器(plc)12连接，扫译笔14固定于机械手13上，电子设备10通过编程逻辑控制器12控制机械手13运动，以带动扫译笔扫描待扫译文件，该待扫译文件置于测试台上，电子设备10可通过摄像头11获取置于测试台上的待扫译文件的图像。其中，上述的摄像头可选择高清摄像头，上述的机械手可选择三轴向机械手，以满足实际测试需求为宜。
45.以下结合具体实施例对本发明的具体实现进行详细描述：
46.实施例一：
47.图1a示出了本发明实施例一提供的扫译笔的自动测试方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
48.在步骤s101中，通过摄像头获取待扫译文件的第一图像。
49.本发明实施例适用于电子设备。其中，该电子设备可以是手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等设备，本技术实施例对电子设备的具体类型不作任何限制。
50.在本发明实施例中，可将待扫译文件置于测试台上，摄像头至于测试台周围某一预设区域，通常，摄像头可设置于测试台正上方，以保证获取到的待扫译文件的图像效果，即上述第一图像的效果。在得到上述第一图像之后，进一步地，对第一图像进行预处理，以提高后续的测试效果。其中，预处理过程可以包括二值化、去噪、图像校正等。
51.在通过摄像头获取待扫译文件的第一图像之前，需要对机械手的坐标进行校准。优选地，设定机械手的原点，以排除机械手断电等外界干扰导致坐标不对应的影响。具体地，由于机械手存在断电后，再上电时，默认启动位置就是原点这一特性，一旦测试过程中
出现断电将会导致测试过程中坐标出现不对应的情况，因此可通过摄像头获取目标文件的第二图像，将该第二图像范围内机械手能到达的某个点设置为原点，机械手在该原点处的坐标映射为(0，0)。这样，即使机械手在运行过程中断电，再次启动后，仍可将该设置的点作为原点。其中，目标文件可以为上述的待扫译文件，也可以为待扫译文件之外的纸质文件。
52.在设定机械手的原点之后，进一步地，对通过摄像头获取到的目标区域对应的文本坐标信息与机械手坐标信息进行校准，即设置机械手与第一图像中文本区域的坐标映射关系。优选地，通过摄像头获取目标文件的第二图像，并获取第二图像中目标区域的第二坐标信息，获取目标区域对应的机械手的第三坐标信息，基于第二坐标信息和第三坐标信息得到预设的坐标映射关系，以设置二者坐标信息的映射关系，便于后续的扫译测试。具体地，在获取到上述第二图像之后，可接收用户在第二图像范围内输入的目标区域，该目标区域通常为框选区域，获取该目标区域的左上角和右下角坐标，之后，控制机械手分别移动到上述左上角和右下角的位置，通过坐标换算，将机械手和摄像头对应的目标区域进行坐标映射，得到上述坐标映射关系。进一步地，记录机械手在目标区域的左上角和右下角时的坐标，将机械手的活动范围设定在上述目标区域内，便于后续操作机械手。
53.在步骤s102中，根据第一图像获取待扫译文本的第一坐标信息。
54.在本发明实施例中，可获取待扫译文本的文字区域，具体地，可接收用户输入的上述文字区域，将上述文字区域的图像保存到指定的文件路径，之后可将该文件路径发送预设的文字识别算法，通过该文字识别算法获取上述文字区域中的每个文本行的第一坐标信息。该第一坐标信息可包括单个文本的坐标，优选地，该第一坐标信息包括每个文本行的起始坐标和终止坐标，以减少测试过程中的数据量。具体地，该起始坐标可选择每个文本行的起始位置的左上角和左下角的中心点位置坐标，该终止坐标可选择该文本行的终止位置右上角和右下角的中心点位置坐标。进一步地，当通过文字识别算法获取的文本行的坐标信息包含多个时，即文字识别算法可能在一个文本行中找到多个文字区域的坐标，此时，需要对该多个坐标信息进行合并处理，得到每个文本行的起始坐标和终止坐标。
55.在步骤s103中，根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本，得到扫译笔的测试日志。
56.在本发明实施例中，可根上述的坐标映射关系，对上述获取到的每个文本行的坐标信息进行坐标映射，得到机械手的坐标信息，基于该坐标信息确定机械手的运动轨迹。进一步地，考试到实际测试需要，可预先设置扫译规则，以基于扫译规则完成扫译笔的测试。
57.优选地，预设的扫译规则包括预设的扫译方式、预设的扫译次数、预设的扫描速度或预设的扫描角度中的一种或多种，以丰富测试场景，并提高测试的全面性。其中，预设的扫译方式可包括随机行扫译方式或顺序行扫译方式，随机行扫描可以包括偶数行扫描方式、奇数行扫描方式、隔行扫描方式、以及在全文本范围内根据产生的随机数进行的随机行扫描方式等中的一种或多种。顺序行扫译方式可以为对每行文本依次扫描。
58.优选地，若预设的扫译规则包括预设的扫译方式，则根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动时，根据预设的扫译方式从第一坐标信息中获取待扫译目标行的起始坐标和终止坐标，根据预设的坐标映射关系，对待扫译目标行的起始坐标和终止坐标进行坐标
映射，得到机械手的目标运动坐标信息，根据目标运动坐标信息，通过可编程逻辑控制器控制机械手的运动轨迹，以针对待扫译目标行进行坐标映射和扫译测试，进一步简化了测试过程中的数据量。
59.由于在测试过程中扫译笔可能出现不同的测试问题，例如响应问题、崩溃问题、内存泄漏问题、错误问题等，可预先设置不同测试问题对应的问题关键词。例如，响应问题、崩溃问题、内存泄漏问题、异常问题分别对应的问题关键词为“anr”、“crash”、“out of memory”、“exception”，以便于测试人员从测试日志中准确到查询到对应的测试问题。优选地，预设的扫译规则包括预设的扫译次数，在通过可编程逻辑控制器控制固定有扫译笔的机械手运动的步骤之后，判断当次扫译对应的测试日志中是否出现预设的错误关键词，若出现预设的错误关键词，则停止扫译并保留出错现场，若未出现预设的错误关键词，则判断当前扫译次数是否达到预设的扫译次数，若达到预设的扫译次数，则跳转至根据测试日志，输出测试结果的步骤，若未达到预设的扫译次数，则跳转至根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动的步骤，从而在实现多次自动测试的同时，及时保留出错现场，以便于测试人员根据保留的出错现场分析问题。
60.优选地，预设的扫译规则包括预设的扫描速度，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本时，通过可编程逻辑控制器控制机械手的运动速度，以使扫译笔按照扫描速度扫译待扫译文本，从而通过设置不同扫译速度测试扫译笔扫译的准确性，提高了扫译笔测试的全面性。
61.优选地，预设的扫译规则包括预设的扫描角度，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本时，通过可编程逻辑控制器控制机械手的运动姿态，以使扫译笔按照扫描角度扫译待扫译文本，从而通过设置不同扫译角度测试扫译笔扫译的准确性，提高了扫译笔测试的全面性。
62.在步骤s104中，根据测试日志，输出测试结果。
63.在本发明实施例中，对测试日志进行分析，得到测试结果。具体地，可根据文字扫译的准确率、文字扫译的速度、文字扫译的角度、文字扫译的区域、文字扫译的实际次数、测试开始时间、测试结束时间等中的一种或多种输出测试结果，进一步地，还可以将在测试日志中查找到的出错关键词来确定测试过程中出现的测试问题，可根据出现的测试问题、测试问题在测试日志中出现的位置，输出测试结果。
64.在本发明实施例中，通过摄像头获取待扫译文件的第一图像，根据第一图像获取待扫译文本的第一坐标信息，根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本，得到扫译笔的测试日志，根据测试日志，输出测试结果，从而基于机器视觉和机械手实现了扫译笔的自动测试，提高了扫译笔的测试效率并降低了测试成本。
65.实施例二：
66.图2示出了本发明实施例二提供的扫译笔的自动测试装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
67.第一图像获取单元21，用于通过摄像头获取待扫译文件的第一图像；
68.第一坐标获取单元22，用于根据第一图像获取待扫译文本的第一坐标信息；
69.扫译测试执行单元23，用于根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本，得到扫译笔的测试日志；以及
70.测试结果输出单元24，用于根据测试日志，输出测试结果。
71.优选地，该装置还包括：
72.原点设置单元，用于设定机械手的原点；
73.第二坐标获取单元，用于通过摄像头获取目标文件的第二图像，并获取第二图像中目标区域的第二坐标信息；
74.第三坐标获取单元，用于获取目标区域对应的机械手的第三坐标信息；以及
75.映射关系获取单元，用于基于原点、第二坐标信息和第三坐标信息得到预设的坐标映射关系。
76.优选地，预设的扫译规则包括预设的扫译方式，第一坐标信息包括每个文本行的起始坐标和终止坐标，扫译测试执行单元还包括：
77.目标行坐标获取单元，用于根据预设的扫译方式从第一坐标信息中获取待扫译目标行的起始坐标和终止坐标；
78.坐标映射单元，用于根据预设的坐标映射关系，对待扫译目标行的起始坐标和终止坐标进行坐标映射，得到机械手的目标运动坐标信息；以及
79.运动轨迹控制单元，用于根据目标运动坐标信息，通过可编程逻辑控制器控制机械手的运动轨迹。
80.优选地，预设的扫译规则包括预设的扫译次数，装置还包括：
81.关键词判断单元，用于判断当次扫译对应的测试日志中是否出现预设的错误关键词；
82.出错现场保留单元，用于若出现预设的错误关键词，则停止扫译并保留出错现场；
83.扫译次数判断单元，用于若未出现预设的错误关键词，则判断当前扫译次数是否达到预设的扫译次数，若达到预设的扫译次数，则控制测试结果输出单元执行根据测试日志，输出测试结果的步骤，若未达到预设的扫译次数，则控制扫译测试执行单元执行根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本，得到扫译笔的测试日志。
84.优选地，预设的扫译规则包括预设的扫描速度，扫译测试执行单元还包括运动速度控制单元，运动速度控制单元用于通过可编程逻辑控制器控制机械手的运动速度，以使扫译笔按照扫描速度扫译待扫译文本。
85.优选地，预设的扫译规则包括预设的扫描角度，扫译测试执行单元还包括运动姿态控制单元，运动姿态控制单元用于通过可编程逻辑控制器控制机械手的运动姿态，以使扫译笔按照扫描角度扫译待扫译文本。
86.在本发明实施例中，扫译笔的自动测试装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。扫译笔的自动测试装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
87.实施例三：
88.图3示出了本发明实施例三提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
89.本发明实施例的电子设备3包括处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32。该处理器30执行计算机程序32时实现上述各方法实施例中的步骤，例如，图1b所示的步骤s101至s104。或者，处理器30执行计算机程序32时实现上述各装置实施例中各单元的功能，例如，图2所示单元21至24的功能。
90.在本发明实施例中，通过摄像头获取待扫译文件的第一图像，根据第一图像获取待扫译文本的第一坐标信息，根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本，得到扫译笔的测试日志，根据测试日志，输出测试结果，从而基于机器视觉和机械手实现了扫译笔的自动测试，提高了扫译笔的测试效率并降低了测试成本。
91.实施例四：
92.图4示出了本发明实施例四提供的扫译笔自动测试系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
93.本发明实施例的扫译笔自动测试系统4实施例三描述的电子设备40，以及与电子设备40分别连接的摄像头41、扫译笔42和可编程逻辑控制器43，扫译笔42固定于机械手44上，机械手44与可编程逻辑控制器43连接，电子设备40通过编程逻辑控制器43控制机械手44运动，以带动扫译笔完成自动测试。
94.实施例五：
95.在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1b所示的步骤s101至s104。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如，图2所示单元21至24的功能。
96.在本发明实施例中，通过摄像头获取待扫译文件的第一图像，根据第一图像获取待扫译文本的第一坐标信息，根据待扫译文本的第一坐标信息、预设的坐标映射关系以及预设的扫译规则，通过可编程逻辑控制器控制固定有扫译笔的机械手运动，以使扫译笔扫译待扫译文本，得到扫译笔的测试日志，根据测试日志，输出测试结果，从而基于机器视觉和机械手实现了扫译笔的自动测试，提高了扫译笔的测试效率并降低了测试成本。
97.本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。
98.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。