页面异常检测方法、装置及电子设备与流程

1.本技术涉及页面检测技术领域，特别是涉及页面异常检测方法、装置及电子设备。


背景技术：

2.国际化网站中能够支持多语言的切换展示。例如，跨境商品对象信息系统的网站，在不同国家的用户进行浏览时，可以允许用户进行语言选择，或者，还可以根据用户所在的地理位置等信息自动进行语言匹配，等等，以使得各个不同国家的用户都可以浏览到母语化的网站内容。
3.为了支持多语言切换展示，可以预先提供多语言文案库、多语言图片库等。在进行多语言切换展示的过程中，可以读取具体多语言文案库或者多语言图片库中的内容，组合成具体的网页内容并进行展示。
4.但是，不同语言之间在文本表达上存在很大差异，以至于同样含义的一句话，不同语言表达出来的样式、长度等都会有明显的不同。另外，具体的文案库等可能通过机器翻译的方式得到多种不同语言的语料，可能存在漏翻的情况，等等。以上情况的存在，都可能导致多语言切换的过程中，可能出现某些语言场景下，网页内容展示异常的情况，包括部分内容漏翻，部分文本内容被遮挡、截断、缩略等情况。尤其是一些小语言场景，漏翻(翻译时被遗漏)等各类异常的发生概率会更高。上述异常情况的存在会严重影响用户的浏览体验，甚至可能会造成用户的流失，等等。
5.因此，如何有效的实现对网页中的文本内容的异常检测，成为需要本领域技术人员解决的技术问题。


技术实现要素：

6.本技术提供了页面异常检测方法、装置及电子设备，能够有效的实现对网页中的文本内容的异常检测。
7.本技术提供了如下方案：
8.一种页面异常检测方法，包括：
9.确定待检测的目标页面；
10.通过对用户浏览所述目标页面的过程进行模拟，获取所述目标页面的加载及渲染结果；
11.根据所述目标页面的加载及渲染结果确定目标图像；
12.基于所述目标图像的图像特征，对所述目标图像中的文本内容是否存在目标类型的异常进行检测。
13.其中，所述确定待检测的目标页面，包括：
14.接收用户输入的检测对象的网络资源定位标识信息，以及指定的至少一种目标语言；
15.将所述网络资源定位标识信息在所述目标语言场景下对应的页面确定为所述目
标页面。
16.其中，所述确定待检测的目标页面，包括：
17.接收用户输入的检测对象的网络资源定位标识信息，以及指定的检测深度n，n为正整数；
18.在所述检测深度n大于1时，将所述网络资源定位标识信息对应的页面确定为一级页面，并根据所述一级页面中包括的链接确定出至少一个n级页面，其中，n＝2，3
…
n；
19.将所述一级页面以及n级页面确定所述待检测的目标页面。
20.其中，所述一级页面包括商品对象信息聚合页面，其中包括多个商品对象详情页面的链接；在n为2时，所述目标页面包括所述商品对象信息聚合页面以及所述多个商品对象详情页面。
21.其中，所述根据所述目标页面的加载及渲染结果确定目标图像，包括：
22.对所述目标页面的加载及渲染结果进行截图，将截图结果确定为所述目标图像。
23.其中，所述根据所述目标页面的加载及渲染结果确定目标图像，包括：
24.将所述目标页面中包含的图像类型的页面元素确定为所述目标图像。
25.其中，所述基于所述目标图像的图像特征，对所述目标图像中的文本内容是否存在目标类型的异常进行检测，包括：
26.从所述目标图像中识别出至少一个文本区块，所述文本区块中包括文本内容；
27.以所述文本区块为单位，对所述文本区块中包含的文本内容是否存在目标类型的异常进行检测。
28.其中，所述从所述目标图像中识别出至少一个文本区块，包括：
29.将所述目标图像中同一方向上连续性排列的多个文本字符确定为一个文本单元；
30.确定所述文本单元的外接矩形框，将所述外接矩形框内的区域确定为一个文本区块。
31.其中，所述目标类型的异常包括：文本内容被遮挡；
32.所述对所述文本区块中包含的文本内容是否存在目标类型的异常进行检测，包括：
33.将所述文本区块输入到第一算法模型中进行预测，根据所述第一算法模型输出的预测结果，确定所述文本区块中的文本内容是否存在被遮挡的异常。
34.其中，所述目标类型的异常包括：文本内容被缩略；
35.所述方法还包括：
36.对所述文本区块所关联的资源类型进行识别；
37.将非可交互类的资源对应的文本区块确定为需要对缩略问题进行检测的目标文本区块；
38.所述对所述文本区块中包含的文本内容是否存在目标类型的异常进行检测，包括：
39.通过将所述目标文本区块输入到第二算法模型中进行缩略标记的识别，并根据识别结果确定所述目标文本区块中的文本内容是否被缩略。
40.其中，所述目标类型的异常包括：文本内容被截断；
41.所述对所述文本区块中包含的文本内容是否存在目标类型的异常进行检测，包
括：
42.将所述文本区块输入到第三算法模型中进行预测，根据所述第三算法模型输出的预测结果，确定所述文本区块中的文本内容是否存在被截断的异常。
43.其中，还包括：
44.对所述文本区块中的文本内容进行垂直投影，并对投影结果的连通性进行分析；
45.所述确定所述文本区块中的文本内容是否存在被截断的异常，包括：
46.根据所述第三算法模型输出的预测结果，以及所述连通性分析结果，确定所述文本区块中的文本内容是否存在被截断的异常。
47.其中，所述目标类型的异常包括：文本内容在翻译过程中被遗漏的异常；
48.所述对所述文本区块中包含的文本内容是否存在目标类型的异常进行检测，包括：
49.通过将所述文本区块输入到第四算法模型中，对所述文本区块中的文本内容进行语言种类识别；
50.通过判断语言种类识别结果与所述目标页面关联的目标语言是否相同，判断对应的文本区块中的文本内容是否存在在翻译过程中被遗漏的异常。
51.其中，还包括：
52.通过异常检测结果界面，对所述目标页面的异常检测结果进行展示；
53.其中，在对所述异常检测结果进行展示时，展示所述目标页面的截图，并根据存在异常的文本内容在所述目标页面中的坐标信息，在所述截图中提供关于所述存在异常的文本内容的标记信息。
54.其中，所述异常检测结果界面中还包括用户操作区域，所述用户操作区域用于对文本内容所存在的异常类型进行展示，并提供对对应的异常进行操作的操作选项。
55.其中，所述操作选项包括：用于将所述异常检测结果进行提交，以便对异常进行修复处理。
56.其中，还包括：
57.对检测到的异常文本内容对应的应用模块、代码行或多语言配置信息库中的标识进行定位，以便于进行异常修复。
58.一种页面异常检测装置，包括：
59.目标页面确定单元，用于确定待检测的目标页面；
60.模拟加载单元，用于通过对用户浏览所述目标页面的过程进行模拟，获取所述目标页面的加载及渲染结果；
61.目标图像确定单元，用于根据所述目标页面的加载及渲染结果确定目标图像；
62.异常检测单元，用于基于所述目标图像的图像特征，对所述目标图像中的文本内容是否存在目标类型的异常进行检测。
63.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。
64.一种电子设备，包括：
65.一个或多个处理器；以及
66.与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程
序指令在被所述一个或多个处理器读取执行时，执行前述任一项所述的方法的步骤。
67.根据本技术提供的具体实施例，本技术公开了以下技术效果：
68.通过本技术实施例，在确定出待检测的目标页面之后，可以首先通过对所述目标页面的用户浏览过程进行模拟，获取所述目标页面的加载及渲染结果，并根据所述目标页面的加载及渲染结果确定目标图像，以此保留页面实际展示过程中的展示状态。进而可以基于这种目标图像的图像特征，对所述目标图像中的文本内容是否存在目标类型的异常进行检测。通过这种方式，由于是通过基于图像的方式，对其中的文本内容是否存在异常进行检测，不依赖于页面的源码获取，因此，无论是pc端还是无线端的页面，都可以进行有效的检测。并且，无论是页面中文本类型的页面元素还是图像类型的页面元素，都可以统一通过基于图像的方式进行检测，因此，可以提升检测的适应范围。另外，由于是在对目标页面实际展示状态进行模拟的基础上进行测试，因此，可以有效检测出实际向用户展示目标页面的过程中，该目标页面可能出现的各种异常，相对于对源码中文本内容进行的检测而言，具有更高的实用价值。
69.当然，实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
70.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
71.图1
‑
1至1
‑
3是多种页面异常的示意图；
72.图2是本技术实施例提供的系统架构的示意图；
73.图3是本技术实施例提供的方法的流程图；
74.图4是本技术实施例提供的任务提交界面的示意图；
75.图5是本技术实施例提供的文本区块识别的示意图；
76.图6
‑
1、6
‑
2是本技术实施例提供的检测结果页面的示意图。
77.图7是本技术实施例提供的装置的示意图；
78.图8是本技术实施例提供的电子设备的示意图。
具体实施方式
79.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本技术保护的范围。
80.首先需要说明的是，本技术发明人在实现本技术的过程中发现，现有技术中存在一些对页面中的文本内容异常进行检测的方案，这种方案主要通过纯文本分析的方式进行异常检测。具体实现时，可以对页面的源码进行采集，再从中进行文本内容的提取，然后对文本内容进行检测，判断文本内容是否存在异常。
81.但是，上述方案可能存在以下问题：
82.第一，对于一些pc端的页面，比较容易获得源码信息，但是，对于无线端的页面，例如，具体移动端应用(app)中的页面等，会比较难以获得源码，进而也就难以从中进行文本内容的提取。
83.第二，很多页面中，除了文本类型的页面元素，通常还会包括大量的图像类型的页面元素(包括图片、视频等)，这种图像类型的页面元素中也可能包括一些文本，例如，一些图片是通过人工或者机器合图的方式合成的图片，其中可能包括背景图以及前景的文本内容，具体如页面中的banner(横幅)图，等等。并且，图像类型的页面元素中的文本内容也可能存在展示异常的情况。但是，图像类页面元素中的文本内容由于并不存在文本结构，因此，无法直接从源码中获得图像类页面元素中的文本内容。虽然还可以通过ocr(optical character recognition，光学字符识别)等技术先进行文本内容识别，再进行基于文本内容的异常检测，但是，该方案还依赖于ocr识别的准确度，而对于一些小语种的场景，由于ocr识别小语种的准确率并不高，因此，在此基础上再进行异常检测时，异常检测的准确率也会受到影响。
84.第三，有些文本内容的异常是在展示过程中呈现出来的，例如，有些页面由于前端样式配置不当等原因，导致文本内容在展示时被遮挡、被截断或者被省略等情况。例如，某页面中包含一表格结构(表格线条为不可见)，在日文场景下，如图1
‑
1中的11处所示，该单元格中的文本内容过长，导致被右侧相邻单元格中的内容截断，以至于该单元格中的文本内容未能完整展示，甚至在未显示表格线条的情况下，看上去两个单元格的内容已经连在一起，可读性很差。或者，如图1
‑
2(a)所示，某banner中展示的文本内容，在英语场景下，能够正常展示，但是，在西班牙语的场景下，如图1
‑
2(b)中的12处所示，部分文本内容被缩略，用
“…”
代替。再或者，某页面在日语状态下展示如图1
‑
3所示，其的13处展示的图片中，部分文本内容并没有被翻译成日语，存在漏翻的情况，等等。而上述这些问题，基本都是在前端展示过程中才能呈现出来，在源码中，这些文本内容都是正常的。因此，从源码中进行文本内容提取并进行检测时，无法检测出在实际展示中呈现出来的异常。
85.基于上述分析，本技术实施例提供了基于图像对页面中的文本内容进行异常检测的方案。具体的，可以对待检测的目标页面进行加载，也即对用户实际浏览该目标页面的过程中页面的展示情况进行模拟，并对模拟加载的页面进行截图(例如，对页面进行整体截图，也即，将页面截图为一张大图，无论是文本类型还是图像类型的页面元素，都可以在该截图中进行体现)，以此保留页面实际展示过程中的展示状态。进而可以将这种截图作为目标图像，然后基于该目标图像的图像特征，通过计算机视觉的相关算法模型，对其中的文本内容进行异常检测。或者，在可选的实现方式下，在具体进行异常检测之前，还可以首先从目标图像中识别出文本区块，并基于文本区块的图像特征，判断具体的文本内容是否存在某种类型的异常，以避免受到非文本图像的干扰。当然，也可以直接将页面中图像类型的页面元素作为目标图像，并从中识别出文本区块，然后基于文本区块的图像特征，判断具体的文本内容是否存在某种类型的异常，等等。
86.其中，在基于文本区块的图像特征进行异常检测的过程中，可以预先建立算法模型(例如，计算机视觉类的算法模型等)，通过获取大量的训练样本(可以是从大量的页面中收集到的具有各种异常缺陷的文本区块，还可以包括正常的文本区块等)，以及对应的异常标注信息(包括是否存在某类型的异常等)，对算法模型进行训练。在算法模型训练完成后，
将文本区块输入到算法模型中，算法模型输出的预测结果便可以包括文本内容是否存在异常，还可以包括具体的异常类型，等等。
87.具体实现时，针对各种不同类型的异常，可以分别进行算法模型的构建及训练，例如，可以包括用于对文本内容被遮挡异常进行预测的第一算法模型，用于对文本内容被缩略异常进行预测的第二算法模型，用于对文本内容被截断异常进行预测的第三算法模型，用于对文本内容对应的语言进行预测的第四算法模型，以判断文本内容是否存在被漏翻的异常，等等。对于文本内容被缩略的情况，由于被缩略的文本内容通常用
“…”
等代替，因此，使得对应的文本区块中存在比较明显的特征，也可以直接通过对
“…”
等样式的图案进行识别的方式，判断是否存在被缩略的情况。
88.具体从系统架构角度而言，如图2所示，本技术实施例可以提供页面文本内容异常检测工具，该工具面向的用户可以是网站的开发或者运营、维护人员等。该异常检测工具可以以c
‑
s或者b
‑
s等架构来实现，对于前者，用户可以安装具体的客户端，并通过客户端提供的相关界面发起对目标页面的检测。对于后者，用户可以通过浏览器访问该检测工具的界面，并发起对目标页面的检测，等等。该异常检测工具中可以保存有预先训练完成的算法模型，具体的算法模型可以有多种，分别用于对各类不同的异常进行预测。具体进行模型训练时，可以通过从app的线上图像、pc页面、纯页面截图、正常文本图像等进行采集，作为训练样本。之后，可以进行文本区块检测，并对文本区块进行标注，具体标注的文本区块则可以用于对具体的模型进行训练。完成模型训练后，便可以利用具体的模型对目标页面进行异常检测。具体的，可以基于图像检测的方式，对页面中的各类文本内容是否存在被截断、被缩略、被遮挡、被漏翻等情况进行检测。检测完成之后，可以对检测结果进行展示，还可以将检测结果提供给具体目标页面对应的开发人员等，以使其及时对页面中的异常缺陷进行修复。
89.下面对本技术实施例提供的具体实现方案进行详细介绍。
90.该实施例首先从前述异常检测工具的角度，提供了一种页面异常检测方法，参见图3，该方法具体可以包括：
91.s301：确定待检测的目标页面。
92.在本技术实施例中，具体待检测的目标页面可以是由用户进行指定的，例如，在具体实现时，可以向用户提供用于发起检测请求的界面，其中可以包括用于输入具体检测对象的网址等信息的输入框。具体如图4中的41处所示，用户可以在具体的输入框中输入具体检测对象的网络资源定位标识信息，以用于定位到具体的目标页面。
93.其中，目标页面可以是pc端的页面，也可以是无线端或者移动端的页面。例如，对于pc端的页面，具体的网络资源定位标识信息可以是url，通过向具体的输入框中输入url，可以发起对该url对应的目标页面的异常检测。还可以输入多个url，发起对多个url对应的多个目标页面的批量测试。如果具体待测试的页面是无线端或者移动端具体app中的页面等，则还可以通过输入具体的类名等方式，来提供检测对象的网络资源定位标识信息，异常测试工具可以通过具体的类名等，定位到具体的目标页面，并将其作为测试对象。
94.另外，具体的目标页面可以是已经完成上线发布的历史页面，或者，也可以是尚未上线的页面，也即，对于后者的情况，可以是在具体对某个页面开发或者更新完成后，具体上线发布之前，增加一个检测节点，通过本技术实施例提供的工具进行异常检测，如果检测
出异常问题可以进行修复，之后再进行上线发布，以使得用户浏览到的页面不再存在异常问题，等等。其中，对于上线发布之前的页面，同样可以通过向具体的任务信息中输入具体的url或者类名等方式来指定具体的检测对象，但与已经上线发布的页面不同，这种尚未上线发布的检测对象，对应的可以是页面的host服务器，也即，获取具体页面内容信息源服务器可以是不同的，但具体的检测方法等都可以是相同的。
95.理论上讲，本技术实施例提供的方案可以实现对任意页面中文本内容的异常检测，因此，具体的目标页面可以是普通的页面；或者，如背景技术所示，由于在多语言场景下，页面在多语言切换的过程中，更容易出现文本内容异常的情况，因此，在该场景下，可以有更多的应用。
96.其中，针对上述多语言场景，在指定具体检测对象的url等信息时，还可以提供用于指定页面的源语言、目标语言等信息的操作选项。其中，源语言也就是作为基础语言，其他目标语言下的页面内容，都可以是在该源语言的页面内容基础上进行翻译等方式来获得的。例如，某页面的源语言是英语，目标语言可以包括日语、韩语、法语、德语、意大利语、西班牙语，则意味着，该页面最初是由英语进行创建的，之后通过翻译成上述各种语言的方式，提供了对应语言版本的页面，等等。其中，源语言场景下，页面中的文本内容比较不容易出现各种异常，因此，具体可以对指定的各种目标语言场景下的页面进行文本内容的异常检测。例如，某用户输入了某url，选择源语言为英语，目标语言为日语、韩语、法语、德语等，则可以将该url对应的在日语、韩语、法语、德语等展示状态下的页面，确定为待检测的目标页面，等等。也就是说，对于同一url，在多语言场景下，可以对应多个页面，每个页面对应一种语言，可以将上述多个页面确定为待检测的目标页面。
97.另外，在具体实现时，在接收用户提交的检测任务信息时，还可以包括检测深度信息，该检测深度可以由正整数n来表示。其中，在所述检测深度n大于1时，将所述网络资源定位标识信息对应的页面确定为一级页面，并根据所述一级页面中包括的链接确定出至少一个n级页面，其中，n＝2，3
…
n。这样，可以将所述一级页面以及n级页面确定所述待检测的目标页面。也就是说，如果检测深度为一级，则代表仅检测当前网络资源定位标识对应的页面本身即可，如果检测深度为二级，则代表可以将当前网络资源定位标识对应的页面本身，以及该页面中包含的多个链接对应的页面，也确定为目标页面，以此类推，还可以对链接页面中的链接进行进一步的检测，等等。其中，对于具体页面中的链接对应的二级页面、三级页面等，可以通过爬虫等方式获取到具体的url等信息，并进而获取到具体的页面内容并进行异常检测。
98.例如，在商品对象信息系统的场景中，具体的一级页面包括商品对象信息聚合页面(例如，包括了多个推荐的商品对象信息的客户端首页，或者类目页面、活动会场页面、店铺的商品列表页，等等)，其中包括多个商品对象详情页面的链接。在n为2时，所述目标页面可以包括所述商品对象信息聚合页面以及所述多个商品对象详情页面。通过这种方式，可以发起对多个商品对象详情页面的异常检测，而不需要分别输入多个商品对象详情页面的url信息。
99.s302：通过对所述目标页面的用户浏览过程进行模拟，获取所述目标页面的加载及渲染结果。
100.在确定出目标页面之后，由于本技术实施例中可以进行基于图像的异常检测，并
且需要对目标页面在实际展示过程中可能出现的异常进行检测，因此，首先通过对所述目标页面的用户浏览过程进行模拟，获取所述目标页面的加载及渲染结果。这里所谓的模拟可以是指，通过模拟用户访问请求的方式，向对应的服务器发起访问，以实现对页面内容的加载及渲染等处理，但是由于并不需要真正展示给用户看，因此，可以不必执行前端展示的步骤。
101.s303：根据所述目标页面的加载及渲染结果确定目标图像。
102.在完成对目标页面的加载及渲染之后，可以根据加载及渲染结果，确定出与当前目标页面相关的目标图像。具体的，在一种实现方式下，可以通过对目标页面进行截图的方式，来获取这种目标图像。具体的，可以在对目标页面进行模拟的加载及渲染后，对渲染出的页面进行截图，并将截图结果确定为所述目标图像。其中，具体在对页面进行截图时，可以从整体上对目标页面进行截图，也就是说，一个目标页面中，可能包括文本、图片、视频等多种页面元素，可以将上述各类页面元素体现在同一个截图中，将其中的文本类型的页面元素也转换为图像类型，后续可以在该截图的基础上，对目标页面中的文本内容进行异常检测。当然，在实际应用中，也可以对目标页面进行部分截图，例如，只截取某些特定区域，等等。
103.或者，在另一种实现方式下，也可以直接将目标页面中图像类型的页面元素确定为所述目标图像。也就是说，在实际应用中，用户可能不需要对页面中的全部内容进行异常检测，而是仅需要对页面中的图像类页面元素中包含的文本内容是否存在异常进行检测，因此，也可以为用户提供可选的检测范围等信息，如果用户选择仅对图像类页面元素中包含的文本内容是否存在异常进行检测，则可以从目标页面中提取出图像类型的页面元素，然后将其作为目标图像，进行后续的异常检测处理。
104.s304：基于所述目标图像的图像特征，对所述目标图像中的文本内容是否存在目标类型的异常进行检测。
105.在确定出目标图像后，可以基于这种目标图像的图像特征，对目标图像中的文本内容是否存在目标类型的异常进行检测。也就是说，可以通过计算机视觉的相关算法，实现对文本内容的异常检测。关于计算机视觉，是指用计算机代替人眼对目标进行识别、跟踪和测量等机器视觉算法，通过预先获取的样本图像以及对应的标注信息(包括图像中的文本内容是否存在某种类型的异常等)，可以实现对算法模型的训练，使其可以针对输入的目标图像，预测出目标图像中的文本内容是否存在某种类型的异常。
106.其中，由于一个目标图像中包括的文本内容可能会会多，其中可能部分文本内容存在异常，部分不存在异常，对于存在异常的部分文本内容，不同文本内容也可能会存在多种不同类型的异常。因此，为了便于进行算法模型的训练以及预测，在确定出目标图像之后，还可以首先从中识别出至少一个文本区块。例如，将某个目标页面进行截图之后，截图得到的大图中可能包括一些文本内容，也可能包括一些纯图像(例如，商品图、背景图等)的内容，也即，只有部分区域存在文本内容，因此，可以从中识别出至少一个文本区块，后续可以以这种文本区块为单位进行异常检测。
107.具体实现时，可以通过多种方式对具体的文本区块进行定义，例如，一种方式下，一个文本区块可以是在同一方向上(例如，同一行或者同一列等)连续性排列的多个文本字符所在的区域。具体的，首先可以将所述目标图像中同一方向上连续性排列的多个文本字
符进行识别，将符合上述条件的多个文本字符确定为一个文本单元；在检测出这种文本单元后，可以确定出文本单元的外接矩形框，然后，将所述外接矩形框内的区域确定为一个文本区块。例如，如图5所示，每个文本区块可以为一个矩形的图像块。通过这种方式，可以从截图得到的大图中识别出很多小的文本区块。其中，关于连续性排列的识别，可以通过对字符之间的距离判断来进行确定，例如，如果同一行中，某些字符之间的距离小于某阈值，则可以认为是连续性排列的字符，否则，如果出现某字符与前一字符之间的距离大于该阈值，则可以作为下一文本单元的起始字符，等等。
108.具体实现时，可以通过具体的算法模型实现对目标图像中文本区块的识别，例如，一种实现方式下，可以应用基于cnn(convolutional neural network,卷积神经网络)与lstm(long short
‑
term memory，长短期记忆网络)的文本目标检测算法ctpn等，实现从目标图像中进行文本区块识别的目的。
109.需要说明的是，在本技术实施例中，虽然涉及到对文本区块的识别，在识别过程中可能还会涉及到对文本字符之间距离的判断，等等，但是，在此过程中，并不需要识别出具体的文本单元中包括的是哪些字符，也即，不涉及ocr识别的过程，只需要判断出是否为字符以及字符之间的距离等信息，并在此基础上截取出多个文本区块(本质上仍然是图像块)，后续以文本区块为单位进行文本异常检测即可。
110.具体在以小的文本区块为单位进行文本异常检测时，针对多种不同的异常类型，可以分别进行检测。例如，可以将同一个文本区块输入到多个不同的算法模型中，以判断是否存在对应类型的异常。
111.例如，如前文所述，具体的目标类型的异常包括：文本内容被遮挡。可以将所述文本区块输入到第一算法模型中进行预测，根据所述第一算法模型输出的预测结果，确定所述文本区块中的文本内容在展示过程中是否存在被遮挡的异常。
112.关于上述第一算法模型，可以是在预先构建出第一算法模型的结构之后，通过获取到的大量的训练样本以及对应的标注结果，对第一算法模型进行训练，以使得第一算法模型具有预测被遮挡异常的能力。其中，由于可以以文本区块为单位进行预测，因此，具体在训练时，具体的训练样本也可以是这种文本区块，并对应着是否被遮挡的标注结果。需要说明的是，由于文本被遮挡的问题千差万别，包括不同区域的遮挡、不同程度的遮挡、不同颜色的遮挡等等，因此，可以通过更加全面的泛化样本数据(也即，使得收集到的训练样本尽可能的涵盖上述各种可能的遮挡情况)，以提升算法模型的识别率。
113.另外，具体的目标类型的异常也可以包括：文本内容被缩略。其中，文本被缩略通常也是由于文本内容过长，而目标页面中的资源位尺寸有限导致的。但是与被截断的情况不同，这部分文本内在展示过程中可能会被进行缩略处理，也即，剩余未能展示处的部分，可以用省略号
“…”
等来代替，以使得用户可以明确获知这部分内容未能展示完全。
114.针对这种类型的异常，也可以通过预先进行算法模型训练的方式，利用算法模型对文本内容是否被缩略进行预测。但是，在实际应用中，具体被缩略的文本内容所关联的资源类型可能会有所不同，例如，有些被缩略的文本内容可能是链接文本，对应的资源是可交互的，例如商品链接中的商品标题文本等，由于具体在接收到用户的交互操作之后，可以在承接页面中对具体被缩略的文本内容进行完整展示，因此，通常这部分文本内容是可以被缩略的，也即，可以不必将其看作是异常情况。但是，还有一些资源，其本身可能是不可交互
的，但是，其关联的文本内容也可能由于过长出现被缩略的情况。例如，某文本内容可能是某页面中的“楼层”标题，此时，由于这类资源本身不可交互，因此，使得被缩略的内容无法获得展示给用户的机会，以至于影响用户对对应内容的理解，甚至可能造成用户的流失等影响。
115.因此，具体实现时，还可以对文本区块所关联的资源类型进行识别，然后，将非可交互类的资源对应的文本区块确定为需要对缩略问题进行检测的目标文本区块。之后可以通过将所述目标文本区块输入到第二算法模型中进行缩略标记的识别，并根据识别结果确定所述目标文本区块中的文本内容是否被缩略。其中，缩略标记可以包括省略号等。关于该第二算法模型，同样可以预先获取到以文本区块为单位的训练样本，并且具体的样本中可以包括被缩略的文本内容，利用这种具体的样本对算法模型进行训练。当然，由于具体被缩略的文本内容中通常包含有省略号等明显的标记，因此，关于第二算法模型的训练以及预测都可以相对简单。
116.其中，具体在对文本区块所关联的资源类型进行识别时，可以有多种方式。例如，在一种方式下，具体目标页面中可能包括多个资源位，各类资源信息可以在资源位内进行展示。并且在资源位内，可能会以卡片等形式进行展示。对于不同类型的资源而言，对应的卡片样式等通常具有明显的不同。因此，可以通过资源卡片进行边缘特征检测等方式，实现对文本区块所关联的资源类型的识别。例如，对于商品对象链接类的资源，在具体的卡片中，可能是商品图在上，商品标题及其他文本在下，或者商品图在左，商品标题及其他文本在右，等等；而“楼层”标题资源，则通常仅展示文本内容，或者包括简单的图形标志，在其右侧或者下方，包括多个资源位，等等。因此，可以基于上述特征，来识别出资源类型，等等。当然，在具体的目标页面中，由于可交互类的资源(例如，商品链接类的资源等)，在展示时通常具有比较统一的特征。而非可交互类的资源，具体的展示样式则可能会比较灵活多样。为此，在具体实现时，为了提升识别效率，还可以通过从目标页面中识别出可交互类的资源，并将其进行过滤，剩余的资源视为不可交互的资源，并将其关联的文本区块确定为需要进行缩略异常检测的目标文本区块，等等。
117.另一种类型的异常是文本内容被截断，其中，文本内容被截断的情况还可以包括纵向截断以及横向截断，关于纵向截断，与前述被遮挡的情况类型；关于横向截断，通常可能是由于相邻区块的整体运动导致的。例如，某个区块在展示过程中整体向下缩，导致位于下面的区块中的文本内容的上半部分被截断，等等。对于这种情况，也可以预先训练出第三算法模型，训练过程中，也可以利用具有截断异常的文本区块作为训练样本。之后，可以将待预测的文本区块输入到第三算法模型中进行预测，根据所述第三算法模型输出的预测结果，确定所述文本区块中的文本内容在展示过程中是否存在被截断的异常。
118.需要说明的是，关于文本内容被截断的情况，具体在通过基于计算机视觉的算法模型进行预测时，可能存在预测准确度较难提高等情况。尤其是对于中文等场景，文字被截断的情况可能比较难以识别。因此，在实际应用中，还可以结合边缘性探测技术，提升预测的准确率。例如，具体可以对所述文本区块中的文本内容进行垂直投影，并对投影结果的连通性进行分析。之后，可以根据所述第二算法模型输出的预测结果，以及所述连通性分析结果，确定所述文本区块中的文本内容在展示过程中是否存在被截断的异常。其中，关于连通性分析，是根据指定的起始和终止结点，分析两点之间是否连通，或根据指定多个点，分析
多个点之间是否互通，等等。通过这种连通性分析，也可以从一定程度上分析出文本内容是否存在被截断的情况。
119.另外，具体目标类型的异常还可以包括：文本内容在翻译过程中被遗漏的异常。为此，同样可以预先训练出第四算法模型，在训练过程中，可以以各种语言的文本区块作为训练样本。之后，可以将待预测的文本区块输入到第四算法模型中，对所述文本区块中的文本内容进行语言种类识别。然后，可以通过判断语言种类识别结果与所述目标页面关联的目标语言是否相同，判断对应的文本区块中的文本内容是否存在在翻译过程中被遗漏的异常。例如，预测出某文本区块中的文本内容关联的语言是英语，但是当前页面是针对日语场景进行展示，因此，可以确定出该文本区块中的文本内容被漏翻。
120.当然，这里需要说明的是，一些特殊的文本内容，包括网址、商标文本等，可能是不需要翻译的。因此，在进行漏翻检测的过程中，如果发现某文本区块中文本内容的语言与当前页面关联的目标语言不一致，还可以进一步确定该文本内容是否对应网址、商标文本等，如果是，则可以不必将该文本内容视为异常，等等。
121.在通过多种算法模型对多个目标图像中的文本内容进行异常检测之后，还可以通过异常检测结果界面，对所述目标页面的异常检测结果进行展示。其中，在对所述异常检测结果进行展示时，可以展示所述目标页面的截图，并可以根据存在异常的文本内容在所述目标页面中的坐标信息(可以在进行文本区块识别等过程中进行确定)，在所述截图中提供关于所述存在异常的文本内容的标记信息。
122.其中，在针对多语言场景进行检测时，如果需要检测的目标语言为多种，则还可以分别提供多种不同目标语言下的检测结果，每种目标语言可对应一个页面截图，如果存在异常，则可以在页面截图中进行标记展示。
123.例如，如图6
‑
1所示，某测试任务中，需要对某英语、法语、俄语等多个目标语言下的目标页面进行测试，则返回的测试结果中，可以分别包括多种目标语言对应的测试结果。在选择其中一种目标语言进行详情查看后，可以对具体的截图以及异常标记进行放大展示，例如，如图6
‑
2所示，在对俄语场景下的页面检测结果进行展示时，可以在界面左侧展示出目标页面的静态截图，以及关于其中存在的部分文本内容的标记(例如，通过矩形框标记出的内容等)。
124.另外，在具体实现时，所述异常检测结果界面中还可以包括用户操作区域，该用户操作区域可以用于对文本区块所存在的异常类型以及对应的文本内容进行展示，并提供对对应的异常进行操作的操作选项。例如，如图6
‑
2中所示，可以在检测结果界面右侧提供对应的用户操作区域，等等。
125.其中，具体的操作选项可以包括：用于将所述异常检测结果进行提交，以便对异常进行修复处理。例如，可以将异常检测结果提交给具体的页面开发或者运营维护人员等，使其可以对页面中存在的异常问题进行修复。例如，对于遮挡或者截断等问题，可以通过调整页面的样式配置信息等方式进行修复。关于缩略问题，可以通过对具体的文本进行缩译等方式来缩短文案长度，以此实现对具体文本内容的完整展示。关于漏翻问题，可以通过完善具体多语言文案配置信息库等方式来进行修复，等等。
126.另外，在具体实现时，在完成具体的异常检测之后，还可以对检测到的异常对应的应用模块、代码行或多语言配置信息库中的标识进行定位，以便于进行异常修复。也就是
说，如果目标页面中的某文本内容存在异常，则通常可能是由于以下几个原因造成的：第一，对应的应用模块在页面样式配置方面存在疏忽或者失误，导致在文本过长等情况下无法进行自动换行等处理，进而造成文本内容在展示时被遮挡等情况；第二，关于漏翻问题，可能是由于多语言配置信息库中没有配置某语言对应的文案，或者，可能是对应的代码行在对多语言配置信息库中的文案标识(key)进行引用时存在错误，等等。因此，在具体实现时，还可以通过反查页面源码等方式，定位出具体的异常文本内容对应的应用模块，或者多语言配置信息库中的文案标识，或者代码行等。这些信息可以提供给对应的页面开放或者运营维护等人员，以便于其更快速的定位到异常原因并进行修复。
127.总之，通过本技术实施例，在确定出待检测的目标页面之后，可以首先通过对所述目标页面的用户浏览过程进行模拟，获取所述目标页面的加载及渲染结果，并根据所述目标页面的加载及渲染结果确定目标图像，以此保留页面实际展示过程中的展示状态。进而可以基于这种目标图像的图像特征，对所述目标图像中的文本内容是否存在目标类型的异常进行检测。通过这种方式，由于是通过基于图像的方式，对其中的文本内容是否存在异常进行检测，不依赖于页面的源码获取，因此，无论是pc端还是无线端的页面，都可以进行有效的检测。并且，无论是页面中文本类型的页面元素还是图像类型的页面元素，都可以统一通过基于图像的方式进行检测，因此，可以提升检测的适应范围。另外，由于是在对目标页面实际展示状态进行模拟的基础上进行测试，因此，可以有效检测出实际向用户展示目标页面的过程中，该目标页面可能出现的各种异常，相对于对源码中文本内容进行的检测而言，具有更高的实用价值。
128.需要说明的是，本技术实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
129.与前述页面异常检测方法相对应，本技术实施例还提供了一种页面异常检测装置，参见图7，该装置可以包括：
130.目标页面确定单元701，用于确定待检测的目标页面；
131.模拟加载单元702，用于通过对用户浏览所述目标页面的过程进行模拟，获取所述目标页面的加载及渲染结果；
132.目标图像确定单元703，用于根据所述目标页面的加载及渲染结果确定目标图像；
133.异常检测单元704，用于基于所述目标图像的图像特征，对所述目标图像中的文本内容是否存在目标类型的异常进行检测。
134.其中，所述目标页面确定单元具体可以用于：
135.接收用户输入的检测对象的网络资源定位标识信息，以及指定的至少一种目标语言；
136.将所述网络资源定位标识信息在所述目标语言场景下对应的页面确定为所述目标页面。
137.另外，具体的目标页面确定单元还可以包括：
138.接收用户输入的检测对象的网络资源定位标识信息，以及指定的检测深度n，n为正整数；其中，在所述检测深度n大于1时，将所述网络资源定位标识信息对应的页面确定为一级页面，并根据所述一级页面中包括的链接确定出至少一个n级页面，其中，n＝2，3
…
n；
将所述一级页面以及n级页面确定所述待检测的目标页面。
139.其中，所述一级页面包括商品对象信息聚合页面，其中包括多个商品对象详情页面的链接；在n为2时，所述目标页面包括所述商品对象信息聚合页面以及所述多个商品对象详情页面。
140.具体实现时，所述目标图像确定单元具体可以用于：
141.对所述目标页面的加载及渲染结果进行截图，将截图结果确定为所述目标图像。
142.或者，将所述目标页面中包含的图像类型的页面元素确定为所述目标图像。
143.具体的，所述异常检测单元可以包括：
144.文本区块识别子单元，用于从所述目标图像中识别出至少一个文本区块，所述文本区块中包括文本内容；
145.异常检测子单元，用于以所述文本区块为单位，对所述文本区块中包含的文本内容是否存在目标类型的异常进行检测。
146.具体的，所述文本区块识别子单元具体可以用于：
147.将所述目标图像中同一方向上连续性排列的多个文本字符确定为一个文本单元；
148.确定所述文本单元的外接矩形框，将所述外接矩形框内的区域确定为一个文本区块。
149.其中，所述目标类型的异常包括：文本内容被遮挡；
150.所述异常检测子单元具体可以用于：
151.将所述文本区块输入到第一算法模型中进行预测，根据所述第一算法模型输出的预测结果，确定所述文本区块中的文本内容是否存在被遮挡的异常。
152.或者，所述目标类型的异常包括：文本内容被缩略；
153.此时，该装置还可以包括：
154.资源类型识别单元，用于对所述文本区块所关联的资源类型进行识别；
155.目标文本区块确定单元，用于将非可交互类的资源对应的文本区块确定为需要对缩略问题进行检测的目标文本区块；
156.所述异常检测子单元具体可以用于：通过将所述目标文本区块输入到第二算法模型中进行缩略标记的识别，并根据识别结果确定所述目标文本区块中的文本内容是否被缩略。
157.或者，所述目标类型的异常包括：文本内容被截断；
158.此时，所述异常检测子单元具体可以用于：
159.将所述文本区块输入到第三算法模型中进行预测，根据所述第三算法模型输出的预测结果，确定所述文本区块中的文本内容是否存在被截断的异常。
160.另外，该装置还可以包括：
161.连通性分析单元，用于对所述文本区块中的文本内容进行垂直投影，并对投影结果的连通性进行分析；
162.所述异常检测子单元具体可以用于：
163.根据所述第三算法模型输出的预测结果，以及所述连通性分析结果，确定所述文本区块中的文本内容是否存在被截断的异常。
164.再者，所述目标类型的异常还可以包括：文本内容在翻译过程中被遗漏的异常；
165.所述异常检测子单元具体可以用于：
166.通过将所述文本区块输入到第四算法模型中，对所述文本区块中的文本内容进行语言种类识别；
167.通过判断语言种类识别结果与所述目标页面关联的目标语言是否相同，判断对应的文本区块中的文本内容是否存在在翻译过程中被遗漏的异常。
168.另外，该装置还可以包括：
169.异常检测结果展示单元，用于通过异常检测结果界面，对所述目标页面的异常检测结果进行展示；
170.其中，在对所述异常检测结果进行展示时，展示所述目标页面的截图，并根据存在异常的文本内容在所述目标页面中的坐标信息，在所述截图中提供关于所述存在异常的文本内容的标记信息。
171.其中，所述异常检测结果界面中还包括用户操作区域，所述用户操作区域用于对文本内容所存在的异常类型进行展示，并提供对对应的异常进行操作的操作选项。
172.具体的，所述操作选项包括：用于将所述异常检测结果进行提交，以便对异常进行修复处理。
173.再者，该装置还可以包括：
174.问题定位单元，用于对检测到的异常文本内容对应的应用模块、代码行或多语言配置信息库中的标识进行定位，以便于进行异常修复。
175.另外，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
176.以及一种电子设备，包括：
177.一个或多个处理器；以及
178.与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。
179.其中，图8示例性的展示出了电子设备的架构，具体可以包括处理器810，视频显示适配器811，磁盘驱动器812，输入/输出接口813，网络接口814，以及存储器820。上述处理器810、视频显示适配器811、磁盘驱动器812、输入/输出接口813、网络接口814，与存储器820之间可以通过通信总线830进行通信连接。
180.其中，处理器810可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术所提供的技术方案。
181.存储器820可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器820可以存储用于控制电子设备800运行的操作系统821，用于控制电子设备800的低级别操作的基本输入输出系统(bios)。另外，还可以存储网页浏览器823，数据存储管理系统824，以及页面异常检测处理系统825等等。上述页面异常检测处理系统825就可以是本技术实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本技术所提供的技术方案时，相关的程序代码保存在存储器820中，并由处理器810来调用执行。
182.输入/输出接口813用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
183.网络接口814用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
184.总线830包括一通路，在设备的各个组件(例如处理器810、视频显示适配器811、磁盘驱动器812、输入/输出接口813、网络接口814，与存储器820)之间传输信息。
185.需要说明的是，尽管上述设备仅示出了处理器810、视频显示适配器811、磁盘驱动器812、输入/输出接口813、网络接口814，存储器820，总线830等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本技术方案所必需的组件，而不必包含图中所示的全部组件。
186.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
187.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
188.以上对本技术所提供的页面异常检测方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本技术的限制。