导引线的处理方法、装置、电子设备及存储介质与流程

1.本发明涉及智能办公技术领域，尤其涉及一种导引线的处理方法、装置、电子设备及存储介质。


背景技术：

2.随着信息科学的不断发展，智能办公逐渐取代传统办公深入到各个工作层面，用户对于智能办公的需求也越来越大。智能办公能够借助先进的办公设备辅助人工进行办公业务处理、管理各类信息、辅助领导决策等等操作，尽可能充分地利用信息资源，最大限度地提高办公效率、办公质量，从而产生更高价值信息。
3.由于用户在智能办公时具有编辑结构图的需求，但是由于结构图例如思维导图和流程图一般以图像的形式存在，仅支持查阅，无法支持编辑，故需要基于图像对其中的结构图进行还原以支持用户对结构图进行编辑。
4.而对于结构图来说，由于导引线决定了结构图的结构框架，因此还原导引线是还原结构图中最重要的部分，但目前对于导引线还原并无相关记载，因此如何还原结构图中的导引线成为目前亟需解决的问题。


技术实现要素：

5.本发明实施例通过提供一种导引线的处理方法、装置、电子设备及存储介质，用以还原结构图中的导引线。
6.第一方面，本发明实施例提供一种导引线的处理方法，包括：
7.获取待处理图像，所述待处理图像中具有结构图；
8.利用图像语义分割网络处理所述待处理图像，获得所述结构图中的导引线；所述图像语义分割网络是预先通过结构样本图像中的导引线对应的标注信息训练预设网络得到的分类网络。
9.优选的，所述图像语义分割网络预先通过如下步骤得到：
10.获取所述结构样本图像；
11.根据导引线定义规则在所述结构样本图像中进行导引线标注，获得所述标注信息；
12.基于结构样本图像和所述标注信息训练所述预设网络，获得图像语义分割网络。
13.优选的，所述根据导引线定义规则在所述结构样本图像中进行导引线标注，包括：
14.将所述结构样本图像中连接结构节点的线性像素区域进行导引线标注；
15.将所述结构样本图像中连接所述结构节点的闭合多边形像素区域进行导引线标注。
16.优选的，在所述根据导引线定义规则在所述结构样本图像中进行导引线标注之前，还包括：
17.当所述结构样本图像中连接于所述导引线之间的元素内含文本，且没有边框，构
建所述元素对应的虚拟闭合边框；
18.构建连接所述虚拟闭合边框和所述导引线的延伸部分。
19.优选的，所述构建所述元素对应的虚拟闭合边框之后，还包括：
20.对所述虚拟闭合边框进行标注，获得所述标注信息。
21.优选的，在所述根据导引线定义规则在所述结构样本图像中进行导引线标注之前，还包括：
22.当所述结构样本图像中连接于所述导引线之间的元素不含文本，且没有边框，构建延伸部分，以使所述导引线延伸部分穿设所述元素并连接在所述元素两端的导引线之间。
23.优选的，所述根据导引线定义规则在所述结构样本图像中进行导引线标注，包括：
24.对所述延伸部分进行导引线标注。
25.优选的，在所述根据导引线定义规则在所述结构样本图像中进行导引线标注之前，还包括：
26.当所述结构样本图像中连接于所述导引线之间的元素内含文本，且具有实体边框，对所述实体边框进行标注，获得所述标注信息。
27.优选的，所述利用所述图像语义分割网络处理所述待处理图像，获得所述结构图中的导引线，包括：
28.利用所述图像语义分割网络对所述待处理图像中的每个像素点进行导引线分类，将所述像素点分为前景像素点或背景像素点；其中，所述前景像素点为所述导引线对应的像素点。
29.优选的，在所述将所述像素点分为前景像素点或背景像素点之后，包括：
30.构建掩膜图像；
31.在掩膜图像中使用第一像素值渲染所述前景像素点，以在所述掩膜图像中复原所述导引线；
32.在所述掩膜图像中使用第二像素值渲染所述背景像素点。
33.本发明的第二方面，提供了一种导引线的处理装置，包括：
34.获取模块，用于获取待处理图像，所述待处理图像中具有结构图；
35.处理模块，用于利用图像语义分割网络处理所述待处理图像，获得所述结构图中的导引线；所述图像语义分割网络是预先通过结构样本图像中的导引线对应的标注信息训练预设网络得到的分类网络。
36.优选的，所述图像语义分割网络预先通过下述方式得到：
37.所述获取模块，用于获取所述结构样本图像；
38.标注模块，用于根据导引线定义规则在所述结构样本图像中进行导引线标注，获得所述标注信息；
39.训练模块，用于基于结构样本图像和所述标注信息训练所述预设网络，获得图像语义分割网络。
40.优选的，所述标注模块，用于：
41.将所述结构样本图像中连接结构节点的线性像素区域进行导引线标注；
42.将所述结构样本图像中连接所述结构节点的闭合多边形像素区域进行导引线标
注。
43.优选的，所述装置还包括：
44.第一构建模块，用于当所述结构样本图像中连接于所述导引线之间的元素内含文本，且没有边框，构建所述元素对应的虚拟闭合边框；
45.第二构建模块，用于构建连接所述虚拟闭合边框和所述导引线的延伸部分。
46.优选的，所述标注模块，还用于对所述虚拟闭合边框进行标注，获得所述标注信息。
47.优选的，所述装置还包括：
48.第三构建模块，用于当所述结构样本图像中连接于所述导引线之间的元素不含文本，且没有边框，构建延伸部分，以使所述导引线延伸部分穿设所述元素并连接在所述元素两端的导引线之间。
49.优选的，所述标注模块，还用于对所述延伸部分进行导引线标注。
50.优选的，所述标注模块，还用于当所述结构样本图像中连接于所述导引线之间的元素内含文本，且具有实体边框，对所述实体边框进行标注，获得所述标注信息。
51.优选的，处理模块，具体用于利用所述图像语义分割网络对所述待处理图像中的每个像素点进行导引线分类，将所述像素点分为前景像素点或背景像素点；其中，所述前景像素点为所述导引线对应的像素点。
52.优选的，所述装置还包括：
53.第四构建模块，用于构建掩膜图像；
54.第一渲染模块，用于在掩膜图像中使用第一像素值渲染所述前景像素点，以在所述掩膜图像中复原所述导引线；
55.第二渲染模块，用于在所述掩膜图像中使用第二像素值渲染所述背景像素点。
56.第三方面，本发明实施例提供一种电子设备，包括有存储器，以及一个或者多个的程序，其中一个或者多个的程序存储于存储器中，且经配置以由一个或者多个的处理器执行所述一个或者多个的程序所包含的用于进行如第一方面提供的导引线的处理方法对应的操作指令。
57.第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的导引线的处理方法对应的步骤。
58.第五方面，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中，且适于由处理器读取并执行，以使得具有所述处理器的计算机设备执行如第一方面提供的导引线的处理方法对应的步骤。
59.本发明实施例提供的一个或多个技术方案，至少实现了如下技术效果或者优点：
60.本发明实施例提供的方法，获得包含有结构图的待处理图像后，利用训练得到的图像语义分割网络对其进行处理，进而得到结构图中的导引线。由于本方案通过对结构样本图像进行导引线标注并利用标注信息训练预设网络得到图像语义分割网络，因此在获得包含有结构图的图像时，能够直接利用该图像语义分割网络对其进行识别以还原结构图中的导引线，弥补了对于结构图还原技术的空缺。
附图说明
61.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
62.图1a为本发明实施例提供的一种导引线的处理方法的流程图；
63.图1b为本发明实施例提供的图像语义分割网络的训练流程图；
64.图2a-图2e为本发明实施例提供的各种结构图的示意图；
65.图3为本发明实施例提供的结构图的原图示意图；
66.图4为本发明实施例提供的在掩膜图像中复原导引线的示意图；
67.图5为本发明实施例提供的一种导引线的处理装置的示意图；
68.图6为本发明实施例提供的一种电子设备的示意图；
69.图7为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
70.本发明提供一种导引线的处理方法、装置、电子设备及存储介质，以弥补现有技术中导引线还原技术的空缺。本发明实施例的总体思路如下：
71.获取待处理图像，待处理图像中具有结构图；利用图像语义分割网络处理待处理图像，获得结构图中的导引线。
72.上述方案中，由于本方案通过对结构样本图像进行导引线标注并利用标注信息训练预设网络得到图像语义分割网络，因此在获得包含有结构图的图像时，能够直接利用该图像语义分割网络对其进行识别以还原结构图中的导引线，弥补了对于结构图还原技术的空缺。
73.请参考图1a，为本发明实施例提供的一种导引线的处理方法的流程图。该方法包括以下步骤：
74.步骤101：获取待处理图像，待处理图像中具有结构图。
75.步骤102：利用图像语义分割网络处理待处理图像，获得结构图中的导引线。
76.本发明实施例提供的方法，可以应用于终端设备中，例如智能手机、平板电脑，也可以应用于与终端设备建立有数据交互的服务器上，还可以应用于由终端设备和服务器组成的系统中，这里不做限定。
77.在步骤101中，待处理图像指包含有结构图的图像，待处理图像的来源有多种方式，例如从图片库中获取，网络上下载，由其他终端传输等等。待处理图像不可编辑。待处理图像中的结构图从类型上划分时，包括思维导图、流程图。而从结构上划分时包括两部分：框架结构和文本内容。框架结构是结构图的框架结构，其包括结构节点和导引线两部分。本实施例的结构节点的外围具有多边形框且至少一端连接有导引线，结构节点的内部具有文本内容，导引线上也可能含有文本内容。其中，结构节点和导引线都可以称为结构图中的元素。
78.在步骤102中，图像语义分割网络是预先通过结构样本图像中的导引线对应的标注信息训练预设网络得到的分类网络。图像语义分割网络的具体训练过程参看图1b，包括
如下步骤：
79.步骤1021，获取结构样本图像。
80.步骤1022，根据导引线定义规则在结构样本图像中进行导引线标注，获得标注信息。
81.步骤1023，基于结构样本图像和标注信息训练预设网络，获得图像语义分割网络。
82.可见，在本方案中，先通过导引线定义规则对结构样本图像进行导引线标注并训练得到图像语义分割网络，因此在获得包含有结构图的图像时，能够直接利用该网络对其进行识别以还原结构图中的导引线，以弥补对于结构图还原技术的空缺。
83.在步骤1021中，结构样本图像指包含有结构图的样本图像，结构图包括思维导图、流程图。结构图具体的组成在上述实施例已经介绍，故此处不再赘述。结构样本图像的作用是训练出的图像语义分割网络以识别结构图中的导引线。结构样本图像的具体数量不做限制，其来源有多种方式，例如从图片库中获取，网络上下载，由其他终端传输等等。该结构样本图像不可编辑。
84.在步骤1022中，导引线定义规则，用于对各种形态的导引线进行定义。本实施例的导引线定义为至少一端连接结构节点的线条，且具有各种类型，例如线性导引线、闭合多边形导引线等等。导引线定义规则定义了结构图中的各种形状的导引线，能够适配不同场景和样式下的导引线。具体来说，导引线定义规则，包括但不限于定义了以下类型的导引线：至少一端连接结构节点的线性导引线；至少一端连接结构节点的闭合多边形导引线。而在进行导引线标注的过程中，可根据导引线定义规则，利用机器和/或人工打标的方式在结构样本图像中进行导引线标注。进一步的，对导引线进行坐标信息标注和/或分类信息标注，以将导引线从结构样本图像中区分出来。
85.在本说明书实施例中，将结构样本图像中连接结构节点的线性像素区域进行导引线标注。具体来说，若结构样本图像中的像素区域满足以下条件：a，至少一端连接结构节点；b，像素区域呈线性化且像素区域中的各像素值的差值小于预设差值阈值；例如，像素值相同的线性像素区域。c，像素区域呈线性化且宽度小于预设宽度阈值。则认为该像素区域构成线性导引线，将该像素区域进行导引线标注。参看图2a，是结构样本图像包含线性导引线的示意图。
86.在本说明书实施例中，将结构样本图像中连接结构节点的闭合多边形像素区域进行导引线标注。具体来说，若结构样本图像中的像素区域满足以下条件：d，至少一端连接结构节点；e，像素区域呈闭合多边形且像素区域中的各像素值的差值小于预设差值阈值；例如，像素值相同的线性像素区域。则认为该像素区域构成闭合多边形导引线，将像素区域进行导引线标注。参看图2b，是结构样本图像为思维导图的示意图，其中包含思维导图节点和闭合多边形导引线。
87.除上述情况外，由于导引线和导引线之间连接有元素。本实施例的元素和导引线具有连接关系，并且元素处于不同状态时会对导引线产生不同的影响。故在本说明书的实施例中，会根据元素所处状态对导引线进行相应的处理。
88.在本说明书的实施例中，当结构样本图像中连接于导引线之间的元素内含文本，且没有边框，则构建元素对应的虚拟闭合边框区域，参看图2c，是结构样本图像中的元素没有边框的示意图，针对该元素构建虚拟闭合边框区域。进一步的，构建连接虚拟闭合边框和
导引线的延伸部分，以避免由导引线缺失、断线引发的框架结构混乱。具体的，可从元素对应的导引线开始构建延伸部分，直到延伸部分连接虚拟闭合边框为止。也可从虚拟闭合边框开始构建延伸部分，直到延伸部分连接元素对应的导引线为止。而由于延伸部分也属于导引线的一部分，故在进行导引线标注时，对延伸部分进行导引线标注。
89.在本说明书的实施例中，当结构样本图像中连接于导引线之间的元素不含文本；或者该元素不含文本，且没有边框，说明该元素可穿设。例如该元素为图案元素，则说明该元素可穿设。在此情况下，构建延伸部分，以使导引线延伸部分穿设元素并连接在元素两端的导引线之间，以避免由导引线缺失、断线引发的框架结构混乱。具体的，可从元素一端对应的导引线处开始构建延伸部分，直至延伸部分穿设元素并连接至对端的导引线为止。也可从元素两端的导引线处分别构建延伸部分，两端导引线的延伸部分交汇为止。而由于延伸部分也属于导引线的一部分，故在进行导引线标注时，对延伸部分进行导引线标注。参看图2d，是结构样本图像中的元素为图案元素的示意图，则可使导引线直接穿设该图案元素。而由于图案元素可穿设，则在分类时将图案元素归类为背景像素点。
90.以上是导引线标注的各种情况，通过上述一种或者多种方式，能够全面准确的对各种类型的导引线进行标注，防止导引线遗漏的情况发生，为后续导引线提取提供准确的数据支持。
91.在本说明书实施例中，为了保持结构图中的框架结构的完整性，还会对对元素对应的边框进行标注，获得标注信息。由此，基于该标注信息训练得到的图像语义分割网络还能够识别出结构图中的结构节点，以获得结构图中完整的框架结构。
92.具体来说，当结构样本图像中连接于导引线之间的元素内含文本，且没有边框，则构建元素对应的虚拟闭合边框区域，并对虚拟闭合边框进行标注，获得标注信息。当结构样本图像中连接于导引线之间的元素内含文本，且具有实体边框，则对实体边框进行标注，获得标注信息。由此，基于该标注信息训练得到的图像语义分割网络能够识别出结构图中的结构节点，以获得结构图中完整的框架结构。具体来说，实体边框存在两种类型：实体闭合边框和实体非闭合边框。若元素内含文本，且具有实体闭合边框，则对实体边框进行标注即可。若元素内含文本但具有实体非闭合边框，将构建出缺失部分对应的边框区域，并和实体非闭合边框区域一并进行标注。参看图2e，是结构样本图像为思维导图的示意图，其元素具有实体闭合边框。
93.在步骤1023中，预设网络包括神经网络，例如卷积神经网络cnn、深度神经网络dnn等，以提高导引线处理的精度和泛化能力。在进行模型训练时，将每个结构样本图像的特征向量作为输入，将结构样本图像中的标注信息作为输出进行模型训练，得到满足约束条件的模型作为图像语义分割网络，如此，使得图像语义分割网络的预测准确度较高。约束条件例如可以分类准确度高于设定准确度，例如为98％和95％等等。
94.进一步的，若标注信息中包含有导引线标注以及元素对应的边框标注，则基于此标注信息训练得到的图像语义分割网络，能够从图像中分离出导引线和边框，以保持结构图中的边框结构的完整性。
95.以上是图像语义分割网络的具体训练过程，下面的实施方式介绍利用图像语义分割网络处理待处理图像的具体实施方式。
96.具体的，利用图像语义分割网络对待处理图像中的每个像素点进行导引线分类，
将像素点分为前景像素点或背景像素点。由于前景像素点为导引线对应的像素点，而背景像素点是除前景像素点以外的像素点，故通过图像语义分割网络对待处理图像处理，能够从待处理图像中分类出导引线。具体的，在分类时，可将像素点分类为1或0，1为前景像素点，0为背景像素点。
97.由于本发明实施例的需要将待处理图像中的结构图还原为可编辑状态。故，在将像素点分为前景像素点或背景像素点之后，构建掩膜图像，掩膜图像为空白图像。在掩膜图像中使用第一像素值渲染前景像素点，以在掩膜图像中复原导引线；在掩膜图像中使用第二像素值渲染背景像素点。第一像素值和第二像素值不同。例如掩膜图像以二值图像为例，但并不形成限制。在二值图像中使用白色表示前景像素点。使用黑色表示背景像素点。另外，由于每个像素点具有各自的坐标信息，故可基于坐标信息，按比例在掩膜图像中对前景像素点和背景像素点进行渲染。例如，将图3中的思维导图利用图像语义分割网络进行处理后，将导引线和元素对应的边框一并分离出来，最终结果如图4中的掩膜图像的示意图。
98.进一步的，导引线在掩膜图像中处于可编辑状态，能够接收用户针对导引线的操作指令进行对应的修改，例如延长、缩短、删除等等。此外，导引线中或者导引线周围可编辑文本内容。
99.本说明书另一实施例中，在获取结构图的导引线之后，保存结构图的框架结构，并使结构图的导引线在对应的文件中呈可编辑状态。例如，将导引线保存为visio和word，但并不形成限制。如此，用户可以打开该文件对结构图进行编辑。当然，本实施例也可以使用结构化的描述文件保存结构图的框架结构，例如json文件。
100.进一步的，由于在上述实施例中，将元素对应的虚拟闭合边框和实体边框也进行了标注，并基于此训练得到图像语义分割网络。故利用此图像语义分割网络能够从待处理图像中确定出导引线和结构节点对应的边框，据此得到完整的框架结构。具体的，在利用此图像语义分割网络能够从待处理图像时，也会将元素对应的虚拟闭合边框和实体边框对应的像素点确定为前景像素点，并提取出来。进一步的，在获取结构图的框架结构之后，保存结构图的框架结构，并使结构图的框架结构在对应的文件中呈可编辑状态。例如，将框架结构保存为visio和word，但并不形成限制。如此，用户可以打开该文件对结构图进行编辑。当然，本实施例也可以使用结构化的描述文件保存结构图的框架结构，例如json文件。
101.综上，本方案预先通过导引线定义规则对结构样本图像进行导引线标注并基于标注信息训练得到图像语义分割网络。因此在获得包含有结构图的图像时，能够直接利用该模型对其进行识别以还原结构图中的导引线，弥补了对于结构图还原技术的空缺。
102.基于同一发明构思，本说明书实施例还提供一种导引线的处理装置，如图5，提供了一种导引线的处理装置，包括：
103.获取模块501，用于获取待处理图像，所述待处理图像中具有结构图；
104.处理模块502，用于利用所述图像语义分割网络处理所述待处理图像，获得所述结构图中的导引线；所述图像语义分割网络是预先通过结构样本图像中的导引线对应的标注信息训练预设网络得到的分类网络。
105.作为一种可选的实施方式，所述图像语义分割网络预先通过下述方式得到：
106.所述获取模块501，用于获取所述结构样本图像；
107.标注模块，用于根据导引线定义规则在所述结构样本图像中进行导引线标注，获
得所述标注信息；
108.训练模块，用于基于结构样本图像和所述标注信息训练所述预设网络，获得图像语义分割网络。
109.作为一种可选的实施方式，所述标注模块，用于：
110.将所述结构样本图像中连接结构节点的线性像素区域进行导引线标注；
111.将所述结构样本图像中连接所述结构节点的闭合多边形像素区域进行导引线标注。
112.作为一种可选的实施方式，所述装置还包括：
113.第一构建模块，用于当所述结构样本图像中连接于所述导引线之间的元素内含文本，且没有边框，构建所述元素对应的虚拟闭合边框；
114.第二构建模块，用于构建连接所述虚拟闭合边框和所述导引线的延伸部分。
115.作为一种可选的实施方式，所述标注模块，还用于对所述虚拟闭合边框进行标注，获得所述标注信息。
116.作为一种可选的实施方式，所述装置还包括：
117.第三构建模块，用于当所述结构样本图像中连接于所述导引线之间的元素不含文本，且没有边框，构建延伸部分，以使所述导引线延伸部分穿设所述元素并连接在所述元素两端的导引线之间。
118.作为一种可选的实施方式，所述标注模块，还用于对所述延伸部分进行导引线标注。
119.作为一种可选的实施方式，所述标注模块，还用于当所述结构样本图像中连接于所述导引线之间的元素内含文本，且具有实体边框，对所述实体边框进行标注，获得所述标注信息。
120.作为一种可选的实施方式，处理模块502，具体用于利用所述图像语义分割网络对所述待处理图像中的每个像素点进行导引线分类，将所述像素点分为前景像素点或背景像素点；其中，所述前景像素点为所述导引线对应的像素点。
121.作为一种可选的实施方式，所述装置还包括：
122.第四构建模块，用于构建掩膜图像；
123.第一渲染模块，用于在掩膜图像中使用第一像素值渲染所述前景像素点，以在所述掩膜图像中复原所述导引线；
124.第二渲染模块，用于在所述掩膜图像中使用第二像素值渲染所述背景像素点。
125.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
126.基于同一发明构思，本发明实施例提供一种电子设备800，图6是根据一示例性实施例示出的电子设备800的框图。例如，设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
127.参照图6，设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
128.处理组件802通常控制设备800的整体操作，诸如与显示，电话呼叫，数据通信，相
机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
129.存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
130.电力组件806为设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为设备800生成、管理和分配电力相关联的组件。
131.多媒体组件808包括在设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
132.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
133.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
134.传感器组件814包括一个或多个传感器，用于为设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如组件为设备800的显示器和小键盘，传感器组件814还可以检测设备800或设备800一个组件的位置改变，用户与设备800接触的存在或不存在，设备800方位或加速/减速和设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
135.通信组件816被配置为便于设备800和其他设备之间有线或无线方式的通信。设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信部件816还包括近场通信(nfc)模块，以促进短程通信。例如，
在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
136.在示例性实施例中，设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
137.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由设备800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
138.图7是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
139.服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
140.一种非临时性计算机可读存储介质，当存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行前述各实施例的导引线的处理方法。
141.一种非临时性计算机可读存储介质，当存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得该计算机设备执行前文图1所对应实施例中对一种导引线的处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。
142.获取结构样本图像；
143.根据导引线定义规则在所述结构样本图像中进行导引线标注，获得标注信息；
144.基于结构样本图像和所述标注信息训练神经网络，获得图像语义分割网络；
145.获取待处理图像，所述待处理图像中具有结构图；
146.利用所述图像语义分割网络处理所述待处理图像，获得所述结构图中的导引线。
147.此外，需要说明的是：本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序可以包括计算机指令，该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器可以执行该计算机指令，使得该计算机设备执行前文图1所对应实施例中对一种导引线的处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机程序产品或者计算机程序实施例中未披露的技术
细节，请参照本技术方法实施例的描述。
148.本发明实施例提供的一个或多个技术方案，至少实现了如下技术效果或者优点：
149.本发明实施例提供的方法，在获取结构样本图像之后，根据导引线定义规则对所述结构样本图像进行导引线标注，获得标注信息，进而据此训练得到图像语义分割网络，然后获得包含有结构图的待处理图像，并利用训练得到的图像语义分割网络对其进行处理，进而得到结构图中的导引线。由于本方案通过导引线定义规则对结构样本图像进行导引线标注并训练得到图像语义分割网络，因此在获得包含有结构图的图像时，能够直接利用该模型对其进行识别以还原结构图中的导引线，弥补了对于结构图还原技术的空缺。
150.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
151.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。