一种图像处理方法、装置和电子设备与流程

1.本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置和电子设备。


背景技术：

2.现有技术中，结构图(例如思维导图和流程图)中会经常出现在用户日常工作及学习生活中，其通常以图像的形式存在，便于文件传输和阅读。然而，结构图以图像格式作为文件存储与传输方式时，存在一个很大的缺陷——只能支持查阅、无法编辑结构图中节点结构。
3.如此，为了方便对结构图进行编辑，亟需一种能够还原结构图片中的节点结构的方法。


技术实现要素：

4.本发明实施例提供一种图像处理方法，以实现为用户推荐主题关联信息，提高用户体验。
5.相应的，本发明实施例还提供了一种图像处理装置和一种电子设备，用以保证上述方法的实现及应用。
6.为了解决上述问题，本发明实施例公开了一种图像处理方法，包括：
7.获取初始图像；
8.提取所述初始图像中的线信息，生成掩码图；
9.识别所述初始图像中的节点信息；
10.依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息；
11.基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图。
12.可选地，所述生成掩码图包括：
13.确定所述线信息所在区域为目标区域；
14.确定所述初始图像中所述目标区域以外的区域为背景区域；
15.将所述目标区域设置为第一灰度值，将所述背景区域设置为第二灰度值，生成掩码图，其中，所述第一灰度值与所述第二灰度值不相等。
16.可选地，所述提取所述初始图像中的线信息，包括：
17.提取所述初始图像中的节点连接线；
18.提取所述初始图像中的节点框线；
19.在所述节点框线内的区域生成虚拟线；
20.基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息。
21.可选地，所述基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息，包括：
22.按照预设比例调节所述节点框线和所述虚拟线；
23.基于所述节点连接线，以及调节后的节点框线和虚拟线，得到线信息。
24.可选地，所述节点信息包括节点对象、以及所述节点对象对应的节点坐标；所述依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息，包括：
25.依据所述节点坐标确定根节点坐标；
26.以所述根节点坐标为起点，采用预设算法遍历所述掩码图，得到所述节点对象之间的结构信息。
27.可选地，所述节点信息包括所述节点对象对应的节点标识；所述预设算法包括：
28.从预设栈中获取第一搜索点；
29.确定当前节点对象以及对应的当前节点标识；
30.当所述第一搜索点位于新节点对象内；所述新节点对象对应的新节点标识与所述当前节点标识不相同，确定所述新节点对象为所述点前节点对象的子节点；确定所述当前节点对象与所述新节点对象之间的结构关系；将所述新节点标识更新为所述当前节点标识；
31.当所述第一搜索点位于新节点对象外；则获取第二搜索点，并返回所述从预设栈中获取第一搜索点的步骤。
32.可选地，所述获取第二搜索点，包括：
33.以所述第一搜索点为中心生成搜索圈；
34.确定位于所述搜索圈上且与所述第一搜索点连通的点为第二搜索点；
35.将所述第二搜索点作为第一搜索点存储至所述预设栈中。
36.可选地，所述预设算法还包括：
37.若所述预设栈为空，则基于获取到的结构关系生成结构信息。
38.可选地，所述基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图，包括：
39.提取所述初始图像匹配的文本信息；
40.依据所述文本信息、所述结构信息和所述节点信息，生成结构图。
41.本发明实施例还公开了一种图像处理装置，包括：
42.初始图像获取模块，用于获取初始图像；
43.掩码图生成模块，用于提取所述初始图像中的线信息，生成掩码图；
44.节点信息识别模块，用于识别所述初始图像中的节点信息；
45.结构信息生成模块，用于依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息；
46.结构图图生成模块，用于基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图。
47.可选地，还包括：
48.目标区域确定子模块，用于确定所述线信息所在区域为目标区域；
49.背景区域确定子模块，用于确定所述初始图像中所述目标区域以外的区域为背景区域；
50.二值化处理子模块，用于将所述目标区域设置为第一灰度值，将所述背景区域设置为第二灰度值，生成掩码图，其中，所述第一灰度值与所述第二灰度值不相等。
51.可选地，所述掩码图生成模块还包括：
52.节点连接线提取子模块，用于提取所述初始图像中的节点连接线；
53.节点框线提取子模块，用于提取所述初始图像中的节点框线；
54.虚拟线生成子模块，用于在所述节点框线内的区域生成虚拟线；
55.线信息提取子模块，用于基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息。
56.可选地，所述线信息提取子模块包括：
57.调节单元，用于按照预设比例调节所述节点框线和所述虚拟线；
58.生成单元，用于基于所述节点连接线，以及调节后的节点框线和虚拟线，得到线信息。
59.可选地，所述节点信息包括节点对象、以及所述节点对象对应的节点坐标；所述结构信息生成模块包括：
60.根节点确定子模块，用于依据所述节点坐标确定根节点坐标；
61.结构信息获取子模块，用于以所述根节点坐标为起点，调用预设算法子模块遍历所述掩码图，得到所述节点对象之间的结构信息。
62.可选地，所述节点信息包括所述节点对象对应的节点标识；所述预设算法子模块包括：
63.第一搜索点获取单元，用于从预设栈中获取第一搜索点；
64.当前节点确定单元，用于确定当前节点对象以及对应的当前节点标识；
65.节点更新单元，用于当所述第一搜索点位于新节点对象内；所述新节点对象对应的新节点标识与所述当前节点标识不相同，确定所述新节点对象为所述点前节点对象的子节点；确定所述当前节点对象与所述新节点对象之间的结构关系；将所述新节点标识更新为所述当前节点标识；
66.第二搜索点获取单元，用于当所述第一搜索点位于新节点对象外；则获取第二搜索点，并调用所述第一搜索点获取单元。
67.可选地，所述第二搜索点获取单元包括：
68.搜索圈生成子单元，用于以所述第一搜索点为中心生成搜索圈；
69.第二搜索点确定子单元，用于确定位于所述搜索圈上且与所述第一搜索点连通的点为第二搜索点；
70.第二搜索点存储子单元，用于将所述第二搜索点作为第一搜索点存储至所述预设栈中。
71.可选地，所述预设算法子模块还包括：
72.输出单元，用于若所述预设栈为空，则基于获取到的结构关系生成结构信息。
73.可选地，所述结构图生成模块包括：
74.文本提取子模块，用于提取所述初始图像匹配的文本信息；
75.思维导图生成子模块，用于依据所述文本信息、所述结构信息和所述节点信息，生成思维导图。
76.本发明实施例还公开了一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于如上所述的图像处理方法。
77.本发明实施例还公开了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的图像处理方法。
78.本发明实施例还公开了一种计算机程序产品，所述计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中，且适于由处理器读取并执行，以使得具有所述处理器的计算机设备执行如上所述的图像处理方法。
79.本发明实施例包括以下优点：
80.本发明实施例中，通过识别图像中的线信息，基于线信息生成掩码图，从初始图像中识别节点信息，依据线信息和节点信息生成结构信息，从而重构与初始图像中节点信息对应的结构信息，进而结合即结构信息和节点信息生成与初始图像匹配的可编辑结构信息的结构图，实现基于不可编辑结构信息的初始图像重构成可编辑结构信息的结构图。
附图说明
81.图1是本发明的一种图像处理方法实施例的步骤流程图；
82.图2是本发明提供的一种初始图像示意图；
83.图3是本发明提供的一种掩码图示意图；
84.图4是本发明的另一种图像处理方法实施例的步骤流程图；
85.图5是本发明提供的另一种初始图像示意图；
86.图6是本发明提供的另一种掩码图示意图；
87.图7是本发明提供的又一种掩码图示意图；
88.图8是本发明提供的又一种掩码图示意图；
89.图9是本发明提供的再一种掩码图示意图；
90.图10是本发明提供的还一种掩码图示意图；
91.图11是本发明的一种图像处理装置实施例的结构框图；
92.图12是本发明的一种图像处理装置可选实施例的结构框图；
93.图13根据一示例性实施例示出的一种用于图像处理的电子设备的结构框图；
94.图14是本发明根据另一示例性实施例示出的一种用于图像处理的电子设备的结构示意图。
具体实施方式
95.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
96.当用户获取到第三方制作的结构图时，该结构图缺少了各个节点之间的结构信息，为不可编辑的图片，本发明实施例通过识别图像中的线信息，基于线信息生成掩码图，从初始图像中识别节点信息，依据线信息和节点信息生成结构信息，从而重构与结构图中节点信息对应的结构信息，进而结合即结构信息和节点信息生成与初始图像匹配的可编辑结构信息的结构图，实现基于不可编辑的结构图重构成可编辑的结构图。
97.参照图1，示出了本发明的一种图像处理方法实施例的步骤流程图，具体可以包括如下步骤：
98.步骤101，获取初始图像；
99.可以理解的是，结构图中一般含有一个或多个节点对象，不同节点对象之间可以具有结构关系，例如：父子节点关系。用户在制作结构图过程中，能够对节点对象进行编辑，编辑的方式包括但不限于：删除节点对象、增加节点对象、变更节点对象内容。并且在编辑后，节点对象之间的结构关系能够自适应调整。
100.初始图像为不包含结构信息的结构图，由于不具备结构信息使得无法对初始图像中包含的节点对象进行编辑。
101.步骤102，提取所述初始图像中的线信息，生成掩码图；
102.通过指定算法或指定技术手段(例如：深度学习技术里的图像分割技术)识别初始图像中的线信息，线信息可以包括包络节点对象以及连接节点对象的线形元素。
103.通过对初始图像中除线信息以外的区域进行掩码，得到掩码图。
104.参照图2，示出了本发明提供的一种初始图像示意图；参照图3，示出了本发明提供的一种掩码图示意图。
105.在一种示例中，通过提取图2中的线信息，并对线信息以外的区域进行掩码，得到如图3所示的掩码图。
106.步骤103，识别所述初始图像中的节点信息；
107.通过指定算法或指定技术手段(例如：深度学习技术里的图像检测技术)从初始图像中识别出节点信息，节点信息可以包括节点对象以及节点对象相关的信息，比如，位置信息。。例如：节点信息可以包括节点对象201的位置信息，节点对象201的位置信息包括节点对象201所在区域的像素坐标。在得到节点信息后，可以通过图3中的实线框标注，例如300。
108.步骤104，依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息；
109.在获取到线信息和节点信息后，可以确定某一节点对象为起点对象，在掩码图中依次搜索起点对象以外的其他节点对象，进而确定其他节点对象与起点对象的结构信息，结构信息可以包括节点对象之间的父子节点关系。
110.以图3为例，可以确定节点对象201为起点对象，搜索到节点对象201的子节点包括节点对象2011、以及节点对象2011的子节点包括节点对象20111、节点对象20112、节点对象20113、节点对象20114、节点对象20115。同理可以搜索到节点对象201的子节点还包括节点对象2012、节点对象2013、节点对象2014、节点对象2015、节点对象2016。以及，节点对象2012、节点对象2013、节点对象2014、节点对象2015、节点对象2016各自的子节点，在此不在赘述。
111.步骤105，基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图。
112.由上述得到的结构信息，能够确定初始图像中包含的节点对象之间的结构信息，进而能够基于该结构信息重构与初始图像匹配的结构图，由于重构的结构图中包含节点对象对应的结构信息，使得用户能够对节点对象进行编辑，无需用户重新制作结构图。
113.在本发明实施例中，通过识别图像中的线信息，基于线信息生成掩码图，从初始图像中识别节点信息，依据线信息和节点信息生成结构信息，从而重构与结构图中节点信息对应的结构信息，进而结合即结构信息和节点信息生成与初始图像匹配的可编辑结构信息的结构图，实现基于不可编辑的结构图重构成可编辑结构信息的结构图。
114.本发明实施例的方法可以应用于服务器，通过服务器向客户端提供结构图重构服务。本发明实施例的方法可以集成为程序，用户可以通过在终端设备中安装该程序以使用结构图重构服务。
115.参照图4，示出了本发明的另一种图像处理方法实施例的步骤流程图，具体可以包括如下步骤：
116.步骤401，获取初始图像；
117.步骤402，提取所述初始图像中的线信息；
118.在本发明的一种可选实施例中，步骤402，包括：
119.子步骤s11，提取所述初始图像中的节点连接线；
120.节点连接线包括节点对象之间的连接线，例如：参照图5，示出了本发明提供的另一种初始图像示意图，可以从图5中提取节点连接线510，节点连接，510为节点对象501与节点对象502之间的连接线。
121.子步骤s12，提取所述初始图像中的节点框线；
122.节点对象可以包括框类型节点和点类型节点，框类型节点为外边缘由至少一条边组成的节点对象，点类型节点为点状节点对象。
123.针对框类型节点能够提取相应的节点框线，节点框线可以是上述外边缘或者是与该外边缘匹配的指定形状的图形。
124.例如：框类型节点外边缘为椭圆形，节点框线可以为与该椭圆形的边缘，也可以是基于该椭圆形得到的矩形，进一步的，可以确定该椭圆形外接矩形为该框类型节点的节点框线。
125.子步骤s13，在所述节点框线内的区域生成虚拟线；
126.在节点框线内的区域生成虚拟线，通过生成多个虚拟线使得虚拟线能够填充节点框线，形成色块，通过形成色块，能够在后续步骤中更好地识别框类型节点的节点信息。
127.子步骤s14，基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息。
128.将上述得到的节点连接线、节点框线、虚拟线作为初始图像的线信息。
129.步骤403，确定所述线信息所在区域为目标区域；
130.步骤404，确定所述初始图像中所述目标区域以外的区域为背景区域；
131.步骤405，将所述目标区域设置为第一灰度值，将所述背景区域设置为第二灰度值，生成掩码图，其中，所述第一灰度值与所述第二灰度值不相等。
132.第一灰度值可以为0，第二灰度值可以为255，通过对目标区域和背景区域设置不同的灰度值，从而对目标区域和背景区域进行二值化处理，使得生成的掩码图是二值化图像。
133.通过对目标区域和背景区域进行二值化处理，从而保留初始图像中的线信息，使得后续能够针对性地对线信息进行处理时，一定程度上提高了处理结果准确度。
134.本发明实施例中仅需要对目标区域和背景区域设置不同的灰度值即可，在一可选实施中，第一灰度值可以为255，第二灰度值为0。
135.例如，参照图6，示出了本发明提供的另一种掩码图示意图，通过对图5进行步骤402-405的处理，能够得到如图6所示的掩码图。
136.在本发明的一种可选实施例中，子步骤s14包括：
137.子步骤s141，按照预设比例调节所述节点框线和所述虚拟线；
138.子步骤s142，基于所述节点连接线，以及调节后的节点框线和虚拟线，得到线信息。
139.在一些初始图像中，可能存在较多框类型节点，框类型节点之间的间隔较小，如图6所示，节点对象502和节点对象503对应的由虚拟线生成色块之间的距离较小，会对后续生成结构信息造成一定程度的影响，则可以在执行子步骤s14时，对节点框线和虚拟线按照一定的比例进行调节。
140.在实际应用中，对节点框线和虚拟线的调节方式可以是指缩小处理，缩小节点框线的围蔽的区域，以缩小虚拟线所占区域的大小。
141.参照图7，示出了本发明提供的又一种掩码图示意图，图7中的虚线框为原节点线框，通过按照一定比例调节节点线框和虚拟线，使得不同节点对象对应的色块之间的距离调节，大大降低后续识别节点信息的错误率。例如：图6中节点对象502和节点对象503对应的色块之间的最小距离为d，图7中节点对象502和节点对象503对应的色块之间的最小距离为d，显然由于d大于d，使得后续再识别节点对象502和节点对象503的节点信息时，其准确性更高。
142.步骤406，识别所述初始图像中的节点信息；所述节点信息包括节点对象、以及所述节点对象对应的节点坐标；
143.节点坐标为节点对象所在区域包含的像素的坐标。
144.步骤407，依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息；
145.可以采用深度优先搜索算法和连通域分析算法对线信息和节点信息进行处理，生成与节点信息对应的结构信息，即各个节点对象之间结构关系，具体的，该结构关系为树形结构关系。
146.在本发明的一种可选实施例中，所述步骤407包括：
147.子步骤s21，依据所述节点坐标确定根节点坐标；
148.可以通过人工或者自动的方式确定出初始图像中的根节点对象，根节点对象对应的像素坐标为根节点坐标。
149.子步骤s22，以所述根节点坐标为起点，采用预设算法遍历所述掩码图，得到所述节点对象之间的结构信息。
150.在本发明的一种可选实施例中，所述节点信息包括所述节点对象对应的节点标识；节点标识可以是节点标识，节点标识可以由任意字符组成的编号，例如：节点标识可以由数字组成，或者由字母组成，或者由数字与字母组成。本发明实施例对节点标识的字符组成以及字符长短做限定，只需要可以通过节点标识区分不同节点对象即可。
151.所述预设算法可以通过如下步骤实现：
152.步骤s31，从预设栈中获取第一搜索点；
153.栈作为一种数据结构，是一种只能在一端进行插入和删除操作的线性表。可以先构建预设栈，用于存储像素点的坐标，预设算法从预设栈中获取第一搜索点，即获取第一搜索点的像素坐标。
154.需要说明的是，在上述确定根节点坐标后，将根节点坐标存储至预设栈中，使得预
设算法能够从根节点坐标开始执行预设算法中的下述步骤。
155.步骤s32，确定当前节点对象以及对应的当前节点标识；
156.步骤s33，当所述第一搜索点位于新节点对象内；所述新节点对象对应的新节点标识与所述当前节点标识不相同，确定所述新节点对象为所述点前节点对象的子节点；确定所述当前节点对象与所述新节点对象之间的结构关系；将所述新节点标识更新为所述当前节点标识；
157.当前节点对象为上一个确定的节点对象，当前节点标识为当前节点对象对应的节点标识。
158.通过第一搜索点对应的节点标识与上一个确定的节点对象的节点标识进行对比，判断第一搜索点是否位于新的节点对象。
159.若通过第一搜索点确定搜索到新的节点对象，则该新节点对象为当前节点对象的子节点，进而确定新节点对象与当前节点对象之间的父子关系，从而得到新节点对象与当前节点对象之间的结构关系。
160.步骤s34，当所述第一搜索点位于新节点对象外；则获取第二搜索点，并返回步骤s31。
161.当所述第一搜索点位于新节点对象外时，则基于第一搜索点获取第二搜索点，并返回从预设栈中获取第一搜索点的步骤。
162.在本发明的一种可选实施例中，所述获取第二搜索点，包括：
163.以所述第一搜索点为中心生成搜索圈；确定位于所述搜索圈上且与所述第一搜索点连通的点为第二搜索点；将所述第二搜索点作为第一搜索点存储至所述预设栈中。
164.以第一搜索点为中心生成搜索圈，基于连通域分析算法确定搜索圈上与第一搜索点连通的第二搜索点，其中第一搜索点和第二搜索点的灰度值相同。
165.在得到第二搜索点后，将搜索圈内其他区域的灰度值设为与背景区域相同的灰度值，避免对针对同一区域多次生成搜索圈。
166.将第二搜索点存储至预设栈中，以使上述返回所述从预设栈中获取第一搜索点的步骤时，将该第二搜索点作为新的第一搜索点。
167.由于根节点坐标确定后会存储至预设栈，即首个第一搜索点为根节点坐标对应的像素点，搜索圈依次确定与根节点坐标连通的第二搜索点，实现从根节点坐标为起点遍历掩码图中的各个节点对象。
168.在本发明的一种可选实施例中，所述预设算法还包括：若所述预设栈为空，则基于获取到的结构关系生成结构信息。
169.若预设栈为空，则表示已遍历完掩码图中的节点对象，基于当前获取到的各个节点对象之间的结构关系，生成结构信息。
170.步骤408，基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图。
171.在本发明的一种可选实施例中，所述步骤408包括：提取所述初始图像匹配的文本信息；依据所述文本信息、所述结构信息和所述节点信息，生成结构图。
172.可以识别初始图像中的文本信息，并依据文本信息、结构信息、节点信息，生成结构图，从而实现重构可编辑的结构图。
173.在一示例中，可以确定文本信息对于的文本坐标、通过对比文本坐标和节点信息中包含的节点坐标，将文本信息与节点信息进行对应存储。
174.以下，以一个示例对本发明实施例做进一步说明。
175.本示例可以包括如下步骤：
176.步骤801，获取思维导图(图2所示的初始图像)线信息的掩码(mask)图。通过某些算法或技术手段(例如深度学习技术里的图像分割技术)获取思维导图线信息，生成掩码图片(图3所示的掩码图)，储存二值化信息，例如背景是0，线信息是1。
177.步骤802，获取思维导图(图2所示的初始图像)节点位置信息。通过某些算法或技术手段(例如深度学习技术里的图像检测技术)获取思维导图节点对象的位置信息，即图片的像素坐标；节点对象的节点坐标通过为图3中的实线框进行标注。
178.步骤803，结构搜索。
179.参照图9，示出了本发明提供的再一种掩码图。
180.利用深度优先搜索算法和连通域分析算法，从根节点开始，在掩码图片上搜索出所有节点的树形结构关系，具体算法如下：
181.a)将根节点保存在栈a中；
182.b)循环(如果栈a为空，则退出循环)：
183.i.从栈a中取出一个搜索点p(如图9所示)，如果搜索点p在某个节点(该节点编号为j)内，而且p.id(p的id值，id存储的是上一个搜到节点的编号)不等于j，说明搜索到一个新的节点，节点j是节点p.id的一个子节点，然后继续循环；否则走下一个步骤。。
184.ii.以搜索点p为中心，半径为r生成一个搜索圈(或搜索框)(如图9中的虚线框)，在搜索圈内做连通域分析，对于搜索圈上掩码取值为1(与上述二值化存储相对应)的点q(如图9所示)，如果它和搜索点p是连通的，则将点q保存在栈a中，并且q.id＝p.id，保存上一个搜索到的节点id。
185.通过上述算法，搜索完所有点后，就能得到所有节点的一个树形结构关系。
186.步骤804，输出树形结构关系。
187.参照图10，示出了本发明提供的还一种掩码图。
188.节点的树形结构关系可以用树结构保存下来，展示出来如图10所示，箭头表示子节点方向。
189.步骤805，生成新的思维导图。识别初始思维导图(图2)中的文本信息，基于文本信息、节点坐标、结构关系生成新的思维导图。
190.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
191.参照图11，示出了本发明的一种图像处理装置实施例的结构框图，具体可以包括如下模块：
192.初始图像获取模块1101，用于获取初始图像；
193.掩码图生成模块1102，用于提取所述初始图像中的线信息，生成掩码图；
194.节点信息识别模块1103，用于识别所述初始图像中的节点信息；
195.结构信息生成模块1104，用于依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息；
196.结构图生成模块1105，用于基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图。
197.参照图12，示出了本发明的一种图像处理装置实施例的结构框图，具体可以包括如下模块：
198.初始图像获取模块1101，用于获取初始图像；
199.掩码图生成模块1102，用于提取所述初始图像中的线信息，生成掩码图；
200.节点信息识别模块1103，用于识别所述初始图像中的节点信息；
201.结构信息生成模块1104，用于依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息；
202.结构图生成模块1105，用于基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图。
203.在本发明的一种可选实施例中，所述掩码图生成模块1102包括：
204.目标区域确定子模块11021，用于确定所述线信息所在区域为目标区域；
205.背景区域确定子模块11022，用于确定所述初始图像中所述目标区域以外的区域为背景区域；
206.二值化处理子模块11023，用于将所述目标区域设置为第一灰度值，将所述背景区域设置为第二灰度值，生成掩码图，其中，所述第一灰度值与所述第二灰度值不相等。
207.在本发明的一种可选实施例中，所述掩码图生成模块1102包括：
208.节点连接线提取子模块11024，用于提取所述初始图像中的节点连接线；
209.节点框线提取子模块11025，用于提取所述初始图像中的节点框线；
210.虚拟线生成子模块11026，用于在所述节点框线内的区域生成虚拟线；
211.线信息提取子模块11027，用于基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息。
212.在本发明的一种可选实施例中，所述线信息提取子模块11027包括：
213.调节单元110271，用于按照预设比例调节所述节点框线和所述虚拟线；
214.生成单元110272，用于基于所述节点连接线，以及调节后的节点框线和虚拟线，得到线信息。
215.在本发明的一种可选实施例中，所述节点信息包括节点对象、以及所述节点对象对应的节点坐标；所述结构信息生成模块1104包括：
216.根节点确定子模块11041，用于依据所述节点坐标确定根节点坐标；
217.结构信息获取子模块11042，用于以所述根节点坐标为起点，调用预设算法子模块遍历所述掩码图，得到所述节点对象之间的结构信息。
218.在本发明的一种可选实施例中，所述节点信息包括所述节点对象对应的节点标识；所述预设算法子模块包括：
219.第一搜索点获取单元，用于从预设栈中获取第一搜索点；
220.当前节点确定单元，用于确定当前节点对象以及对应的当前节点标识；
221.节点更新单元，用于当所述第一搜索点位于新节点对象内；所述新节点对象对应的新节点标识与所述当前节点标识不相同，确定所述新节点对象为所述点前节点对象的子节点；确定所述当前节点对象与所述新节点对象之间的结构关系；将所述新节点标识更新为所述当前节点标识；
222.第二搜索点获取单元，用于当所述第一搜索点位于新节点对象外；则获取第二搜索点，并调用所述第一搜索点获取单元。
223.在本发明的一种可选实施例中，所述第二搜索点获取单元包括：
224.搜索圈生成子单元，用于以所述第一搜索点为中心生成搜索圈；
225.第二搜索点确定子单元，用于确定位于所述搜索圈上且与所述第一搜索点连通的点为第二搜索点；
226.第二搜索点存储子单元，用于将所述第二搜索点作为第一搜索点存储至所述预设栈中。
227.在本发明的一种可选实施例中，所述预设算法子模块还包括：
228.输出单元，用于若所述预设栈为空，则基于获取到的结构关系生成结构信息。
229.在本发明的一种可选实施例中，所述结构图生成模块1105包括：
230.文本提取子模块11051，用于提取所述初始图像匹配的文本信息；
231.结构图生成子模块11052，用于依据所述文本信息、所述结构信息和所述节点信息，生成结构图。
232.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
233.图13是根据一示例性实施例示出的一种用于图像处理的电子设备1500的结构框图。例如，电子设备1300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理、智能穿戴设备等。
234.参照图13，电子设备1300可以包括以下一个或多个组件：处理组件1302，存储器1304，电力组件1306，多媒体组件1308，音频组件1310，输入/输出(i/o)的接口1312，传感器组件1314，以及通信组件1316。
235.处理组件1302通常控制电子设备1300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1302可以包括一个或多个处理器1320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1302可以包括一个或多个模块，便于处理组件1302和其他组件之间的交互。例如，处理部件1302可以包括多媒体模块，以方便多媒体组件1308和处理组件1302之间的交互。
236.存储器1304被配置为存储各种类型的数据以支持在设备1300的操作。这些数据的示例包括用于在电子设备1300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
237.电力组件1306为电子设备1300的各种组件提供电力。电力组件1306可以包括电源管理系统，一个或多个电源，及其他与为电子设备1300生成、管理和分配电力相关联的组
件。
238.多媒体组件1308包括在所述电子设备1300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1308包括一个前置摄像头和/或后置摄像头。当电子设备1300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
239.音频组件1310被配置为输出和/或输入音频信号。例如，音频组件1310包括一个麦克风(mic)，当电子设备1300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中，音频组件1310还包括一个扬声器，用于输出音频信号。
240.i/o接口1312为处理组件1302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
241.传感器组件1314包括一个或多个传感器，用于为电子设备1300提供各个方面的状态评估。例如，传感器组件1314可以检测到设备1300的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1300的显示器和小键盘，传感器组件1314还可以检测电子设备1300或电子设备1300一个组件的位置改变，用户与电子设备1300接触的存在或不存在，电子设备1300方位或加速/减速和电子设备1300的温度变化。传感器组件1314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
242.通信组件1316被配置为便于电子设备1300和其他设备之间有线或无线方式的通信。电子设备1300可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件1314经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件1314还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
243.在示例性实施例中，电子设备1300可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
244.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1304，上述指令可由电子设备1300的处理器1320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
245.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种图像处理方法，所述方法包括：
246.获取初始图像；
247.提取所述初始图像中的线信息，生成掩码图；
248.识别所述初始图像中的节点信息；
249.依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息；
250.基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图。
251.可选地，所述生成掩码图包括：
252.确定所述线信息所在区域为目标区域；
253.确定所述初始图像中所述目标区域以外的区域为背景区域；
254.将所述目标区域设置为第一灰度值，将所述背景区域设置为第二灰度值，生成掩码图，其中，所述第一灰度值与所述第二灰度值不相等。
255.可选地，所述提取所述初始图像中的线信息，包括：
256.提取所述初始图像中的节点连接线；
257.提取所述初始图像中的节点框线；
258.在所述节点框线内的区域生成虚拟线；
259.基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息。
260.可选地，所述基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息，包括：
261.按照预设比例调节所述节点框线和所述虚拟线；
262.基于所述节点连接线，以及调节后的节点框线和虚拟线，得到线信息。
263.可选地，所述节点信息包括节点对象、以及所述节点对象对应的节点坐标；所述依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息，包括：
264.依据所述节点坐标确定根节点坐标；
265.以所述根节点坐标为起点，采用预设算法遍历所述掩码图，得到所述节点对象之间的结构信息。
266.可选地，所述节点信息包括所述节点对象对应的节点标识；所述预设算法包括：
267.从预设栈中获取第一搜索点；
268.确定当前节点对象以及对应的当前节点标识；
269.当所述第一搜索点位于新节点对象内；所述新节点对象对应的新节点标识与所述当前节点标识不相同，确定所述新节点对象为所述点前节点对象的子节点；确定所述当前节点对象与所述新节点对象之间的结构关系；将所述新节点标识更新为所述当前节点标识；
270.当所述第一搜索点位于新节点对象外；则获取第二搜索点，并返回所述从预设栈中获取第一搜索点的步骤。
271.可选地，所述获取第二搜索点，包括：
272.以所述第一搜索点为中心生成搜索圈；
273.确定位于所述搜索圈上且与所述第一搜索点连通的点为第二搜索点；
274.将所述第二搜索点作为第一搜索点存储至所述预设栈中。
275.可选地，所述预设算法还包括：
276.若所述预设栈为空，则基于获取到的结构关系生成结构信息。
277.可选地，所述基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图，包括：
278.提取所述初始图像匹配的文本信息；
279.依据所述文本信息、所述结构信息和所述节点信息，生成结构图。
280.图14是本发明根据另一示例性实施例示出的一种用于图像处理的电子设备1400的结构示意图。该电子设备1400可以是服务器，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1422(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在服务器上执行存储介质1430中的一系列指令操作。
281.服务器还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，一个或一个以上键盘1456，和/或，一个或一个以上操作系统1441，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
282.一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
283.获取初始图像；
284.提取所述初始图像中的线信息，生成掩码图；
285.识别所述初始图像中的节点信息；
286.依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息；
287.基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图。
288.可选地，所述生成掩码图包括：
289.确定所述线信息所在区域为目标区域；
290.确定所述初始图像中所述目标区域以外的区域为背景区域；
291.将所述目标区域设置为第一灰度值，将所述背景区域设置为第二灰度值，生成掩码图，其中，所述第一灰度值与所述第二灰度值不相等。
292.可选地，所述提取所述初始图像中的线信息，包括：
293.提取所述初始图像中的节点连接线；
294.提取所述初始图像中的节点框线；
295.在所述节点框线内的区域生成虚拟线；
296.基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息。
297.可选地，所述基于所述节点连接线、所述节点框线和所述虚拟线，得到线信息，包括：
298.按照预设比例调节所述节点框线和所述虚拟线；
299.基于所述节点连接线，以及调节后的节点框线和虚拟线，得到线信息。
300.可选地，所述节点信息包括节点对象、以及所述节点对象对应的节点坐标；所述依据所述线信息和所述节点信息，生成与所述节点信息对应的结构信息，包括：
301.依据所述节点坐标确定根节点坐标；
302.以所述根节点坐标为起点，采用预设算法遍历所述掩码图，得到所述节点对象之间的结构信息。
303.可选地，所述节点信息包括所述节点对象对应的节点标识；所述预设算法包括：
304.从预设栈中获取第一搜索点；
305.确定当前节点对象以及对应的当前节点标识；
306.当所述第一搜索点位于新节点对象内；所述新节点对象对应的新节点标识与所述当前节点标识不相同，确定所述新节点对象为所述点前节点对象的子节点；确定所述当前节点对象与所述新节点对象之间的结构关系；将所述新节点标识更新为所述当前节点标识；
307.当所述第一搜索点位于新节点对象外；则获取第二搜索点，并返回所述从预设栈中获取第一搜索点的步骤。
308.可选地，所述获取第二搜索点，包括：
309.以所述第一搜索点为中心生成搜索圈；
310.确定位于所述搜索圈上且与所述第一搜索点连通的点为第二搜索点；
311.将所述第二搜索点作为第一搜索点存储至所述预设栈中。
312.可选地，所述预设算法还包括：
313.若所述预设栈为空，则基于获取到的结构关系生成结构信息。
314.可选地，所述基于所述结构信息和所述节点信息，生成与所述初始图像匹配的结构图，包括：
315.提取所述初始图像匹配的文本信息；
316.依据所述文本信息、所述结构信息和所述节点信息，生成结构图。
317.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
318.此外，需要说明的是：本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序可以包括计算机指令，该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器可以执行该计算机指令，使得该计算机设备执行前文图1和图4所对应实施例中对图像处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本技术方法实施例的描述。
319.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设
备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
320.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
321.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
322.尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
323.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
324.以上对本发明所提供的一种图像处理方法、一种图像处理装置和一种电子设备，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。