一种基于注意力学习的网络图数据提取方法与流程

技术特征：
1.一种基于注意力学习的网络图数据提取方法，其特征在于网络图数据的提取具体包括以下步骤：a步骤：输入一张大小为h
×
w网络图的光栅图像i；b步骤：构造网络图的语义数据集；c步骤：在网络图的语义数据集上训练一个基于u-net且带有注意力模块的语义分割神经网络，所述神经网络包括特征提取部分、上采样部分、注意力模块attentiongate、softmax模型的输出层；d步骤：训练一个文字提取的神经网络模型，所述神经网络包括文字定位部分ctpn、文字识别部分crnn；e步骤：将d步骤文字提取的神经网络模型应用到a步骤所输入的光栅图像i，从ctpn中定位到文字信息的特征，然后从crnn神经网络中的输出层输出每个文本框t的信息数组textarr
t
，所述信息数组textarr
t
包含{t
x
，t
y
，t
w
，t
h
，t
a
，text，confidence}，其中：t
x
，t
y
是该文本框中心点的坐标；t
w
，t
h
是该文本框的宽和高；t
a
是该文本框的倾斜度；text是该文本框的文字内容；confidence是该文本框的置信度，默认置信度高于0.95的数值是可信的；f步骤：移除光栅图像i中的文本框部分，用文本框的背景色块进行填充，并对其进行kernel＝(2，2)的膨胀处理；g步骤：将f步骤中预处理后的图像i输入到c步骤中的语义分割网络中，输出大小为h
×
w的语义图i
s
，所述语义图i
s
中的每个像素值y
i
代表了像素i所属的类别，且由下述d式表示的背景类、连接线类、矩形结点类、椭圆结点类和菱形结点类；h步骤：根据输入的光栅图像i、文字信息数组textarr
t
和语义图i
s
按下述步骤进行连通区域的数据分析计算：h1：将y
i
＝0的像素点的颜色平均值赋给c
back
；h2：在光栅图像i上提取y
i
＝1，2，3的连通分量为结点类，并以o
p
，h
p
，w
p
，c
p
，t
p
分别为连通分量的中心像素的坐标值、中心像素的颜色rgb值以及像素高度、像素宽度和中心像素的y
i
值；h3：在光栅图像i上提取y
i
＝1，2，3的连通分量为连接线类，并以这些连通分量边缘像素点的y
i
值，计算该连通分量与每个结点的连接置信度h4：将文字信息数组textarr
t
中confidence高于0.95的文本数据分配给距离最近的连通分量，其字体大小f为0.75t
h
；上述c
back
表示网络图的背景颜色rgb值；o
p
，h
p
，w
p
，c
p
，t
p
表示第p个结点的中心坐标值，高度值，宽度值，颜色rgb值和结点形状类型；f表示字体的大小；表示结点p和连接线q相接的置信度，初始值默认为0，每有一个重叠的像素点该置信度加1；i步骤：输出网络图的结点信息node与连接信息link，得到网络可视化提取到的原始数
据，用户可对网络可视化提取到的原始数据进行重新设计或修改，得到更优布局或配色方案的可视化设计图。2.根据权利要求1所述基于注意力学习的网络图数据提取方法，其特征在于所述神经网络的特征提取部分包括：四层用于提取网络图可视化图片的卷积层，每个卷积核都使用3
×
3的大小，前两层卷积在两次卷积后进行最大化池化处理，后两层卷积在三次卷积后进行最大化池化处理；所述神经网络的上采样部分使用attentiongate模块在不同尺度的特征图上得到与原始分辨率相同大小的注意力矩阵α，然后与特征提取部分对应的特征图进行相乘连接，最后为一层1
×
1卷积核的卷积层，得到所有像素点的语义类别值预测结果。3.根据权利要求1所述基于注意力学习的网络图数据提取方法，其特征在于所述基于u-net且带有注意力模块的语义分割神经网络采用下述a式定义的联合损失函数进行协同训练：其中：采用下述b式定义的函数：采用下述b式定义的函数：采用下述c式定义的函数：其中：ω为每种像素点类别的权重，背景类的权重默认值为0.8，连接线类的权重默认值为1.25，其他结点类的权重默认值为1；y
i
是分割网络得到的像素点i的分类结果，y
′
i
是像素点i类别的真实标签。在训练中，该损失函数考虑到了背景类的像素点过多和连接线类的像素点过少的平衡问题。4.根据权利要求1所述基于注意力学习的网络图数据提取方法，其特征在于所述结点形状类型为矩形、椭圆或菱形。5.根据权利要求1所述基于注意力学习的网络图数据提取方法，其特征在于所述光栅图像i为h
×
w的像素值矩阵，其中，h为图像i纵向每列像素数，w为图像i横向每行像素数。6.根据权利要求2所述基于注意力学习的网络图数据提取方法，其特征在于所述网络图可视化图片为开源可视化库中选取不同类型的多样化网络图，具体包括：d3、echarts、matplotlib和scipy开源可视化库。

技术总结
本发明公开了一种基于注意力学习的网络图数据提取方法，其特点是采用文字提取深度神经网络提取图表中的文字数据，以及带有注意力模块的语义分割网络提取网络图可视化图表的像素特征，计算出结点与连接关系的数据，即可恢复出原始网络图的数据结构。本发明与现有技术相比具有较好的解决了网络图这一高级可视编码的数据挖掘问题，通过注意力机制解决了连接线的识别问题，提高模型的鲁棒性，能够在数据转换、可视化设计风格切换、知识产权保护等多种实际应用场景中对网络图可视化图表的位图进行数据提取，有较高的实用价值与良好的发展前景。展前景。展前景。


技术研发人员：宋思程 王长波 李晨辉
受保护的技术使用者：华东师范大学
技术研发日：2021.10.18
技术公布日：2022/1/21