一种基于图像识别的航空装配制造过程数据校验方法及装置与流程

1.本发明涉及飞机制造生产管控领域，特别是一种基于图像识别的航空装配制造过程数据校验方法及装置。


背景技术：

2.飞机总装是实现飞机功能的重要阶段和飞机质量特性形成的关键手段，是飞机制造的重要环节，其生产周期长，覆盖技术面广，历来被生产管理人员重点关注。近年来，随着精益生产的深入推进及脉动生产模式的逐步应用，对飞机生产过程的精细化管理提出了更高的要求。目前，飞机装配车间内已经基本实现全方位，飞机装配mes已经在各大主机厂广泛应用，一定程度上实现了装配生产现场的精细管理，但是由于采用人工在mes中反馈信息，导致现有系统中的信息流与实物流之间存在着大量不一致的情况。


技术实现要素：

3.本发明的目的在于：针对现有技术存在的飞机总装过程中实物流与信息流不一致的情况，提供一种基于图像识别的航空装配制造过程数据校验方法及装置，利用生产现场现有的监控摄像头采集生产现场实时信息，将装配现场的摄像头与装配机位绑定，采用图像识别技术对现场采集到的图像进行处理，判断当前机位是否有飞机正在作业，结合mes中的生产数据进行融合，可准确判定飞机在每个机位上的作业时间，实现实物流和信息流一致化，为飞机制造全生命周期精准管控提供了有力支撑。
4.为了实现上述目的，本发明采用的技术方案为：
5.一种基于图像识别的航空装配制造过程数据校验方法，包括以下步骤：
6.s1，绑定机位信息和摄像头信息，，获得生产现场的视频数据；
7.s2，从视频数据拉取流媒体数据，按照固定周期截取实时机位图，并对其进行标记；
8.s3，对预先获取的空机位图和实时机位图进行预处理并计算，判断机位状态；
9.s4，绑定实时机位图与mes中对应的机位信息，经处理后获得飞机实物流信息，将所述实物流信息与mes中的信息流数据进行比对并融合。
10.作为本发明的优选方案，一种基于图像识别的航空装配制造过程数据校验方法，步骤s1中，每个机位选择一个唯一对应的摄像头进行信息绑定，机位信息包括飞机、型架、相关设施设备。
11.作为本发明的优选方案，一种基于图像识别的航空装配制造过程数据校验方法，步骤s2中，基于监控视频系统的esdk服务，将摄像头设备号及nvr编码作为输入，请求esdk服务，esdk服务返回实时视频流加密地址，解析rtsp视频流并转换为flv协议视频流，基于flv协议视频流，设定截取实时机位图的固定周期t，对实时机位图标记时间戳。
12.作为本发明的优选方案，一种基于图像识别的航空装配制造过程数据校验方法，步骤s3中，采用图像二值化方法对空机位图与实时机位图进行预处理。
13.作为本发明的优选方案，一种基于图像识别的航空装配制造过程数据校验方法，步骤s3中，计算包括，对空机位图和实时机位图进行作差运算，再基于sobel算子的特征提取方式，提取图像边缘特征来判断即为状态，公式如下：
14.经横向边缘检测的图像g
x
为：
[0015][0016]
经纵向边缘检测的图像gy为：
[0017][0018]
梯度方向角度为：
[0019]
θ＝arctan(gy/g
x
)
[0020]
其中，p为空机位图与实时机位图作差后的图像；若梯度方向角度θ等于零，则实时机位图中有飞机存在；反之，则无飞机存在。
[0021]
作为本发明的优选方案，一种基于图像识别的航空装配制造过程数据校验方法，步骤s4中，绑定实时机位图与mes中对应的机位信息，构建机位状态表，将状态表转换为状态序列，形成飞机实物流信息，在机位am上飞机实物流信息可表示为：
[0022][0023]
其中，表示在am机位上第k次检测到飞机作业的开始时刻，表示在am机位上从开始到未检测到飞机的结束时刻，为飞机在am机位上第k次的实际作业时间。
[0024]
作为本发明的优选方案，一种基于图像识别的航空装配制造过程数据校验方法，步骤s4中，从mes中获取在机位am上的信息流数据，可表示为：
[0025][0026]
其中，表示在am机位上第k次飞机作业的开始时刻，表示在am机位上第k次飞机作业的结束时刻，为飞机在am机位上第k次的作业时间。
[0027]
作为本发明的优选方案，一种基于图像识别的航空装配制造过程数据校验方法，步骤s4中将实物流信息与mes中的信息流数据进行比对并融，包括如下步骤：
[0028]
s41，从飞机实物流信息中抽取机位am的第k段作业时间，获得开始时刻和结束时刻
[0029]
s42，基于开始时刻对信息流数据进行搜索，找到离时刻最近的起始时刻，记为其对应的结束时刻记为
[0030]
s43，计算两段时间重合率当δ大于等于阈值时，则判定信息流数据的作业时间应修订为当δ小于阈值，则返回步骤s42，找到距离第二近的起始时刻并计算δ，直至满足δ大于等于阈值为止。
[0031]
作为本发明的优选方案，一种基于图像识别的航空装配制造过程数据校验装置，
包括处理单元，以及与处理单元通讯连接的摄像头，处理单元用于处理并存储航空装配制造过程数据校验工作流程，以使装置能够执行权利要求1至8中任一项方法。
[0032]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0033]
本发明基于视频流媒体数据处理，实时机位图，采用图像识别技术对空机位图和所述实时机位图进行相应处理，判断当前机位是否有飞机正在作业，得到飞机实物流信息，通过结合飞机实物流信息和mes中的信息流数据，可准确判定飞机在每个机位上的作业时间，实现实物流和信息流一致化，为飞机制造全生命周期的精准管控提供有力支撑。
附图说明
[0034]
图1是本发明的方法流程示意图。
具体实施方式
[0035]
下面结合附图，对本发明作详细的说明。
[0036]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0037]
实施例1
[0038]
一种基于图像识别的航空装配制造过程数据校验方法，其特征在于，包括以下步骤：
[0039]
s1，绑定机位信息和摄像头信息，获得生产现场的视频数据；
[0040]
具体的，为车间每个机位选择一个唯一对应的摄像头，拍摄生产现场视频数据，该摄像头可以覆盖该机位的所有信息，包括飞机、型架、相关设施设备等，将摄像头与机位信息进行绑定，形成如表1所示的对应表；
[0041]
表1摄像头机位对应表示意
[0042]
摄像头c03c12c15c18c20c22
…
c40
…
机位a1a2a3a4a5a6
…
am
…
[0043]
s2，从视频数据拉取流媒体数据，按照固定周期截取实时机位图，并对其进行标记；
[0044]
具体的，基于摄像头拍摄的生产现场视频数据，通过监控视频系统的esdk服务，在该服务中配置需要访问的生产监控视频集群服务主节点ip及访问生产监控系统平台的用户名及密码，完成esdk服务注册功能；用户将摄像头设备号及nvr编码作为输入，请求esdk服务；基于rtsp协议封装，esdk服务返回面向生产监控视频的实时视频流加密地址，解析rtsp视频流，将其通过rtmp协议转发至流媒体服务，将其统一转换为flv协议视频流；
[0045]
进一步的，根据目前飞机总装的管理需求，设定截取图片周期为t，获取该机位的实时机位图，并对实时机位图标记时间戳，用作后续处理。
[0046]
s3，对预先获取的空机位图和所述实时机位图进行预处理，通过对空机位图和实时机位图进行作差运算，再基于sobel算子的特征提取方式，提取图像边缘特征来判断即为状态；
[0047]
具体的，使用摄像头为其对应的机位拍摄一张无飞机作业时的照片，作为空机位
图；为便于更好的获取图像特征，采用图像二值化方法对空机位图以及实时机位图进行处理，具体的，由于车间内环境较为稳定，视频拍摄效果较为理想，综合装配车间的实际情况，利用全局阈值法对空机位图和实时机位图进行处理后，再对其进行腐蚀与膨胀运算，实现了在保留实时机位图中有效信息的同时，去除实时机位图中的噪声；
[0048]
进一步的，将预处理后的空机位图与实时机位图进行作差运算，得到飞机在图像上的位置，实现对飞机在图像中的区域准确标定；
[0049]
进一步的，采用基于sobel算子的特征提取方式提取图像边缘特征方式来判断图像中是否有飞机，sobel算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。此处以p代表空机位图与实时机位图作差后的图像，g
x
代表经横向边缘检测的图像，gy代表经纵向边缘检测的图像，相关算法如下：
[0050][0051][0052]
使用如下方式对图像的每一个像素的横向及纵向梯度近似值进行结合，以获取该像素的梯度大小：
[0053][0054]
梯度方向计算方法如下：
[0055]
θ＝arctan(gy/g
x
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0056]
如果梯度方向角度θ等于零，即代表图像该处拥有纵向边缘，左方较右方暗，此时实时机位图中有飞机存在，反之，则无飞机存在。
[0057]
s4，绑定所述实时机位图与mes中对应的机位信息，经处理后获得飞机实物流信息，将所述实物流信息与mes中的信息流数据进行比对并融合。
[0058]
获取到实时机位图的判断结果后，对数据进行结构化处理，将其与对应机位信息进行绑定，构建机位状态表，其中t为起始时刻，实时机位图中有飞机存在用1表示，实时机位图中无飞机用0表示，得到如表2所示的机位状态表。
[0059]
表2机位状态表
[0060] tt tt 2tt 3tt 4tt 5tt 6t
…
t nta10011110 0a21000001 1a30000000 0
…………………………
am0000111 1
[0061]
将状态表转换为状态序列，形成飞机实物流信息：
[0062][0063][0064]
…
[0065][0066]
其中，表示am机位上第一次检测到飞机的时间，表示从开始到未检测到飞机的时刻，为飞机在a1机位上第k次的实际作业时间；表示在am机位上第k次检测到飞机作业的开始时刻，表示在am机位上从开始到未检测到飞机的结束时刻，为飞机在am机位上第k次的实际作业时间；
[0067]
将装配mes中的数据进行处理，获取到系统中各机位的飞机作业时间，形成当前的信息流数据，可表示为：
[0068][0069]
其中，表示在am机位上第k次飞机作业的开始时刻，表示在am机位上第k次飞机作业的结束时刻，为飞机在am机位上第k次的作业时间；
[0070]
以a1机位为例进行展示：
[0071][0072]
其中，sk表示第a1机位上第k次有飞机作业的开始时间，ek为结束时间；
[0073]
目前，飞机在任一机位上停留的作业时间均大于24h，将实物流信息与mes中的信息流数据进行比对并融，融合规则如下：
[0074]
s41，以实物流信息为基准，从中抽取该机位的第一段作业时间，获得起始时间和结束时间
[0075]
s42，以时刻为基准，对信息流数据进行搜索，找到离时刻最近的起始时刻，记为其对应的结束时刻记为
[0076]
s43，计算两段时间重合率：
[0077][0078]
当δ大于等于阈值时，则判定信息流的实际开完工时间应修订为当δ小于阈值，则需重新执行步骤s42，找到距其距离第二近的起始时刻，获取时间段，并重新计算δ，直至找到满足条件的时间区间为止。
[0079]
一种基于图像识别的航空装配制造过程数据校验装置包括处理单元，以及与处理单元通讯连接的摄像头，处理单元用于处理并存储航空装配制造过程数据校验工作流程。
[0080]
综上所述，本发明将准实物流信息与mes中的制造过程信息进行融合后，即可获得准确的制造过程数据，可以准确地还原飞机装配过程中在各机位工作的时间，确保飞机制造过程的信息流与实物流一致，为生产管理的精细化提供有力的支撑。
[0081]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。