汽车发动机装配流程合规性监测方法、系统、介质及终端与流程

1.本发明涉及视频处理的技术领域，特别是涉及一种汽车发动机装配流程合规性监测方法、系统、介质及终端。


背景技术：

2.现有技术中，汽车发动机装配产线上仍有多项操作需要人工执行交互。工作人员需要按照预先设计好的零部件装配操作顺序去执行所有操作。然而上述方式具有以下不足；
3.(1)无法实现实时的汽车发动机装配流程合规性监测，若工作人员的操作不符合规范，则可能导致发动机产品存在安全隐患；
4.(2)需对装配完成的汽车发动机进行装配合规性检测，降低了产线的效率。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种汽车发动机装配流程合规性监测方法、系统、介质及终端，利用计算机视觉技术对汽车发动机装配流程合规性进行实时监测，保证了装配可靠性，提升了产线效率。
6.为实现上述目的及其他相关目的，本发明提供一种汽车发动机装配流程合规性监测方法，包括以下步骤：预先设定汽车发动机装配流程的开始视频画面特征和结束视频画面特征；获取汽车发动机装配流程所包含的操作步骤视频画面特征及顺序；获取汽车发动机装配实时监控视频；基于训练好的基于神经网络深度学习技术的画面特征提取模型提取所述汽车发动机装配实时监控视频的实时图像帧的画面特征；当实时图像帧的画面特征与所述开始视频画面特征一致时，判定汽车发动机装配流程开始；当判断汽车发动机装配流程开始后，比对实时图像帧的画面特征是否与所述操作步骤视频画面特征及顺序相一致，并生成比对结果；当实时图像帧的画面特征与所述结束视频画面特征一致时，判定汽车发动机装配流程结束。
7.于本发明一实施例中，还包括根据所述比对结果，判断汽车发送机装配流程是否合规。
8.于本发明一实施例中，所述比对结果包括比对结论、与所述实时图像帧对应的视频片段和截图。
9.于本发明一实施例中，所述开始视频画面特征为汽车发动机移动至操作区域；所述结束视频画面特征为汽车发动机移出所述操作区域。
10.于本发明一实施例中，所述操作步骤视频画面特征包括将螺栓放入发动机的特定位置、使用电动扭矩扳手按预定顺序拧紧螺栓、用记号笔标记螺栓以表示螺栓拧紧操作完成。
11.于本发明一实施例中，所述基于神经网络深度学习技术的画面特征提取模型的训练包括以下步骤：
12.获取汽车发动机装配过程的静态图像帧；
13.将所述静态图像帧划分为训练集和验证集；
14.对所述训练集和所述验证集进行标注，标注出需要识别的特征；
15.对所述训练集进行数据增广；
16.基于数据增广后的训练集训练所述基于神经网络深度学习技术的画面特征提取模型，基于所述验证集验证所述基于神经网络深度学习技术的画面特征提取模型，从而获取训练好的基于神经网络深度学习技术的画面特征提取模型。
17.于本发明一实施例中，对所述训练集进行数据增广包括调整所述静态图像帧的对比度和亮度。
18.本发明提供一种汽车发动机装配流程合规性监测系统，包括设定模块、第一获取模块、第二获取模块、提取模块、开始判定模块、比对模块和结束判定模块；
19.所述设定模块用于预先设定汽车发动机装配流程的开始视频画面特征和结束视频画面特征；
20.所述第一获取模块用于获取汽车发动机装配流程所包含的操作步骤视频画面特征及顺序；
21.所述第二获取模块用于获取汽车发动机装配实时监控视频；
22.所述提取模块用于基于训练好的基于神经网络深度学习技术的画面特征提取模型提取所述汽车发动机装配实时监控视频的实时图像帧的画面特征；
23.所述开始判定模块用于当实时图像帧的画面特征与所述开始视频画面特征一致时，判定汽车发动机装配流程开始；
24.所述比对模块用于当判断汽车发动机装配流程开始后，比对实时图像帧的画面特征是否与所述操作步骤视频画面特征及顺序相一致，并生成比对结果；
25.所述结束判定模块用于当实时图像帧的画面特征与所述结束视频画面特征一致时，判定汽车发动机装配流程结束。
26.本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的汽车发动机装配流程合规性监测方法。
27.本发明提供一种汽车发动机装配流程合规性监测终端，包括：处理器及存储器；
28.所述存储器用于存储计算机程序；
29.所述处理器用于执行所述存储器存储的计算机程序，以使所述汽车发动机装配流程合规性监测终端执行上述的汽车发动机装配流程合规性监测方法。
30.如上所述，本发明的汽车发动机装配流程合规性监测方法、系统、介质及终端，具有以下有益效果：
31.(1)能够对汽车发动机装配流程进行视频监控，并利用深度学习技术进行智能视频分析，自动判定汽车发动机装配流程与事先设定的装备操作及其顺序要求是否一致；
32.(2)在判定汽车发动机装配流程不符合操作规范时，能够自动产生告警信息向管理人员进行报告，有效弥补了汽车发动机装配操作过程缺少实时质量监管的空白，避免了发动机产品在装配环节产生的质量隐患，提升了产线的效率；
33.(3)能够保留违规操作的视频信息以备质量控制回溯，从而确保发动机装配过程没有违规操作，保证汽车发动机的生产质量。
附图说明
34.图1显示为本发明的汽车发动机装配流程合规性监测方法于一实施例中的流程图；
35.图2显示为本发明的汽车发动机装配流程合规性监测系统于一实施例中的结构示意图；
36.图3显示为本发明的汽车发动机装配流程合规性监测终端于一实施例中的结构示意图。
37.元件标号说明
38.21
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
设定模块
39.22
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一获取模块
40.23
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二获取模块
41.24
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
提取模块
42.25
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
开始判定模块
43.26
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
比对模块
44.27
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
结束判定模块
45.31
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
46.32
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
具体实施方式
47.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
48.本发明的汽车发动机装配流程合规性监测方法、系统、介质及终端利用计算机视觉技术手段对人工进行发动机关键零部件组装流程是否合规进行实时视频检测，快速高效，保证了装配可靠性，提升了产线效率，极具实用性。
49.如图1所示，于一实施例中，本发明的汽车发动机装配流程合规性监测方法包括以下步骤：
50.步骤s1、预先设定汽车发动机装配流程的开始视频画面特征和结束视频画面特征。
51.具体地，通过设定汽车发动机装配流程的开始视频画面特征和结束视频画面特征来便于后续判断汽车发动机装配实时监控视频中发动机装配流程的开始和结束。
52.于本发明一实施例中，所述开始视频画面特征为汽车发动机移动至操作区域；所述结束视频画面特征为汽车发动机移出所述操作区域。
53.步骤s2、获取汽车发动机装配流程所包含的操作步骤视频画面特征及顺序。
54.具体地，根据汽车发动机装配流程，确定具体的操作步骤视频画面特征及顺序，并通过有线或无线的方式发送至本发明的汽车发动机装配流程合规性监测终端。
55.于本发明一实施例中，所述操作步骤视频画面特征包括将螺栓放入发动机的特定位置、使用电动扭矩扳手按预定顺序拧紧螺栓、用记号笔标记螺栓以表示螺栓拧紧操作完
成。
56.步骤s3、获取汽车发动机装配实时监控视频。
57.具体地，通过视频采集装置实时采集汽车发动机实时监控视频，并通过有线或无线的方式发送至所述汽车发动机装配流程合规性监测终端。优选地，所述视频采集装置采用摄像头。
58.步骤s4、基于训练好的基于神经网络深度学习技术的画面特征提取模型提取所述汽车发动机装配实时监控视频的实时图像帧的画面特征。
59.具体地，首先训练一用于提取画面特征的基于神经网络深度学习技术的画面特征提取模型；然后将所述汽车发动机实时监控视频输入训练好的基于神经网络深度学习技术的画面特征提取模型，所述基于神经网络深度学习技术的画面特征提取模型依次输出所述汽车发动机实时监控视频的每个静态图像帧的画面特征。
60.于本发明一实施例中，所述基于神经网络深度学习技术的画面特征提取模型的训练包括以下步骤：
61.41)获取汽车发动机装配过程的静态图像帧。
62.具体地，收集汽车发动机装配过程的视频流，基于所述视频流提取静态图像帧。
63.42)将所述静态图像帧划分为训练集和验证集。
64.43)对所述训练集和所述验证集进行标注，标注出需要识别的特征。
65.44)对所述训练集进行数据增广。
66.具体地，数据增广主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的基于神经网络深度学习技术的画面特征提取模型具有更强的泛化能力。于本发明一实施例中，对所述训练集进行数据增广包括调整所述静态图像帧的对比度和亮度。对于图像的每个通道，对比度计算公式为f(x)＝(x-mean)*contrast_factor mean，其中，x表示像素值，mean是此通道的像素平均值，contrast_factor表示对比因子，其值介于0.8到1.25之间。
67.优选地，调整对比度和调整亮度就是在图像的每个像素值上都加上50。
68.45)基于数据增广后的训练集训练所述基于神经网络深度学习技术的画面特征提取模型，基于所述验证集验证所述基于神经网络深度学习技术的画面特征提取模型，从而获取满足预设精度要求的基于神经网络深度学习技术的画面特征提取模型。
69.步骤s5、当实时图像帧的画面特征与所述开始视频画面特征一致时，判定汽车发动机装配流程开始。
70.具体地，实时比对实时图像帧的画面特征与所述开始视频画面特征，若二者不一致，则继续进行比对；若二者一致，判定汽车发动机装配流程开始。
71.步骤s6、当判断汽车发动机装配流程开始后，比对实时图像帧的画面特征是否与所述操作步骤视频画面特征及顺序相一致，并生成比对结果。
72.具体地，当判断汽车发动机装配流程开始后，实时比对实时图像帧的画面特征与所述操作步骤视频画面特征及顺序；若二者不一致，则表明当前装配流程不合规；若二者一致，则表明当前装配流程合规。同时，针对每一次比对，生成比对结果，进行本地存储或者发送至服务器，以便根据所述比对结果，判断汽车发送机装配流程是否合规，同时便于后续查询和分析。优选地，所述比对结果包括比对结论、与所述实时图像帧对应的视频片段和截
图。所述比对结论包括比对一致和比对不一致。所述视频片段和截图为了后续进行质量回溯、分析。
73.步骤s7、当实时图像帧的画面特征与所述结束视频画面特征一致时，判定汽车发动机装配流程结束。
74.具体地，实时比对实时图像帧的画面特征与所述结束视频画面特征，若二者不一致，则继续进行比对；若二者一致，判定汽车发动机装配流程结束。
75.优选地，当所述操作步骤视频画面特征及顺序全部比对完成之后，开始实时图像帧的画面特征与所述结束视频画面特征的比对。
76.如图2所示，于一实施例中，本发明的汽车发动机装配流程合规性监测系统包括设定模块21、第一获取模块22、第二获取模块23、提取模块24、开始判定模块25、比对模块26和结束判定模块27。
77.所述设定模块21用于预先设定汽车发动机装配流程的开始视频画面特征和结束视频画面特征。
78.所述第一获取模块22用于获取汽车发动机装配流程所包含的操作步骤视频画面特征及顺序。
79.所述第二获取模块23用于获取汽车发动机装配实时监控视频。
80.所述提取模块24与所述第二获取模块23相连，用于基于训练好的基于神经网络深度学习技术的画面特征提取模型提取所述汽车发动机装配实时监控视频的实时图像帧的画面特征。
81.所述开始判定模块25与所述设定模块21和所述提取模块24相连，用于当实时图像帧的画面特征与所述开始视频画面特征一致时，判定汽车发动机装配流程开始。
82.所述比对模块26与所述第一获取模块22和所述提取模块24相连，用于当判断汽车发动机装配流程开始后，比对实时图像帧的画面特征是否与所述操作步骤视频画面特征及顺序相一致，并生成比对结果。
83.所述结束判定模块27与所述设定模块21和所述提取模块24相连，用于当实时图像帧的画面特征与所述结束视频画面特征一致时，判定汽车发动机装配流程结束。
84.其中，设定模块21、第一获取模块22、第二获取模块23、提取模块24、开始判定模块25、比对模块26和结束判定模块27的结构和原理与上述汽车发动机装配流程合规性监测方法中的步骤一一对应，故在此不再赘述。
85.需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
86.需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模
块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
87.例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
88.本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的汽车发动机装配流程合规性监测方法。所述存储介质包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
89.如图3所示，于一实施例中，本发明的汽车发动机装配流程合规性监测终端包括：处理器31及存储器32。
90.所述存储器32用于存储计算机程序。
91.所述存储器32包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
92.所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述汽车发动机装配流程合规性监测终端执行上述的汽车发动机装配流程合规性监测方法。
93.优选地，所述处理器31可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
94.综上所述，本发明的汽车发动机装配流程合规性监测方法、系统、介质及终端能够对汽车发动机装配流程进行视频监控，并利用深度学习技术进行智能视频分析，自动判定汽车发动机装配流程与事先设定的装备操作及其顺序要求是否一致；在判定汽车发动机装配流程不符合操作规范时，能够自动产生告警信息向管理人员进行报告，有效弥补了汽车发动机装配操作过程缺少实时质量监管的空白，避免了发动机产品在装配环节产生的质量隐患，提升了产线的效率；能够保留违规操作的视频信息以备质量控制回溯，从而确保发动机装配过程没有违规操作，保证汽车发动机的生产质量。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
95.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。