一种基于二值分类器队列结构的连续操作过程评估方法与流程

1.本发明涉及人工智能应用技术领域，尤其涉及一种基于二值分类器队列结构的连续操作过程评估方法。


背景技术：

2.尽管人工智能技术已广泛应用于许多场景，但在大多数工业应用中，危险操作的检测仍然依赖于对静态行为的识别，例如吸烟、打电话、是否戴安全帽等行为的识别预警。在实际工业现场，为了及时发现连续操作(如车床操作、危险化学品的装卸等)中的不合规行为并进行预警和记录，目前大多情况下需要具有较强业务能力的管理人员进行现场监控。对于整个操作过程耗时较长的工序，由于监控人员疲劳或者换班等因素，通常难以保证其不合规行为得到及时察觉和响应。因此，如何利用人工智能技术，通过视频监控实现连续操作的实时检测和评估具有重要的实用价值。


技术实现要素：

3.本发明的目的在于针对工业现场对连续操作过程评估技术的不足，提供一种基于二值分类器队列结构的连续操作过程评估方法。
4.本发明的目的是通过以下技术方案来实现的：
5.一种基于二值分类器队列结构的连续操作过程评估方法，该方法具体包括如下步骤：
6.s1：静态样本图提取：选择包含所有操作点位在内的监控场景的图片作为操作点位模板，并根据操作点位模板中各个操作点位的位置，从离线的连续操作视频中，提取出每个操作点位的多帧静态样本图，并为每帧静态样本图标记是否包含有效操作的标签；
7.s2：加权平均子图合成：选取同一操作点位的具有相同标签的多张静态样本图，进行加权平均，生成对应操作点位的加权平均子图；
8.s3：二值分类器训练：将每个操作点位的多个加权平均子图和对应的标签分别输入到二值分类器队列中的对应分类器进行模型训练，获得训练后的二值分类器队列；
9.s4：操作过程评估：根据所述操作点位模板，参照s1和s2，从实时监控视频中提取每个操作点位的多帧静态样本图，并计算加权平均子图，依次输入到训练后的二值分类器队列，获得每个操作点位的每个加权平均子图是否为有效操作的识别结果；
10.s5：根据每个操作点位每个加权平均子图对应的识别结果，按照连续操作过程的评价标准，实现对操作过程的实时评估。
11.进一步地，所述的s2中的加权平均子图的计算公式为：
[0012][0013]
其中,gi为第i个操作点位对应的加权平均子图，p
i k
为第i个操作点对应的第k帧静态样本图，k∈[-3，3]。
[0014]
进一步地，所述的s3中的二值分类器队列由多个同质的卷积网络构成，每个卷积网络有8层，分别为：3个核大小依次为11*11、5*5和3*3的卷积层，3个核大小均为2*2的最大池化层，1个全连接层和1个sigmoid层。
[0015]
进一步地，当连续操作过程包括n个操作点位，且该连续操作过程为合规操作的评价标准为n个操作点位依次出现有效操作时，所述s5中对操作过程实时评估的具体步骤如下：
[0016]
按照时间先后顺序，监测到第一个操作点位出现有效操作，即对应的二值分类器输出1后，开始监测第二个操作点位，当第二个操作点位出现有效操作后，开始监测第二个操作点位，以此类推，直至第n个操作点位出现有效操作，则该连续操作过程为合规操作；否则，为不合规操作。
[0017]
本发明的有益效果如下：
[0018]
本发明利用操作点位模板对监控视频中的每一帧图像样本进行分割，得到多帧静态样本图，并在此基础上，将从同一操作点提取的静态样本图合成为加权平均子图，作为该操作点的运动特征。最后，提出一种二值分类器队列结构，并使用提取的加权平均子图进行模型训练，结合连续操作过程的评价标准，即可实现连续操作过程的实时评估。该方法通过对监控视频数据进行实时处理，实现了对连续操作过程的合规性评价，相对于传统的方法，具有更强的准确性和可扩展性，精度更高。
附图说明
[0019]
图1是本方法的实施流程；
[0020]
图2是操作点位模板实例的示意图；
[0021]
图3是每个二值分类器的网络结构；
[0022]
图4是风险评价状态机实例的示意图；
[0023]
图5是采用危险化学品装卸数据集测试各个模型的测试结果图。
具体实施方式
[0024]
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
[0025]
如图1所示，本发明的基于二值分类器队列结构的连续操作过程评估方法，包括四个具体步骤，
[0026]
s1：静态样本图提取：选择包含所有操作点位在内的监控场景的图片作为操作点位模板，并根据操作点位模板中各个操作点位的位置，从离线的连续操作视频中，提取出每个操作点位的多帧静态样本图，并为每帧静态样本图标记是否包含有效操作的标签。当为有效操作时，标记标签为1；当操作为无线操作时，标记标签为0。以危险化学品装卸过程中泵房阀门操作过程评估为例，操作点位模板如图2所示，共包含4个操作点位。对每一个固定的监控摄像头，只需要设计一个操作点位模板。
[0027]
s2：加权平均子图合成：选取同一操作点位的具有相同标签的多张静态样本图，进行加权平均，生成对应操作点位的加权平均子图。
[0028]
该步骤中，加权平均子图计算公式为：
[0029][0030]
其中,gi为第i个操作点对应的加权平均子图，p
i k
为第i个操作点对应的第k帧静态样本图，k∈[-3，3]。
[0031]
例如，以危险化学品装卸过程中泵房阀门操作过程评估为例，假如步骤s1中提取的第一个操作点位的静态样本图为50帧，其中第1～7帧的标签为0，第8～42帧的标签为1，第43～50帧的标签为0。则可以选择将第1～7帧加权平均，8～14帧加权平均，15～21帧加权平均，等等，分别生成加权平均子图。
[0032]
s3：二值分类器训练：将每个操作点位的多个加权平均子图和对应的标签分别输入到二值分类器队列中的对应分类器进行模型训练，获得训练后的二值分类器队列。
[0033]
该步骤中，所述二值分类器队列由多个同质的卷积网络构成，每个卷积网络由8层，分别为：3个核大小依次为11*11、5*5和3*3的卷积层，3个核大小均为2*2的最大池化层，1个全连接层和1个sigmoid层，如图3所示。
[0034]
s4：操作过程评估：根据所述操作点位模板，参照s1和s2，从实时监控视频中提取每个操作点位的多帧静态样本图，并计算加权平均子图，依次输入到训练后的二值分类器队列，获得每个操作点位的每个加权平均子图是否为有效操作的识别结果。
[0035]
s5：根据每个操作点位每个加权平均子图对应的识别结果，按照连续操作过程的评价标准，实现对操作过程的实时评估。
[0036]
每个连续操作过程的评价标准各不相同，可以根据不同的连续操作过程进行设计。作为其中一种实施方式，当连续操作过程包括n个操作点位，且该连续操作过程为合规操作的评价标准为n个操作点位依次出现有效操作时，所述s5中对操作过程实时评估的具体步骤如下：
[0037]
按照时间先后顺序，监测到第一个操作点位出现有效操作，即对应的二值分类器输出1后，开始监测第二个操作点位，当第二个操作点位出现有效操作后，开始监测第二个操作点位，以此类推，直至第n个操作点位出现有效操作，则该连续操作过程为合规操作；否则，为不合规操作。
[0038]
下面将使用危险化学品装卸数据集对本发明的方法与现有的评估方法进行对比。
[0039]
危险化学品装卸数据集是来自于一家精细化工企业的实际监控视频。该数据集中的每个操作过程包含四个连续阀门操作：1)开泵，2)打开进气包手动阀，3)打开气包排空阀，4)打开气包出料阀。该连续操作过程为合规操作的评价标准如图4所示，评估结果分为三类：i级风险，ii级风险和不合规操作。
[0040]
该连续操作过程的数据集包含2040个完整的操作过程，分布于1000个监控视频文件中，每个视频文件大小为500mb。在实验中，共提取1600万静态样本图，并将其中对应于1500个操作过程的样本用于二值分类器训练，剩余的540个操作过程对应的样本用于测试。本技术提出的方法与四种现有方法的对比实验结果如图5的受试者工作特征曲线(roc曲线)所示，横轴为错误接受率，纵轴为正确接受率。从图5可以看出，与现有可用于操作过程评估的方法相比，本发明的方法具有更好的识别性能。
[0041]
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然
可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。