一种动车四角锁开闭状态检测方法及系统与流程

1.本发明属于图像识别领域，尤其涉及一种检测动车四角锁开闭状态的方法以及系统。


背景技术：

2.四角锁一般位于动车裙板上，属于裙板的安全锁。当锁位于开启状态时，裙板就可以打开。当列车运行时，四角锁需要处于锁闭状态，否则会影响列车安全运行。同时不同部位的四角锁开关朝向是不一致的。
3.现有方式还是依靠人工通过肉眼查看的方式确认四角锁是否打开。人工检验流程为列车低速通过，人站在列车边上(安全界限范围)，通过眼睛查看四角锁的开闭状态，同时用摄像手电筒进行摄像记录。人工查验存在的不足：
4.1、视觉疲劳，容易产生漏看的情况
5.2、要求列车速度不宜太快，否则人眼无法辨别，效率低
6.3、摄像手电筒一般分辨率低，同时人手持拍摄，拍摄的姿态不一定是最佳的。


技术实现要素：

7.有鉴于此，本发明提供一种动车四角锁开闭状态检测方法及系统，能够自动识别判断四角锁的开闭状态。
8.为解决以上技术问题，本发明提供一种动车四角锁开闭状态检测方法，包括：采集动车四角锁图像并切分为若干张子图；确定每张子图中四角锁区域的位置；检测每个四角锁开闭状态标示的位置以及四角锁朝向；根据四角锁开闭状态标示的位置以及四角锁朝向判断四角锁的开关情况，若四角锁的朝向与开状态标示一致则表示四角锁为开，若四角锁的朝向与闭状态标示一致则表示四角锁为关。
9.作为一种改进，所述采集动车四角锁图像并切分为若干张子图包括：设置滑窗，所述滑窗从图像起始处滑动至图像末尾，每滑动一次就将滑窗中框选的图像切为一张子图。
10.作为一种优选，所述滑窗与图像等高，宽为l，滑动步长为l/2。
11.作为一种改进，所述在确定每张子图中四角锁区域的位置之后，检测每个四角锁开闭状态标示的位置以及四角锁朝向之前，找出重复记录同一四角锁的子图，每组重复的子图均保留其中一张。
12.作为一种改进，所述找出重复记录同一四角锁的子图的方法包括：将所有四角锁区域的坐标转换到整张四角锁图像所在的坐标系下；将相邻子图中四角锁区域的坐标交集的绝对值除以相邻子图中四角锁区域的坐标并集的绝对值，若其大于阈值则认为二者重复记录同一四角锁。
13.作为一种改进，所述将所有四角锁区域的坐标转换到整张四角锁图像所在的坐标系下的方法包括：为每个四角锁的区域位置标注区域坐标(x,y,w,h)，其中y为列车运行方向坐标,x为列车高度方向坐标，w为四角锁区域的宽度，h为四角锁区域的高度；
14.利用公式
15.xm＝xm16.ym＝l1/2
×
(m-1) ym17.wm＝wm18.hm＝hm19.将第m张子图中四角锁的区域坐标转换到切分前的整车图像坐标系中，其中xm为四角锁区域在第m张子图中列车高度方向坐标，ym为四角锁区域在第m张子图中列车运行方向坐标，hm为四角锁区域在第m张子图中的高度，wm为四角锁区域在第m张子图中的宽度，xm为四角锁区域在整车图像中列车高度方向坐标，ym为四角锁区域在整车图像中列车行进方向坐标,hm为四角锁区域在整车图像中的高度，wm为角锁区域在整车图像中的宽度。
20.作为一种优选，为每张子图赋予置信度c，每组重复的子图均保留置信度最高的一张。
21.作为一种改进，如果检测四角锁开闭状态标示的位置失败，则通过该四角锁的朝向与标准数据库中该四角锁开闭状态标示的位置判断该四角锁的开关情况。
22.作为一种改进，标准数据库的生成方法为：记录每个四角锁的若干个状态信息，所述状态信息包括开状态标示位置分类信息、闭状态标示位置分类信息、四角锁朝向分类信息；对记录的每个四角锁的所有状态信息中的分类信息按照其分类进行统计，并将出现频次最高的分类信息分别记为标准分类信息。
23.本发明还提供一种动车四角锁开闭状态检测系统，包括：图像采集模块，用于采集动车四角锁图像；四角锁状态检测模块，用于检测采集到的图像中四角锁的开闭状态。
24.作为一种改进，所述四角锁状态检测模块包括：四角锁区域定位模块，用于确定四角锁区域位置；四角锁姿态检测模块，用于检测四角锁朝向；标示检测模块，用于检测四角锁开闭状态标示；四角锁状态判断模块，用于根据四角锁姿态检测模块和标示检测模块的检测结果对四角锁的开闭状态进行判断。
25.作为一种改进，所述四角锁状态检测模块还包括用于将采集到的图像信息分割成若干张子图的子图切分模块。
26.作为一种改进，还包括：标准数据生成模块，用于统计每个四角锁的若干个状态信息，并对记录的每个四角锁的所有状态信息中的分类信息按照其分类进行统计，并将出现频次最高的分类信息分别记为标准分类信息；当四角锁状态检测模块无法检测四角锁开闭状态标示或者四角锁朝向时，调用标准分类信息进行判断。
27.本发明的有益之处在于：通过非接触式光学成像方法获取到高分辨率的四角锁的二维图像数据，通过深度学习定位算法，从整车厢大图中提取出四角锁区域(含状态字符“开”“关”)位置，然后在子图(子图表示单张图内只包含一个四角锁)内采用深度学习算法提取出四角锁的朝向和开、关字符，通过判定四角锁的朝向和字符开关的相对位置关系，判断四角锁的开闭状态。同时针对字符不清晰或者掉漆的情况下，设计了相应的算法逻辑，保障这些情况下，仍然可以判断出四角锁的状态，从而使得系统的检测准确率更高，系统适应性更好。
28.1、适用于非接触式测量，对被检测目标无损伤。
29.2、算法智能检测，全自动化，提升检测效率。
30.3、普适性高，便于推广应用。
31.4、高分辨率相机，可以适应很快的车速，同时图像数据也有利于存档。
32.5、基于人工智能算法和数据统计算法，算法适应性好，检测准确率高。
附图说明
33.图1为本发明中四角锁的示意图。
34.图2为本发明的流程图。
35.图3为本发明中标准数据库的生成流程图。
36.图4为本发明的结构原理图。
具体实施方式
37.为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。
38.图1为四角锁的示意图，包括四角锁本体以及开闭状态标示。本发明中四角锁本体上有三角形的箭头朝向标志，开闭状态标示包括“开”和“关”的字符。开闭状态标示布置在四角锁本体外的圆周上一般位于四角锁本体的上、下、左、右四个方位。本发明中，将四角锁本体上方定义为0位，下方定义为2位，左方定义为3位，右方定义为1位。当然，每个四角锁只有开闭两个状态，因此每个四角锁的开闭状态标示只占两个方位，并且两个方位一般都是连续的。如图1所示，开状态标示位于四角锁本体的上方，关状态标示位于四角锁的右方，而朝向标志指向右方即表示四角锁的状态为关。
39.尽管四角锁的形式是多种多样的，但开闭状态指示原理都与本发明中列举的四角锁类似，因此本发明也不局限与上述列举的四角锁类型。
40.如图2的流程图所示，本发明提供一种动车四角锁开闭状态检测方法，包括：
41.s1采集动车四角锁图像并切分为若干张子图；采集流程是图像采集模块固定不动，当列车通过时，图像采集模块开始采集图像并保存到服务器上。并且本实施例中，切分子图采用滑窗的方法，即设置滑窗，所述滑窗从图像起始处滑动至图像末尾，每滑动一次(除第一幅子图外)就将滑窗中框选的图像切为一张子图。滑窗与采集到图像等高，宽为l，滑动步长为l/2。
42.s2确定每张子图中四角锁区域的位置；本实施例中，采用ai模型yolov3来确定四角锁区域的位置。利用具体实施方式开篇对四角锁的定义进行模型训练得到模型a，模型训练完毕后只要输入子图模型a就能自动定位四角锁区域的位置。当然，也可以采用其他的ai算法或者其他形式来确定四角锁的位置，本发明中不做限制，只要能确定四角锁区域的位置即可。
43.s3找出重复记录同一四角锁的子图，每组重复的子图均保留其中一张；本步骤的目的在于去重，避免反复识别造成系统资源浪费并产生错误数据，其具体步骤包括：
44.s31将所有四角锁区域的坐标转换到整张四角锁图像所在的坐标系下,具体为：
45.s311为每个四角锁的区域位置标注区域坐标(x,y,w,h)，其中y为列车运行方向坐标,x为列车高度方向坐标，w为四角锁区域的宽度，h为四角锁区域的高度；同时在本步骤中标注区域坐标的同时赋予该四角锁区域置信度c。
46.s312利用公式
47.xm＝xm48.ym＝l1/2
×
(m-1) ym49.wm＝wm50.hm＝hm51.将第m张子图中四角锁的区域坐标转换到切分前的整车图像坐标系中，其中xm为四角锁区域在第m张子图中列车高度方向坐标，ym为四角锁区域在第m张子图中列车运行方向坐标，hm为四角锁区域在第m张子图中的高度，wm为四角锁区域在第m张子图中的宽度，xm为四角锁区域在整车图像中列车高度方向坐标，ym为四角锁区域在整车图像中列车行进方向坐标,hm为四角锁区域在整车图像中的高度，wm为角锁区域在整车图像中的宽度。
52.s32将相邻子图中四角锁区域的坐标交集的绝对值除以相邻子图中四角锁区域的坐标并集的绝对值，若其大于阈值则认为二者重复记录同一四角锁。
53.依次判断相邻两张图中四角锁的坐标关系。由于已经将四角锁还原到同一个坐标系下，因此两张子图中，如果是同一个四角锁，其坐标区域是存在重叠的。
54.例如第m张图四角锁坐标分别为lock_m(xm，ym，wm，hm)，置信度c_m,和第m 1张图中四角锁坐标为lock_m 1(x
m 1
，y
m 1
，w
m 1
，h
m 1
)，置信度c_m 1。判断lock_m和lock_m 1是否为同一个四角锁，计算的是lock_m和lock_m 1的交集和并集的比值即交并比。算法设定一个阈值th1，当两个四角锁交并比＞th1时，说明两个区域重合度较好，属于同一个四角锁。公式如下：
55.其中iou为交并比。
56.s33由于每个四角锁都有一个置信度，因此根据置信度来选择保留的对象。假设c_m 1》c_m,则保留lock_m 1反之则保留lock_m。
57.s4检测每个四角锁开闭状态标示的位置以及四角锁朝向；本实施例中此步骤仍然采用ai算法来实现，即用于识别四角锁开闭状态标示位置的ai模型unet、用于识别四角锁朝向的ai模型yolov3，其分别为模型b和模型c。同理，也可以采用其他的ai算法或者其他形式来检测每个四角锁开闭状态标示的位置以及四角锁朝向，本发明中不做限制。
58.将去重后的子图输入模型b和模型c，模型b会输出每个四角锁子图上“开”、“关”的位置信息open(x1,y1,w1,h1)、close(x2,y2,w2,h2)。模型c会输出四角锁内三角形的区域信息triangle(x3,y3,w3,h3)和朝向direction。
59.s5根据四角锁开闭状态标示的位置以及四角锁朝向判断四角锁的开关情况，若四角锁的朝向与开状态标示一致则表示四角锁为开，若四角锁的朝向与闭状态标示一致则表示四角锁为关。
60.判断open和close分别位于triangle的方位(上/下/左/右)，如果open方位和direction方位一致，则四角锁为开；如果close方位和direction方位一致，则四角锁为闭。
61.另外，由于各种原因例如四角锁开闭状态标示被磨损等，模型b和模型c无法反馈四角锁开闭状态的标示或者四角锁朝向，为了保证系统的鲁棒性，本发明还具有：
62.s6如果检测四角锁开闭状态标示的位置失败，则通过该四角锁的朝向与标准数据
库中该四角锁开闭状态标示的位置判断该四角锁的开关情况。
63.标准数据库的生成方法为：
64.s61记录每个四角锁的若干个状态信息，所述状态信息包括开状态标示位置分类信息、闭状态标示位置分类信息、四角锁朝向分类信息；
65.s62对记录的每个四角锁的所有状态信息中的分类信息按照其分类进行统计，并将出现频次最高的分类信息分别记为标准分类信息。
66.如图3所示，根据上述步骤中得到的每个四角锁和“开”、“关”字符的方位信息，记录n趟数据。则每个四角锁得到n个状态信息{state1，state2,
…
statei，staten}。其中staten＝{open_direction_n(开方向),close_direction_n(闭方向),triangle_direction_n(四角锁朝向)}。
67.open_direction_n、close_direction_n、triangle_direction_n可能的取值分别为{1(上)、2(下)、3(左)、4(右)}。因此，利用概率统计的方法，统计n个open_direction中数值几最多，则将该值记录为“开”字符的正常位置信息，并存入数据库。同理可以计算出“关”字符和四角锁方向的位置信息。
68.例如open_direction＝{3 3 1 3 3 3 1 3 null 3}，则3出现次数为7,1出现次数为2，null代表当次检测失败。从而可以得出3出现频次最高，“开”的位置状态为左。
69.因此当模型b或者模型c无法输出，且标准数据库已经生成，则判断标准数据库中“开”的方位和当前检测到的四角锁朝向是否一致。如果标准数据库没有生成，则直接将该四角锁的子区域图上传到信息化展示平台，以供人工核查。
70.如图4所示，本发明还提供一种动车四角锁开闭状态检测系统，包括：
71.图像采集模块，用于采集动车四角锁图像；本实施例中，图像采集模块采用的是线阵ccd，采集二维图像。当然也可以选择其他类型的图像采集模块。
72.四角锁状态检测模块，用于检测采集到的图像中四角锁的开闭状态，具体包括：
73.子图切分模块，用于将采集到的图像信息分割成若干张子图；
74.四角锁区域定位模块，用于确定四角锁区域位置；
75.四角锁姿态检测模块，用于检测四角锁朝向；
76.标示检测模块，用于检测四角锁开闭状态标示；
77.四角锁状态判断模块，用于根据四角锁姿态检测模块和标示检测模块的检测结果对四角锁的开闭状态进行判断。
78.四角锁状态检测模块接受来自于图像采集模块的图像数据，一般标准动车分为8编组和16编组，8编组整车长度达到200米左右，因此整车图像非常长，无法一次加载到算法里进行检测。因此通过滑窗的方式，将图像切割成具有重叠区域的小图，在每张小图上利用深度学习目标检测网络-yolov5来检测图像中四角锁的位置。由于相邻两个窗口存在交叉的情况，因此加入了四角锁筛选算法，同一个位置只保留一个检测框。
79.得到四角锁位置后，将包含有四角锁和开闭状态标示的子区域图提取出来，在子区域图上(此时四角锁和字符在子区域图的占比就很大了，解决小目标问题)利用深度学习目标检测网络-yolov3检测“开”字符的位置、“关”字符的位置。在子图区域上，利用深度学习语义分割网络-unet，分割出四角锁内三角形，并判断三角形的朝向。
80.基于检测出的四角锁的朝向，以及开关的位置，判断出四角锁的开关状态。
81.标准数据生成模块，用于统计每个四角锁的若干个状态信息，并对记录的每个四角锁的所有状态信息中的分类信息按照其分类进行统计，并将出现频次最高的分类信息分别记为标准分类信息；当四角锁状态检测模块无法检测四角锁开闭状态标示或者四角锁朝向时，调用标准分类信息进行判断。
82.如果字符不完整或者表示朝向的三角形不清晰，导致标示检测模块和四角锁姿态检测模块无法有效检测，则可以通过与标准数据库中记录的姿态信息进行对比，来判断当前检测出来的四角锁状态。当判断出四角锁状态后，系统会将结果上传给信息化平台，以供客户查看。
83.由于标准数据自动生成需要n趟数据，因此如果在标准数据还未自动生成前，单次检测出现了字符不完整导致的无法判别检测状态的，本发明中，系统会自动将该子区域图推送给复核人员，复核人员通过人工查验的方式，对系统无法判定的图像进行确认，从而保障系统不会出现漏检的情况。
84.以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。