火车刹车链条的状态识别方法及装置、设备、存储介质与流程

1.本技术涉及智能轨道交通技术领域，尤其涉及一种火车刹车链条的状态识别方法及装置、设备、存储介质。


背景技术：

2.计算机视觉处理技术作为智能轨道交通领域中的一项重要技术，受到越来越多的重视。计算机视觉处理技术是用各种成像系统来代替视觉感官作为视觉信息的输入手段，由计算机代替大脑来完成处理与解释。计算机视觉处理技术不仅能使机器感知环境中的几何信息(例如，位置、大小、形状、运动等)，还能对这些信息进行描述、解释和理解。因此，计算机视觉处理技术可以为智能轨道交通领域提供了直观方便的分析手段。
3.在火车运行之前，需要确保各个车厢之间的刹车链条为松弛状态，避免在火车在运行阶段出现事故。其中，当刹车链条处于紧绷状态时，车厢之间处于刹车状态，此时火车不可以启动运行；当刹车链条处于松弛状态时，车厢之间处于正常状态，此时火车可以启动运行。目前都是通过人工巡检的方式，对每节车厢的刹车链条进行检查，这种传统方式不仅消耗人力，效率低下，还严重拖长了火车的发车时间，进而影响整个轨道交通的运行效率。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种火车刹车链条的状态识别方法及装置、设备、存储介质。
5.第一方面，本技术提供了一种火车刹车链条的状态识别方法，包括：采集火车刹车链条的图像数据；
6.对所述图像数据进行特征提取，得到多种不同尺寸的特征图；
7.将每一种尺寸的特征图输入至对应的预测模型中，得到对应的预测数据，所述预测数据包括第一预测数据和第二预测数据，所述第一预测数据包括所述特征图中的每一个像素点对应刹车链条的分类概率，所述第二预测数据包括所述像素点所对应的刹车链条上多个预设关键点的预测坐标偏移量；
8.根据每一个预测模型所输出的所述分类概率和所述预测坐标偏移量，确定在该预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标；
9.对各个预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标进行去重处理，得到所述刹车链条上多个预设关键点在所述图像数据中对应的最优预测坐标；
10.根据所述刹车链条上多个预设关键点在所述图像数据中对应的最优预测坐标，确定在所述图像数据中的刹车链条状态。
11.第二方面，本技术提供了一种火车刹车链条的状态识别装置，包括：图像采集模块，用于采集火车刹车链条的图像数据；
12.特征提取模块，用于对所述图像数据进行特征提取，得到多种不同尺寸的特征图；
13.模型预测模型，用于将每一种尺寸的特征图输入至对应的预测模型中，得到对应的预测数据，所述预测数据包括第一预测数据和第二预测数据，所述第一预测数据包括所述特征图中的每一个像素点对应刹车链条的分类概率，所述第二预测数据包括所述像素点所对应的刹车链条上多个预设关键点的预测坐标偏移量；
14.坐标计算模块，用于根据每一个预测模型所输出的所述分类概率和所述预测坐标偏移量，确定在该预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标；
15.链条去重模块，用于对各个预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标进行去重处理，得到所述刹车链条上多个预设关键点在所述图像数据中对应的最优预测坐标；
16.状态确定模块，用于根据所述刹车链条上多个预设关键点在所述图像数据中对应的最优预测坐标，确定在所述图像数据中的刹车链条状态。
17.第三方面，本技术提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
18.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
19.本实施例提供的火车刹车链条的状态识别方法，将图像数据进行特征提取后得到多种尺寸的特征图，将每一种尺寸的特征图输入对应的预测模型中。可见本技术为了适用于图像数据中不同大小的刹车链条，将图像数据处理为不同尺寸的特征图，然后用对应的预测模型进行处理，进而得到多种候选预测目标，从多种候选预测目标选择出最优预测目标，提高刹车链条状态的识别准确率。而且本技术基于预测模型实现对刹车链条状态的自动识别，不需要人工巡检，省去了繁重低效的工作，可以有效改善火车的运行效率，确保火车运行安全。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1为本技术实施例提供的火车刹车链条的状态识别方法的流程示意图；
23.图2为本技术实施例中对所述图像数据进行特征提取的流程示意图；
24.图3为本技术实施例中对所述图像数据进行特征提取和利用预测模型输出预测数据的一个实例的流程示意图；
25.图4为本技术实施例中刹车链条上所选取的多个关键点的示意图；
26.图5a为本技术实施例中步骤s140的流程示意图；
27.图5b为本技术实施例中步骤s142的流程示意图；
28.图6a为本技术实施例中确定先验链条宽度的流程示意图；
29.图6b为本技术实施例中确定先验链条松弛度的流程示意图；
30.图7为本技术实施例中步骤s150的流程示意图；
31.图8为本技术实施例中步骤s160的流程示意图；
32.图9为本技术实施例中正样本提取过程的流程示意图；
33.图10为本技术实施例中火车刹车链条的状态识别装置的结构框图。
具体实施方式
34.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.图1为本技术实施例提供的一种火车刹车链条的状态识别方法，如图1所示，该方法包括如下步骤：
36.s110、采集火车刹车链条的图像数据；
37.在具体实施时，可以在火车轨道旁架设高清摄像头，用高清摄像头拍摄包含火车刹车链条的图像，然后从高清摄像头中采集图像数据即可。
38.可理解的是，后续步骤中用到的预测模型在预先训练过程中所采用的训练样本也可以是从火车轨道旁的高清摄像头中采集的图像，并对图像进行标记，具体可以标记刹车链条的多个关键点的坐标、刹车链条是松弛状态还是紧绷状态等信息。
39.s120、对所述图像数据进行特征提取，得到多种不同尺寸的特征图；
40.可理解的是，尺寸可以包括13*13、26*26、52*52等多种尺寸。例如，在该步骤中提取出四种尺寸的特征图，后续步骤中需要用到的预测模型为四个，一种尺寸的特征图输入到一个对应的预测模型中。
41.在具体实施时，假定特征图的尺寸的种类为n，n为大于等于2的整数，如图2所示，步骤s120中对所述图像数据进行特征提取的过程可以包括如下步骤：
42.s121、对所述图像数据进行多次下采样处理，得到第一特征图，所述第一特征图的尺寸为第一尺寸；
43.在具体实施时，可以采用卷积模块和/或瓶颈模块(即bottleneck模块)进行特征提取，每一种提取方式具有不同的优点，其中bottleneck模块的计算量低，可以提高整个方法流程的运行效率。
44.例如，参见图3，对尺寸为416x416的输入图像进行5次下采样处理，得到尺寸为13x13的第一特征图。在每一次下采样之后，图像的尺寸就会变小，第一次下采样(即图中的conv2d_3x3(208x208))之后得到的图像尺寸为208x208，第二次下采样(即图中bottleneck(104x104))后得到的图像尺寸为104x104，第三次下采样(图中bottleneck(52x52))后的图像尺寸为52x52，第四次下采样(图中bottleneck(26x26))后得到的图像尺寸为26x26，第五次下采样(图中bottleneck(13x13))后得到的图像尺寸为13x13。
45.s122、基于所述第一特征图，确定第二特征图至第n特征图中的任一特征图；其中，确定第i特征图的过程包括：对第i-1特征图进行上采样，得到第i尺寸的特征图；将所述第i尺寸的特征图与所述多次下采样处理中产生的第i尺寸的特征图拼接，得到第i特征图，所
述第i特征图为第i尺寸，i越大，第i尺寸越大；i为大于等于2且小于等于n的整数。
46.举例来说，参见图3，n为3，尺寸为416x416的图像经过卷积模块(卷积核大小为3x3)的一次特征提取和bottleneck模块的四次特征提取后，得到尺寸大小为13x13的第一特征图。然后对第一特征图进行上采样，得到尺寸为26x26的特征图，然后将该特征图与第三次bottleneck模块的下采样处理后得到的尺寸为26x26的特征图拼接，得到第二特征图。对第二特征图进行上采样，得到尺寸为52x52的特征图，将该特征图与第二次bottleneck模块的下采样处理后得到的尺寸为52x52的特征图拼接，得到第三特征图。至此，得到三种尺寸的特征图：尺寸大小为13x13的第一特征图、尺寸为26x26的第二特征图和尺寸为52x52的第三特征图。当然，在每一次上采样处理之前，可以对特征图进行一定的卷积处理，优化特征图。
47.s130、将每一种尺寸的特征图输入至对应的预测模型中，得到对应的预测数据，所述预测数据包括第一预测数据和第二预测数据，所述第一预测数据包括所述特征图中的每一个像素点对应刹车链条的分类概率，所述第二预测数据包括所述像素点所对应的刹车链条上多个预设关键点的预测坐标偏移量；
48.其中，所述预测模型的数量与所述特征图的尺寸种类相同；
49.例如，如图3所示，n为3，将第一特征图输入第一个预测模型中，将第二特征图输入第二个预测模型中，将第三特征图输入至第三个预测模型中，每一个预测模型都会输出预测数据。
50.在具体实施时，多个预设关键点可以根据具体情况选取，例如，图4中，选取弧形的刹车链条ab的一个端点a、另一个端点b、两个端点之间的直线段ab的中垂线与刹车链条的交点d。在图中的c点为直线段ab的中点，直线段ab与直线段cd垂直，e点为直线段cd的中点，由于刹车链条为弧形，因此e点也是刹车链条的最小外接矩形的中心，故可以用e点作为锚点，所谓锚点是可以代表整个链条的点，当对图像数据不断进行特征提取，整个链条在特征图中会缩为一个像素点或几个像素点，此时将这个像素点或这几个像素点的中心作为锚点表示整个链条。
51.s140、根据每一个预测模型所输出的所述分类概率和所述预测坐标偏移量，确定在该预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标；
52.可理解的是，特征图中的每一个像素点表征图像数据中对应多个像素点。在一张图像数据中，有的像素点为刹车链条的像素点，有的像素点是其他事物的像素点。在特征图中的每一个像素点都有对应的分类概率，在特征图中一个像素点对应的分类概率较高，就意味着在图像数据中对应的多个像素点为刹车链条的像素点的概率很高；如果在特征图中一个像素点对应的分类概率较低，就意味着在图像数据中对应的多个像素点很可能是其他事物的像素点。例如，在一个特征图中，在第十行、第十一行与第三列、第四列交叉的四个像素点对应的分类概率均大于80％，说明这四个像素点在图像数据中对应的多个像素点是刹车链条的像素点，而其余像素点与刹车链条无关。可见，通过特征图中分类概率的大小，可以确定图像数据中刹车链条的位置。
53.可理解的是，特征图中每一个像素点除了对应分类概率之外，还对应多个预设关键点的预测坐标偏移量，因此在依据分类概率确定了图像数据中刹车链条的位置后，可以依据多个预设关键点的预测坐标偏移量确定图像数据中多个关键点的坐标。
54.基于上述理解，如图5a所示，步骤s140可以包括如下步骤：
55.s141、根据每一个预测模型所输出的所述分类概率，确定在该预测模型下所述刹车链条在所述图像数据中对应像素点的坐标；
56.可理解的是，步骤s141即是确定图像数据中刹车链条的位置的过程。所述刹车链条在所述图像数据中对应像素点的坐标可以为特征图中分类概率大于预设概率值的各个像素点的中心在所述图像数据中对应的多个像素点的中心，也就是所述图像数据中刹车链条的锚点的坐标，因此步骤s141中所确定的坐标为图像数据中锚点的坐标。
57.s142、根据该预测模型下所述刹车链条在所述图像数据中对应像素点的坐标和所述多个预设关键点的预测坐标偏移量，确定在该预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标。
58.其中，关键点的预测坐标偏移量为关键点的坐标相对于锚点的坐标偏移量。
59.可理解的是，步骤s142即是确定图像数据中多个关键点的坐标的过程，这里依据每一预测模型所输出的预测数据，计算出图像数据中多个关键点的坐标，并将该坐标称之为该预测模型下的候选预测坐标。
60.在具体实施时，由于刹车链条状态包括松弛状态和紧绷状态，为了提高刹车链条状态的识别准确率，还可以为每一个预测模型设置两种状态：松弛状态和紧绷状态，也就是说，每一个预测模型可以分别针对这两种状态输出预测数据，即一个预测模型可以输出松弛状态下的预测数据和紧绷状态下的预测数据，而每一种状态下的预测数据都包括特征图中的每一个像素点为刹车链条的分类概率和该像素点对应的所述刹车链条上多个预设关键点的预测坐标偏移量，即每一个预测模型输出的所述预测数据均包括在每一个先验链条松弛度下的所述第一预测数据和所述第二预测数据。例如，尺寸为13x13的第一特征图输入第一个预测模型之后得到松弛状态下的预测数据(尺寸为13x13x7)和紧绷状态下的预测数据(尺寸为13x13x7)，每一个状态下特征图中的每一个像素点都对应7个值，这7个值均可包括1个分类概率和6个坐标偏移量(包括三个关键点各自的横坐标偏移量和纵坐标偏移量)。
61.针对一个预测模型可以输出两种刹车链条状态下的预测数据这一设置，在特征图中的一个像素点对应着两个分类概率，可选用其中较大的分类概率判断特征图中的像素点是否对应图像数据中刹车链条的像素点，即当特征图中一个像素点的两个分类概率中的较大分类概率很高，则说明该像素点在图像数据中对应的多个像素点为刹车链条的概率很高，此时将较大分类概率对应的刹车链条状态作为图像数据中对应的多个像素点的刹车链条状态，即将较大分类概率对应的刹车链条状态作为图像数据中刹车链条的状态。而当特征图中一个像素点的两个分类概率中的较大分类概率很低，则说明该像素点在图像数据中对应的多个像素点为其他事物的像素点。可见，步骤s141中在确定在一个预测模型下所述刹车链条在所述图像数据中对应像素点的坐标(即确定所述图像数据中所述刹车链条的位置)时，依据的是该预测模型下的一个像素点对应的两个分类概率中的较大分类概率。
62.基于以上理解，参见图5b，步骤s142可以具体包括：根据为该预测模型预先设置的先验链条宽度、较大分类概率所对应的先验链条松弛度、在较大分类概率所对应的先验链条松弛度下多个预设关键点的预测坐标偏移量以及该预测模型下所述刹车链条在所述图像数据中对应像素点的坐标，确定在该预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标。
63.其中，所述先验链条宽度为所述火车刹车链条的一个端点到另一个端点之间的最短距离的先验值，所述先验链条宽度与所述预测模型一一对应；所述先验链条松弛度为表征所述刹车链条松弛程度的先验值，为每一个预测模型预先设置的先验链条松弛度包括松弛状态对应的第一先验链条松弛度和紧绷状态对应的第二先验链条松弛度。例如，当采用上述a、b和d点作为刹车链条的关键点时，链条松弛度可以为中垂线段长度cd和链条宽度ab的比值。
64.其中，一个预测模型所对应特征图的尺寸越小，为该预测模型预先设置的先验链条宽度可以越大。
65.可理解的是，两点之间的最短距离为两点所形成的直线段的长度。
66.其中，所述较大分类概率为针对同一像素点，所述第一先验链条松弛度对应的分类概率和所述第二先验链条松弛度对应的分类概率中的较大值。
67.例如，特征图中的一个像素点对应的两种状态下的一个分类概率60％，该分类概率对应第一先验链条松弛度，另一个分类概率为90％，该分类概率对应第二先验链条松弛度，由于90％很高，特征图中的这个像素点对应着图4中刹车链条的多个像素点，则依据步骤s142计算候选预测坐标时较大分类概率所对应的先验链条松弛度为第二先验链条松弛度。可理解的是，此时图4中刹车链条的所有像素点一般都对应第二先验链条松弛度。
68.在具体实施时，若选择端点a作为一个关键点，步骤s142可以采用第一公式计算在一个预测模型下所述刹车链条上一个端点在所述图像数据中对应的候选预测坐标，所述第一公式包括：
69.xa＝x
c-w
×
sigmoid(t
xa
)
70.ya＝y
c-w
×s×
sigmoid(t
ya
)
71.式中，(xa，ya)为所述刹车链条上一个端点a在所述图像数据中对应的候选预测坐标，(xc，yc)为所述刹车链条在所述图像数据中对应像素点的坐标，(t
xa
，t
ya
)为在较大分类概率所对应的先验链条松弛度下所述刹车链条上一个端点a的预测坐标偏移量，w为该预测模型对应的先验链条宽度，s为较大分类概率所对应的先验链条松弛度；
72.在具体实施时，若选择端点b作为另一个关键点，步骤s142可以采用第二公式计算在一个预测模型下所述刹车链条上另一个端点在所述图像数据中对应的候选预测坐标，所述第二公式包括：
73.xb＝xc w
×
sigmoid(t
xb
)
74.yb＝y
c-w
×s×
sigmoid(t
yb
)
75.式中，(xb，yb)为所述刹车链条上另一个端点b在所述图像数据中对应的候选预测坐标，(t
xb
，t
yb
)为在较大分类概率所对应的先验链条松弛度下所述刹车链条上另一个端点b的预测坐标偏移量；
76.在具体实施时，若选择交点d作为第三个关键点，步骤s142可以采用第三公式计算在一个预测模型下所述交点在所述图像数据中对应的候选预测坐标，所述第三公式包括：
77.xd＝xc w
×
(sigmoid(t
xd
)-0.5)
78.yd＝yc w
×s×
sigmoid(t
yd
)
79.式中，(
xd
，yd)为交点d在所述图像数据中对应的候选预测坐标，(t
xd
，t
yd
)为在较大分类概率所对应的先验链条松弛度下所述交点d的预测坐标偏移量。
80.在具体实施时，所述先验链条宽度为预先确定，如图6a所示，具体的确定过程可以包括：
81.s001a、根据用于训练所述预测模型的每一个训练样本中多个预设关键点的坐标，计算该训练样本对应的链条宽度；
82.s002a、对用于训练所述预测模型的所有训练样本对应的链条宽度进行聚类，得到与所述预测模型的数量一致的先验链条宽度。
83.其中，聚类方式可以采用k均值聚类。
84.例如，有三个预测模型，则需要聚类得到三个先验链条宽度：w1、w2、w3，其中w1最大，而w3最小，将w1分配给尺寸为13x13的第一特征图对应的第一个预测模型中，将w2分配给尺寸为26x26的第二特征图对应的第二个预测模型中，将w3分配给尺寸为52x52的第三特征图对应的第三个预测模型中。由于第一特征图的尺寸最小，将其还原到图像数据的尺寸时需要经过较大的上采样，因此为第一预测模型分配最大的先验链条宽度；第三特征图的尺寸最大，将其还原到图像数据的尺寸时需要经过较小的上采样，因此为第三预测模型分配最小的先验链条宽度。
85.在具体实施时，所述先验链条松弛度也为预先确定，如图6b所示，具体的确定过程可以包括：
86.s001b、根据用于训练所述预测模型的每一个训练样本中多个预设关键点的坐标，计算该训练样本对应的链条松弛度；
87.s002b、对用于训练所述预测模型的所有训练样本对应的链条松弛度进行聚类，得到所述第一先验链条松弛度和所述第二先验链条松弛度。
88.其中，聚类方式也可以采用k均值聚类。
89.可理解的是，由于在训练样本中标记出每一个关键点的坐标，因此可以根据标记信息计算出每一个训练样本对应的链条松弛度和链条宽度。
90.例如，先验链条宽度和先验链条松弛度的分配方式如下表1所示：
91.表1先验链条宽度和先验链条松弛度的分配表
[0092][0093]
上表中，s1为第一先验链条松弛度，s2为第二先验链条松弛度。
[0094]
s150、对各个预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标进行去重处理，得到所述刹车链条上多个预设关键点在所述图像数据中对
应的最优预测坐标；
[0095]
可理解的是，基于各个预测模型，都可以得到对应的候选预测坐标，而该步骤s150解决的问题就是确定基于哪一个预测模型得到的候选预测坐标作为最优预测坐标。例如，n＝3，基于第一个预测模型得到多个关键点的候选预测坐标构成第一预测坐标集g1＝{(x1，y1)，(x2,y2)
……
}，基于第二个预测模型得到多个关键点的候选预测坐标构成第二预测坐标集g2＝{(x1，y1)，(x2,y2)
……
}，基于第三个预测模型得到多个关键点的候选预测坐标构成第三预测坐标集g3＝{(x1，y1)，(x2,y2)
……
}，需要从中选择一个预测坐标集作为最优预测坐标集。
[0096]
在具体实施时，如图7所示，步骤s150中去重处理的过程可以包括：针对任意两个预测模型，判断一个预测模型下任意一个关键点是否在另一个预测模型下多个预设关键点所构成的区域内，若是，则将较大分类概率对应的候选预测坐标作为所述最优预测坐标。
[0097]
例如，选取端点a、b和交点d作为关键点，针对第一个预测模型和第二个预测模型，若第一预测坐标集g1中的任意一个关键点(a、b、或d)位于第二预测坐标集g2中三个关键点构成的三角形区域内，则认为第一预测坐标集g1和第二预测坐标集g2对应同一个刹车链条，此时保留较大分类概率对应的候选预测坐标(例如，第一预测坐标集g1)，并将其作为所述最优预测坐标，删除较小分类概率对应的预测数据。
[0098]
可理解的是，由于在利用高清摄像头拍摄包含刹车链条的图像时，有的刹车链条离高清摄像头比较近，这样在图像数据中刹车链条比较大；而有的刹车链条离高清摄像头比较远，这样在图像数据中刹车链条比较小。如果将各种图像数据均只处理成一种尺寸的特征图，用一个预测模型进行预测处理，就会造成有些图像数据的预测坐标的误差较大，影响刹车链条状态的识别准确率。为了适用于图像数据中不同大小的刹车链条，将图像数据处理为不同尺寸的特征图，然后用对应的预测模型进行处理，进而得到多种候选预测目标，从多种候选预测目标选择出最优预测目标，提高刹车链条状态的识别准确率。
[0099]
s160、根据所述刹车链条上多个预设关键点在所述图像数据中对应的最优预测坐标，确定在所述图像数据中的刹车链条状态。
[0100]
在具体实施时，当采用端点a和b、交点d作为关键点时，步骤s160可以具体包括如图8所示的步骤：
[0101]
s161、根据所述刹车链条上两个端点和交点在所述图像数据中对应的最优预测坐标，计算所述图像数据中的链条松弛度，所述链条松弛度为中垂线段长度和链条宽度的比值；
[0102]
其中，所述链条宽度为所述刹车链条上两个端点在所述图像数据中的最短距离|ab|，所述中垂线段长度为两个端点之间直线段的中点与所述交点在所述图像数据中的最短距离|cd|。
[0103]
s162、判断所述比值是否大于预设比值阈值，若是，则所述图像数据中的刹车链条状态为松弛状态。
[0104]
可理解的是，若比值|cd|/|ab|小于或等于预设比值阈值，则图像数据中的刹车链条状态为紧绷状态。
[0105]
在具体实施时，预测模型为预先训练得到，参见图3，预测模型的具体结构可以包括两个卷积模块，例如，一个卷积模块的卷积核的尺寸为3x3，一个卷积模块的卷积核的尺
寸为1x1。在预测模型的训练过程中，可以根据损失函数对预测模型的损失值进行计算，进而根据损失值对预测模型中的各项参数进行调整。具体的损失函数可以包括：
[0106][0107]
式中，l
total
为该预测模型的总损失，为预设平衡参数，n
cls
是训练所述预测模型所需的所有训练样本的数量，l
cls
()为分类损失函数，yi和分别是为第i个训练样本预先标记的刹车链条状态和将第i个训练样本输入至所述预测模型后输出的分类概率，n
reg
为所述所有训练样本中正样本的数量，l
reg
()为回归损失函数，t
pi
和分别为关键点p在第i个训练样本中的真实坐标和将第i个训练样本输入至所述预测模型后输出的预测坐标。
[0108]
可理解的是，刹车链条状态yi包括0(紧绷状态)和1(松弛状态)，若对每一个预测模型设置两个先验链条松弛度时，每一个预测模型需要针对两个先验链条松弛度分别进行训练，从而得到针对两个先验链条松弛度分别输出预测数据，因此针对每一个先验链条松弛度，预测模块均可依据上述损失函数对预测模型中的参数进行调整。
[0109]
在上述损失函数中提到了正样本，正样本的选取过程如图9所示，可以包括如下步骤：
[0110]
s010、根据每一个先验链条松弛度、所述预测模型对应的先验链条宽度和一个训练样本中锚点的坐标，计算在该先验链条松弛度下该训练样本中多个预设关键点的坐标，所述锚点为所述刹车链条的最小外接矩形的中心；
[0111]
举例来说，针对一个训练样本，关键点为两个端点a和b、交点d，为这个训练样本设定一个先验链条松弛度s和一个先验链条宽度|ab|，而s为|cd|/|ab|，因此根据s和|ab|，可以确定|cd|，当cd的中点即锚点的坐标已知，则可以确定根据锚点坐标、|cd|、|ab|确定三个关键点的坐标。
[0112]
s020、确定所计算出的在该先验链条松弛度下该训练样本中多个预设关键点的坐标和多个预设关键点在该训练样本中的真实坐标之间的距离之和；
[0113]
举例来说，计算步骤s010中计算出的a点坐标和训练样本中a点的真实坐标之间的最短距离d1、步骤s010中计算出的b点坐标和训练样本中b点的真实坐标之间的最短距离d2、步骤s010中计算出的d点坐标和训练样本中d点的真实坐标之间的最短距离d3,然后计算距离d1、d2、d3的和。
[0114]
可理解的是，用距离之和可以表示依据先验链条松弛度、先验链条宽度和锚点坐标所确定的矩形框(即刹车链条的最小外接矩形)与训练样本的真实矩形框之间的重合度，距离之和越小，重合度越高，距离之和越大，重合度越低。
[0115]
s030、判断所述距离之和是否小于预设距离阈值，若是，则将该训练样本作为该先验链条松弛度对应的正样本。
[0116]
可理解的是，当距离之和较小时，重合度较高，则将训练样本作为在该先验链条松弛度对应的正样本。
[0117]
在具体实施时，将上述预设距离阈值称之为第一距离阈值，再设置一个大于第一距离阈值的第二距离阈值，当距离之和大于第二距离阈值，则可以将训练样本作为该先验链条松弛度对应的负样本，若距离之和在第一距离阈值和第二距离阈值之间，则忽略该训
练样本。
[0118]
通过以上步骤s010～s030，可以确定每一个先验链条松弛度对应的正样本和负样本，进而用于上述损失函数的计算。
[0119]
本实施例提供的火车刹车链条的状态识别方法，将图像数据进行特征提取后得到多种尺寸的特征图，将每一种尺寸的特征图输入对应的预测模型中。可见本技术为了适用于图像数据中不同大小的刹车链条，将图像数据处理为不同尺寸的特征图，然后用对应的预测模型进行处理，进而得到多种候选预测目标，从多种候选预测目标选择出最优预测目标，提高刹车链条状态的识别准确率。而且本技术基于预测模型实现对刹车链条状态的自动识别，不需要人工巡检，省去了繁重低效的工作，可以有效改善火车的运行效率，确保火车运行安全。
[0120]
如图10所示，本技术实施例提供一种火车刹车链条的状态识别装置，具体可以包括：
[0121]
图像采集模块110，用于采集火车刹车链条的图像数据；
[0122]
特征提取模块120，用于对所述图像数据进行特征提取，得到多种不同尺寸的特征图；
[0123]
模型预测模型130，用于将每一种尺寸的特征图输入至对应的预测模型中，得到对应的预测数据，所述预测数据包括第一预测数据和第二预测数据，所述第一预测数据包括所述特征图中的每一个像素点对应刹车链条的分类概率，所述第二预测数据包括所述像素点所对应的刹车链条上多个预设关键点的预测坐标偏移量；
[0124]
坐标计算模块140，用于根据每一个预测模型所输出的所述分类概率和所述预测坐标偏移量，确定在该预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标；
[0125]
链条去重模块150，用于对各个预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标进行去重处理，得到所述刹车链条上多个预设关键点在所述图像数据中对应的最优预测坐标；
[0126]
状态确定模块160，用于根据所述刹车链条上多个预设关键点在所述图像数据中对应的最优预测坐标，确定在所述图像数据中的刹车链条状态。
[0127]
在具体实施时，所述特征图的尺寸种类为n，n为大于等于2的整数；特征提取模块120包括：
[0128]
第一提取单元，用于对所述图像数据进行多次下采样处理，得到第一特征图，所述第一特征图的尺寸为第一尺寸；
[0129]
第二提取单元，用于基于所述第一特征图，确定第二特征图至第n特征图中的任一特征图；其中，确定第i特征图的过程包括：对第i-1特征图进行上采样，得到第i尺寸的特征图；将所述第i尺寸的特征图与所述多次下采样处理中产生的第i尺寸的特征图拼接，得到第i特征图，所述第i特征图为第i尺寸，i越大，第i尺寸越大；i为大于等于2且小于等于n的整数。
[0130]
在具体实施时，坐标计算模块140具体包括：
[0131]
位置确定单元，用于根据每一个预测模型所输出的所述分类概率，确定在该预测模型下所述刹车链条在所述图像数据中对应像素点的坐标；
[0132]
坐标确定单元，用于根据该预测模型下所述刹车链条在所述图像数据中对应像素点的坐标和所述多个预设关键点的预测坐标偏移量，确定在该预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标。
[0133]
在具体实施时，每一个预测模型输出的所述预测数据均包括在每一个先验链条松弛度下的所述第一预测数据和所述第二预测数据；坐标确定单元具体用于：根据为该预测模型预先设置的先验链条宽度、较大分类概率所对应的先验链条松弛度、在较大分类概率所对应的先验链条松弛度下多个预设关键点的预测坐标偏移量以及该预测模型下所述刹车链条在所述图像数据中对应像素点的坐标，确定在该预测模型下所述刹车链条上多个预设关键点在所述图像数据中对应的候选预测坐标；其中，所述先验链条宽度为所述火车刹车链条的一个端点到另一个端点之间的最短距离的先验值，所述先验链条宽度与所述预测模型一一对应；所述先验链条松弛度为表征所述刹车链条松弛程度的先验值，为每一个预测模型预先设置的先验链条松弛度包括松弛状态对应的第一先验链条松弛度和紧绷状态对应的第二先验链条松弛度，所述较大分类概率为针对同一像素点，所述第一先验链条松弛度对应的分类概率和所述第二先验链条松弛度对应的分类概率中的较大值。
[0134]
在具体实施时，所述装置还包括：
[0135]
先验宽度确定模块，用于根据用于训练所述预测模型的每一个训练样本中多个预设关键点的坐标，计算该训练样本对应的链条宽度；对用于训练所述预测模型的所有训练样本对应的链条宽度进行聚类，得到与所述预测模型的数量一致的先验链条宽度；和/或
[0136]
先验松弛度确定模块，用于根据用于训练所述预测模型的每一个训练样本中多个预设关键点的坐标，计算该训练样本对应的链条松弛度；对用于训练所述预测模型的所有训练样本对应的链条松弛度进行聚类，得到所述第一先验链条松弛度和所述第二先验链条松弛度。
[0137]
在具体实施时，所述多个预设关键点包括所述刹车链条的两个端点以及两个端点之间直线段的中垂线和所述刹车链条的交点。
[0138]
在具体实施时，坐标确定单元采用第一公式计算在一个预测模型下所述刹车链条上一个端点在所述图像数据中对应的候选预测坐标，所述第一公式包括：
[0139]
xa＝x
c-w
×
sigmoid(t
xa
)
[0140]
ya＝y
c-w
×s×
sigmoid(t
ya
)
[0141]
式中，(xa，ya)为所述刹车链条上一个端点a在所述图像数据中对应的候选预测坐标，(xc，yc)为所述刹车链条在所述图像数据中对应像素点的坐标，(t
xa
，t
ya
)为在较大分类概率所对应的先验链条松弛度下所述刹车链条上一个端点a的预测坐标偏移量，w为该预测模型对应的先验链条宽度，s为较大分类概率所对应的先验链条松弛度；
[0142]
和/或，坐标确定单元采用第二公式计算在一个预测模型下所述刹车链条上另一个端点在所述图像数据中对应的候选预测坐标，所述第二公式包括：
[0143]
xb＝xc w
×
sigmoid(t
xb
)
[0144]
yb＝y
c-w
×s×
sigmoid(t
yb
)
[0145]
式中，(xb，yb)为所述刹车链条上另一个端点b在所述图像数据中对应的候选预测坐标，(t
xb
，t
yb
)为在较大分类概率所对应的先验链条松弛度下所述刹车链条上另一个端点b的预测坐标偏移量；
[0146]
和/或，坐标确定单元采用第三公式计算在一个预测模型下所述交点在所述图像数据中对应的候选预测坐标，所述第三公式包括：
[0147]
xd＝xc w
×
(sigmoid(t
xd
)-0.5)
[0148]
yd＝yc w
×s×
sigmoid(t
yd
)
[0149]
式中，(xd，yd)为交点d在所述图像数据中对应的候选预测坐标，(t
xd
，t
yd
)为在较大分类概率所对应的先验链条松弛度下所述交点d的预测坐标偏移量。
[0150]
在具体实施时，所述装置还包括：
[0151]
模型训练模块，用于预先训练预测模型，并在所述预测模型的训练过程中采用预设损失函数对训练样本进行损失计算，所述损失函数包括：
[0152][0153]
式中，l
total
为该预测模型的总损失，为预设平衡参数，n
cls
是训练所述预测模型所需的所有训练样本的数量，l
cls
()为分类损失函数，yi和分别是为第i个训练样本预先标记的刹车链条状态和将第i个训练样本输入至所述预测模型后输出的分类概率，n
reg
为所述所有训练样本中正样本的数量，l
reg
()为回归损失函数，t
pi
和分别为关键点p在第i个训练样本中的真实坐标和将第i个训练样本输入至所述预测模型后输出的预测坐标。
[0154]
在具体实施时，模型训练模块包括：
[0155]
样本分类模块，用于选取正样本，选取过程包括：根据每一个先验链条松弛度、所述预测模型对应的先验链条宽度和一个训练样本中锚点的坐标，计算在该先验链条松弛度下该训练样本中多个预设关键点的坐标，所述锚点为所述刹车链条的最小外接矩形的中心；确定所计算出的在该先验链条松弛度下该训练样本中多个预设关键点的坐标和多个预设关键点在该训练样本中的真实坐标之间的距离之和；判断所述距离之和是否小于预设距离阈值，若是，则将该训练样本作为该先验链条松弛度对应的正样本。
[0156]
在具体实施时，链条去重模块具体用于：针对任意两个预测模型，判断一个预测模型下任意一个关键点是否在另一个预测模型下多个预设关键点所构成的区域内，若是，则将较大分类概率对应的候选预测坐标作为所述最优预测坐标。
[0157]
在具体实施时，状态确定模块具体用于：根据所述刹车链条上两个端点和交点在所述图像数据中对应的最优预测坐标，计算所述图像数据中的链条松弛度，所述链条松弛度为中垂线段长度和链条宽度的比值；其中，所述链条宽度为所述刹车链条上两个端点在所述图像数据中的最短距离，所述中垂线段长度为两个端点之间直线段的中点与所述交点在所述图像数据中的最短距离；判断所述比值是否大于预设比值阈值，若是，则所述图像数据中的刹车链条状态为松弛状态。
[0158]
本技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时上述方法的步骤。
[0159]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0160]
可理解的是，本技术实施例提供的装置、计算机设备、计算机可读存储介质，有关内容的解释、举例、有益效果等部分可以参考上述方法中的相应部分，此处不再赘述。
[0161]
可理解的是，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0162]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0163]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0164]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0165]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。