一种架空索道脱索检测方法及系统与流程

1.本发明涉及图像数据识别技术领域，具体涉及一种架空索道脱索检测方法及系统。


背景技术：

2.脱索指运行中的钢丝绳从轨道中或托亚索伦上脱落，是客运索道常见的一种事故，其后果通常是高空滞留、线路震荡等。脱索的原因有钢丝绳的运行受阻靠贴力或附着力减小、轨道偏移、支撑物失效等。索道在运行的过程中，由于现场的地形复杂，工作人员很难对索道进行现场检查，确保索道安全运行。
3.为了实现上述目的，本领域技术人员通常借助霍夫直线检测对采集的索道运行的视频帧图像进行索道脱索检测，但当索道上有缆车运行时，索道不是直线存在，往往会发生变形，说明在索道运行过程中，难以通过霍夫直线检测对脱索情况进行区分，即现有方法的适用范围较小，只有在索道是直线情况下，可以对脱索进行精确检测，但往往当索道上有缆车运行时，很难对索道脱索精准的检测，进而容易发生脱索事件。


技术实现要素：

4.本发明提供一种架空索道脱索检测方法及系统，该方法对脱索过程中的变化特征进行提取，实现了对索道在脱索较为轻微情况下，及时检测到脱索情况，进行及时修正，避免由于脱索导致危险事件的发生。
5.本技术实施例提供了一种架空索道脱索检测方法，包括以下步骤：获取索道运行视频的帧图像；并获取每帧图像中的每个缆车与缆绳的交点；将距每个交点不同邻接距离的交点数量与对应邻接距离的比值作为每个交点对应邻接距离的交点密度；按照邻接距离递增的方式依次获取每个交点对应的交点密度序列；其中，邻接距离表示每个交点分别至两侧邻接交点的距离的加和；将每个交点密度序列中第一个密度转折的元素作为截止元素；获取每个交点密度序列中第一个元素至截止元素形成的子交点密度序列；将每个子交点密度序列中元素的均值作为对应交点的密度值；对所有交点的密度值进行降序排序，获取每个交点的密度值对应的第一序列号；获取每个交点密度序列中每个交点与其相邻两个交点连线的夹角；将每个交点与其相邻两个交点连线的夹角，与所有夹角均值的比值作为所述交点的变形程度；将所有交点的变形程度进行降序排序，获取每个交点的变形程度对应的第二序列号；根据每个交点对应的第一序列号与第二序列号的差值获取每个交点的第一脱索概率；根据每个交点的第一脱索概率判断所述交点是否发生脱索。
6.在一实施例中，所述第一个密度转折的元素是按照以下步骤获取：获取每个交点密度序列中每个元素对应所在次序之前的所有元素的均值；并获取每个交点密度序列中每个元素的值与对应所述均值的差值的绝对值；
将每个元素对应的所述绝对值与对应的所述均值的比值作为所述元素的截止率；对每个交点密度序列中从第一元素开始计算截止率，将第一出现截止率大于截止阈值对应的元素作为第一个密度转折的元素。
7.在一实施例中，所述第一脱索概率是按照以下步骤获取：获取每个交点对应的第一序列号与第二序列号的差值的绝对值；根据每个交点对应所述差值的绝对值与所有差值的绝对值的均值获取每个交点的第一脱索概率。
8.在一实施例中，判断所述交点是否发生脱索的过程中，还包括：获取连续的每帧图像中同一交点对应的第一脱索概率，形成每个交点对应的第一脱索概率序列；根据每个交点对应的第一脱索概率序列中相邻后一个元素与相邻前一个元素的差值，以及第一脱索概率序列中元素的均值，获取每个交点的第二脱索概率；再根据每个交点的第二脱索概率判断所述交点是否发生脱索。
9.在一实施例中，根据每个交点的第二脱索概率对所述交点是否发生脱索是按照以下步骤判断：当每个交点的第二脱索概率大于0.7时，则对应的交点出发生了脱索。
10.在一实施例中，所述交点密度序列获取的过程中，按照邻接距离递增的方式，依次计算每个邻接距离对应的交点密度，直至交点密度序列中的元素数量等于所有交点数量时，停止计算。
11.此外，为实现上述目的，本发明还一种架空索道脱索检测系统，包括：数据采集模块，用于获取索道运行视频的帧图像；并获取每帧图像中的每个缆车与缆绳的交点；数据处理模块，用于将距每个交点不同邻接距离的交点数量与对应邻接距离的比值作为每个交点对应邻接距离的交点密度；按照邻接距离递增的方式依次获取每个交点对应的交点密度序列；其中，邻接距离表示每个交点分别至两侧邻接交点的距离的加和；将每个交点密度序列中第一个密度转折的元素作为截止元素；获取每个交点密度序列中第一个元素至截止元素形成的子交点密度序列；将每个子交点密度序列中元素的均值作为对应交点的密度值；对所有交点的密度值进行降序排序，获取每个交点的密度值对应的第一序列号；获取每个交点密度序列中每个交点与其相邻两个交点连线的夹角；将每个交点与其相邻两个交点连线的夹角，与所有夹角均值的比值作为所述交点的变形程度；将所有交点的变形程度进行降序排序，获取每个交点的变形程度对应的第二序列号；数据判断模块，用于根据每个交点对应的第一序列号与第二序列号的差值获取每个交点的第一脱索概率；根据每个交点的第一脱索概率判断所述交点是否发生脱索。
12.本发明的有益效果是：本发明在提供的一种架空索道脱索检测方法及系统，该方法基于采集的索道运行视频的每帧图像，对每帧图像中缆车和缆绳的变化特征进行提取，主要是利用获取每帧图像中的每个缆车与缆绳的交点，通过计算每个交点对应邻接距离的交点密度而获取每个交点的密度值，通过每个交点密度值来反映对应缆车的密集程度，若缆车密集程度是指缆车越位于缆绳的中间位置，密集程度越大。其次，将每个交点与其相邻两个交点连线的夹角，与所有夹角均值的比值作为所述交点的变形程度；通过变形程度反映每个缆车所处缆绳位
置脱索的异常程度，且可以对脱索与缆车重量导致的缆绳变形进行区分，同时减小了缆绳本身的弯曲程度对脱索检测的影响，最后通过缆车密集程度和该缆车所在缆绳处的变形程度匹配来综合判断缆车所在缆绳处的脱索情况，从而实现了在脱索较为轻微的情况下，及时检测到脱索情况，进行修正，避免由于脱索导致危险事件的发生。
13.本发明还对多个连续的帧图像通过计算得到每个交点的第一脱索概率，形成每个交点对应的第一脱索概率序列；根据每个交点对应的第一脱索概率序列中相邻后一个元素与相邻前一个元素的差值，以及第一脱索概率序列中元素的均值，获取每个交点的第二脱索概率；根据每个交点的第二脱索概率，能够进一步准确的判断出该交点处的脱索情况，确保索道的安全运行，避免由于脱索导致危险事件的发生。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明的一种架空索道脱索检测方法的实施例总体步骤的流程示意图；图2为链式图结构示意图；图3为缆线及缆线上交点的示意图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.本发明提供的一种架空索道脱索检测方法及系统，主要基于所采集的索道运行视频的每帧图像，对脱索过程中的变化特征进行提取，一方面可以区分脱索与缆车重量使得缆绳变形的情况，另一方面实现了对索道在脱索较为轻微情况下，及时检测到脱索情况，进行及时修正，避免由于脱索导致危险事件的发生。
18.参见图1所示，在本技术的实施例中，本技术的架空索道脱索检测方法，包括以下步骤：s1、获取索道运行视频的帧图像；并获取每帧图像中的每个缆车与缆绳的交点；在本实施例中，通过采集索道运行视频的每帧图像对脱索进行识别，同时由于脱索导致的缆绳变形和缆车导致的变形相近，通过采集索道运行视频的帧图像对两种情况进行区分，为此，需要利用摄像头采集索道运行的视频，获得索道运行视频的每帧图像；其中，索道运行视频是通过安装在索道支架上的摄像头，对钢丝绳的运行情况进行实时监控，而后在电脑上利用matlab工具软件从提供的视频中提取帧图像。
19.在本实施例中，通过预先训练好的语义分割网络对每帧图像中的目标进行识别，预先训练一个语义分割网络，该语义分割网络可以对图像中的缆车区域和缆绳区域分割出来，通过语义分割网络对每帧图像进行分割，得到每帧图像中的所有缆车区域b，通过语义
分割网络得到每帧图像中的缆绳区域a，每个缆车与缆绳均存在一个交点记为，其中，i的范围是1-n，n表示的是缆车数量，则表示每个缆车与缆绳的交点。
20.s2、获取每个交点对应的交点密度序列；将距每个交点不同邻接距离的交点数量与对应邻接距离的比值作为每个交点对应邻接距离的交点密度；按照邻接距离递增的方式依次获取每个交点对应的交点密度序列；其中，邻接距离表示每个交点分别至两侧邻接交点的距离的加和；需要说明的是，对于缆绳来说，其缆绳上等间距地分布着缆车，通常越靠近中间位置的缆车对应位置的变形越大，但是脱索会破坏这种规律。越靠近中间区域的缆绳的变形程度越大的性质在所有的帧图像中均有体现，因此首先通过对每帧图像进行分析得到异常区域。由于异常区域是通过缆车密集程度和缆绳的变形程度匹配得到的，因此首先对每个视频帧图像中的缆车密集进行计算，这里的缆车密集程度是指缆车越位于缆绳的中间位置，密集程度越大。
21.在本实施例中，首先计算每帧图像中相邻交点之间的距离，得到交点距离，进而得到交点距离序列c，将每个交点视为图结构中的节点，将相邻交点之间的距离作为节点边值，得到链式图结构，参见图2所示，图2中a、b、c为交点，也可理解为节点，而交点与交点之间的距离表示边值；由于每个交点对应的是缆车，因此可以用每个交点的密度来表示每个缆车的密度，通过邻接距离扩大计算的方法，计算得到每个交点的密度。
22.需要说明的是，邻接距离表示每个交点分别至两侧邻接交点的距离的加和，其中，邻接交点表示相邻交点或者间隔同数量交点的交点；也就是将邻接距离表示每个交点分别至两侧相邻交点的距离加和，或表示每个交点分别至两侧间隔同数量交点的距离的加和；将每个交点分别至两侧相邻交点的距离的加和作为第一邻接距离，将每个交点分别至两侧间隔1个交点的距离的加和作为第二邻接距离，依次类推，将每个交点分别至两侧间隔i-1个交点的距离的加和作为第i邻接距离。计算每个交点的不同邻接距离的交点范围中的交点密度，由于同一密度中的密度值相近，当某个邻接距离对应的目标交点的交点密度发生较大变化时，停止邻接距离的扩大。
23.具体的，每个交点的第一邻接距离的交点是指与该交点相邻的交点，参见图2所示，交点c的第一邻接距离的交点数量为2个交点包括交点b和交点d；第一邻接距离为交点c到达交点b的距离与到达交点d距离的加和，或交点b和交点d之间的距离。每个交点的第二邻接距离的交点数量是指每个交点的分别至第二个相邻交点的交点数量，第二个相邻交点表示与目标交点间隔1个交点的交点，其每个交点的第二邻接距离的交点数量为4个交点，依次类推，每个交点的第i邻接距离的交点数量表示2
×
i。需要说明的是，在每帧图像中，如果某个邻接距离只有一个交点，参见图2，交点c的第二邻接距离交点只有一个为交点a，那就只计算c的第一一邻接距离，停止计算；另外，缆车是一直在动的，在边上的缆车运动到中间位置时，就可以左右都有节点进行计算。每帧图像只对中间区域的0.8区域的交点进行计算交点密度；例如：缆绳长10米，每次只对中间的8米内的交点进行计算。
24.其中，在正常情况下，缆车是均布分布在缆绳上的，但当出现了脱索时，即缆绳和缆车之间不是绝对固定，由于松动发生了偏移，会导致脱索区域的缆车不是均匀分布，因此首先计算不同邻接距离的交点密度。
25.具体每个交点对应邻接距离的交点密度计算公式如下：
式中，表示每个交点第i邻接距离，i取值为1、2、3
……
；如图2所示，交点b的第一邻接距离为7，交点c的第一邻接距离为14；表示每个交点在第i邻接距离的交点数量；如图2所示，第一邻接距离的交点数量为2；表示每个交点在第i邻接距离的交点密度；具体交点密度主要是利用交点两侧在一定邻接距离范围内的交点数量来表示，可以理解为，单位面积或单位长度交点数量越多，密度越大，表示的邻接距离即为长度，表示的是在表示的邻接距离内的点的数量，为此，用表示每个交点在第i邻接距离的交点密度。
26.需要说明的是，由于每个交点对应的是缆车，因此可以用每个交点的密度来表示每个缆车的密度，通过邻接距离扩大计算的方法，计算得到每个交点的密度，计算每个交点的不同邻接距离交点范围中的交点密度，由于同一密度中的密度值相近，因此当某个邻接距离对应的目标交点的交点密度发生较大变化时，停止邻接距离的扩大。需要说明的是，发生脱索的缆车对应区域的密度会发生变化，因此通过交点密度序列计算的方法，将可能的脱索区域划分出来，方便后续的计算。
27.在本实施例中，通过计算可以得到每个交点的不同邻接距离的交点密度，形成每个交点的交点密度序列，交点密度序列的第一个元素为交点的第一邻接距离交点密度，第二个元素为交点的第二邻接距离交点密度。其中，交点密度序列获取的过程中，按照邻接距离递增的方式，依次计算每个邻接距离对应的交点密度时，直至交点密度序列中的元素数量等于所有交点数量时，停止计算。
28.s3、获取每个交点的密度值对应的第一序列号；将每个交点密度序列中第一个密度转折的元素作为截止元素；获取每个交点密度序列中第一个元素至截止元素形成的子交点密度序列；将每个子交点密度序列中元素的均值作为对应交点的密度值；对所有交点的密度值进行降序排序，获取每个交点的密度值对应的第一序列号；需要说明的是，计算得到每个交点的交点密度序列后，考虑到同一密度区域的交点密度相近，因此将交点密度序列中的第一个密度转折点作为截止点，对序列进行切分，将前一段序列从第一邻域密度开始的序列，作为子交点密度序列，通过子交点密度序列得到目标交点的密度值。则第一个密度转折的元素是按照以下步骤获取：获取每个交点密度序列中每个元素对应所在次序之前的所有元素的均值；并获取每个交点密度序列中每个元素的值与对应均值的差值的绝对值；将每个元素对应的绝对值与对应的均值的比值作为元素的截止率；对每个交点密度序列中从第一元素开始计算截止率，将第一出现截止率大于截止阈值对应的元素作为第一个密度转折的元素。
29.在本实施例中，每个交点密度序列中每个元素的截止率计算公式如下：
式中，表示每个交点密度序列中第j个元素的截止率；j表示序列中的元素序号，其取值为1、2、3
……
；表示第j个元素的值；表示前j-1个元素中第个元素的值，q表示具体的序号，为了便于区分，采用与j不同的字母表示；表示前j-1个元素的值的均值；表示每个交点密度序列中第j个元素的截止率；主要是用当前元素的值与当前次序之前元素的均值的差值，与当前元素之前均值的比值来表示截止率，将截止率大于截止阈值为0.3对应的元素作为第一个密度转折的元素。其中，的差值越大，则表示对应元素处的突变较大，截止率就为了计算得到哪个元素的值和之前的值相比表示突变程度，为此通过计算表示每个交点密度序列中第j个元素的截止率。
30.将第一个密度转折的元素之前的序列称之为子交点密度序列，计算子交点密度序列中元素的值的均值作为目标交点的密度值。其中，本实施例中截止阈值是根据经验而获取的，操作者可根据实际情况进行设置。
31.在本实施例中，对交点按照链式图结构赋予交点不同的标识符号，通过计算可以得到每个交点的交点密度，进而获得交点密度序列，对交点密度序列进行降序排序，赋予1-n的排名，即得到了每个交点对应的第一序列号。
32.s4、获取每个交点的变形程度对应的第二序列号；获取每个交点密度序列中每个交点与其相邻两个交点连线的夹角；将每个交点与其相邻两个交点连线的夹角，与所有夹角均值的比值作为交点的变形程度；将所有交点的变形程度进行降序排序，获取每个交点的变形程度对应的第二序列号；需要说明的是，通过计算得到了缆绳的每个交点的交点密度，进而计算每个交点的变形程度，根据交点密度与交点变形程度的对应关系，计算得到每个视频帧图像中的异常交点。如果不存在脱索交点，则交点处的交点密度越大，该处的变形程度也越大，但脱索交点本身就是弯曲交点，导致形成某个交点的交点密度较小，但变形程度却较大的情况。因此通过计算交点密度和变形程度的对应关系异常的交点作为可能脱索交点，可能脱索区域是指该处也可能是由于缆绳本身就是弯曲状导致的。
33.在本实施例中，具体每个交点的缆绳变形程度计算过程如下：当某个交点与邻域两个交点的角度差值越大时，该处的变形程度越大。因此可以通过计算每个交点与相邻两个交点连线形成的角度与所有形成角度的均值的比值作为目标交点的变形程度，比值大于1的说明发生了变形，比值越大，变形程度越大。角度是指图像上的目标交点与左右两个交点的连线，形成的角度，如图3所示：曲线为缆线，以交点b作为目标交点，连接交点ab和交点bc形成角abc，计算目标交点的变形程度，将目标交点的变形程度大于1的，认为目标交点是由于脱索造成的，排除缆绳本身弯曲的干扰。计算得到每个交点的变形程度后，将所有变形
程度的降序排序可以得到每个交点的变形程度对应的第二序列号。
34.s5、根据每个交点对应的第一序列号与第二序列号判断交点是否发生脱索；根据每个交点对应的第一序列号与第二序列号的差值获取每个交点的第一脱索概率；根据每个交点的第一脱索概率判断交点是否发生脱索。
35.需要说明的是，计算得到了每个交点的第一序列号，即当前得到了每个交点的第一序列号和第二序列号，若针对同一交点的第一序列号和第二序列号的差值越大，对应交点处产生脱索的概率越大。其中，第一脱索概率是按照以下步骤获取：获取每个交点对应的第一序列号与第二序列号的差值的绝对值；根据每个交点对应差值的绝对值与所有差值的绝对值的均值获取每个交点的第一脱索概率。
36.在本实施例中，每个交点处的脱索概率的计算公式如下：式中，a表示每个交点对应的第一序列号与第二序列号的差值的绝对值，r表示所有差值的绝对值的均值，p1表示当前交点的第一脱索概率；a与r的差值的绝对值越大，则对应交点处产生脱索的概率越大，从而计算的p1的值越大；当某个交点的当前排名差值a大于r时，该交点存在脱索概率p1。需要说明的是，脱索是某个交点位置偏离，该处排名差变大，例如：交点a、b、c、d的第一序列号分别为1、2、3、4和第二序列号分别为1、2、3、4，则第一序列号与第二序列号的差值的绝对值差分别为0、0、0、0，表示没有异常；有脱索时，交点a、b、c、d的第一序列号分别为1、2、3、4和第二序列号分别为1、2、4、3，其第一序列号与第二序列号的差值的绝对值差分别为0、0、1、1，则均值为0.5，小于0.5的前两个元素明显没有脱索概率。
37.进一步，判断交点是否发生脱索的过程中，还包括：获取连续的每帧图像中同一交点对应的第一脱索概率，形成每个交点对应的第一脱索概率序列；根据每个交点对应的第一脱索概率序列中相邻后一个元素与相邻前一个元素的差值，以及第一脱索概率序列中元素的均值，获取每个交点的第二脱索概率；再根据每个交点的第二脱索概率判断交点是否发生脱索。
38.在本实施例中，由于索道在运行过程中，是索道的运动带动缆车的运动，因此第一帧图像上的交点所在位置和第二帧图像上对应交点所在位置不同，但通过交点密度排名可以得到相邻帧图像上的对应交点，得到对应交点后，对多个连续的帧图像通过计算得到每个交点的第一脱索概率p1，形成p1序列，即每个交点对应一个p1序列，计算p1序列中后一个元素与前一个元素的差值，如果差值大于0，计数为1，计数完成后，计算p1序列中1值与序列中元素数量的比值，用f表示，f越大，对应交点处存在脱索的概率越大。计算得到每个交点处的第二脱索概率的公式如下：式中，e表示第一脱索概率序列p1的均值，f表示该交点处对应的第一脱索概率序列的差值序列中相邻后一个元素大于相邻前一个元素的数量的占比，p2表示交点的第二脱索概率。通过计算的将差值序列中原本不明显的概率，与第一脱索概率序列p1的均值e相乘，将其第一脱索概率序列均值放大，尽可能的突显出每个交点的脱索概率，便于精确的判断出该交点处的脱索情况。
39.根据每个交点的第二脱索概率对交点是否发生脱索是按照以下步骤判断：当每个交点的第二脱索概率大于脱索概率阈值0.7时，则对应的交点出发生了脱索，需要及时停止运营，进行检修，避免危险事件的发生。需要说明的是，本实施例中脱索概率阈值是根据经验设置的，操作人员可根据实际情况进行设置。
40.在本技术的实施例中，本技术还提供一种架空索道脱索检测系统，包括：数据采集模块，用于获取索道运行视频的帧图像；并获取每帧图像中的每个缆车与缆绳的交点；数据处理模块，用于将距每个交点不同邻接距离的交点数量与对应邻接距离的比值作为每个交点对应邻接距离的交点密度；按照邻接距离递增的方式依次获取每个交点对应的交点密度序列；将每个交点密度序列中第一个密度转折的元素作为截止元素；获取每个交点密度序列中第一个元素至截止元素形成的子交点密度序列；将每个子交点密度序列中元素的均值作为对应交点的密度值；对所有交点的密度值进行降序排序，获取每个交点的密度值对应的第一序列号；获取每个交点密度序列中每个交点与其相邻两个交点连线的夹角；将每个交点与其相邻两个交点连线的夹角，与所有夹角均值的比值作为交点的变形程度；将所有交点的变形程度进行降序排序，获取每个交点的变形程度对应的第二序列号；数据判断模块，用于根据每个交点对应的第一序列号与第二序列号的差值获取每个交点的第一脱索概率；根据每个交点的第一脱索概率判断交点是否发生脱索。
41.本发明在提供的一种架空索道脱索检测方法及系统，该方法基于采集的索道运行视频的每帧图像，对每帧图像中缆车和缆绳的变化特征进行提取，主要是利用获取每帧图像中的每个缆车与缆绳的交点，通过计算每个交点对应邻接距离的交点密度而获取每个交点的密度值，通过每个交点密度值来反映对应缆车的密集程度，若缆车密集程度是指缆车越位于缆绳的中间位置，密集程度越大。其次，将每个交点与其相邻两个交点连线的夹角，与所有夹角均值的比值作为交点的变形程度；通过变形程度反映每个缆车所处缆绳位置脱索的异常程度，且可以对脱索与缆车重量导致的缆绳变形进行区分，同时减小了缆绳本身的弯曲程度对脱索检测的影响，最后通过缆车密集程度和该缆车所在缆绳处的变形程度匹配来综合判断缆车所在缆绳处的脱索情况，从而实现了在脱索较为轻微的情况下，及时检测到脱索情况，进行修正，避免由于脱索导致危险事件的发生。
42.本发明还对多个连续的帧图像通过计算得到每个交点的第一脱索概率，形成每个交点对应的第一脱索概率序列；根据每个交点对应的第一脱索概率序列中相邻后一个元素与相邻前一个元素的差值，以及第一脱索概率序列中元素的均值，获取每个交点的第二脱索概率；根据每个交点的第二脱索概率，能够进一步准确的判断出该交点处的脱索情况，确保索道的安全运行，避免由于脱索导致危险事件的发生。
43.以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。