一种基于Hololens线缆检测识别方法及系统与流程

一种基于hololens线缆检测识别方法及系统
技术领域
1.本发明涉及线缆检测识别技术的领域，尤其是涉及一种基于hololens线缆检测识别方法及系统。


背景技术：

2.线缆在工业领域作为产品能量和信号传输的载体，地位至关重要。在航天产品的装配过程中，存在大量各类型号的线缆，如何确保这些线缆能够正确的被安装到合适的位置至关重要。然而线缆的安装过程往往存在各种误差，安装的质量因人而异，这就给质量一致性保障带来了挑战。这些误差不仅有损产品性能、影响商业用途,而且严重的表观质量甚至会造成后期使用的安全隐患。
3.目前线缆安装检测技术主要依靠人工目测和手触判断的方法，或者以yolo系列为主要代表的目标检测模型来实现线缆安全检测，但由于线缆的实际现场环境和工业条件较差，会造成识别度较低的问题。


技术实现要素：

4.本技术实施例通过提供一种基于hololens线缆检测识别方法及系统，解决了现有技术中因线缆的实际现场环境和工业条件较差，会造成识别度较低的技术问题，实现了能够利用服务端的线缆检测网络对线缆和插座实现目标检测，实现了实时跟踪线缆的移动，能够很好的提高线缆的识别精度以及线缆的实时定位问题。
5.本技术实施例提供了一种基于hololens线缆检测识别方法，包括以下步骤：定位当前场景中插孔的空间位置；识别所述当前场景中线缆类别；模拟出与所述插孔相匹配的线缆指引标志；跟踪并更新所述线缆的移动；其中，所述跟踪并更新所述线缆的移动包括：将所述当前场景中的当前帧图片输送至服务端；利用所述服务端中的线缆检测网络中进行所述线缆和所述插孔的目标检测，所述当前帧图片由hololens眼睛端获取。
6.进一步的，所述将所述当前场景中的当前帧图片输送至服务端，包括：对所述当前帧图片进行编号。
7.进一步的，所述识别方法还包括若所述当前场景发生变化，则丢弃延迟的所述插孔和所述线缆的目标检测框。
8.进一步的，所述线缆检测网络为基于yolov3的多尺度目标检测深度网络。
9.进一步的，所述线缆检测网络中的目标检测模型训练方法包括：采集线缆图片数据，并整理得到图片数据集；对所述图片数据集进行数据集标注，得到标注数据和标注信息一；对所述标注数据进行数据增强，得到增强数据和标注信息二，所述标注信息二由所述标注数据数据增强时所述标注信息进行相应的更新得到；利用k-means算法对所述标注信息二进行处理，得到适合线缆的所述图片数据集的anchor；利用所述yolov3网络对所述图片数据集进行网络训练，得到所述目标检测模型。
10.进一步的，所述目标检测模型的训练方法，还包括：对所述图片数据集进行划分，
得到训练集和测试集；利用所述测试集对所述目标检测模型进行测试评估，得到测试结果；利用所述测试结果对所述目标检测模型的效果测试，所述效果测试的判断基于所述hololens眼睛端是否能够识别线缆的种类。
11.进一步的，所述目标检测模型的训练方法，还包括：判断所述网络训练是否达到预设指标；若未达到所述预设指标，重新对所述图片数据集进行标注并进行数据增强操作。
12.进一步的，所述目标检测模型的训练方法，还包括：结合实时的loss曲线分析所述目标检测模型的训练过程。
13.本技术还提供了一种基于hololens线缆检测识别系统，包括：定位单元，被配置为定位当前场景中插孔的空间位置；识别单元，被配置为识别所述当前场景中线缆类别；模拟单元，被配置为模拟出与所述插孔相匹配的线缆指引标志；跟踪更新单元，被配置为跟踪并更新所述线缆的移动；丢弃单元，被配置为若所述当前场景发生变化，则丢弃延迟的所述插孔和所述线缆的目标检测框；所述跟踪更新单元包括：发送子单元，被配置为将所述当前场景中的当前帧图片输送至服务端；目标检测子单元，被配置为利用所述服务端中的线缆检测网络中进行所述线缆和所述插孔的目标检测，所述当前帧图片由hololens眼睛端获取。
14.进一步的，还包括模型训练单元，被配置为对目标检测模型进行训练，所述模型训练单元包括：采集子单元，被配置为采集线缆图片数据，并整理得到图片数据集；标注子单元，被配置为对所述图片数据集进行数据集标注，得到标注数据和标注信息一；增强子单元，被配置为对所述标注数据进行数据增强，得到增强数据和标注信息二，所述标注信息二由所述标注数据数据增强时所述标注信息进行相应的更新得到；anchor设置子单元，被配置为利用k-means算法对所述标注信息二进行处理，得到适合线缆的所述图片数据集的anchor；网络训练子单元，被配置为利用所述yolov3网络对所述图片数据集进行网络训练，得到所述目标检测模型；划分子单元，被配置为对所述图片数据集进行划分，得到训练集和测试集；测试评估子单元，被配置为利用所述测试集对所述目标检测模型进行测试评估，得到测试结果；效果测试子单元，被配置为利用所述测试结果对所述目标检测模型的效果测试，所述效果测试的判断基于所述hololens眼睛端是否能够识别线缆的种类；判断子单元，被配置为判断所述网络训练是否达到预设指标；再标注增强子单元，被配置为若未达到所述预设指标，重新对所述图片数据集进行标注并进行数据增强操作；分析子单元，被配置为结合实时的loss曲线分析所述目标检测模型的训练过程。
15.本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
16.1、基于hololens眼睛端获取插孔和线缆的信息，并可以模拟出与插孔相匹配的线缆指引标志，并同时可以利用线缆检测网络对线缆实现跟踪和更新，能够很好的提高线缆的识别精度以及实时定位的问题，使得线缆在安装过程中实现高精度、规范化的要求。
附图说明
17.图1为本技术实施例中一种基于hololens线缆检测识别方法的流程图；
18.图2为本技术实施例中线缆的跟踪和更新方法的流程图；
19.图3为本技术实施例中线缆识别过程中测试的性能指标结果示意图；
20.图4为本技术实施例中目标检测模型的训练方法的流程图；
21.图5为本技术实施例中目标检测模型训练过程中实时loss曲线变化的部分示意
图；
22.图6为本技术实施例中一种基于hololens线缆检测识别系统的结构示意图；
23.图7为本技术实施例中模型训练单元的结构示意图。
具体实施方式
24.本技术实施例公开了一种基于hololens线缆检测识别方法及系统，解决了现有技术中因线缆的实际现场环境和工业条件较差，会造成识别度较低的技术问题。
25.针对上述技术问题，本技术提供的技术方案总体思路如下：
26.本技术实施例提供了一种基于hololens线缆检测识别方法，所示方法包括：定位当前场景中插孔的空间位置；识别所述当前场景中线缆类别；模拟出与所述插孔相匹配的线缆指引标志；跟踪并更新所述线缆的移动。
27.为使本发明实施例的上述基本方法能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
28.实施例一
29.图1是本技术实施例中一种基于hololens线缆检测识别方法，以下通过具体步骤进行详细说明。
30.s11，定位当前场景中插孔的空间位置。
31.在具体实施中，线缆安装人员可以将hololens设备佩戴至头部，将头部朝向插座的方向，利用hololens可以扫描插座上的二维码来识别插座的类别，由于插孔在插座上的位置是固定的，可以检测出插孔的位置。
32.s12，识别所述当前场景中线缆类别。
33.在具体实施中，线缆的粗细不一，可以通过扫描线缆上文字标签来进行线缆的识别。
34.s13，模拟出与所述插孔相匹配的线缆指引标志。
35.在具体实施中，将识别出插座与线缆进行匹配，然后可以在hololens眼睛端上模拟出线缆与插孔相匹配的指引标志，指引标志可以是通过高亮显示线缆以提醒安装人员对线缆的选择，有利于提高安装人员的安装精准度和规范化。
36.s14，跟踪并更新所述线缆的移动。
37.在具体实施中，在线缆装配的过程中，会有线缆发生移动的情况，需要对线缆进行跟踪和更新。
38.在具体实施中，如图2所示，线缆的跟踪和更新的方法的步骤可以如下所述：
39.s141，将所述当前场景中的当前帧图片输送至服务端。
40.在具体实施中，所述当前帧图片可以是通过所述hololens眼睛端获取，且可以通过高速网络将所述当前帧图片传至局域网内的所述服务端。
41.在具体实施中，可以对获取的所述当前帧图片进行编号，以确保所述服务端检测的目标框能够和所述hololens眼睛端的视频流进行正确的匹配。
42.s142，利用所述服务端中的线缆检测网络中进行所述线缆和所述插孔的目标检测。
43.在具体实施中，所述线缆检测网络中具有预先训练得到目标检测模型，可以利用
所述线缆检测网络中的所述目标检测模型对所述线缆和所述插孔进行目标检测。
44.在具体实施中，所述线缆检测网络为基于yolov3的多尺度目标检测深度网络，yolov3网络具有较快的检测速度、不同细粒度的检测能力以及相对不错的精测精度。
45.在具体实施中，如图3所示的根据不同网络对线缆进行测试的结果。在测试过程中，可以选择yolo v3 tiny、yolo v2 tiny、yolo v2以及yolo v3这四种不同的网络，可以把三种不同类型的线缆头作为每个网络的测试对象，具体地，可以把三种不同类型的线缆头分别分类为类型1、类型2以及类型3，且线缆头是包括头部连接部分和缆线部分，其中，类型1可以是任意的普通的线缆头，类型2可以缆线较为粗的线缆头，类型3可以是在缆线部分做有标记得线缆头，且标记可以是套在缆线上的白色的橡胶套。
46.其中图3中ap表示线缆识别的准确率，precsion表示所有线缆类型在一起的测试时线缆单张图片识别的准确率，recall表示所有线缆类型在一起的检测模型的召回率，average iou表示所有线缆类型在一起的线缆识别的框与标注的框的重合度，map表示所有线缆类型在一起的平均识别精度。
47.从图3中各个网络中的ap指标可以看出利用yolov3的多尺度目标检测深度网络在线缆识别中具有较高的准确率和识别率，且在同一网络中线缆较粗的类型2线缆头和带有标记得类型3线缆头的准确率和识别率更高。
48.且在ap指标较高的前提下，基于yolov3的训练所得到的模型也能够有比较理想的召回率，表明在实际的情况中，漏检的情况比较少，在检测到线缆的目标后，能够比较准确地识别出线缆的种类并且能够有一个比较高的准确率，有比较理想的效果。
49.在具体实施中，可以采用了3个不同尺度的特征图来进行对象检测,同时针对不同的尺度，采用不用的先验框来加快目标的检测速度。
50.在具体实施中，所述服务端可以判断所述hololens眼睛端采集的当前场景是否发生重大变化，若发生了重大变化，则丢弃延迟的所述插孔和所述线缆的目标检测框，从而可以提高用户体验。
51.在具体实施中，由于hololens眼睛端得到服务端回传的目标框是二维图像中的检测框，可以利用2d到3d的空间映射算法，将2d中各个目标映射到3d的虚拟空间中，以达到产生混合虚拟现实的效果。
52.图4所示，本技术实施例中，所述线缆检测网络中的所述目标检测模型可以采用以下方法进行训练。
53.s201，采集线缆图片数据，并整理得到图片数据集。
54.在具体实施中，所述线缆图片数据可以是通过hololens眼睛端采集图片，也可以是通过定点相机的拍摄来采集图片。在采集的过程中，要注意充分考虑实际情况，模拟安装实际情况下的光线、角度、清晰度等问题。
55.在具体实施中，可以采集多种类型的线缆，可以是三种类型、四周类型等。
56.s202，对所述图片数据集进行数据集标注，得到标注数据和标注信息一。
57.在具体实施中，数据集标注过程中可以采用labelimg作为标注工具。
58.s203，对所述标注数据进行数据增强，得到增强数据和标注信息二。
59.在具体实施中，所述标注信息二由所述标注数据数据增强时所述标注信息进行相应的更新得到。
60.在具体实施中，数据增强可以是对所采集到的图片进行随机旋转、随机裁剪、色彩抖动、高斯噪声、水平翻转、竖直翻转等操作。
61.s204，利用k-means算法对所述标注信息二进行处理，得到适合线缆的所述图片数据集的anchor。
62.在具体实施中，利用k-means算法对所述标注信息二进行处理，可以使得更加契合线缆的图片数据集。
63.s205，利用所述yolov3网络对所述图片数据集进行网络训练，得到所述目标检测模型。
64.s206，对所述图片数据集进行划分，得到训练集和测试集。
65.s207，利用所述测试集对所述目标检测模型进行测试评估，得到测试结果。
66.s208，利用所述测试结果对所述目标检测模型的效果测试。
67.在具体实施中，所述效果测试的判断可以基于所述hololens眼睛端是否能够识别线缆的种类，从模型的评价指标来看，通常会采用一些指标来对模型的具体性能进行评价测试。
68.s209，判断所述网络训练是否达到预设指标。
69.s210，若未达到所述预设指标，重新对所述图片数据集进行标注并进行数据增强操作。
70.s211，结合实时的loss曲线分析所述目标检测模型的训练过程。
71.在具体实施中，训练过程中实时的loss曲线部分变化可以如图5所示，以便于测试者实时对训练的过程进行调整。
72.综上所述，基于hololens眼睛端获取插孔和线缆的信息，并可以模拟出与插孔相匹配的线缆指引标志，并同时可以利用线缆检测网络对线缆实现跟踪和更新，能够很好的提高线缆的识别精度以及实时定位的问题，使得线缆在安装过程中实现高精度、规范化的要求。此外，在目标检测模型进行训练过程中，通过在训练过程判断网络训练是否达到预设指标，来重新进行数据增强操作，可以不断的优化模型，以达到最优模型的效果。
73.为使本领域技术人员更好地理解和实现本发明实施例，以下参照图6对一种基于hololens线缆检测识别系统进行相应介绍。
74.实施例二
75.参照图6所示，本技术实施例提供了一种基于hololens线缆检测识别系统，所述识别系统包括：
76.定位单元，被配置为定位当前场景中插孔的空间位置。
77.识别单元，被配置为识别所述当前场景中线缆类别。
78.模拟单元，被配置为模拟出与所述插孔相匹配的线缆指引标志。
79.跟踪更新单元，被配置为跟踪并更新所述线缆的移动；所述跟踪更新单元包括：发送子单元，被配置为将所述当前场景中的当前帧图片输送至服务端；目标检测子单元，被配置为利用所述服务端中的线缆检测网络中进行所述线缆和所述插孔的目标检测，所述当前帧图片由hololens眼睛端获取。
80.丢弃单元，被配置为若所述当前场景发生变化，则丢弃延迟的所述插孔和所述线缆的目标检测框。
81.模型训练单元，被配置为对目标检测模型进行训练。
82.参照图7所示，所述模型训练单元包括：
83.采集子单元，被配置为采集线缆图片数据，并整理得到图片数据集；
84.标注子单元，被配置为对所述图片数据集进行数据集标注，得到标注数据和标注信息一；
85.增强子单元，被配置为对所述标注数据进行数据增强，得到增强数据和标注信息二，所述标注信息二由所述标注数据数据增强时所述标注信息进行相应的更新得到；
86.anchor设置子单元，被配置为利用k-means算法对所述标注信息二进行处理，得到适合线缆的所述图片数据集的anchor；
87.网络训练子单元，被配置为利用所述yolov3网络对所述图片数据集进行网络训练，得到所述目标检测模型；
88.划分子单元，被配置为对所述图片数据集进行划分，得到训练集和测试集；
89.测试评估子单元，被配置为利用所述测试集对所述目标检测模型进行测试评估，得到测试结果；
90.效果测试子单元，被配置为利用所述测试结果对所述目标检测模型的效果测试，所述效果测试的判断基于所述hololens眼睛端是否能够识别线缆的种类；
91.判断子单元，被配置为判断所述网络训练是否达到预设指标；
92.再标注增强子单元，被配置为若未达到所述预设指标，重新对所述图片数据集进行标注并进行数据增强操作；
93.分析子单元，被配置为结合实时的loss曲线分析所述目标检测模型的训练过程。
94.前述实施例一中的一种基于hololens线缆检测识别方法的各种变化方式和具体实施同样适用于本实施例的一种基于hololens线缆检测识别系统，通过前述对一种基于hololens线缆检测识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于hololens线缆检测识别系统，所以为了说明书的简洁，在此不在详述。
95.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
96.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
97.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
98.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
99.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。