一种定位视图影像中车厢承载区域的方法与流程

1.本技术涉及智能工业以及计算机视觉和人工智能图像识别技术领域，具体而言，涉及一种定位视图影像中车厢承载区域的方法。


背景技术：

2.一直以来，车辆运输都是现代物流业中最重要的方式之一。在车辆运输、装卸分拣过程中，出于各种不同的目的需要，通常会涉及相应的对车载货物的检查、抽样检测、称量、评估等。在过去，这些工作一般是人工进行的。而近年来，随着人工智能技术的研究深入，助力了计算机视觉技术的迅速发展和广泛应用。作为一门研究如何使机器“看”的科学；具体来说，计算机视觉技术，就是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等，并进一步通过图形处理，使电脑处理成为更适合人眼观察的技术。虽然，在该技术发展的早期阶段，一些基于人工智能(ai)的计算机视觉技术相关的一些解决方案主要集中在安防安检领域；但事实上随着配套的网络视频技术的发展，计算机视觉技术，特别是现阶段被深入研究的结合人工智能图像识别的计算机视觉技术，在工业生产中可以有着更为广泛的应用潜力。例如，基于现有的网络视频监控技术，利用ai计算机视觉技术代替人工，实现前面述及的车载货物检测、评估等工作的智能化，就是一个很好的切入场景。
3.事实上，也不乏一些利用相关技术实现简单智能化操作的实例报道。然而，相关报道中涉及的方案中，要么是仅能满足简单的需求，要么是适用条件苛刻(其中一些方案甚至需要配套复杂的辅助设施或执行严苛的标准制度规范才能适用)。例如，在运输途中对油罐车辆的识别和监控的应用场景中，对于作为识别对象的货物目标——油罐而言，其图像特征明显，容易提取和识别，是需求较为简单的应用场景(其中案例如cn105373782a)；而在车载货物为不规则物料时(车辆为非封闭的厢式货车)，其中有效图像信息显然就没有前面案例中规整了，其图像特征也不明显，而过于宽泛的识别则不免受到车厢周围其他的图像信息干扰，很难做到准确识别，以及基于准确识别完成所需的检测/评估项目。针对于此，虽然通过控预设规则等控制图像采样的方式或可获得可接受的识别结果。例如，通过严格的作业规范，限定停车和作业区域，以及通过对摄像设备精确地安装调试，尽可能确保获取在偏差允许范围内的包括且尽可能使其仅包括车厢承载区域的图像信息。为减少误差，还可以进一步采取一些配套设备，以辅助这样的图像样本的采集(类似手段如cn111023975a、cn111023976a中所述)。然而，即使如此，也仍存在图像中非车厢承载区域部分的干扰，且即便采用最为精准的截图预处理技术，也很难以预设好的矩形框区域作为车厢承载区域的图像(大多数情况下，车厢承载区域在图像中往往并不呈现为矩形)；而且，更重要的是，上述的方案严格限制了其自身的应用场景，同时加大了部署难度和成本；进一步结合现阶段大多数工业环境，严格来说，其很难具有部署到现实生产环境中的可能。


技术实现要素：

4.有鉴于此，本技术提供一种定位视图影像中车厢承载区域的方法，通过获取目标
图片和在目标图片中定位车厢大致区域和车厢一侧的车轮位置，以及利用所述车轮与车厢的空间位置关系根据所述车轮的位置在车厢大致区域范围内推定车厢承载区域各方向上的边缘界限，最终确定所述车厢承载区域，以解决非封闭厢式货车车厢承载区域图像特征不明显而无法精确识别定位的问题、以及因此可能导致的ai预测失准的问题。
5.一方面，本技术实施例提供一种定位视图影像中车厢承载区域的方法。
6.上述的定位视图影像中车厢承载区域的方法，包括：获取目标图片；确定目标图片中车厢、车厢车轮的位置；以及利用所述车轮与车厢的空间位置关系，根据所述车轮的位置在所述车厢位置范围内推定车厢承载区域各方向上的边缘界限；进而根据推定的各边缘界限，确定所述车厢承载区域；其中，所述的目标图片，是指包括目标车辆影像在内的图片；所述目标图片包括：暴露的车厢承载区影像，及至少一侧的车厢车轮影像。
7.在上述实施例方案中的一个优选的可能设计中，所述的确定目标图片中车厢、车厢车轮的位置，可以包括：基于目标检测算法(object detection)，确定所述的车厢、车轮，并在目标图片中标记其位置，以边框圈出。
8.进一步地，在上述实施例方案中的一个更为优选的可能设计中，所述的目标检测算法，具体采用one-stage算法，以进一步提高定位的速度，进而提升整体的ai识别预测效率。
9.在上述实施例方案中的一个优选的可能设计中，所述的利用车轮与车厢的空间位置关系根据车轮位置在车厢位置范围内推定车厢承载区域各边缘界限，包括：在车厢位置范围内，利用所述车轮位置确定邻近车轮一侧的车厢承载区域的长缘界限及长缘朝向；根据视图影像采集装置所在的相机坐标系与目标车辆所在的世界坐标系的转换关系，以及短缘与长缘的实际空间位置关系，利用所述长缘界限及长缘朝向，推导与之相连短缘界限及短缘朝向；根据车厢位置范围确定车厢承载区域的前、后缘界限；在车厢位置范围内，根据已有一侧的长、短缘界限、前、后缘界限，确定另一侧与之平行的长、短缘界限，以最终根据各缘界限确定所述车厢承载区域。其中，为了便于运算，所述世界坐标系与相机坐标系的转换关系，一般表示为旋转矩阵和偏移向量；而为了所述推定运算的方便，所述的旋转矩阵和偏移向量，可以根据视图影像采集装置的位置角度与目标车辆的位置预先设置；当然如果视图影像采集装置位置、拍摄角度变化等，也可以通过相机标定获得所述旋转矩阵和偏移向量后输入。
10.在上述实施例方案中的一个优选的可能设计中，为了避免车头位置的车轮对车厢车轮推定车厢承载区域造成干扰(一般是因为车头车轮与其他车厢车轮不在一条延长线上对推定车厢底边长缘(车厢承载区邻近车厢车轮一侧的长缘)造成干扰)，可以在推定车厢承载区域之前，确定车头的位置，利用车头位置排除车头位置的车轮作为后续推定的车轮，以避免因车型、停车时车头车轮朝向与对应车厢部位的车轮型号、外形、姿态等不同对推定结果造成干扰。
11.在上述实施例方案中的一个优选的可能设计中，所述的视图影像为视频、短视频或视频分片形式时，以其作为素材，按照预设规则(例如设定时间间隔截取)从中截取符合的帧，作为用于定位的目标图片；当然，对应的，输出的也是对应目标图片的定位结果。
12.另一方面，本技术实施例提供一种定位视图影像中车厢承载区域的装置。
13.结合第一方面，上述的定位车厢承载区域的装置，包括：视图影像采集单元、车厢
承载区域定位单元以及定位输出单元；其中，所述的视图影像采集单元，用于采集包括目标车辆影像在内的视图影像；所述的车厢承载区域定位单元，用于从所述视图影像中获取用于定位的目标图片，以及定位目标图片中的车厢承载区域；所述目标图片包括：暴露的车厢承载区影像，及至少一侧的车厢车轮影像；所述的车厢承载区域定位单元在定位目标图片车厢承载区域时，执行第一方面述及的定位车厢承载区域的方法；所述的定位输出单元，用于输出所述车厢承载区域定位单元对目标图片中目标车辆车厢承载区域定位的结果。
14.再一方面，本技术实施例提供一种提供定位目标图片中车厢承载区域推理服务的服务器/服务器集群。
15.结合第一、第二方面，上述的服务器/服务器集群包括：
16.存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现/共同实现包括：接收模块、定位模块及输出模块在内的服务；其中，所述的接收模块，用于接收目标图片；所述目标图片包括：暴露的车厢承载区影像，及至少一侧的车厢车轮影像；所述的定位模块，用于定位所述目标图片中的车厢承载区域；在定位所述车厢承载区域时，所述的定位模块执行第一方面述及的定位目标图片中车厢承载区域的方法；所述的输出模块，用于输出所述定位模块对目标图片中车厢承载区域的定位结果。
17.又一方面，本技术实施例提供一种计算机可读存储介质，用于存储定位视图影像目标图片车厢承载区域相关技术的可执行指令。
18.结合第一、第二、第三方面，上述的存储介质中，存储有用于执行定位目标图片中车厢承载区域的代码，其中包括：用于执行第一方面述及的定位目标图片中车厢承载区域的方法的操作的指令。
19.上述实施例提供的定位视图影像中车厢承载区域的方法、装置、服务器/服务器集群及相关计算机可读存储介质等，通过获取目标图片和在目标图片中定位车厢大致区域和车厢一侧的车轮位置，以及利用所述车轮与车厢的空间位置关系根据所述车轮的位置在车厢大致区域范围内推定车厢承载区域各方向上的边缘界限，最终确定所述车厢承载区域，以解决非封闭厢式货车车厢承载区域图像特征不明显而无法精确识别定位的问题、以及因此可能导致的ai预测失准的问题。相较于其他ai图像识别方案，例如更为复杂的图像分割(例如实例分割instance segmentation，车厢承载区域因装载物料的不同，往往并不表现为规则的且一致的图像特征，故实例分割转载物料的车厢承载区域时，往往也不能持续稳定地分割出精确可靠的车厢承载区域)，本技术的相关方案通过确定图像特征明显的车轮并基于空间坐标关系(甚至是坐标系转换)，能够实现推定都能够取得更精确可靠的定位效果。
附图说明
20.为更加清楚地说明本技术实施例或现有技术中的技术方案，下面将对本技术中一部分实施例或现有技术描述中涉及的附图做简单介绍。
21.图1为本技术一些优选实施例提供一种定位视图影像中车厢承载区域的方法的流程示意图；
22.图2为上述优选实施例中的一些提供的定位视图影像中车厢承载区域的过程中确定车厢、车轮位置的示意图；
23.图3为上述优选实施例中的一些提供的定位视图影像中车厢承载区域的过程中确定车厢承载区域各缘边界并最终确定车厢承载区域的示意图。
具体实施方式
24.下面结合本技术实施例的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.在开始描述本技术具体实施例之前，先介绍在本技术以下实施例中涉及的术语及其含义。可以理解的是，无如其他说明，本技术各个实施例中涉及的这些术语及其含义是一致的。
26.图像分类(classification)：是计算机视觉领域的三大任务之一；图像分类任务关心整体，一般是将图像结构化为某一类别的信息，用事先确定好的类别(category)或实例id来描述图片；图像分类主要是将图像划分(divide)为单个类别，通常对应于图像中最突出的物体。然而，现实世界中很多图片通常包括不只一个的物体对象，这时的图像分类模型就变得粗糙、不准确了。
27.图像检测(detection)：是计算机视觉领域的三大任务之二；图像检测任务则关注特定的物体目标对象(object)，要求同时获得这一目标的类别信息和位置信息(classification localization)。相比于图像分类任务，图像检测则主要是给出的是对图片前景和背景的理解，从背景中分离出感兴趣的目标，并确定这一目标的描述(类别(常在对应的标识目标位置的矩形检测框标注相应的类别标签)和位置(常用矩形检测框圈出，及用矩形检测框坐标表示))。
28.图像分割(segmentation)：是计算机视觉领域的三大任务之三；图像分割主要分割包括语义分割(semantic segmentation)和实例分割(instance segmentation)；前者是对前背景分离的拓展，要求分离开具有不同语义的图像部分，而后者是检测任务的拓展，要求描述出目标的轮廓(相比检测框更为精细)。图像分割是对图像的像素级描述，它赋予每个像素类别(实例)意义，适用于理解要求较高的场景。
29.在本技术涉及的领域中，随着现代物流业的发展，越来越多的新技术被应用到各类物流运输及仓储管理的方方面面，已经在越来越多的应用场景下实现了部分甚至全部环节的自动化、网络化、云上化等各种高技术化，在很大程度提高了物流管理效能，减少了人工成本投入；而近年来飞速发展的人工智能ai技术，特别是ai计算机视觉技术，则为现代物流业实现进一步的智能化提供了契机。而这里仅以厢式货车的检测、评估为切入(具体则主要是指非封闭的厢式货车所载货物检测、评估)，拟基于ai计算机视觉技术实现其所载货物的ai检测/评估。然而，前面提到的图像分类技术显然无法解决存在着整车、车厢以及车厢承载区及承载物料这样复杂的计算机视觉识别场景的；图像检测虽然能够有效识别目标车辆整车等，但考虑到图像中呈现的车厢承载区通常并不呈现为规范的矩形形状，且图像中呈现车辆停放角度并不固定而更加不存在符合一定标准的车厢承载区，既然车厢承载区图形特征不甚明显，那么通过图像检测既无法有效识别车厢承载区，也无法通过有效的图形预处理技术在车厢范围内很精确的圈出车厢承载区；而一般认为功能较之前面二者更为强
大的图像分割，提供一定程度的图像分割能力，且图形呈现的车厢承载区似是符合一定条件的规范区域。然而，检测/评估通常是针对承载物料(特别是不规则形状物料)的车厢，且前面也提到图像中呈现车辆停放角度是不固定和存在多种可能形式的，故即便是图像分割，无论是语义分割还是实例分割，也未必能精确的分割出车厢承载区的轮廓区域(特别是承载物料时)。
30.于是，结合ai计算机视觉技术，本技术拟提供一种定位视图影像中车厢承载区域的方法，已精准定位视图影像目标车辆的车厢承载区域。
31.以下为本技术的一些优选实施例。其中，
32.上述优选实施例中的一些提供一种定位视图影像中车厢承载区域的方法。如图1所示，该方法包括：
33.1)获取目标图片；
34.其中，如视图影像采集装置采集和输出图片，即从中获取目标图片即可；如视图影像采集装置采集和输出视频流等视频格式的文件，则以其为素材处理，从中获取目标图片；另外，所述的目标图片，具体是指符合如下条件的：即在所述目标图片中，不仅要包括目标车辆影像，而且目标车辆需要暴露车厢承载区，且还需要暴露至少一侧的(车厢对应的)全部车轮，以利用其与车厢的空间位置关系精准定位车厢承载区域；
35.2)确定目标图片中车厢、车厢车轮的位置；
36.对目标图片为输入，进行相应的处理，获得相应的输出：确定其中车厢、车厢车轮的(大致)位置，此处只求基本确定其位置，特别是中心位置和大致边缘范围，并不要求精确分割定位。
37.3)利用所述车轮与车厢的空间位置关系，根据所述车轮的位置在所述车厢位置范围内推定车厢承载区域各方向上的边缘界限；进而根据推定的各边缘界限，确定所述车厢承载区域；其中，所述的目标图片，是指在内的图片；所述目标图片包括：暴露的车厢承载区影像，及至少一侧的车厢车轮影像。
38.进一步地，在上述优选实施例的一些中，采用图像检测中目标检测算法(object detection)快速定位车厢、车轮，确定车厢、车轮位置，具体到在所述图片中标记其位置，以边框圈出。而更进一步地，为了提高该阶段定位速度，在确定和框选出车厢、车轮等时，采用yolo、ssd、squeezedet、detectnet等一类的one-stage算法。
39.进一步地，在上述优选实施例的一些中，所述的利用车轮与车厢的空间位置关系根据车轮位置在车厢位置范围内推定车厢承载区域各边缘界限，包括：在车厢位置范围内，利用所述车轮位置确定邻近车轮一侧的车厢承载区域的长缘界限及长缘朝向；根据视图影像采集装置所在的相机坐标系与目标车辆所在的世界坐标系的转换关系，以及短缘与长缘的实际空间位置关系，利用所述长缘界限及长缘朝向，推导与之相连短缘界限及短缘朝向；根据车厢位置范围确定车厢承载区域的前、后缘界限；在车厢位置范围内，根据已有一侧的长、短缘界限、前、后缘界限，确定另一侧与之平行的长、短缘界限，以最终根据各缘界限确定所述车厢承载区域。其中，所述世界坐标系与相机坐标系的转换关系，表示为旋转矩阵和偏移向量时，具体如下：
40.其中世界坐标系与相机坐标系的转换关系如式1所示：
[0041][0042]
其中，r即为旋转矩阵，t为偏移向量；(xw，yw，zw)为在世界坐标系下一坐标点，其对应的在相机坐标系中的对应坐标为(xc，yc，zc)。
[0043]
在推定运算过程中，推定图片中长缘与之相连短缘(世界坐标系中为相互垂直的90度)的角度关系时，根据相机标定和相机小孔成像的原理，可以压缩光轴，进而获得长缘与之相连短缘在图片中的角度关系，以及最终根据长缘推知短缘。而其中的旋转矩阵r和偏移向量t则一般是根据视图影像采集装置的位置、(拍摄)角度等、以及与目标车辆的位置预先设置在定位计算过程中相关参数中，当然考虑到视图影像采集装置位置、拍摄角度变化等，也可以通过相机标定获得所述旋转矩阵和偏移向量后输入到在定位计算过程中相关参数中。
[0044]
在上述优选实施例的一些中，考虑到若车头车轮与其他车厢车轮不在一条延长线上对推定车厢底边长缘(车厢承载区邻近车厢车轮一侧的长缘)造成干扰等情形，为避免车头位置的车轮对车厢车轮推定车厢承载区域造成干扰，可以在推定车厢承载区域之前，确定车头的位置，利用车头位置排除车头位置的车轮作为后续推定的车轮，以避免因车型、停车时车头车轮朝向与对应车厢部位的车轮型号、外形、姿态等不同对推定结果造成干扰。
[0045]
在上述优选实施例的一些中，其视图影像如前面提到的那样为视频或者是分类上同属于视频一类的短视频或视频分片形式时，以其作为素材，按照预设规则(例如设定时间间隔截取)从中截取符合的帧，作为用于定位的目标图片；对应地，输出对应目标图片的定位结果。
[0046]
本技术的另一些优选实施例提供一种定位视图影像中车厢承载区域的装置。该装置包括：视图影像采集单元、车厢承载区域定位单元以及定位输出单元；其中，所述的视图影像采集单元，用于采集包括目标车辆影像在内的视图影像；所述的车厢承载区域定位单元，用于从所述视图影像中获取用于定位的(如上述实施例中所述)的目标图片，以及定位目标图片中的车厢承载区域；所述目标图片包括：暴露的车厢承载区影像，及至少一侧的车厢车轮影像；所述的车厢承载区域定位单元在定位目标图片车厢承载区域时，执行上述优选实施例述及的定位车厢承载区域的方法；所述的定位输出单元，用于输出所述车厢承载区域定位单元对目标图片中目标车辆车厢承载区域定位的结果。
[0047]
本技术的再一些优选实施例提供提供定位目标图片中车厢承载区域推理服务的服务器/服务器集群。该服务器/服务器集群(包括若干个服务器组成，每个服务器包括其存储器、处理器等)，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现/共同实现包括：接收模块、定位模块及输出模块在内的服务；其中，所述的接收模块，用于接收目标图片；所述目标图片包括：暴露的车厢承载区影像，及至少一侧的车厢车轮影像；所述的定位模块，用于定位所述目标图片中的车厢承载区域；在定位所述车厢承载区域时，所述的定位模块执行上述优选实施例述及的定位目标图片中车厢承载区域的方法；所述的输出模块，用于输出所述定位模块对目标图片中车厢承载区域的定位结果。
[0048]
本技术的又一些优选实施例提供一种计算机可读存储介质，用于存储定位视图影像目标图片车厢承载区域相关技术的可执行指令。而该存储介质中，存储有用于执行定位目标图片中车厢承载区域的代码，其中包括：用于执行上述优选实施例述及的定位目标图片中车厢承载区域的方法的操作的指令。
[0049]
下面结合本技术的应用场景，以上述优选实施例中的一些的具体实现方式更进一步描述本技术的技术方案的实现。
[0050]
以下是结合一种非常不规则的物料(例如废钢)装卸环节中ai识别检判时快速定位其目标车辆车厢承载区域的应用场景。
[0051]
在目标车辆进场后，在整个检判过程中，就包括获取如图2所示意的包括目标车辆在内的用于ai识别检判的目标图片，其中包括：暴露的车厢承载区(及承载的物料的)的影像；以及暴露的至少一侧的(车厢对应的)全部车轮的影像。
[0052]
在整个识别检判过程中，具体检判物料前或其过程中，对目标图片做目标车辆车厢承载区域定位处理，其中包括：
[0053]
步骤1使用yolo模型对目标图片进行目标检测，如图2所示，方框圈出车厢101、车轮102、车头103的位置；
[0054]
步骤2利用车头103，排除车头的车轮；
[0055]
步骤3利用剩余的(事实上为车厢位置的)车轮推定车厢承载区(圆点线圈出的部分)，具体包括：
[0056]
在车厢101方框内，
[0057]
s1利用各个车轮102(排除车头车轮)定位车厢承载区长缘x1；
[0058]
s2根据世界坐标系和相机坐标系的转换，利用长缘x1以及长缘x1与短缘y1在现实(世界坐标系)中相互垂直的关系，根据长缘x1的在目标图片的位置、角度等，推算短缘y1角度及短缘y1；
[0059]
s3利用车厢101方框定位车厢承载区前、后缘界限(即z1、z2所在的车厢101框的边)；
[0060]
s4在车厢101方框内，利用已推知的长缘x1、短缘y1，以中心对称确定另一侧长缘x2、短缘y2，以及进一步确定车厢承载区前缘z1、后缘z2，进而确定整个车厢承载区(圆点线圈出的部分)。
[0061]
以上所述仅为本技术的具体实施方式，但本技术的保护范围并不局限于此。