载货车辆的查验方法及装置、电子设备和存储介质与流程

1.本公开的实施例涉及一种载货车辆的查验方法、载货车辆的查验装置、电子设备和非瞬时性计算机可读存储介质。


背景技术：

2.近年来，随着国家建立高速公路鲜活农副产品绿色通道政策的施行，绿色通道检测设备也层出不穷。其中利用射线穿透车辆对车辆内部货物进行透射式成像的绿色通道检测设备成为了主流的检测设备，由于其辐射剂量小、穿透能力强，检测快速高效等优点得到交通部门和环境部门的认可。


技术实现要素：

3.本公开至少一实施例提供一种载货车辆的查验方法，所述车辆包括车厢，所述车厢内装载有货物，所述方法包括：获取检测图像，其中，所述检测图像包括所述车厢的箱体区域；对所述检测图像进行第一处理得到所述箱体区域的边缘，并根据所述箱体区域的边缘计算所述车厢装载所述货物的容积率；对所述检测图像进行第二处理，得到对应于所述货物的至少一个分割图像，基于所述至少一个分割图像得到所述货物的类别；响应于所述容积率和所述货物的类别均满足要求，判断所述车辆装载合规。
4.例如，在本公开至少一实施例提供的载货车辆的查验方法中，获取检测图像，包括：对所述车厢进行侧面透射式成像，以得到所述检测图像。
5.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述检测图像进行第一处理得到所述箱体区域的边缘，并根据所述箱体区域的边缘计算所述车厢装载所述货物的容积率，包括：对所述检测图像进行预处理，得到第一处理图像；对所述第一处理图像进行货箱边缘提取，以得到所述箱体区域的边缘；根据所述第一处理图像和所述箱体区域的边缘，计算所述车厢装载所述货物的容积率。
6.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述检测图像进行预处理，得到第一处理图像，包括：对所述检测图像进行去噪处理，以减弱所述检测图像中的噪声信息，得到所述第一中间处理图像；对所述第一中间处理图像进行增强处理，以增强所述第一中间处理图像的对比度，得到所述第一处理图像。
7.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述检测图像进行去噪处理，以减弱所述检测图像中的噪声信息，得到所述第一中间处理图像，包括：确定所述检测图像中，不同的像素值分别对应的像素点个数，将像素点个数最大值作为滤波半径；根据所述滤波半径，对所述检测图像进行均值滤波处理，得到所述第一中间处理图像。
8.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述第一中间处理图像进行增强处理，得到所述第一处理图像，包括：对所述第一中间处理图像进行伽马变换，得到所述第一处理图像。
9.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述第一处理图
像进行货箱边缘提取，以得到所述箱体区域的边缘，包括：对所述第一处理图像进行图像分割，将分割后图像中的最大矩形的边缘作为所述箱体区域的边缘。
10.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述第一处理图像进行图像分割，将分割后图像中的最大矩形的边缘作为所述箱体区域的边缘，包括：对所述第一处理图像利用拉普拉斯算子进行计算，得到所述第一处理图像中的多个像素点分别对应的多个计算结果；根据所述多个计算结果中的多个非负计算结果，将所述多个非负计算结果所能构成的最大矩形作为所述箱体区域的边缘。
11.例如，在本公开至少一实施例提供的载货车辆的查验方法中，根据所述第一处理图像和所述箱体区域的边缘，计算所述车厢装载所述货物的容积率，包括：对所述第一处理图像进行二值化处理，得到二值化图像；根据所述箱体区域的边缘，确定在所述检测图像中，位于由所述箱体区域的边缘确定的第一区域内的像素点总数，以得到第一数量；根据所述二值化图像和所述箱体区域的边缘，确定所述二值化图像中的由所述箱体区域的边缘确定的第二区域内，像素值为第一值的像素点的总数，以得到第二数量；将所述第二数量和所述第一数量的比值作为所述货物的容积率。
12.例如，在本公开至少一实施例提供的载货车辆的查验方法中，根据所述箱体区域的边缘，确定在所述检测图像中，位于由所述箱体区域的边缘确定的第一区域内的像素点总数，以得到第一数量，包括：将所述第一区域中的像素点标记为第二值，将所述检测图像中不位于所述第一区域的像素点标记为第三值，其中，所述第二值与所述第三值不同；计算标记为所述第二值的像素点的数量，作为所述第一数量。
13.例如，在本公开至少一实施例提供的载货车辆的查验方法中，所述货物包括至少一种货物，对所述检测图像进行第二处理，得到对应于所述货物的至少一个分割图像，基于所述至少一个分割图像得到所述货物的类别，包括：对所述检测图像进行预处理，得到第二处理图像；对所述第二处理图像进行货物边缘提取，以得到所述至少一种货物的边缘；根据所述至少一种货物的边缘，对所述检测图像进行图像分割处理，得到所述至少一个分割图像，其中，每个分割图像对应一个货物区域，所述至少一种货物被放置在至少一个货物区域中，每个货物区域包括一种或多种货物；对所述至少一个分割图像进行类别检测，得到每个分割图像对应的货物区域中的货物类别。
14.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述检测图像进行预处理，得到所述第二处理图像，包括：对所述检测图像进行去噪处理，以减弱所述检测图像中的噪声信息，得到所述第二处理图像。
15.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述第二处理图像进行货物边缘提取，以得到所述至少一种货物的边缘，包括：对所述第二处理图像利用拉普拉斯算子进行计算，得到所述第二处理图像中的多个像素点分别对应的多个计算结果；利用零交叉点计算方法对所述多个计算结果进行处理，得到多个拉普拉斯结果；根据所述多个拉普拉斯结果，确定所述至少一种货物的边缘。
16.例如，在本公开至少一实施例提供的载货车辆的查验方法中，根据所述至少一种货物的边缘，对所述检测图像进行图像分割处理，得到至少一个分割图像，包括：根据所述第二处理图像，确定像素点阈值；确定所述第二处理图像中不同像素值分别对应的像素占比，其中，每个像素值对应的像素占比为所述每个像素值对应的像素点总数与所述第二处
理图像包括的所有像素点的总数之比；确定像素占比小于所述像素点阈值的至少一个像素值；将所述第二处理图像中的像素值为所述至少一个像素值的像素点标记为非货物部分，以得到第三处理图像；根据所述至少一种货物的边缘，对所述第三处理图像进行图像分割处理，得到所述至少一个分割图像。
17.例如，在本公开至少一实施例提供的载货车辆的查验方法中，根据所述第二处理图像，确定像素点阈值，包括：根据阈值步长，在预设范围内依次选择多个阈值作为备选阈值；根据所述备选阈值，确定所述第二处理图像中像素占比小于所述备选阈值的至少一个像素值；确定所述第二处理图像中，像素值为所述至少一个像素值的所有像素点的总数，以得到所述备选阈值对应的第三数量；确定多个备选阈值分别对应的多个第三数量中的最小值，将所述最小值对应的备选阈值作为所述像素点阈值。
18.例如，在本公开至少一实施例提供的载货车辆的查验方法中，对所述至少一个分割图像进行类别检测，得到每个分割图像对应的货物区域中的货物类别，包括：针对所述每个分割图像，提取所述每个分割图像的特征信息；利用分类模型对所述特征信息进行处理，确定所述每个分割图像对应的货物区域中的货物类别。
19.例如，本公开至少一实施例提供的载货车辆的查验方法还包括：对待训练的分类模型进行预训练，以得到所述分类模型；响应于所述货物的类别不满足要求，获取人工查验结果，响应于所述人工查验结果判定合规，基于所述至少一个分割图像和所述人工查验结果，对所述分类模型进行优化训练。
20.本公开至少一实施例提供一种载货车辆的查验装置，所述车辆包括车厢，所述车厢内装载有货物，所述装置包括：获取单元，配置为获取检测图像，其中，所述检测图像包括所述车厢的箱体区域；第一处理单元，配置为对所述检测图像进行第一处理得到所述箱体区域的边缘，并根据所述箱体区域的边缘计算所述车厢装载所述货物的容积率；第二处理单元，配置为对所述检测图像进行第二处理，得到对应于所述货物的至少一个分割图像，基于所述至少一个分割图像得到所述货物的类别；判断单元，配置为响应于所述容积率和所述货物类别均满足要求，判断所述车辆装载合规。
21.本公开至少一实施例提供一种电子设备，包括：存储器，非瞬时性地存储有计算机可执行指令；处理器，配置为运行所述计算机可执行指令，其中，所述计算机可执行指令被所述处理器运行时实现根据本公开任一实施例所述的载货车辆的查验方法。
22.本公开至少一实施例提供一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据本公开任一实施例所述的载货车辆的查验方法。
附图说明
23.为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
24.图1为本公开至少一实施例提供的一种载货车辆的查验方法的示意性流程图；图2为本公开至少一实施例提供的检测图像的示意图；图3为本公开至少一实施例提供的图1中步骤s20的示意性流程图；图4为本公开至少一实施例提供的图2所示的检测图像对应的二值化图像；
图5为本公开至少一实施例提供的图1中步骤s30的示意性流程图；图6为本公开至少一实施例提供的一种载货车辆的查验装置的示意性框图；图7为本公开至少一实施例提供的一种电子设备的示意图；图8为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图；图9为本公开至少一实施例提供的一种硬件环境的示意图。
具体实施方式
25.为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
26.除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。
27.透射成像的绿色通道检测设备是全自动工作模式，当司机驾驶车辆通过射线扫描通道时，无需停车，在驾驶室驶离射线区域后设备自动启动快门装置放出射线对车厢进行射线穿透成像，但检测人员需要人工识别图像，判定车辆的容积装载率及货物类型是否合规。这种判断方式所得到的判定结果并不准确且效率低下，容易造成司机与检测员的争执及后车排队拥堵的情况。
28.本公开至少一实施例提供一种载货车辆的查验方法、载货车辆的查验装置、电子设备和非瞬时性计算机可读存储介质，该载货车辆的查验方法包括：获取检测图像，其中，检测图像包括车厢的箱体区域；对检测图像进行第一处理得到箱体区域的边缘，并根据箱体区域的边缘计算车厢装载货物的容积率；对检测图像进行第二处理，得到对应于货物的至少一个分割图像，基于至少一个分割图像得到货物的类别；响应于容积率和货物类别均满足要求，判断车辆装载合规。
29.本公开至少一实施例提供的载货车辆的查验方法可以通过智能判定图像的容积率和/或货物类别，进一步地，在一些实施例中可以实时判定被检车辆装载货物是否符合要求，降低人工查验成本，提高查验效率；本公开提供的查验方法准确率高，由此，还可能大幅降低司机与检测员争执及后车排队拥堵情况的发生。
30.本公开实施例提供的载货车辆的查验方法可应用于本公开实施例提供的载货车辆的查验装置，该载货车辆的查验装置可被配置于电子设备上。该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等硬件设备。
31.下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。
32.图1为本公开至少一实施例提供的一种载货车辆的查验方法的示意性流程图。
33.如图1所示，本公开至少一实施例提供的载货车辆的查验方法包括步骤s10至步骤s40。
34.首先，步骤s10，获取检测图像。例如，检测图像包括车厢的箱体区域。
35.图2为本公开至少一实施例提供的检测图像的示意图。如图2所示，检测图像为载货车辆（例如箱式货车）的侧面进行透射式成像所得到的二维图像。
36.例如，在检测时可以设置射线高度避免扫描到轮胎，设置驾驶室避让，当司机驾驶车辆通过射线扫描通道时，无需停车，在驾驶室驶离射线区域后自动启动快门装置放出射线对车厢进行射线穿透成像，从而得到检测图像，检测图像包括车厢的箱体区域，不包括车头和车胎，从而不必再次对车头和车胎进行额外处理，加快处理进程。
37.例如，检测图像采用16位灰度图像，相较于传统8位灰度图像，可以将灰度范围从0~255直接升高至0~65535，图像更加细腻，信息更加丰富，细节更加清晰。
38.当然，检测图像也可以通过扫描等方式得到，例如，检测图像可以为对车厢进行透射成像得到的图像进行扫描或拍摄得到，本公开对此不作限制。
39.之后，在步骤s20，对检测图像进行第一处理得到箱体区域的边缘，并根据箱体区域的边缘计算车厢装载货物的容积率。
40.通常，一般为维护车体的稳定性，货物装载是均匀的，在这个前提下，不用考虑车厢的深度信息，例如以图2为例，不关注货物在纵深方向上的货物堆放情况，默认其装载是基本均匀的，因此仅考虑检测图像中车厢区域的高度和宽度信息，就可以在误差可接受的范围内计算容积率。
41.图3为本公开至少一实施例提供的图1中步骤s20的示意性流程图。如图3所示，步骤s20可以至少包括步骤s201至步骤s203。
42.在步骤s201，对检测图像进行预处理，得到第一处理图像。
43.例如，步骤s201的一个示例可以包括：对检测图像进行去噪处理，以减弱检测图像中的噪声信息，得到第一中间处理图像；对第一中间处理图像进行增强处理，以增强第一中间处理图像的对比度，得到第一处理图像。
44.为了保证图像数据信息充足且准确，在执行预处理时，首先对检测图像进行整体归一化滤波处理，减弱图像中的噪点信息，例如探测器瞬时干扰产生的孤立点、短线、模糊块等。通过对检测图像进行去噪处理，可以在后续执行边缘提取时得到更加准确的箱体区域的边缘，例如采用拉普拉斯算子进行边缘提取，该方法对噪声敏感，通过去噪处理可以得到更加准确的边缘提取结果。
45.例如，可以采用归一化滤波方法进行去噪处理。一般来说，归一化滤波算法得到的均值滤波结果会随着滤波半径取值的增大而变得越来越模糊，图像对比度越来越小，所以滤波半径的合理设置十分重要。如果滤波半径设置不准确，例如滤波半径设置过小，导致处理后的图像去噪过度，丢失有用像素，甚至改变图像形状，例如可能使得原本矩形图像变成圆形；如果滤波半径设置过大，导致噪声部分被弱化到周围像素点上，所得到的结果是噪声幅度减小，但是噪声点的颗粒面积同时变大，所以污染面积反而增大，图像变得模糊。为应
对上述问题，本公开的至少一实施例提供一种通过方向差分来寻找噪声像素，自适应得到滤波半径l，从而赋予噪声像素与非噪声像素不同的权重，并自适应地寻找最优窗口大小，处理时可以针对不同的检测图像适应性调整滤波半径，从而得到最优的滤波效果，优于一般的均值滤波方法。
46.例如，对检测图像进行去噪处理，以减弱检测图像中的噪声信息，得到第一中间处理图像，可以包括：确定检测图像中，不同的像素值分别对应的像素点个数，将像素点个数最大值作为滤波半径；根据滤波半径，对检测图像进行均值滤波处理，得到第一中间处理图像。
47.也就是说，在本公开的至少一实施例中，确定检测图像中具有相同像素值的像素点个数，以得到多个像素值分别对应的多个像素点个数，将多个像素点个数中的像素点个数最大值作为滤波半径，以得到最优的滤波效果。
48.例如，在具体实施过程中，首先遍历整个检测图像，将检测图像中的所有像素点的像素值存为一个二维数组p（row, col），row表示在检测图像中的行方向的位置，col表示在检测图像中的列方向的位置，每个元素的数值为检测图像中位于第row行，第col列的像素点的像素值。根据二维数组p得到直方图数组h，直方图数组h中的每个元素表示为h(p)，p取值从0至2n，n表示检测图像的灰度的位数，例如n=16，则p取值为0~65535，也即像素点所有可能存在的像素值，直方图数组h中的每个元素h(p)表示检测图像中像素值为p的像素点的个数，例如检测图像中像素值为50的像素点有100个，则h(50)=100。
49.例如，确定直方图数组h中所有元素的最大值h
max
作为滤波半径l，按照如下公式1进行滤波计算：a’(i , j)=
ꢀꢀꢀꢀꢀꢀꢀ
（公式1）其中，表示检测图像中第i k行、第j l列的像素点的像素值，k和l表示滤波参数，a’(i , j)表示第一中间处理图像中第i行、第j列的像素点的像素值，表示累加计算。由此，得到去噪处理后的第一中间处理图像。
50.之后，对第一中间处理图像进行增强处理，增强图像对比度，从而在后续边缘检测过程中得到更加准确的箱体区域的边缘。例如，在使用拉普拉斯算子进行图像分割时，对于图像中灰度变化剧烈的区域，拉普拉斯算子能够实现更好的边缘检测，所以用图像增强来增加对比度可以提高边缘检测的精度。此外，增强处理可以加强箱体区域的边缘与背景（车厢外围环境）的对比度，弱化货物间的边缘信息，这样可以进一步提高边缘提取效率，从而在进行箱体区域的边缘提取过程中不被货物间的边缘信息干扰。
51.例如，对第一中间处理图像进行增强处理，得到第一处理图像，可以包括：对第一中间处理图像进行伽马变换，得到第一处理图像。
52.例如，在具体实施过程中，在得到第一中间处理图像后，遍历整个第一中间处理图像，将第一中间处理图像中的所有像素点的像素值存为一个二维数组p’（row, col），row表示在第一中间处理图像中的行方向的位置，col表示在第一中间处理图像中的列方向的位置，每个元素的数值为第一中间处理图像中位于第row行，第col列的像素点的像素值。根据二维数组p’得到直方图数组h’，直方图数组h’中的每个元素表示为h’(p)，p取值从0至2n，直方图数组中的每个元素h’(p)表示第一中间处理图像中像素值为p的像素点的个数。
53.例如，伽马变换公式如公式2所示：s=p
’×rr , r∈[0,1]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式2）这里，r=h
max
/h’max
，h’max
为直方图数组h’中所有元素的最大值，由此，达到增强灰度部分细节的作用。这种计算r取值的自适应伽马变化更适合灰度图像的增强，同时实现图像对比度增强，使得图像增强处理后的第一处理图像中黑色部分更黑，白色部分更白，优于一般的图像增强方法。
[0054]
在对图像进行预处理后，在步骤s202，对第一处理图像进行货箱边缘提取，以得到箱体区域的边缘。
[0055]
例如，步骤s202的一个示例可以包括：对第一处理图像进行图像分割，将分割后图像中的最大矩形的边缘作为箱体区域的边缘。
[0056]
例如，可以采用任意可行的图像分割方法对第一处理图像进行图像分割，例如，对第一处理图像进行语义分割，得到第一处理图像对应的语义分割图像，也即从像素级层面上将同一类的像素归为一类，如图2所示，由于检测图像中的箱体区域为矩形且为检测图像中具有最大面积的矩形，因此可以将语义分割后的最大矩形的边缘作为箱体区域的边缘。
[0057]
例如，因图像灰度不同，边界处一般会有明显的边缘，利用此特征可以分割图像。需要说明的是，边缘和物体间的边界并不等同，边缘指的是图像中像素值有突变的地方，而物体间的边界指的是现实场景中的存在于物体之间的边界。有可能有边缘的地方并非边界，也有可能边界的地方并无边缘。另外，成像过程中噪声也是不可避免的重要因素。正是因为这些原因，基于边缘的图像分割仍然是当前图像研究中的世界级难题，目前研究者正在试图在边缘提取中加入高层的语义信息。在实际的图像分割中，往往只用到一阶和二阶导数，但是，因为噪声的影响，在纯粹二阶的导数操作中就会出现对噪声的敏感现象，三阶以上的导数信息往往失去了应用价值。
[0058]
由于在步骤s20中已对检测图像进行了去噪处理，这里就可以使用占用处理器资源最少的边缘计算因子，也即拉普拉斯算子，得到箱体区域的边缘。
[0059]
拉普拉斯算子是一种各向同性算子，二阶微分算子，在只关心边缘的位置而不考虑其周围的像素灰度差值时比较合适。拉普拉斯算子对孤立像素点的响应要比对边缘或线的响应要更强烈，因此只适用于无噪声图像。拉普拉斯算子也是最简单的各向同性微分算子，具有旋转不变性。一个二维图像函数的拉普拉斯变换是各向同性的二阶导数，定义了更适合于数字图像处理。
[0060]
例如，对第一处理图像进行图像分割，将分割后图像中的最大矩形的边缘作为箱体区域的边缘，可以包括：对第一处理图像利用拉普拉斯算子进行计算，得到第一处理图像中的多个像素点分别对应的多个计算结果；根据多个计算结果中的多个非负计算结果，将多个非负计算结果所能构成的最大矩形作为箱体区域的边缘。
[0061]
例如，拉普拉斯算子的计算公式如公式3所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式3）这里，x和y表示坐标，f表示第一处理图像中位于第x行、第y列的像素点的像素值，表示f对x的二阶偏导数，表示f对y的二阶偏导数，表示位于第一处理图
像的第x行、第y列的像素点对应的计算结果，由此，得到所有像素点对应的计算结果。
[0062]
一般来说，利用拉普拉斯算子计算后的计算结果是个可正可负的整数，如果计算结果是负数，认为该计算结果对应的像素点属于非边缘部分，如果计算结果是正数，认为该计算结果对应的像素点属于边缘部分。
[0063]
例如，选择由多个非负计算结果构成的最大矩形作为箱体区域的边缘。
[0064]
相比于其他图像分割方法，拉普拉斯算子计算时的占用资源更少，可以实现实时处理，从而在采集图像后迅速给出分析结果，提高查验效率，减少车辆等待时间。
[0065]
之后，在步骤s203，根据第一处理图像和箱体区域的边缘，计算车厢装载货物的容积率。
[0066]
例如，步骤s203的一个示例可以包括：对第一处理图像进行二值化处理，得到二值化图像；根据箱体区域的边缘，确定在检测图像中，位于由箱体区域的边缘确定的第一区域内的像素点总数，以得到第一数量；根据二值化图像和箱体区域的边缘，确定二值化图像中的由箱体区域的边缘确定的第二区域内，像素值为第一值的像素点的总数，以得到第二数量；将第二数量和第一数量的比值作为货物的容积率。
[0067]
例如，可以采用任意可行的二值化处理方法，例如大津法（otsu）等，对第一处理图像进行二值化处理，得到二值化图像。
[0068]
图4为本公开至少一实施例提供的图2所示的检测图像对应的二值化图像。
[0069]
例如，对图2所示的检测图像根据步骤s20所述的过程进行预处理，得到第一处理图像，之后，对第一处理图像进行二值化处理，得到如图4所示的二值化图像。
[0070]
如图2和图4可以看到，车厢外部的背景部分、车厢内没有装载货物的部分或纵深方向装载的货物比较少的部分，反映在检测图像上会比较亮，对应在二值化图像中属于白色像素点，而货物部分反映在检测图像上会比较暗，对应在二值化图像中属于黑色像素点。
[0071]
为保证货车的平稳性，货物通常装载是均匀的，因此可以通过二值化图像中的箱体区域内黑色像素点的占比，得到容积率。
[0072]
例如，根据箱体区域的边缘，确定在检测图像中，位于由箱体区域的边缘确定的第一区域内的像素点总数，以得到第一数量，可以包括：将第一区域中的像素点标记为第二值，将检测图像中不位于第一区域的像素点标记为第三值；计算标记为第二值的像素点的数量，作为第一数量。这里，第二值和第三值不同，例如，第二值表示黑色（例如1），第一值表示白色（例如0）。
[0073]
例如，在具体实施过程中，将第一区域中的像素点标记为第二值，例如1，将检测图像中不位于第一区域的像素点标记为第三值，例如0，从而得到箱体边缘数组e。例如，箱体边缘数组e为一维数组，箱体边缘数组e中的第i个元素表示将检测图像展开成一维后，第i个像素点对应的标记结果，例如，若第i个像素点位于第一区域，则其标记结果为1，若第i个像素点不位于第一区域，则其标记结果为0，这里，i为正整数且小于等于m，m为检测图像的像素点总数。
[0074]
第一数量s可以根据如下公式计算得到：s=
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式4）这里，表示箱体边缘数组e中的第i个元素，表示累加计算，
表示满足时为1，否则为0。
[0075]
例如，遍历整个二值化图像，将二值化图像中的所有像素点的像素值存为一个一维数组t(i)，一维数组t中的第i个元素t(i)为将二值化图像展开成一维后，第i个像素点对应的像素值，例如，像素值为第一值（例如1）时，表示黑色像素点，也即货物部分。这里，i为正整数且小于等于m，m为二值化图像的像素点总数。
[0076]
第二数量b可以根据如下公式计算得到：b=
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式5）这里，表示累加计算，表示满足且时为1，否则为0。
[0077]
在得到第一数量s和第二数量b后，容积率为b/s。
[0078]
本公开至少一实施例提供的容积率计算方法，能够准确、快速甚至实时获得容积率计算结果，且采用多种自适应滤波手段，得到更优的滤波结果，实现去噪、增强对比度等效果，从而利用拉普拉斯算子可以得到准确的车厢边缘，进而计算得到准确的容积率。
[0079]
之后，在步骤s30，对检测图像进行第二处理，得到对应于货物的至少一个分割图像，基于至少一个分割图像得到货物的类别。
[0080]
图5为本公开至少一实施例提供的图1中步骤s30的示意性流程图。如图5所示，步骤s30的示例可以包括步骤s301至步骤s304。
[0081]
在步骤s301，对检测图像进行预处理，得到第二处理图像。
[0082]
例如，步骤s301的示例可以包括：对检测图像进行去噪处理，以减弱检测图像中的噪声信息，得到第二处理图像。
[0083]
关于步骤s301中去噪处理的具体执行过程可以参考前述容积率计算中步骤s201中的相关执行过程，重复之处不再赘述。
[0084]
需要说明的是，在获取货物边缘时不再进行增强处理，因为增强处理会弱化货物边缘细节，使得货物难以被提取出来。
[0085]
例如，若直接对检测图像进行识别会消耗大量的系统资源，且耗时较长，无法满足实时性要求。同时，整图识别时货物间的空隙也会参与的识别计算，从而导致造成计算资源浪费。因此，可以在执行货物种类识别时，将图像按货物码放位置进行分割，丢弃货物间的空隙这些无用信息，以得到多个分割图像，之后再对每个分割图像进行货物种类识别，大幅提高识别速度，减少资源消耗，提高处理效率。
[0086]
在步骤s302，对第二处理图像进行货物边缘提取，以得到至少一种货物的边缘。
[0087]
例如，车厢装载的货物可以包括至少一种货物，至少一种货物被放置在至少一个货物区域中，每个货物区域包括一种或多种货物。在本公开中，每个“货物区域”都要有货物，货物区域与货物区域之间存在边缘，在边缘提取时会检测到这些边缘。每个货物区域中可以放置有不止一种货物。例如，车厢中码放了多个纸箱，每个纸箱中可能混合放置有苹果、梨、桃子等，在进行货物边缘提取时，可以将竖向排布的一列纸箱作为一个货物区域，多列纸箱之间的空隙作为货物边缘，实现货物分割，所得到分割图像为一列纸箱的图像，图像中可能存在有苹果、梨、桃子等水果。
[0088]
例如，如果货物码放的边缘清晰，可以直接采用拉普拉斯算子进行计算，得到货物
的边缘，具体如公式（3）相关内容所述，这里不再赘述。
[0089]
例如，如果货物与货物之间码放位置非常近，比如一部分边缘是紧挨着的，一部分边缘明显分开，这时候边缘就不是十分准确，此时可以用零交叉计算方式对边缘进行进一步定位，更新拉普拉斯算子的计算结果，得到多个拉普拉斯结果，将多个拉普拉斯结果中的正数作为边缘，负数作为非边缘。
[0090]
例如，步骤s302的示例可以包括：对第二处理图像利用拉普拉斯算子进行计算，得到第二处理图像中的多个像素点分别对应的多个计算结果；利用零交叉点计算方法对多个计算结果进行处理，得到多个拉普拉斯结果；根据多个拉普拉斯结果，确定至少一种货物的边缘。
[0091]
拉普拉斯算子作为一个二阶导数，其幅值产生计算边缘，在分割中所起的作用包括：（1）利用它的零交叉性质进行边缘定位；（2）确定一个像素是在一条边缘暗的一面还是亮的一面。由于二阶导数是线性运算，常规方法是首先使用高斯型平滑函数卷积对图像进行处理，得到一幅用零交叉确定边缘位置的图像。使用高斯型平滑函数卷积的目的就是对图像进行平滑处理，由于第二处理图像已经是经过去噪处理后的图像，所以这里省掉了高斯平滑处理，提高了算法效率。
[0092]
在步骤s303，根据至少一种货物的边缘，对检测图像进行图像分割处理，得到至少一个分割图像。
[0093]
对检测图像进行分割，这一步的目的是将货物按货物边缘分割成多个分割图像，从而在步骤s304中对多个分割图像分别进行识别。由于货物边缘提取过程中已经对边缘进行了零交叉标记，分割图像时就可以把边缘间的无用信息丢弃，只保留货物信息。
[0094]
例如，因为货物尺寸本身限制，如果属于货物的话其尺寸通常不会过小，一些不是货物的部分也会因为各种原因被当做货物来看待，但整体上这种错误识别的部分像素值占比很小，可能相同像素值的像素点总数只有几十个，需要在分割图像前将这些像素点标记为非货物部分。
[0095]
例如，步骤s303的示例可以包括：根据第二处理图像，确定像素点阈值；确定第二处理图像中不同像素值分别对应的像素占比，其中，每个像素值对应的像素占比为每个像素值对应的像素点总数与第二处理图像包括的所有像素点的总数之比；确定像素占比小于像素点阈值的至少一个像素值；将第二处理图像中的像素值为至少一个像素值的像素点标记为非货物部分，以得到第三处理图像；根据至少一种货物的边缘，对第三处理图像进行图像分割处理，得到至少一个分割图像。
[0096]
例如，不同检测图像可以对应不同的像素点阈值，从而自适应地修改像素点阈值，以最大程度保留货物信息，去除干扰信息。
[0097]
例如，确定第二处理图像中的不同像素值对应的多个像素占比时，假设第二处理图像中像素值为20的像素点总数为10，也即第二处理图像中共有10个像素点的像素值为20，第二处理图像包括的所有像素点的总数为1000，则像素值20对应的像素占比为10/1000=1%。类似的，假设第二处理图像中像素值为78的像素点总数为30，第二处理图像包括的所有像素点的总数为1000，则像素值78对应的像素占比为30/1000=3%。
[0098]
例如，假设第二处理图像对应的像素点阈值为5%，像素值1~10对应的像素占比均小于5%，则将步骤s301得到的第二处理图像中，像素值为1~10的像素点的像素值替换为白
色像素点，由于在检测图像中，货物部分亮度低，背景部分亮度高，所以将这些像素点的像素值替换为白色像素点（例如针对8位灰度图像，这些像素点的像素值替换为255），即可使得这些像素点标记为非货物部分，减弱或避免无用信息对后续货物类别识别时造成的干扰。
[0099]
例如，根据第二处理图像，确定像素点阈值可以包括：根据阈值步长，在预设范围内依次选择多个阈值作为备选阈值；根据备选阈值，确定第二处理图像中像素占比小于备选阈值的至少一个像素值；确定第二处理图像中，像素值为至少一个像素值的所有像素点的总数，以得到备选阈值对应的第三数量；确定多个备选阈值分别对应的多个第三数量中的最小值，将最小值对应的备选阈值作为像素点阈值。
[0100]
例如，预设范围为1%~10%，以0.5%作为阈值步长，在1%~10%的范围内依次选择1%、1.5%、2%、...10%作为备选阈值。
[0101]
以备选阈值为3%时为例，确定第二处理图像中像素占比小于3%的多个像素值，例如，像素占比小于3%的像素值有10个，例如分别为1、2、3、...10。
[0102]
之后，确定第二处理图像中，像素值为1~10的像素点的总数，例如，第二处理图像中像素值为1~10的像素点的总数为88，从而得到备选阈值3%对应的第三数量88。
[0103]
之后，确定20个备选阈值分别对应的20个第三数量中的最小值，例如，备选阈值5%对应的第三数量为最小值，则将备选阈值5%作为像素点阈值。
[0104]
由于不同检测图像可以自适应的得到最优的像素点阈值，从而可以实现最大程度保留货物信息，减弱干扰信息。
[0105]
在步骤s304，对至少一个分割图像进行类别检测，得到每个分割图像对应的货物区域中的货物类别。
[0106]
例如，步骤s304的示例可以包括：针对每个分割图像，提取每个分割图像的特征信息；利用分类模型对特征信息进行处理，确定每个分割图像对应的货物区域中的货物类别。
[0107]
例如，分类模型可以采用任意可以实现分类的模型结构，本公开对此不作限制。
[0108]
例如，特征信息可以包括像素纹理分布、边缘过渡特征、灰度渐变趋势，将这些特征信息形成特征矢量集导入分类模型，获得货物区域中的货物类别。
[0109]
例如，在对分类模型进行训练时，可以包括：对待训练的分类模型进行预训练，以得到分类模型；响应于货物的类别不满足要求，获取人工查验结果，响应于人工查验结果合规，基于分割图像和人工查验结果，对分类模型进行优化训练。
[0110]
例如，首先获得带有合规货物的样本图像作为训练图像，例如，训练图像可以通过拍摄合规货物得到，或者扫描带有合规货物的照片得到。之后，将训练图像输入待训练的分类模型进行学习，训练过程可以采用有监督训练过程、无监督训练过程等，本公开对此不作限制。
[0111]
在对分类模型进行预训练后，得到可以使用的分类模型，但该分类模型的识别准确率可能不能达到非常高，实际使用中可能存在误判的情况。
[0112]
例如，在使用过程中，若判断货物的类别不满足要求，则进行人工查验，如果人工查验货物合规，则说明模型识别的准确率需要提高，此时将该车辆对应的多个分割图像作为模型输入，结合人工查验结果，对模型进行优化训练，修正模型参数。在实际使用过程中不断执行上述学习反馈训练，将识别出错的检测图像对应的多个分割图像作为训练图像继
续对分类模型进行训练，不断修正模型参数，使得模型识别准确率达到99%以上，得到优化的分类模型。
[0113]
最后，在步骤s40，响应于容积率和货物类别均满足要求，判断车辆装载合规。
[0114]
例如，在《三部门关于进一步优化鲜活农产品运输“绿色通道”政策的通知》中明确规定绿通车装载应符合《鲜活农产品品种目录》的产品，且所载鲜活农产品也必须占车辆容积的80%以上。
[0115]
例如，步骤s40可以包括，首先根据步骤s20所述的过程得到车厢装载货物的容积率，若容积率小于第一阈值，则判断车辆装载不合规，本次判定结束；若容积率大于第一阈值（例如第一阈值为80%），判断容积率正常。
[0116]
之后，根据步骤s30所述的过程得到每个分割图像对应的货物区域中的货物类别，对每幅分割图像的判定结果进行统计，判断车辆装载的货物是否符合要求。例如，若n个分割图像中货物类别合规的分割图像的数量大于第二阈值（例如第二阈值为80%*n），则判断车厢装载合规，予以放行；若n个分割图像中货物类别合规的分割图像的数量小于第二阈值但大于第三阈值（例如第三阈值为75%），则判断车辆为存疑车辆，需要进行人工查验；若n个分割图像中货物类别合规的分割图像的数量小于第三阈值，则判断车辆为不合规，这里，n为正整数。
[0117]
需要说明的是，本公开至少一实施例提供的载货车辆的查验方法执行过程中对于步骤s20和步骤s30的顺序不做限制，例如，也可以先执行步骤s20，得到车厢装载货物的容积率，同时进行容积率判断，如果容积率判定正常再执行步骤s30，若容积率不正常将直接给出判定结果为不合规，不再执行步骤s30，以节约识别时间，提高查验效率。
[0118]
本公开至少一实施例还提供一种载货车辆的查验装置，图6为本公开至少一实施例提供的一种载货车辆的查验装置的示意性框图。
[0119]
如图6所示，载货车辆的查验装置600可以包括：获取单元601、第一处理单元602、第二处理单元603和判断单元604。
[0120]
例如，车辆包括车厢，所述车厢内装载有货物，关于车辆的相关介绍可以参考前述内容，这里不再赘述。
[0121]
例如，这些模块/单元可以通过硬件（例如电路）模块、软件模块或二者的任意组合等实现，以下实施例与此相同，不再赘述。例如，可以通过中央处理单元（cpu）、载货车辆的查验器（gpu）、张量处理器（tpu）、现场可编程逻辑门阵列（fpga）或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应计算机指令来实现这些单元。
[0122]
例如，获取单元601配置为获取检测图像。例如，检测图像包括车厢的箱体区域。
[0123]
例如，第一处理单元602配置为对检测图像进行第一处理得到箱体区域的边缘，并根据箱体区域的边缘计算车厢装载货物的容积率。
[0124]
例如，第二处理单元603配置为对检测图像进行第二处理，得到对应于货物的至少一个分割图像，基于至少一个分割图像得到货物的类别。
[0125]
例如，判断单元604配置为响应于容积率和货物类别均满足要求，判断车辆装载合规。
[0126]
例如，在至少部分通过软件模块实现获取单元601、第一处理单元602、第二处理单元603和判断单元604的情形，这些单元可以至少部分包括存储在存储器中的代码和程序；
处理器可以执行该代码和程序以实现如上所述的获取单元601、第一处理单元602、第二处理单元603和判断单元604的一些功能或全部功能。例如，获取单元601、第一处理单元602、第二处理单元603和判断单元604可以是专用硬件器件，用来实现如上所述的获取单元601、第一处理单元602、第二处理单元603和判断单元604的一些或全部功能。例如，获取单元601、第一处理单元602、第二处理单元603和判断单元604可以是一个电路板或多个电路板的组合，用于实现如上所述的功能。在本技术实施例中，该一个电路板或多个电路板的组合可以包括：（1）一个或多个处理器；（2）与处理器相连接的一个或多个非暂时的存储器；以及（3）处理器可执行的存储在存储器中的固件。
[0127]
需要说明的是，获取单元601可以用于实现图1所示的步骤s10，第一处理单元602可以用于实现图1所示的步骤s20，第二处理单元603可以用于实现图1所示的步骤s30，判断单元604可以用于实现图1所示的步骤s40。从而关于获取单元601、第一处理单元602、第二处理单元603和判断单元604能够实现的功能的具体说明可以参考上述载货车辆的查验方法的实施例中的步骤s10至步骤s40的相关描述，重复之处不再赘述。此外，载货车辆的查验装置600可以实现与前述载货车辆的查验方法相似的技术效果，在此不再赘述。
[0128]
需要注意的是，在本公开的实施例中，该载货车辆的查验装置600可以包括更多或更少的电路或单元，并且各个电路或单元之间的连接关系不受限制，可以根据实际需求而定。各个电路或单元的具体构成方式不受限制，可以根据电路原理由模拟器件构成，也可以由数字芯片构成，或者以其他适用的方式构成。
[0129]
本公开至少一实施例还提供一种电子设备，图7为本公开至少一实施例提供的一种电子设备的示意图。
[0130]
例如，如图7所示，电子设备包括处理器701、通信接口702、存储器703和通信总线704。处理器701、通信接口702、存储器703通过通信总线704实现相互通信，处理器701、通信接口702、存储器703等组件之间也可以通过网络连接进行通信。本公开对网络的类型和功能在此不作限制。应当注意，图7所示的电子设备的组件只是示例性的，而非限制性的，根据实际应用需要，该电子设备还可以具有其他组件。
[0131]
例如，存储器703用于非瞬时性地存储计算机可读指令。处理器701用于执行计算机可读指令时，实现根据上述任一实施例所述的载货车辆的查验方法。关于该载货车辆的查验方法的各个步骤的具体实现以及相关解释内容可以参见上述载货车辆的查验方法的实施例，在此不作赘述。
[0132]
例如，处理器701执行存储器703上所存放的计算机可读指令而实现的载货车辆的查验方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。
[0133]
例如，通信总线704可以是外设部件互连标准（pci）总线或扩展工业标准结构（eisa）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0134]
例如，通信接口702用于实现电子设备与其他设备之间的通信。
[0135]
例如，处理器701和存储器703可以设置在服务器端（或云端）。
[0136]
例如，处理器701可以控制电子设备中的其它组件以执行期望的功能。处理器701可以是中央处理器（cpu）、网络处理器（np）、张量处理器（tpu）或者图形处理器（gpu）等具有
数据处理能力和/或程序执行能力的器件；还可以是数字信号处理器（dsp）、专用集成电路（asic）、现场可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理器（cpu）可以为x86或arm架构等。
[0137]
例如，存储器703可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（rom）、硬盘、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器701可以运行所述计算机可读指令，以实现电子设备的各种功能。在存储介质中还可以存储各种应用程序和各种数据等。
[0138]
例如，在一些实施例中，电子设备还可以包括图像获取部件。图像获取部件用于获取图像。存储器703还用于存储获取的图像。
[0139]
例如，图像获取部件可以是能够实现透射成像的扫描设备。
[0140]
例如，关于电子设备执行载货车辆的查验的过程的详细说明可以参考载货车辆的查验方法的实施例中的相关描述，重复之处不再赘述。
[0141]
图8为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图。例如，如图8所示，存储介质800可以为非瞬时性计算机可读存储介质，在存储介质800上可以非暂时性地存储一个或多个计算机可读指令801。例如，当计算机可读指令801由处理器执行时可以执行根据上文所述的载货车辆的查验方法中的一个或多个步骤。
[0142]
例如，该存储介质800可以应用于上述电子设备中，例如，该存储介质800可以包括电子设备中的存储器。
[0143]
例如，存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(ram）、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
[0144]
例如，关于存储介质800的说明可以参考电子设备的实施例中对于存储器的描述，重复之处不再赘述。
[0145]
图9为本公开至少一实施例提供的一种硬件环境的示意图。本公开提供的电子设备可以应用在互联网系统。
[0146]
利用图9中提供的计算机系统可以实现本公开中涉及的图像处理装置和/或电子设备的功能。这类计算机系统可以包括个人电脑、笔记本电脑、平板电脑、手机、个人数码助理、智能眼镜、智能手表、智能指环、智能头盔及任何智能便携设备或可穿戴设备。本实施例中的特定系统利用功能框图解释了一个包含用户界面的硬件平台。这种计算机设备可以是一个通用目的的计算机设备，或一个有特定目的的计算机设备。两种计算机设备都可以被用于实现本实施例中的图像处理装置和/或电子设备。计算机系统可以包括实施当前描述的实现图像处理所需要的信息的任何组件。例如，计算机系统能够被计算机设备通过其硬件设备、软件程序、固件以及它们的组合所实现。为了方便起见，图9中只绘制了一台计算机设备，但是本实施例所描述的实现图像处理所需要的信息的相关计算机功能是可以以分布的方式、由一组相似的平台所实施的，分散计算机系统的处理负荷。
[0147]
如图9所示，计算机系统可以包括通信端口250，与之相连的是实现数据通信的网络，例如，计算机系统可以通过通信端口250发送和接收信息及数据，即通信端口250可以实现计算机系统与其他电子设备进行无线或有线通信以交换数据。计算机系统还可以包括一个处理器组220（即上面描述的处理器），用于执行程序指令。处理器组220可以由至少一个处理器（例如，cpu）组成。计算机系统可以包括一个内部通信总线210。计算机系统可以包括不同形式的程序储存单元以及数据储存单元（即上面描述的存储器或存储介质），例如硬盘270、只读存储器（rom）230、随机存取存储器（ram）240，能够用于存储计算机处理和/或通信使用的各种数据文件，以及处理器组220所执行的可能的程序指令。计算机系统还可以包括一个输入/输出组件260，输入/输出组件260用于实现计算机系统与其他组件（例如，用户界面280等）之间的输入/输出数据流。
[0148]
通常，以下装置可以连接输入/输出组件260：例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置；例如显示器（例如，lcd、oled显示器等）、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信接口。
[0149]
虽然图9示出了具有各种装置的计算机系统，但应理解的是，并不要求计算机系统具备所有示出的装置，可以替代地，计算机系统可以具备更多或更少的装置。
[0150]
对于本公开，还有以下几点需要说明：（1）本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
[0151]
（2）为了清晰起见，在用于描述本发明的实施例的附图中，层或结构的厚度和尺寸被放大。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件
ꢀ“
上”或“下”，或者可以存在中间元件。
[0152]
（3）在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
[0153]
以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。