实地查证数据采集方法和实地查证系统、电子设备及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种实地查证数据采集方法和实地查证系统、电子设备及计算机可读存储介质。


背景技术：

2.随着社会的发展，跨境贸易已经成为了国内商户的日常经营的重要组成部分。特别是随着互联网的发展，商户还可以通过电商平台而将自己的商品在全球范围内进行售卖，并且在接收了跨境订单之后，可以通过跨境物流运输来履行海外订单。因此，在跨境贸易中，卖家需要将海外买家购买的商品/货物向海关申报，以便于向海外运输。因此，对货物进行报关是卖家将买家购买的商品进行跨境运输的必要环节。
3.在报关申报过程中，需要随着报关单对应地上传实地查证的佐证。在现有技术中，通常是由代理报关机构或退税机构或者是海关的工作人员前往出口的货物的生产场地，例如工厂等，进行实地的证据采集和实地信息搜集。特别是由于这些实地查证的证据是作为海关审核报关和退税的重要依据，因此，需要在实地采集足够详细的照片以及信息。因此，常常需要在实地拍摄至少三十多张图片和/或视频，并且还需要记录拍摄时的地理位置信息、工厂的厂牌、货物装柜、封柜等各种实地要素。因此，这样的实地查证过程需要耗费大量的人力，而且手续繁琐，效率较低。


技术实现要素：

4.本技术实施例提供一种实地查证数据采集方法和实地查证系统、电子设备及计算机可读存储介质，以解决现有技术中依赖于人工进行实地查证效率低的缺陷。
5.为达到上述目的，本技术实施例提供了一种实地查证数据采集方法，包括：
6.根据海关实地查证任务中的查验区域，生成至少一个目标点位的点位信息；
7.分别在各目标点位，利用采集设备进行数据采集，获取所述至少一个目标点位的点位数据，其中，所述点位数据包括各目标点位处执行数据采集的采集设备的多个位姿数据以及与每个所述位姿数据对应的图像数据和深度数据；
8.将每个目标点位的点位数据上传至服务器，以生成针对所述待查验地点的三维重建数据。
9.本技术实施例还提供了一种实地查证数据采集装置，包括：
10.生成模块，用于根据海关实地查证任务中的查验区域，生成至少一个目标点位的点位信息；
11.数据采集模块，用于分别在各目标点位，进行数据采集，获取所述至少一个目标点位的点位数据，其中，所述点位数据包括各目标点位处所述实地查证数据采集装置的多个位姿数据以及与每个所述位姿数据对应的图像数据和深度数据；
12.上传模块，用于将每个目标点位的点位数据上传至服务器，以生成针对所述待查
验地点的三维重建数据。
13.本技术实施例还提供了一种实地查证系统，包括：
14.实地查证任务单元，用于根据接收到的实地查证请求生成实地查证任务，其中，所述实地查证任务中至少包括查验地点和查验区域；
15.图像采集单元，用于根据所述实地查证任务中的查验区域生成至少一个目标点位的点位信息；分别在各目标点位进行数据采集，获取所述至少一个目标点位的点位数据，其中，所述点位数据包括各目标点位处执行数据采集的采集设备的多个位姿数据以及与每个所述位姿数据对应的图像数据和深度数据；将每个目标点位的点位数据上传至服务器；
16.三维重建单元，用于对所述点位数据进行三维重建处理，以生成针对所述查验区域的三维模型数据。
17.本技术实施例还提供了一种电子设备，包括：
18.存储器，用于存储程序；
19.处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行本技术实施例提供的实地查证数据采集方法。
20.本技术实施例还提供了一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如本技术实施例提供的实地查证数据采集方法。
21.本技术实施例提供的实地查证数据采集方法和实地查证系统、电子设备及计算机可读存储介质，通过根据海关实地查证任务中的查验区域生成至少一个目标点位，在目标点位执行数据采集，以获取到包括采集设备的多个位姿数据和与位姿数据对应的图像数据和深度数据，从而可以将这些实地采集数据上传到服务器来生成三维重建数据，从而海关系统可以在审核报关单时基于这些三维重建数据来复原查验地点的虚拟现实图像，因此可以在无需有资质人员前往查验地点按规定进行数据采集的情况下，海关可以通过在终端上查看基于三维重建数据生成的虚拟现实图像，来对查验地点进行实地查证。
22.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
23.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
24.图1为本技术实施例提供的实地查证方案的应用场景示意图；
25.图2为本技术提供的实地查证数据采集方法的一个实施例的流程图；
26.图3为本技术提供的实地查证数据采集方法的另一个实施例的流程图；
27.图4为本技术提供的实地查证数据采集装置实施例的结构示意图；
28.图5为本技术提供的实地查证系统实施例的系统框图；
29.图6为本技术提供的电子设备实施例的结构示意图。
具体实施方式
30.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
31.实施例一
32.本技术实施例提供的方案可应用于任何具有图像采集和处理能力的系统，例如包括有数据采集和处理功能的芯片以及相关组件的服务器系统等等。图1为本技术实施例提供的实地查证方案的应用场景示意图，图1所示的场景仅仅是本技术的技术方案可应用的示例之一。
33.在跨境贸易中，商户可以通过例如互联网的电商平台接收国外的订单，并且在根据订单生产之后，将自己的商品发往全球的买家。因此，跨境物流运输是国内商户履行海外订单必要的环节之一。对于跨境物流这一环节，卖家需要将所要运输的商品/货物向海关申报，即进行报关是卖家将买家购买的商品进行跨境运输的必要环节。
34.在报关申报过程中，需要随着报关单对应地上传实地查证的佐证，因此，在现有技术中，通常是由代理报关机构或退税机构或者是海关的工作人员前往出口的货物的生产场地，例如工厂等，进行实地的证据采集和实地信息搜集。特别是由于这些实地查证的证据是作为海关审核报关和退税的重要依据，因此，需要在实地采集足够详细的照片以及信息。因此，常常需要在实地拍摄至少三十多张图片和/或视频，并且还需要记录拍摄时的地理位置信息、工厂的厂牌、货物装柜、封柜等各种实地要素。因此，这样的实地查证过程需要耗费大量的人力，而且手续繁琐，效率较低。
35.在现有技术的上述方案中，需要完全依赖于代理报关机构或退税机构或海关的工作人员这样的人力，来进行实地的考察和取证。这样的全人工查证工作实际上是依赖于受到海关认可的有资质人员进行采集，来确保采集数据的可信度，并且实地查证还需要搜集充足的信息，来进行报关单的核验，因此，还需要进行实地考察和取证的人员具有足够的经验和报关知识，从而才能够在实地采集到符合海关报关审核要求的实地查证数据。
36.例如，如图1中所示，图1是示出根据本技术实施例的实地查证方案的应用场景。例如，如图1中所示，查验地点可以是报关单中涉及的工厂，而查验区域可以是该工厂中生产待出口货物的场地，因此，在现有技术中，通常需要报关代理机构或海关人员根据报关单或退税单的申请而亲自到该查验地点的查验区域中来亲自查看，并且按照海关实地查证的要求来拍摄多张图片，以全面覆盖该区域。从而在报关单或退税单审核过程中，海关审查人员可以基于这些由海关认可的资质人员拍摄的图片来辅助审核报关单或退税单中的内容。
37.但是如上所述，查验地点通常都是位于较为偏远位置的工厂，报关代理机构或海关人员需要乘坐交通工具到达该查验地点，因此不可避免地在路途上花费大量时间。此外，当到达该查验地点后，还需要在查验区域中尽量拍摄足够多的图片来佐证该查验区域的场景的真实性。因此，这都需要耗费大量的专业的报关人员或者甚至占用大量的海关人员的时间。
38.为此，根据本技术实施例提出了一种实地查证方法，如图1中所示，可以在海关系统中响应于报关单来生成对应的实地查证请求，并且下发给例如本技术实施例的实地查证
系统，从而可以根据该实地查证请求来生成实地查证任务，即可以通过该实地查证任务来指示查验地点和查验区域。例如，在如图1中所示的场景中，查验地点可以是生产报关单中所针对的货物的工厂，而查验区域则可以是该工厂的某个厂房。
39.因此，根据该实地查证任务中指定的查验地点，可以先通过采集设备来获取采集设备的gps(全球卫星定位系统)信息，并通过该信息来确认采集设备已经处于查验地点中，进而根据该实地查证任务中的查验区域来生成该区域中的目标点位的点位信息。例如，如图1中所示，由于采集设备只能够采取一个视角下的图像，并且通过旋转该采集设备也只能够采集到该采集设备所在的位置周围的一圈的图像，这些图像并不能够全面覆盖实证查验任务中指定的查验区域。因此，在本技术实施例中，可以根据该查验区域来生成多个目标点位，并通过该多个目标点位构成的网格来实现对于整个查验区域的场景的覆盖。例如，如图1中所示的查验区域为矩形，因此，可以在该矩形区域中设置8个目标点位，来形成对于整个查验区域的场景的覆盖。换言之，由于可以通过旋转采集设备并同时进行图像采集来采集其所在位置的周围的多个图像，因此，通过在查验区域中设置多个目标点位形成覆盖目标区域的网格，并在每个目标点位都通过旋转采集设备来同时采集多个图像或视频，从而就可以实现对于整个查验区域的全覆盖。
40.例如，可以首先将例如具有深度传感器的图像/视频采集设备设置在目标点位1处，特别地，由于需要对该采集设备进行旋转来采集该目标点位1周围的图像/视频，因此，可以将该采集设备固定连接到例如三轴稳定器的支架上，从而在本技术实施例中，可以通过旋转该固定在该三轴稳定器上的采集设备，而使得采集设备尽可能地水平旋转，这样的采集方式可以采集到在同一水平高度上获取到的不同视角的图像/视频，从而有利于提高后期的重建精度。
41.具体地，例如，在如图1中所示的场景中，可以将例如具有深度传感器的手机作为图像/视频采集设备，并且使用具有三轴稳定器的三脚架作为稳定器支架。因此，可以将手机固定在该三轴稳定器上，然后先使得手机朝向第一方向，以拍摄第一视角下的图像/视频，在该视角拍摄完毕之后，可以通过例如发送控制指令来使得三轴稳定器在三脚架上旋转预定角度，来使得手机朝向第二方向，并拍摄第二视角下的图像/视频，以此类推，直至将手机旋转了360度，即一圈。当然，在本技术实施例中，也可以控制三轴稳定器以预定的旋转速度进行旋转，并且手机在旋转的同时进行图像/视频的采集。并且可以通过设置旋转一圈的时间来控制旋转速度，以确保手机能够在每个角度都拍摄到足够清楚的且具有足够细节的图像。
42.在拍摄每个图像或采集视频的每个视频帧时，可以通过手机中的深度传感器来获取到对应的深度数据，换言之，在手机在每个视角采集图像或视频的视频帧时，可以同时获取对应的深度数据，并且将获取到的深度数据与采集到的图像或视频的视频帧一起对应地存储。
43.当目标点位1处手机已经旋转一周时，可以认为该点位的数据已经采集完毕，并且可以前往下一个目标点位2处进行同样的数据采集处理。与此同时地，可以对手机作为图像采集设备在目标点位1处采集图像数据时的位姿进行计算。例如在图1中所示的场景中，可以通过从稳定器获取采集各个图像或视频帧时的旋转角度并基于手机的相机模块的内参来计算手机在各个采集时刻的位姿数据。此外，在本技术实施例中，也可以通过相机实时追
踪算法来获取手机在不同采集时刻的旋转角度，从而同样基于手机的相机模块的内参来计算手机在各个采集时刻的位姿。因此，通过该处理，可以对于每个采集到的图像数据分别计算出对应的采集设备在采集该图像数据时的位姿数据，并且建立一一对应的关系。
44.因此，对于目标点位2，可以同样地将固定有该手机的三脚架移动到目标点位2来进行目标点位2处的数据获取处理。在本技术实施例中，可以使用可按照预定轨迹或根据指令移动的小车来移动该三脚架，使得该三脚架可以携带该手机在每采集完一个目标点位后就自动移动到下一个目标点位来执行数据采集，直到全部8个目标点位都执行了数据采集。因此，以该方式，可以实现整个查验区域的点位数据的自动采集。
45.在获取了查验区域中的全部目标点位的点位数据之后，根据本技术实施例的实地查证方案可以将采集到的点位数据全部上传到云端服务器来进行存储。此外，在云端服务器中还可以进一步设置有三维重建模块或组件，以便于对上传的查验区域的全部点位数据进行三维重建处理。
46.例如，在本技术实施例中，可以在云端服务器中对上传的全部目标点位的点位数据进行计算，以对于每个目标点位生成一张全景图作为该目标点位的预览图像，并且还可以生成整个查验区域的三维模型，从而海关查验人员可以通过网络在办公室中访问该云端服务器来下载这些预览图像和三维模型，从而在海关人员的本地计算机中查看该查验区域的虚拟现实(virtual reality；简称：vr)图像。
47.具体地，在本技术实施例中，可以首先根据各个目标点位的图像数据和深度数据以及例如图1中所示的手机的相机内参生成各个目标点位的深度图。在本技术实施例中，深度图可以是手机拍摄到的场景中的每个点到该手机所在的垂直平面的距离值。因此，该距离值可以被称为深度值。从而手机在每个目标点位在每个旋转角度采集图像数据时可以同时获取到图像数据中包含的场景中的实际的点到手机所在的垂直平面的深度值，而这些深度值就共同组成了该角度采集到的图像数据的深度数据。通常情况下，深度图像可以是一副灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到手机所在垂直平面的真实距离。
48.之后，云端服务器可以根据该查验区域中各目标点位的图像数据以及深度数据生成各目标点位的点云数据。例如，在本技术实施例中，云端服务器可以先根据各目标点位在各旋转角度采集到的深度图来计算对应的图像数据中的各个像素点对应的x坐标和y坐标，因此，可以结合该图像数据以及计算出的x坐标、y坐标以及深度图中的对应的z坐标来生成该目标点位的点云数据。最后，可以根据查验区域中的各目标点位的点云数据以及各个目标点位对应的位姿数据生成整个区域的稠密点云数据，进而可以在该整个区域的稠密点云数据上进行例如泊松表面重建和纹理贴图处理，从而生成用于查验区域的三维模型数据。
49.因此，海关人员可以在本地的办公室中通过访问云端服务器来获取生成的三维模型数据，并且可以通过终端上安装的虚拟现实软件来基于该三维模型数据对查验区域进行查看。
50.本技术实施例提供的实地查证数据采集方案，通过根据海关实地查证任务中的查验区域生成至少一个目标点位，在目标点位执行数据采集，以获取到包括采集设备的多个位姿数据和与位姿数据对应的图像数据和深度数据，从而可以将这些实地采集数据上传到服务器来生成三维重建数据，从而海关系统可以在审核报关单时基于这些三维重建数据来
复原查验地点的虚拟现实图像，因此可以在无需有资质人员前往查验地点按规定进行数据采集的情况下，海关可以通过在终端上查看基于三维重建数据生成的虚拟现实图像，来对查验地点进行实地查证。
51.上述实施例是对本技术实施例的技术原理和示例性的应用框架的说明，下面通过多个实施例来进一步对本技术实施例具体技术方案进行详细描述。
52.实施例二
53.图2为本技术提供的实地查证数据采集方法的一个实施例的流程图，该方法的执行主体可以为具有图像采集和处理能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图2所示，该实地查证数据采集方法包括如下步骤：
54.s201，根据海关实地查证任务中的查验区域，生成至少一个目标点位的点位信息。
55.在步骤s201中，可以根据海关实地查证任务来生成查验区域中的至少一个目标点位的点位信息。例如，在本技术实施例中，通常在海关的报关流程中，伴随着报关单或退税单的申报，会随之产生海关实地查证任务。该海关实地查证任务可以涉及查验地点以及查验地点的具体查验区域。例如，报关涉及的是出口货物的情况下，那么实地查证任务中就会将生产该货物的工厂的地点作为查验地点，并且将该工厂的生产该货物的具体车间或存放的库房来作为查验区域。因此，在步骤s201中，可以对于该任务中指定的查验区域确定至少一个目标点位，以便于采集设备在该目标点位进行图像/视频采集。例如，在本技术实施例中，可以在步骤s201中根据该查验区域的形状、大小等信息来生成目标点位，使得从所确定的目标点位进行图像/视频采集的图像能够覆盖整个区域。
56.s202，分别在各目标点位，利用采集设备进行数据采集，获取至少一个目标点位的点位数据。
57.在步骤s202，可以根据步骤s201中确定的目标点位的点位信息，来从例如第一个目标点位开始，对于每个目标点位，使用采集设备进行数据采集，以获取步骤s201中确定的各个目标点位的点位数据。特别地，在本技术实施例中，在步骤s202中获得的点位数据可以包括各目标点位处执行数据采集的采集设备的多个位姿数据以及与每个位姿数据对应的图像数据和深度数据。
58.s203，将每个目标点位的点位数据上传至服务器，以生成针对查验区域的三维重建数据。
59.在步骤s203中可以将步骤s202中对于每个目标点位采集的点位数据上传到例如云端的服务器，以便于在服务器中或者在其他终端中生成用于查验区域的三维重建数据。因此，在步骤s203中上传的查验区域的三维重建数据可以便于例如海关工作人员在其工作位置处使用计算机来下载该三维重建数据，并使用例如虚拟现实软件来进行实地查证。
60.本技术实施例提供的实地查证数据采集方法，通过根据海关实地查证任务中的查验区域生成至少一个目标点位，在目标点位执行数据采集，以获取到包括采集设备的多个位姿数据和与位姿数据对应的图像数据和深度数据，从而可以将这些实地采集数据上传到服务器来生成三维重建数据，从而海关系统可以在审核报关单时基于这些三维重建数据来复原查验地点的虚拟现实图像，因此可以在无需有资质人员前往查验地点按规定进行数据采集的情况下，海关可以通过在终端上查看基于三维重建数据生成的虚拟现实图像，来对查验地点进行实地查证。
61.实施例三
62.图3为本技术提供的实地查证数据采集方法的另一个实施例的流程图，该方法的执行主体可以为具有图像采集和处理能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图3所示，本技术实施例提供的实地查证数据采集方法可以包括如下步骤：
63.s301，根据海关实地查证任务中的查验区域，生成至少一个目标点位的点位信息。
64.在步骤s301中，可以根据海关实地查证任务来生成查验区域中的至少一个目标点位的点位信息。例如，在本技术实施例中，通常在海关的报关流程中，伴随着报关单或退税单的申报，会随之产生海关实地查证任务。该海关实地查证任务可以涉及查验地点以及查验地点的具体查验区域。例如，报关涉及的是出口货物的情况下，那么实地查证任务中就会将生产该货物的工厂的地点作为查验地点，并且将该工厂的生产该货物的具体车间或存放的库房来作为查验区域。
65.在步骤s301中，可以根据该实地查证任务中指定的查验地点，可以先通过采集设备来获取采集设备的gps(全球卫星定位系统)信息，并通过该信息来确认采集设备已经处于查验地点中，进而根据该实地查证任务中的查验区域来生成该区域中的目标点位的点位信息。由于采集设备只能够采取一个视角下的图像，因此可以通过旋转该采集设备来采集该采集设备所在的位置周围的一圈的图像，但是这些图像可能没有全面覆盖实证查验任务中指定的查验区域。因此，在步骤s301中，可以对于该任务中指定的查验区域确定至少一个目标点位，以便于采集设备在该目标点位进行图像/视频采集。例如，在本技术实施例中，可以在步骤s301中根据该查验区域的形状、大小等信息来生成目标点位，使得从所确定的目标点位进行图像/视频采集的图像能够覆盖整个区域。
66.例如，如图1中所示的查验区域为矩形，因此，可以在该矩形区域中设置8个目标点位，来形成对于整个查验区域的场景的覆盖。换言之，由于可以通过旋转采集设备并同时进行图像采集来采集其所在位置的周围的多个图像，因此，通过在查验区域中设置多个目标点位形成覆盖目标区域的网格，并在每个目标点位都通过旋转采集设备来同时采集多个图像或视频，从而就可以实现对于整个查验区域的全覆盖。
67.s302，分别在目标点位，获取采集设备在目标点位采集时的多个旋转角度值以及与每个旋转角度值对应的图像数据和深度数据。
68.在步骤s302中，可以根据步骤s301中确定的目标点位的点位信息，来从例如第一个目标点位开始，对于每个目标点位，使用采集设备进行数据采集，以获取步骤s301中确定的各个目标点位的点位数据。在步骤s301处开始，可以使用具有深度传感器的图像/视频采集设从第一个目标点位处开始进行采集。
69.在本技术实施例中，可以在步骤s302中，可以对采集设备进行旋转来采集各目标点位周围的图像/视频，例如，可以将该采集设备固定连接到例如三轴稳定器的支架上，从而在本技术实施例中，可以通过旋转该固定在该三轴稳定器上的采集设备，而使得采集设备尽可能地水平旋转，这样的采集方式可以采集到在同一水平高度上获取到的不同视角的图像/视频，从而有利于提高后期的重建精度。
70.例如，可以使用具有深度传感器的图像/视频采集设备，并且使用具有三轴稳定器的三脚架作为稳定器支架。因此，可以将采集设备固定在该三轴稳定器上，然后先使得采集
设备朝向第一方向，以拍摄第一视角下的图像/视频，在该视角拍摄完毕之后，可以通过例如发送控制指令来使得三轴稳定器在三脚架上旋转预定角度，来使得采集设备朝向第二方向，并拍摄第二视角下的图像/视频，以此类推，直至将手机旋转了360度，即一圈。
71.此外，在本技术实施例中，也可以控制三轴稳定器以预定的旋转速度进行旋转，并且采集设备在旋转的同时进行图像/视频的采集。并且可以通过设置旋转一圈的时间来控制旋转速度，以确保采集设备能够在每个角度都拍摄到足够清楚的且具有足够细节的图像。
72.在步骤s302中，可以在拍摄每个图像或采集视频的每个视频帧时，通过采集设备中的深度传感器来获取到对应的深度数据，换言之，在采集设备在每个视角采集图像或视频的视频帧时，可以同时获取对应的深度数据，并且将获取到的深度数据与采集到的图像或视频的视频帧一起对应地存储。
73.s303，根据采集设备的内参与旋转角度值，确定与旋转角度值对应的位姿数据。
74.在步骤s303中，可以对采集设备在各个目标点位处采集图像数据和深度数据时的位姿进行计算。例如在步骤s303中，可以通过从稳定器获取采集各个图像或视频帧时的旋转角度并基于采集设备的相机模块的内参来计算采集设备在各个采集时刻的位姿数据。
75.此外，在本技术实施例中，也可以通过相机实时追踪算法来获取采集设备在不同采集时刻的旋转角度，从而同样基于采集设备的相机模块的内参来计算采集设备在各个采集时刻的位姿。因此，在步骤s303中，可以对于每个采集到的图像数据分别计算出对应的采集设备在采集该图像数据时的位姿数据，并且建立一一对应的关系。
76.s304，将每个目标点位的点位数据上传至服务器，以生成针对查验区域的三维重建数据。
77.在步骤s304中可以将步骤s302和s303中对于每个目标点位采集的点位数据上传到例如云端的服务器，以便于在服务器中或者在其他终端中生成用于查验区域的三维重建数据。因此，在步骤s304中上传的查验区域的三维重建数据可以便于例如海关工作人员在其工作位置处使用计算机来下载该三维重建数据，并使用例如虚拟现实软件来进行实地查证。
78.本技术实施例提供的实地查证数据采集方法，通过根据海关实地查证任务中的查验区域生成至少一个目标点位，在目标点位执行数据采集，以获取到包括采集设备的多个位姿数据和与位姿数据对应的图像数据和深度数据，从而可以将这些实地采集数据上传到服务器来生成三维重建数据，从而海关系统可以在审核报关单时基于这些三维重建数据来复原查验地点的虚拟现实图像，因此可以在无需有资质人员前往查验地点按规定进行数据采集的情况下，海关可以通过在终端上查看基于三维重建数据生成的虚拟现实图像，来对查验地点进行实地查证。
79.实施例四
80.图4为本技术提供的实地查证数据采集装置实施例的结构示意图，可以用于执行图2或图3中所示的实地查证数据采集方法。如图4所示，该实地查证数据采集装置可以包括：生成模块41、数据采集模块42和上传模块43。
81.生成模块41可以用于根据海关实地查证任务中的查验区域生成至少一个目标点位的点位信息。
82.生成模块41可以根据海关实地查证任务来生成查验区域中的至少一个目标点位的点位信息。例如，在本技术实施例中，通常在海关的报关流程中，伴随着报关单或退税单的申报，会随之产生海关实地查证任务。该海关实地查证任务可以涉及查验地点以及查验地点的具体查验区域。例如，报关涉及的是出口货物的情况下，那么实地查证任务中就会将生产该货物的工厂的地点作为查验地点，并且将该工厂的生产该货物的具体车间或存放的库房来作为查验区域。因此，生成模块41可以对于该任务中指定的查验区域确定至少一个目标点位，以便于采集设备在该目标点位进行图像/视频采集。例如，在本技术实施例中，生成模块41可以根据该查验区域的形状、大小等信息来生成目标点位，使得从所确定的目标点位进行图像/视频采集的图像能够覆盖整个区域。
83.数据采集模块42可以分别在各目标点位，进行数据采集，获取至少一个目标点位的点位数据。
84.数据采集模块42可以根据生成模块41确定的目标点位的点位信息，来从例如第一个目标点位开始，对于每个目标点位进行数据采集，以获取生成模块41确定的各个目标点位的点位数据。特别地，在本技术实施例中，数据采集模块42获得的点位数据可以包括各目标点位处执行数据采集的采集设备的多个位姿数据以及与每个位姿数据对应的图像数据和深度数据。
85.具体地，例如，在本技术实施例中，数据采集模块42可以对采集设备进行旋转来采集各目标点位周围的图像/视频，例如，可以将该数据采集模块42固定连接到例如三轴稳定器的支架上，从而在本技术实施例中，可以通过旋转该固定在该三轴稳定器上的数据采集模块42，而使得数据采集模块42尽可能地水平旋转，这样的采集方式可以采集到在同一水平高度上获取到的不同视角的图像/视频，从而有利于提高后期的重建精度。
86.例如，可以使用具有深度传感器的图像/视频采集设备作为数据采集模块42，并且使用具有三轴稳定器的三脚架作为稳定器支架。因此，可以将采集设备固定在该三轴稳定器上，然后先使得数据采集模块42朝向第一方向，以拍摄第一视角下的图像/视频，在该视角拍摄完毕之后，可以通过例如发送控制指令来使得三轴稳定器在三脚架上旋转预定角度，来使得数据采集模块42朝向第二方向，并拍摄第二视角下的图像/视频，以此类推，直至将数据采集模块42旋转了360度，即一圈。
87.此外，在本技术实施例中，也可以控制三轴稳定器以预定的旋转速度进行旋转，并且数据采集模块42在旋转的同时进行图像/视频的采集。并且可以通过设置旋转一圈的时间来控制旋转速度，以确保数据采集模块42能够在每个角度都拍摄到足够清楚的且具有足够细节的图像。
88.数据采集模块42可以在拍摄每个图像或采集视频的每个视频帧时，通过深度传感器来获取到对应的深度数据，换言之，在数据采集模块42在每个视角采集图像或视频的视频帧时，可以同时获取对应的深度数据，并且将获取到的深度数据与采集到的图像或视频的视频帧一起对应地存储
89.此外，数据采集模块42可以根据采集设备的内参与所述旋转角度值，确定与旋转角度值对应的位姿数据。
90.数据采集模块42可以对采集设备在各个目标点位处采集图像数据和深度数据时的位姿进行计算。例如数据采集模块42可以通过从稳定器获取采集各个图像或视频帧时的
旋转角度并基于采集设备的相机模块的内参来计算采集设备在各个采集时刻的位姿数据。
91.此外，在本技术实施例中，也可以通过相机实时追踪算法来获取数据采集模块42在不同采集时刻的旋转角度，从而同样基于数据采集模块42的相机模块的内参来计算在各个采集时刻的位姿。因此，数据采集模块42可以对于每个采集到的图像数据分别计算出在采集该图像数据时的位姿数据，并且建立一一对应的关系。
92.上传模块43可以用于将每个目标点位的点位数据上传至服务器以生成用于查验区域的三维重建数据。
93.上传模块43可以将数据采集模块42对于每个目标点位采集的点位数据上传到例如云端的服务器，以便于在服务器中或者在其他终端中生成用于查验区域的三维重建数据。因此，上传模块43上传的查验区域的三维重建数据可以便于例如海关工作人员在其工作位置处使用计算机来下载该三维重建数据，并使用例如虚拟现实软件来进行实地查证。
94.本技术实施例提供的实地查证数据采集装置，通过根据海关实地查证任务中的查验区域生成至少一个目标点位，在目标点位执行数据采集，以获取到包括采集设备的多个位姿数据和与位姿数据对应的图像数据和深度数据，从而可以将这些实地采集数据上传到服务器来生成三维重建数据，从而海关系统可以在审核报关单时基于这些三维重建数据来复原查验地点的虚拟现实图像，因此可以在无需有资质人员前往查验地点按规定进行数据采集的情况下，海关可以通过在终端上查看基于三维重建数据生成的虚拟现实图像，来对查验地点进行实地查证。
95.实施例五
96.图5为本技术提供的实地查证系统实施例的系统框图。如图5所示，该实地查证系统可以包括：实地查证任务单元51、图像采集单元52、三维重建单元53。
97.实地查证任务单元51可以用于根据接收到的实地查证请求生成实地查证任务。
98.在本技术实施例中，通常在海关的报关流程中，伴随着报关单或退税单的申报，会随之产生海关实地查证任务。因此，实地查证任务单元51可以用于根据报关单或退税单来生成海关实地查证任务。该海关实地查证任务可以涉及查验地点以及查验地点的具体查验区域。例如，报关涉及的是出口货物的情况下，那么实地查证任务单元51生成的实地查证任务中就会将生产该货物的工厂的地点作为查验地点，并且将该工厂的生产该货物的具体车间或存放的库房来作为查验区域。
99.图像采集单元52可以用于根据海关实地查证任务中的查验区域生成至少一个目标点位的点位信息；分别在各目标点位进行数据采集，获取至少一个目标点位的点位数据；将每个目标点位的点位数据上传至服务器。
100.具体地，例如，在本技术实施例中，图像采集单元52可以包括采集模块521、稳定器522、图像处理模块523和上传模块524。
101.采集模块521可以用于采集目标点位的图像数据和深度数据。
102.例如，采集模块521可以首先根据海关实地查证任务中的查验区域生成至少一个目标点位的点位信息。因此，采集模块521可以对于实地查证人物单元51生成的任务中指定的查验区域确定至少一个目标点位，以便于采集模块521在该目标点位进行图像/视频采集。例如，在本技术实施例中，采集模块521可以根据该查验区域的形状、大小等信息来生成目标点位，使得从所确定的目标点位进行图像/视频采集的图像能够覆盖整个区域。
103.采集模块521可以根据确定的目标点位的点位信息，来从例如第一个目标点位开始，对于每个目标点位进行数据采集，以获取确定的各个目标点位的点位数据。特别地，在本技术实施例中，采集模块521获得的点位数据可以包括各目标点位处执行数据采集的采集设备的多个位姿数据以及与每个位姿数据对应的图像数据和深度数据。
104.具体地，例如，在本技术实施例中，采集模块521可以连接到稳定器522，并且稳定器可以例如包括三轴稳定器以及与其连接的三脚架，从而可以通过旋转该固定在该三轴稳定器上的采集模块521，而使得采集模块521尽可能地水平旋转，这样的采集方式可以采集到在同一水平高度上获取到的不同视角的图像/视频，从而有利于提高后期的重建精度。
105.例如，采集模块521可以具有深度传感器，因此可以先使得采集模块521朝向第一方向，以拍摄第一视角下的图像/视频，在该视角拍摄完毕之后，可以通过例如发送控制指令来使得三轴稳定器在三脚架上旋转预定角度，来使得采集模块521朝向第二方向，并拍摄第二视角下的图像/视频，以此类推，直至将采集模块521旋转了360度，即一圈。
106.此外，在本技术实施例中，也可以控制三轴稳定器以预定的旋转速度进行旋转，并且采集模块521在旋转的同时进行图像/视频的采集。并且可以通过设置旋转一圈的时间来控制旋转速度，以确保采集模块521能够在每个角度都拍摄到足够清楚的且具有足够细节的图像。
107.采集模块521可以在拍摄每个图像或采集视频的每个视频帧时，通过深度传感器来获取到对应的深度数据，换言之，在采集模块521在每个视角采集图像或视频的视频帧时，可以同时获取对应的深度数据，并且将获取到的深度数据与采集到的图像或视频的视频帧一起对应地存储。
108.图像处理模块523可以用于根据采集模块的内参与旋转角度值，确定与旋转角度值对应的位姿数据。
109.图像处理模块523可以对采集设备在各个目标点位处采集图像数据和深度数据时的位姿进行计算。例如图像处理模块523可以通过从稳定器获取采集各个图像或视频帧时的旋转角度并基于采集模块521的相机模块的内参来计算采集设备在各个采集时刻的位姿数据。
110.此外，在本技术实施例中，也可以通过相机实时追踪算法来获取采集模块521在不同采集时刻的旋转角度，从而同样基于采集模块521的相机模块的内参来计算在各个采集时刻的位姿。因此，采集模块521可以对于每个采集到的图像数据分别计算出在采集该图像数据时的位姿数据，并且建立一一对应的关系。
111.上传模块524可以用于将每个目标点位的点位数据上传至服务器以生成用于查验区域的三维重建数据。
112.上传模块524可以将采集模块521对于每个目标点位采集的点位数据上传到例如云端的服务器，以便于在服务器中或者在其他终端中生成用于查验区域的三维重建数据。因此，上传模块524上传的查验区域的三维重建数据可以便于例如海关工作人员在其工作位置处使用计算机来下载该三维重建数据，并使用例如虚拟现实软件来进行实地查证。
113.三维重建单元53可以用于对点位数据进行三维重建处理，以生成用于查验区域的三维模型数据。
114.例如，在本技术实施例中，三维重建单元53可以在云端服务器中对上传的全部目
标点位的点位数据进行计算，以对于每个目标点位生成一张全景图作为该目标点位的预览图像，并且还可以生成整个查验区域的三维模型，从而海关查验人员可以通过网络在办公室中访问该云端服务器来下载这些预览图像和三维模型，从而在海关人员的本地计算机中查看该查验区域的虚拟现实图像。
115.具体地，在本技术实施例中，三维重建单元53可以包括：深度图生成模块531、全景图像拼接模块532、点云生成模块533和三维模型重建模块534。
116.深度图生成模块531可以用于根据目标点位的图像数据和深度数据以及采集模块的内参生成每个目标点位的深度图。
117.深度图生成模块531首先根据各个目标点位的图像数据和深度数据以及图像采集单元52的相机内参生成各个目标点位的深度图。在本技术实施例中，深度图可以是图像采集单元52拍摄到的场景中的每个点到该图像采集单元52所在的垂直平面的距离值。因此，该距离值可以被称为深度值。从而图像采集单元52在每个目标点位在每个旋转角度采集图像数据时可以同时获取到图像数据中包含的场景中的实际的点到图像采集单元52所在的垂直平面的深度值，而这些深度值就共同组成了该角度采集到的图像数据的深度数据。通常情况下，深度图像可以是一副灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到图像采集单元52所在垂直平面的真实距离。
118.全景图像拼接模块532可以用于根据同一个目标点位采集到的所有图像数据生成该目标点位的全景图。
119.全景图像拼接模块532可以在云端服务器中对上传的全部目标点位的点位数据进行计算，以对于每个目标点位生成一张全景图作为该目标点位的预览图像，从而海关查验人员可以通过网络在办公室中访问该云端服务器来下载这些预览图像，从而在海关人员的本地计算机中查看。
120.点云生成模块533可以用于根据各目标点位的图像数据以及深度图生成各目标点位的点云数据。
121.点云生成模块533可以根据该查验区域中各目标点位的图像数据以及深度数据生成各目标点位的点云数据。例如，在本技术实施例中，点云生成模块533可以先根据各目标点位在各旋转角度采集到的深度图来计算对应的图像数据中的各个像素点对应的x坐标和y坐标，因此，可以结合该图像数据以及计算出的x坐标、y坐标以及深度图中的对应的z坐标来生成该目标点位的点云数据。
122.三维模型重建模块534可以用于根据各目标点位的点云数据以及对应的位姿数据生成用于查验区域的三维模型数据。
123.三维模型重建模块534可以根据查验区域中的各目标点位的点云数据以及各个目标点位对应的位姿数据生成整个区域的稠密点云数据，进而可以在该整个区域的稠密点云数据上进行例如泊松表面重建和纹理贴图处理，从而生成用于查验区域的三维模型数据。
124.进一步地，本技术实施例提供的实地查证系统还可以包括：可视化单元54。该可视化单元54可以用于向查验用户展示上述三维重建单元53所生成的图像。因此，海关人员可以在本地的办公室中通过访问云端服务器来获取生成的三维模型数据，并且可以通过终端上安装的虚拟现实软件来基于该三维模型数据对查验区域进行查看。
125.本技术实施例提供的实地查证系统，通过根据海关实地查证任务中的查验区域生
成至少一个目标点位，在目标点位执行数据采集，以获取到包括采集设备的多个位姿数据和与位姿数据对应的图像数据和深度数据，从而可以对于这些实地采集数据生成三维重建数据，从而海关系统可以在审核报关单时基于这些三维重建数据来复原查验地点的虚拟现实图像，因此可以在无需有资质人员前往查验地点按规定进行数据采集的情况下，海关可以通过在终端上查看基于三维重建数据生成的虚拟现实图像，来对查验地点进行实地查证。
126.实施例六
127.以上描述了实地查证数据采集装置的内部功能和结构，该装置可实现为一种电子设备。图6为本技术提供的电子设备实施例的结构示意图。如图6所示，该电子设备包括存储器61和处理器62。
128.存储器61，用于存储程序。除上述程序之外，存储器61还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
129.存储器61可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
130.处理器62，不仅仅局限于处理器(cpu)，还可能为图形处理器(gpu)、现场可编辑门阵列(fpga)、嵌入式神经网络处理器(npu)或人工智能(ai)芯片等处理芯片。处理器62，与存储器61耦合，执行存储器61所存储的程序，以执行上述实施例二或三的实地查证数据采集方法。
131.进一步，如图6所示，电子设备还可以包括：通信组件63、电源组件64、音频组件65、显示器66等其它组件。图6中仅示意性给出部分组件，并不意味着电子设备只包括图6所示组件。
132.通信组件63被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如wifi、2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件63经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件63还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
133.电源组件64，为电子设备的各种组件提供电力。电源组件64可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
134.音频组件65被配置为输出和/或输入音频信号。例如，音频组件65包括一个麦克风(mic)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器61或经由通信组件63发送。在一些实施例中，音频组件65还包括一个扬声器，用于输出音频信号。
135.显示器66包括屏幕，其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测
触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
136.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
137.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。