一种巡检影像采集任务的自动补拍方法与流程

本公开涉及无人机巡检，具体而言，涉及一种巡检影像采集任务的自动补拍方法。

背景技术：

1、随着无人机巡检技术的发展，无人机可以按照预先规划的巡检任务，对输电线路、光伏电站、水电站、桥梁等目标对象进行影像采集。在巡检过程中，目标区域在巡检影像中的位置、尺度及关键部位可见情况直接关系到巡检影像能否满足后续缺陷识别或人工复核要求，因此，如何保证目标区域具有符合巡检要求的成像状态成为无人机巡检影像采集中的重要问题。

2、目前，相关技术在发现巡检影像存在目标偏移、目标尺度异常、边界裁切或者关键部位缺失等问题时，通常重新执行原拍摄过程，或者依赖人工经验调整拍摄位置和拍摄角度。由于不同成像异常对应的取景偏差存在差异，相关技术中的补拍方式难以针对实际成像异常合理调整补拍过程，导致补拍影像仍可能重复出现同类取景异常，补拍合格率较低。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开实施例的目的在于提供一种巡检影像采集任务的自动补拍方法，进而能够降低补拍影像重复出现同类异常的概率，提高补拍影像的一次合格率及巡检影像成果的完整性和可用性。

2、根据本公开实施例的第一方面，提供一种巡检影像采集任务的自动补拍方法，包括：获取巡检任务对应的目标区域、目标区域对应的标准拍摄约束以及目标区域对应的已采集巡检影像，并获取采集已采集巡检影像时的原始拍摄状态，原始拍摄状态包括拍摄位置、云台角度和拍摄距离中的至少一种；确定目标区域在已采集巡检影像中的成像偏差指标，并在至少一项成像偏差指标不满足对应的标准拍摄约束时，根据不满足对应的标准拍摄约束的成像偏差指标确定目标区域对应的成像异常属性，成像异常属性包括偏移方向、偏移程度、裁切位置和缺失关键部位方位中的至少一种；根据成像异常属性，从多个拍摄控制自由度中确定目标拍摄控制自由度，并根据成像偏差指标确定目标拍摄控制自由度对应的补拍修正参数，其中，多个拍摄控制自由度包括云台转动自由度、拍摄位置移动自由度、拍摄距离调节自由度和补拍视角调节自由度中的至少两种；根据原始拍摄状态和补拍修正参数确定目标补拍状态，并根据目标补拍状态生成目标区域对应的补拍任务；控制无人机按照补拍任务采集目标区域的补拍影像。

3、在本公开的一示例实施例中，基于前述方案，成像偏差指标包括目标区域的目标投影框中心相对于已采集巡检影像的图像中心的中心偏移量；根据成像异常属性，从多个拍摄控制自由度中确定目标拍摄控制自由度，并根据成像偏差指标确定目标拍摄控制自由度对应的补拍修正参数，包括：在根据中心偏移量确定采用云台角度调整方式时，确定目标拍摄控制自由度为云台转动自由度；当中心偏移量包括水平方向的中心偏移量时，根据水平方向的中心偏移量占已采集巡检影像的图像宽度的比例以及采集已采集巡检影像的相机的水平视场角，确定云台水平角修正量，并按照与中心偏移量的水平偏移方向对应的回正方向修正云台水平角；当中心偏移量包括垂直方向的中心偏移量时，根据垂直方向的中心偏移量占已采集巡检影像的图像高度的比例以及相机的垂直视场角，确定云台俯仰角修正量，并按照与中心偏移量的垂直偏移方向对应的回正方向修正云台俯仰角。

4、在本公开的一示例实施例中，基于前述方案，成像偏差指标包括目标区域在已采集巡检影像中的目标面积占比；根据成像异常属性，从多个拍摄控制自由度中确定目标拍摄控制自由度，并根据成像偏差指标确定目标拍摄控制自由度对应的补拍修正参数，包括：确定目标面积占比与标准拍摄约束对应的预设面积占比范围之间的面积占比偏差，并确定目标拍摄控制自由度为拍摄距离调节自由度；在目标面积占比小于预设面积占比范围的下限时，根据面积占比偏差确定用于减小拍摄距离的第一拍摄距离修正量；在目标面积占比大于预设面积占比范围的上限时，根据面积占比偏差确定用于增大拍摄距离的第二拍摄距离修正量；根据第一拍摄距离修正量或第二拍摄距离修正量，对原始拍摄状态中的拍摄距离进行修正。

5、在本公开的一示例实施例中，基于前述方案，成像偏差指标包括目标区域的目标分割掩膜与已采集巡检影像的图像边界之间的相交位置；根据不满足对应的标准拍摄约束的成像偏差指标确定目标区域对应的成像异常属性，包括：根据目标分割掩膜与图像边界的相交位置，确定目标区域的裁切位置，并将裁切位置确定为目标区域对应的成像异常属性；根据成像异常属性，从多个拍摄控制自由度中确定目标拍摄控制自由度，并根据成像偏差指标确定目标拍摄控制自由度对应的补拍修正参数，包括：根据裁切位置确定使目标区域对应的被裁切部分进入补拍影像范围的目标补偿方向；根据目标补偿方向确定云台转动自由度和拍摄位置移动自由度中的至少一种作为目标拍摄控制自由度，并根据裁切位置确定沿目标补偿方向调整云台角度或拍摄位置的补拍修正参数。

6、在本公开的一示例实施例中，基于前述方案，成像偏差指标包括目标区域对应的关键部位可见比例；在关键部位可见比例低于标准拍摄约束对应的最小可见比例时，确定未满足可见要求的缺失关键部位，并确定缺失关键部位相对于目标区域的缺失方位；获取采集已采集巡检影像时的原始拍摄方向，根据缺失方位确定补拍视角调节自由度为目标拍摄控制自由度，并沿与缺失方位对应的方向生成区别于原始拍摄状态中的拍摄位置的侧向补拍位置；在原始拍摄方向的基础上增加侧向补拍角度；根据侧向补拍位置和增加侧向补拍角度后的拍摄方向生成至少一个补拍视点，并根据补拍视点生成对应的补拍任务；在缺失关键部位存在遮挡时，生成位于目标区域不同侧向方位的至少两个补拍视点，并分别基于至少两个补拍视点生成补拍任务。

7、在本公开的一示例实施例中，基于前述方案，在确定目标区域在已采集巡检影像中的成像偏差指标之前，方法还包括：对已采集巡检影像进行目标检测，得到用于表征目标区域是否存在于已采集巡检影像中的目标检测结果；根据采集已采集巡检影像时的拍摄位置、云台角度和拍摄距离以及目标区域的空间位置，确定已采集巡检影像对应的理论覆盖范围；在目标检测结果表征目标区域存在于已采集巡检影像中，且目标区域的空间位置位于理论覆盖范围内时，将已采集巡检影像确定为目标区域的有效候选影像；在目标检测结果未表征目标区域存在于已采集巡检影像中，且目标区域的空间位置位于理论覆盖范围内时，将已采集巡检影像确定为待质量复核影像；在目标检测结果未表征目标区域存在于已采集巡检影像中，且目标区域的空间位置不位于理论覆盖范围内时，排除已采集巡检影像与目标区域之间的对应关系。

8、在本公开的一示例实施例中，基于前述方案，标准拍摄约束根据目标区域对应的巡检对象类型确定；方法还包括：获取巡检对象类型对应的目标中心允许范围、目标面积占比范围、最大边界裁切比例、关键部位最小可见比例以及目标区域清晰度阈值中的至少两项约束，并将至少两项约束确定为目标区域对应的标准拍摄约束；针对各项约束，根据目标区域在已采集巡检影像中的成像状态，确定目标区域对应的中心偏移量、目标面积占比、边界裁切比例、关键部位可见比例和目标区域清晰度指标中的至少两项成像偏差指标；根据各成像偏差指标分别确定对应的分项质量评分，分项质量评分包括目标居中评分、目标尺度评分、边界完整评分、关键部位可见评分和目标区域清晰度评分中的至少两项；根据巡检对象类型或目标区域的重要程度确定各分项质量评分对应的评价权重，并基于各分项质量评分及对应的评价权重确定目标区域对应的覆盖质量评分；根据覆盖质量评分以及至少一项成像偏差指标是否不满足对应的约束，确定已采集巡检影像是否满足标准拍摄约束。

9、在本公开的一示例实施例中，基于前述方案，在控制无人机按照补拍任务采集目标区域的补拍影像之后，方法还包括：分别确定本次采集的补拍影像以及前一次采集得到的目标区域对应的影像的成像偏差指标，并根据相应的成像偏差指标分别确定本次采集的补拍影像以及前一次采集得到的影像对应的覆盖质量评分；在本次采集的补拍影像满足标准拍摄约束时，将本次采集的补拍影像确定为目标区域对应的有效巡检影像；在本次采集的补拍影像不满足标准拍摄约束时，确定本次采集的补拍影像对应的覆盖质量评分相对于前一次采集得到的影像对应的覆盖质量评分的评分提升幅度；在连续预设次数的补拍中，每次补拍对应的评分提升幅度低于补拍改善阈值时，停止对目标区域执行自动补拍，并输出人工复核提示；在评分提升幅度不低于补拍改善阈值时，根据本次采集的补拍影像对应的成像偏差指标重新确定补拍修正参数，并生成下一补拍任务。

10、在本公开的一示例实施例中，基于前述方案，在存在多个目标区域对应的补拍任务时，方法还包括：根据各目标区域的重要等级、对应的成像偏差指标相对于标准拍摄约束的偏差程度以及对应的覆盖质量评分，确定各补拍任务对应的补拍优先值；根据无人机当前位置与各补拍任务对应的补拍位置之间的距离、不同补拍位置之间的转移距离以及执行对应的补拍任务后的返航距离，确定各补拍任务对应的路径代价；根据各补拍任务对应的补拍优先值和路径代价，确定多个补拍任务的候选执行顺序；根据候选执行顺序，依次累计执行对应的补拍任务所需的预计补拍电量，并针对每次累计确定执行已累计的补拍任务后由最后一个补拍位置返回返航点所需的预计返航电量；根据无人机剩余电量、预计补拍电量、预计返航电量和安全余量，从候选执行顺序中确定目标补拍任务以及目标补拍任务的目标执行顺序；按照目标执行顺序执行各目标补拍任务。

11、在本公开的一示例实施例中，基于前述方案，方法还包括：将各次补拍对应的成像异常属性、补拍修正参数以及执行对应的补拍修正参数后得到的评分提升幅度关联存储，形成目标区域对应的历史补拍记录；当重新确定补拍修正参数时，根据本次采集的补拍影像对应的成像偏差指标确定当前成像异常属性，并从历史补拍记录中确定与当前成像异常属性相匹配的至少一项历史补拍记录，并获取至少一项历史补拍记录中的历史补拍修正参数以及对应的评分提升幅度；根据各历史补拍修正参数对应的评分提升幅度，从历史补拍修正参数中确定对应的评分提升幅度满足改善条件的目标历史补拍修正参数；根据目标历史补拍修正参数确定当前补拍对应的补拍修正参数。

12、根据本公开实施例的第二方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现第一方面中的巡检影像采集任务的自动补拍方法。

13、根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的巡检影像采集任务的自动补拍方法。

14、本公开实施例提供的技术方案可以包括以下有益效果：

15、本公开的示例实施例中的巡检影像采集任务的自动补拍方法，一方面，通过基于目标区域对应的标准拍摄约束确定已采集巡检影像中的成像偏差，并进一步区分偏移方向、偏移程度、裁切位置或者缺失关键部位方位等成像异常属性，使得巡检影像中的目标偏移、目标尺度异常、边界裁切及关键部位缺失等问题能够按照目标区域的实际取景状态进行识别，减少仅依据影像整体质量判断而遗漏局部取景异常的情况，提高巡检影像异常判断的准确性和针对性；另一方面，通过依据成像异常属性选择相匹配的拍摄控制自由度，并结合成像偏差指标确定对应的补拍修正参数，使得不同成像异常能够分别通过云台转动、拍摄位置移动、拍摄距离调节或者补拍视角调节进行针对性修正，避免补拍过程重复采用原拍摄状态或者对不同异常采用相同调整方式，降低补拍影像再次出现同类取景异常的概率，提高补拍调整与实际成像异常的匹配程度；再一方面，通过结合原始拍摄状态和补拍修正参数确定目标补拍状态并生成补拍任务，使补拍位置、云台角度、拍摄距离或者补拍视角能够基于已采集巡检影像反映的实际异常进行调整，减少补拍参数对人工经验的依赖，降低因补拍位置或拍摄角度设置不准确造成的重复补拍，提高补拍影像的一次合格率，并减少重新安排无人机执行补充飞行任务的情况，提高巡检影像成果的完整性和可用性。

16、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。