基于遮挡识别的巡检策略生成方法及设备、介质与流程

本公开涉及无人机巡检，具体而言，涉及一种基于遮挡识别的巡检策略生成方法及设备、介质。

背景技术：

1、随着无人机巡检技术的发展，无人机逐渐应用于水电工程的坝体外立面、厂房外墙、边坡、库岸及设备平台等工程对象的巡检作业。无人机可以按照预设航线和航点采集目标区域的巡检影像，并基于巡检影像对结构裂缝、渗漏痕迹、锈蚀区域及设备异常等风险状态进行识别和判读。

2、目前，相关技术在处理巡检影像中的遮挡情况时，通常仅判断目标区域是否被遮挡，并采用统一的补拍或影像处理方式，难以针对不同遮挡来源的空间稳定性、持续时间及运动状态差异选择适配的处理方式；同时，对于同一目标区域在多次巡检任务中反复出现的遮挡情况，相关技术中缺少对历史遮挡情况及处理结果的持续利用，导致相同遮挡问题容易在后续巡检过程中重复出现。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开实施例的目的在于提供一种基于遮挡识别的巡检策略生成方法及设备、介质，进而能够降低遮挡来源误判及不适配补偿的发生概率，减少重复采集和无效补拍，并降低同一目标区域在多次巡检过程中重复受到遮挡影响的概率，提高有效巡检影像获取比例及巡检任务执行效率。

2、根据本公开实施例的第一方面，提供了一种基于遮挡识别的巡检策略生成方法，包括：获取目标区域对应的巡检影像，并确定巡检影像中与目标区域重叠的遮挡区域；提取遮挡区域对应的分类特征，分类特征包括几何形态特征、颜色纹理特征、时序运动特征和现场设施匹配特征中的至少两种；基于分类特征，分别确定多个预设遮挡来源类型对应的遮挡来源置信度，并根据最高遮挡来源置信度以及最高遮挡来源置信度与次高遮挡来源置信度之间的置信度差异，确定遮挡区域对应的目标遮挡来源类型，其中，在最高遮挡来源置信度和/或置信度差异不满足预设分类条件的情况下，将目标遮挡来源类型确定为未确认遮挡，多个预设遮挡来源类型包括植被类遮挡、固定设施类遮挡和短时动态类遮挡；根据目标遮挡来源类型，确定遮挡区域对应的目标补偿规则，并生成遮挡区域对应的遮挡事件记录，遮挡事件记录至少包括目标区域的目标区域标识、目标遮挡来源类型以及目标补偿规则对应的补偿结果；基于多个巡检任务对应的遮挡事件记录，确定重复遮挡区域，并确定重复遮挡区域对应的主要遮挡来源类型和历史补偿情况；根据主要遮挡来源类型和历史补偿情况，生成重复遮挡区域对应的目标巡检策略，目标巡检策略包括备用航点、备用拍摄方向、云台俯仰角调整量、拍摄距离调整量、延迟拍摄时间和连续采集帧数中的至少一种。

3、在本公开的一些示例实施例中，基于前述方案，确定巡检影像中与目标区域重叠的遮挡区域，包括：基于目标区域标识确定巡检影像中的目标区域，并识别覆盖目标区域的候选遮挡区域；确定候选遮挡区域与目标区域之间的重叠比例、候选遮挡区域在目标区域内的连续覆盖宽度、候选遮挡区域是否覆盖重点监测子区域以及候选遮挡区域导致的目标区域边界缺失长度中的至少两项；在至少两项满足对应的有效遮挡条件的情况下，将候选遮挡区域确定为遮挡区域。

4、在本公开的一些示例实施例中，基于前述方案，提取遮挡区域对应的分类特征，包括：提取遮挡区域的边界复杂度、孔洞率、矩形度和直线边缘占比中的至少一种，作为几何形态特征；提取遮挡区域的绿色植被指数、颜色均值、颜色方差和纹理方向一致性中的至少一种，作为颜色纹理特征；基于遮挡区域在连续帧中的位置变化，确定质心位移、面积变化率、连续出现帧数、局部光流方向离散度和出现持续时间中的至少一种，作为时序运动特征；基于遮挡区域与工程设施台账中的固定设施投影位置之间的匹配关系，确定现场设施匹配特征。

5、在本公开的一些示例实施例中，基于前述方案，基于分类特征，分别确定多个预设遮挡来源类型对应的遮挡来源置信度，包括：针对每一预设遮挡来源类型，分别确定几何形态特征、颜色纹理特征、时序运动特征和现场设施匹配特征对应的特征得分；根据预设遮挡来源类型对应的各特征得分及各特征得分对应的权重，确定预设遮挡来源类型对应的遮挡来源置信度；其中，在确定植被类遮挡对应的遮挡来源置信度时，颜色纹理特征和几何形态特征中的边界复杂度对应的权重大于其他分类特征对应的权重；在确定固定设施类遮挡对应的遮挡来源置信度时，现场设施匹配特征和几何形态特征中的直线边缘占比对应的权重大于其他分类特征对应的权重；在确定短时动态类遮挡对应的遮挡来源置信度时，时序运动特征对应的权重大于其他分类特征对应的权重。

6、在本公开的一些示例实施例中，基于前述方案，根据最高遮挡来源置信度以及最高遮挡来源置信度与次高遮挡来源置信度之间的置信度差异，确定遮挡区域对应的目标遮挡来源类型，包括：在最高遮挡来源置信度不小于预设分类置信度阈值，且置信度差异不小于预设置信度差值阈值的情况下，将最高遮挡来源置信度对应的预设遮挡来源类型确定为目标遮挡来源类型；在最高遮挡来源置信度小于预设分类置信度阈值，和/或置信度差异小于预设置信度差值阈值的情况下，将目标遮挡来源类型确定为未确认遮挡。

7、在本公开的一些示例实施例中，基于前述方案，根据目标遮挡来源类型，确定遮挡区域对应的目标补偿规则，包括：在目标遮挡来源类型为植被类遮挡的情况下，从目标区域对应的历史巡检影像中检索无遮挡候选影像，并将无遮挡候选影像中与遮挡区域对应的无遮挡区域映射至巡检影像中的遮挡区域；和/或，根据巡检影像对应的原拍摄方向确定相对于原拍摄方向侧向偏转的备用拍摄方向，并根据备用拍摄方向调整无人机的拍摄方向和云台俯仰角；在目标遮挡来源类型为固定设施类遮挡的情况下，根据固定设施在目标区域中的投影方向确定固定遮挡方向，并在避开固定遮挡方向的位置生成备用航点，控制无人机基于备用航点重新采集目标区域对应的巡检影像；在目标遮挡来源类型为短时动态类遮挡的情况下，在满足安全悬停条件时，控制无人机在当前航点延迟预设时长后重新采集目标区域对应的巡检影像；和/或，控制无人机在同一航点或同一航段连续采集多帧巡检影像，并从多帧巡检影像中选择遮挡比例最小的巡检影像；在目标遮挡来源类型为未确认遮挡的情况下，根据遮挡区域对应的遮挡比例，从目标区域对应的历史巡检影像中检索无遮挡候选影像并生成补偿结果，或者生成备用航点补拍指令或人工复核提示。

8、在本公开的一些示例实施例中，基于前述方案，基于多个巡检任务对应的遮挡事件记录，确定重复遮挡区域，包括：在预设统计周期内，基于同一目标区域对应的多个遮挡事件记录，确定目标区域对应的遮挡发生频率、同一遮挡来源类型的遮挡事件占比以及补偿失败次数中的至少一种；在遮挡发生频率达到预设频率阈值、遮挡事件占比达到预设占比阈值和/或补偿失败次数达到预设次数阈值的情况下，将目标区域确定为重复遮挡区域；基于重复遮挡区域对应的各遮挡事件记录中的目标遮挡来源类型和补偿结果，确定重复遮挡区域对应的主要遮挡来源类型和历史补偿情况。

9、在本公开的一些示例实施例中，基于前述方案，根据主要遮挡来源类型和历史补偿情况，生成重复遮挡区域对应的目标巡检策略，包括：在主要遮挡来源类型为植被类遮挡的情况下，根据历史巡检过程中不同侧向拍摄角度对应的遮挡比例，确定目标侧向拍摄角度，并基于目标侧向拍摄角度生成备用航点、备用拍摄方向和云台俯仰角调整量中的至少一种；在主要遮挡来源类型为固定设施类遮挡的情况下，根据固定设施在目标区域中的投影方向确定遮挡方向，并在遮挡方向的相反侧生成备用拍摄方向和/或备用航点；在主要遮挡来源类型为短时动态类遮挡的情况下，根据重复遮挡区域对应的遮挡事件记录中的遮挡发生时间确定集中遮挡时间段，并生成用于避开集中遮挡时间段的巡检时间调整策略、延迟拍摄策略和连续采集策略中的至少一种；在主要遮挡来源类型为未确认遮挡的情况下，生成包括备用航点和人工复核标识的保守巡检策略。

10、根据本公开实施例的第二方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现第一方面中的基于遮挡识别的巡检策略生成方法。

11、根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的基于遮挡识别的巡检策略生成方法。

12、本公开实施例提供的技术方案可以包括以下有益效果：

13、本公开的示例实施例中的基于遮挡识别的巡检策略生成方法，一方面，通过结合遮挡区域在形态、纹理、时序变化及现场设施关联性等不同维度的差异，对遮挡来源的可信程度进行综合判断，并在不同遮挡来源难以明确区分时采用未确认处理，使遮挡判断能够适应复杂工程场景下不同遮挡对象外观相近、单一特征区分能力不足的情况，从而降低遮挡来源误判概率，减少因错误分类导致的不适配补偿和无效巡检调整，提高遮挡处理的可靠性；另一方面，通过使不同遮挡来源对应不同的补偿处理逻辑，使补偿方式能够与遮挡对象的位置稳定性、运动状态及持续特性相匹配，避免对不同遮挡情况统一采用补拍或影像处理方式，从而减少重复采集、无效补拍及不必要的巡检路径调整，提高遮挡影像的有效处理率和无人机巡检作业效率；再一方面，通过持续利用多个巡检任务形成的遮挡情况及对应补偿结果，识别同一目标区域重复受到遮挡影响的情况，并结合主要遮挡来源及既往补偿情况调整后续巡检中的航点、拍摄方向、云台姿态、拍摄距离或拍摄时序，使后续巡检能够避开已具有重复规律的遮挡影响，减少相同遮挡问题在不同巡检任务中的重复出现，提高目标区域有效巡检影像的获取比例，降低重复补拍次数，并提高周期性巡检任务的执行效率。

14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。