一种无人机影像跨域迁移目标识别与去重方法及系统与流程

本发明涉及无人机影像处理及人工智能，尤其涉及一种无人机影像跨域迁移目标识别与去重方法及系统。

背景技术：

1、无人机影像处理及人工智能技术领域包含无人机遥感影像获取航线规划影像序列构建影像预处理目标检测与时序跟踪等内容，其核心在于通过无人机获取连续影像数据并进行时空统一处理，对影像中的动态目标进行位置关联与特征表达，通过构建像素灰度纹理边缘等信息描述目标，并在连续帧之间建立运动关系，实现从影像采集目标识别到轨迹分析的完整处理流程，同时结合不同水域环境差异对处理过程进行适配。

2、其中，无人机影像跨域迁移目标识别与去重方法及系统是指针对不同水域条件下目标识别及重复计数问题的处理方案，其技术事项涵盖跨场景样本构建出水行为时间建模候选区域提取轨迹关联目标匹配轨迹拼接及数量推断等内容，具体通过采集多水域影像并建立标注样本集合，依据目标出水时间范围构建时间窗口，在各帧中基于灰度差异纹理变化及边缘轮廓提取候选区域，并在连续帧中根据目标中心位置位移方向及面积变化建立轨迹，在目标消失后依据历史位置范围与时间间隔设定搜索区域进行重新匹配，同时根据目标处于画面边缘或中心位置设定不同时间阈值对轨迹进行保留或终止处理，在离线阶段通过空间重叠比例时间间隔及特征相似度完成轨迹拼接，并结合观测次数与航线覆盖情况对数量进行统计处理。

3、现有技术在水面目标识别过程中主要依靠连续帧间位置变化和目标外观特征进行关联，当目标出现短暂缺失、姿态变化或运动路径偏移时，历史信息难以有效延续，容易造成目标轨迹断裂。例如江豚潜入水面后再次出现时，前后检测结果可能被视为不同目标，影响目标数量统计。同时，固定搜索范围与关联条件难以适应目标运动状态变化，当目标消失时间增加或移动距离扩大时，重新匹配范围容易偏离实际位置，造成漏检或误匹配，影响跨水域巡航影像中的目标识别准确性。

技术实现思路

1、为了解决现有技术存在的技术问题，本发明实施例提供了一种无人机影像跨域迁移目标识别与去重方法及系统。所述技术方案如下：

2、一种无人机影像跨域迁移目标识别与去重方法，包括以下步骤：

3、s1：获取无人机视频帧，提取江豚检测区域图像灰度信息，依据灰度等级完成像素分类，提取连续视频帧中灰度分布变化，识别灰度变化方向连续区域并关联检测区域，得到跨域灰度变化特征；

4、s2：基于所述跨域灰度变化特征提取连续视频帧中检测区域中心位置变化，识别相邻帧之间目标移动方向，沿移动方向延伸位置变化路径，结合目标消失形成标识中断状态与灰度变化方向形成运动延续路径，得到目标运动延伸轨迹；

5、s3：根据所述目标运动延伸轨迹识别目标消失前检测位置与移动方向，沿移动方向推演再次出现位置，以预测位置为中心形成空间搜索区域，依据目标消失持续时间逐步扩展搜索区域，提取后续视频帧中新出现检测区域，结合空间位置关系与灰度变化方向筛选候选目标，完成目标匹配，得到消失目标候选关联态；

6、s4：基于所述消失目标候选关联态提取巡航视频中目标轨迹片段，识别轨迹片段时间衔接关系与空间延续关系，沿移动方向延伸轨迹位置，结合移动方向一致性与灰度变化一致性筛选关联片段，归并为同一目标标识，得到跨帧连续目标轨迹；

7、s5：根据所述跨帧连续目标轨迹提取无人机巡航影像中目标识别信息，识别不同轨迹之间时间重叠关系与空间重合关系，结合灰度变化一致性筛选重复目标，去除重复目标轨迹，得到跨域目标识别去重结果。

8、作为本发明的进一步方案，所述跨域灰度变化特征包括灰度层级分布、特征变化幅度、时序关联属性，所述目标运动延伸轨迹包括轨迹节点序列、运动范围边界、轨迹方向特征，所述消失目标候选关联态包括候选目标属性、关联可信度、目标对应关系，所述跨帧连续目标轨迹包括轨迹编号、目标身份属性、轨迹连续标记，所述跨域目标识别去重结果包括目标区分信息、重复目标集合、有效识别记录。

9、作为本发明的进一步方案，所述跨域灰度变化特征的获取步骤为：

10、s101：获取无人机机载相机采集长江水面视频帧，提取各视频帧中江豚检测区域对应像素坐标与像素灰度信息，按照像素灰度所属等级对检测区域像素进行分类，将同一灰度等级对应像素位置聚合为灰度像素集合，依照视频帧采集顺序排列各灰度像素集合，并将灰度等级与检测区域标识对应关联，得到灰阶像素分布矩阵；

11、s102：基于所述灰阶像素分布矩阵，依照视频帧排列顺序提取相同灰度等级对应像素集合，比较相邻视频帧中各灰度等级对应分布范围与分布状态，将扩展、收缩及稳定状态分别赋予变化方向标记，核验方向标记在连续视频帧中是否保持同向，将同向变化标记、对应灰度等级及帧序关联排列，得到灰阶分布变化序列；

12、s103：调用所述灰阶分布变化序列与所述灰阶像素分布矩阵，将连续方向标记映射至对应视频帧像素位置，依据相邻像素空间连接关系聚合灰度变化方向一致区域，筛选连续视频帧中位置衔接且方向标记相同区域，将各区域与同帧江豚检测区域进行空间对应，汇集检测区域标识、灰度等级、变化方向及帧序信息，得到跨域灰度变化特征。

13、作为本发明的进一步方案，所述目标运动延伸轨迹的获取步骤为：

14、s201：基于所述跨域灰度变化特征，提取连续视频帧中江豚检测区域边界坐标，以左边界与右边界横坐标中值作为中心横坐标，以上边界与下边界纵坐标中值作为中心纵坐标，按照帧序排列中心坐标，比较相邻帧中心坐标差在图像横轴与纵轴方向符号，将方向符号、帧序、区域标识与中心坐标对应归集，得到中心位移向量集；

15、s202：调用所述中心位移向量集与所述跨域灰度变化特征，沿帧序检索同一目标标识对应检测区域，识别相邻帧未出现该目标标识且后续帧再次出现时段，提取消失前末端中心坐标、末端移动方向、灰度变化方向与缺失帧段，比较再现区域中心坐标相对末端移动方向空间方位，将同向方位信息与缺失帧段归并，得到目标中断关联表；

16、s203：根据所述目标中断关联表，调用中心位移向量集，沿消失前末端移动方向续接检测区域变化路径，按消失前相邻中心坐标变化趋势排列缺失帧段路径节点，筛选与续接路径末端空间距离排序首位且灰度变化方向相同目标，将消失前路径、缺失帧段路径节点与再现路径按帧序拼接，并沿用同一目标标识，得到目标运动延伸轨迹。

17、作为本发明的进一步方案，所述消失目标候选关联态的获取步骤为：

18、s301：根据所述目标运动延伸轨迹，提取消失前末端检测位置、末端移动方向及末端相邻轨迹节点，比较相邻轨迹节点位移指向与末端移动方向一致关系，将方向一致节点间位置变化沿末端移动方向逐帧平移至后续帧，按帧序排列推演位置，并将目标标识、中断起始帧、末端检测位置、移动方向及各帧推演位置对应归集，得到再现位置预测域；

19、s302：调用所述再现位置预测域，依据目标标识中断持续帧数逐帧外扩各推演位置周边搜索边界，提取后续视频帧中首次进入对应搜索边界且未沿用原目标标识的检测区域，筛选各帧检测区域中心位置与同帧推演位置空间间隔排序首位区域，将区域标识、中心位置、出现帧序及搜索边界对应归集，得到再现目标候选集；

20、s303：基于所述再现目标候选集，调用所述跨域灰度变化特征与所述再现位置预测域，比较各候选区域灰度变化方向与消失前目标灰度变化方向，将方向一致候选区域关联至原目标标识，并将目标标识、预测位置、再现位置、中断帧段、候选区域标识及灰度变化方向按帧序归并，得到消失目标候选关联态。

21、作为本发明的进一步方案，所述跨帧连续目标轨迹的获取步骤为：

22、s401：基于所述消失目标候选关联态，提取巡航视频中各目标轨迹片段起始帧、终止帧、首端位置、末端位置、移动方向及灰度变化方向，依照起始帧排列轨迹片段，比较前一片段终止帧与后一片段起始帧帧序，将帧序相邻及存在中断间隔情形分别标记，按照中断帧段逐帧延展前一片段末端位置，并与后一片段首端位置对应，得到轨迹衔接关系表；

23、s402：调用所述轨迹衔接关系表与所述消失目标候选关联态，提取各衔接片段对应末端移动方向、首端移动方向、位置延展方向及灰度变化方向，筛选前后移动方向同向、后一片段首端位置处于前一片段延展方位且灰度变化方向一致轨迹片段，将前一片段标识、后一片段标识、衔接帧段及方向对应状态归入同一关联单元，得到连续片段关联链；

24、s403：根据所述连续片段关联链，调用所述轨迹衔接关系表，按照片段起始帧与终止帧排列同一关联链内轨迹片段，将前一片段末端位置、中断帧段及后一片段首端位置依次衔接，筛选相邻片段移动方向与灰度变化方向均一致关联链，将起始帧最前片段目标标识替换其余片段标识，归集各帧位置与方向信息，得到跨帧连续目标轨迹。

25、作为本发明的进一步方案，所述跨域目标识别去重结果的获取步骤为：

26、s501：根据所述跨帧连续目标轨迹提取无人机跨水域巡航影像中的目标识别信息，按目标标识归集轨迹起止帧、帧内检测区域、移动方向、灰度变化方向及水域索引，比较不同轨迹对应帧序交集与同帧检测区域交叠状态，将存在共同帧序且检测区域发生交叠的轨迹组合关联排列，得到轨迹时空重叠图谱；

27、s502：调用所述轨迹时空重叠图谱，提取各轨迹组合共同帧段内检测区域中心位置、区域边界及目标标识，筛选共同帧段内中心位置落入对方区域边界且目标标识不同的轨迹组合，将轨迹标识、共同帧段、重合区域、移动方向、灰度变化方向与水域索引归入同一数据单元，得到重复目标指向簇；

28、s503：基于所述重复目标指向簇，调用所述轨迹时空重叠图谱，比较同一数据单元内各轨迹灰度变化方向、移动方向及共同帧段位置变化关系，保留共同帧段前后均连续且起止帧、帧内检测区域、移动方向、灰度变化方向及水域索引均有记录的轨迹标识，将其余轨迹对应检测区域与帧序归并至保留标识，删除重复目标标识，得到跨域目标识别去重结果。

29、一种无人机影像跨域迁移目标识别与去重系统，所述系统包括：

30、灰度迁移模块，获取无人机机载相机采集水域巡航视频帧，提取江豚检测区域像素灰度信息，按照灰度等级对像素分布进行归类，提取连续视频帧中灰度分布变化方向，关联灰度变化方向连续区域与检测区域，得到跨域灰度变化特征；

31、轨迹延展模块，基于所述跨域灰度变化特征提取连续视频帧中江豚检测区域中心位置变化信息，依据相邻视频帧位置变化方向提取目标移动方向，沿移动方向延展检测区域变化路径，识别视频帧中目标间歇消失状态，结合消失前后位置变化关系与灰度变化方向，得到目标运动延伸轨迹；

32、目标找回模块，根据所述目标运动延伸轨迹提取目标消失前检测位置与移动方向，沿移动方向推演目标再次出现位置，以预测位置为中心形成搜索区域，依据目标消失持续时间变化扩展搜索区域范围，针对后续视频帧中出现的江豚检测区域提取中心位置，比较检测区域中心位置与预测位置空间关系，筛选位置变化关联区域，结合灰度变化方向完成目标匹配，得到消失目标候选关联态；

33、轨迹归并模块，基于所述消失目标候选关联态提取无人机巡航视频中目标轨迹片段，依据轨迹片段之间时间衔接关系与空间延续关系筛选关联片段，沿移动方向连接连续轨迹位置，结合移动方向变化与灰度变化方向筛选关联轨迹片段，归并多个轨迹片段对应目标标识，得到跨帧连续目标轨迹；

34、去重识别模块，根据所述跨帧连续目标轨迹提取跨水域巡航影像中目标识别信息，依据不同轨迹时间关系与空间位置关系筛选重复目标轨迹，结合灰度变化方向提取重复指向目标，去除重复目标信息，得到跨域目标识别去重结果。

35、本发明实施例提供的技术方案带来的有益效果至少包括：

36、本发明中，通过连续视频帧中灰度等级分布变化与检测区域关联，构建目标随时间变化的特征表达关系，使水面环境扰动下的目标状态具备连续变化描述能力；通过结合目标消失前后的位置变化、移动方向及灰度变化趋势推演运动延续关系，使短暂缺失状态下的目标运动信息得到补充，降低轨迹中断对目标关联的影响；通过依据预测位置调整空间搜索范围，并结合空间接近关系与特征一致性进行目标关联，减少目标再次出现时的错误对应情况；通过融合轨迹片段的时间衔接、空间延续及特征一致性关系，将分散轨迹归并为统一目标标识，减少跨区域巡航过程中的重复识别，提升目标统计结果的稳定性。