基于视频流的无人机装配检测方法、系统与流程

本发明涉及无人机装配检测，具体为一种基于视频流的无人机装配检测方法、系统。

背景技术：

1、随着无人机产业的智能化转型，基于计算机视觉和视频流的在线检测技术被引入到装配线中，用以实时识别装配动作并校验工序完整性。

2、然而，多旋翼无人机的各个机臂及附属部件在视觉外观上高度相似，具有极高的对称性。在实际装配中，由于相机镜头视轴经常发生切换、倾斜或旋转，传统算法由于缺乏全局绝对象限的约束，在视轴变换后极易发生视觉错位，将已经装配完成的某一机臂误判为另一对称方位的机臂，进而引发工序的重复计数触发与误判。

3、以及，现有的装配检测系统大多基于线性的状态机模型建立，严格限制了工人的装配顺序。然而在实际生产中，针对多个高度相似的对称机臂，工人往往会进行交叉、并行或跳跃式装配。现有的线性算法面对这种无序、非线性的工序跳跃时极易判定失效，无法实现动态、自适应的装配逻辑追踪，从而导致严重的漏检隐患。

4、因此，如何实现在视轴变换和无序工序下的精准防漏检，是当前亟待解决的技术问题。

技术实现思路

1、为解决背景技术中提到的技术缺陷的至少之一，本发明的目的在于提供一种基于视频流的无人机装配检测方法、系统。

2、本发明的第一方面提供了一种基于视频流的无人机装配检测方法，所述方法包括：

3、获取包含无人机结构的实时视频流并识别其中的非对称地标特征，以此在图像中建立绝对方位坐标系，进而将整个装配区域划分为若干个互不重叠的象限区域；

4、检测所述视频流中的装配操作点，当其落入目标象限区域时，将所述目标象限区域内的对称装配部件赋予与该象限绑定的唯一身份id，并利用时序像素跟踪器对该身份id进行持续锁定；

5、当检测到针对所述对称装配部件的装配动作发生时，将该装配动作与当前锁定的身份id结合生成装配事件，并利用该装配事件匹配预设动态有向无环图中的对应工序节点，将该工序节点更新为已完成状态；

6、当检测到视轴发生旋转变换时，依据所述非对称地标特征重构所述绝对方位坐标系，以此校正所述身份id与象限的映射关系以拦截重复触发事件；在接收到整机装配结束信号时，若所述动态有向无环图中存在未完成状态的节点，则输出阻断提示。

7、本发明第二方面提供了一种基于视频流的无人机装配检测系统，所述系统包括：

8、区域划分模块，用于获取包含无人机结构的实时视频流并识别其中的非对称地标特征，以此在图像中建立绝对方位坐标系，进而将整个装配区域划分为若干个互不重叠的象限区域；

9、身份锁定模块，用于检测所述视频流中的装配操作点，当其落入目标象限区域时，将所述目标象限区域内的对称装配部件赋予与该象限绑定的唯一身份id，并利用时序像素跟踪器对该身份id进行持续锁定；

10、事件映射模块，用于当检测到针对所述对称装配部件的装配动作发生时，将该装配动作与当前锁定的身份id结合生成装配事件，并利用该装配事件匹配预设动态有向无环图中的对应工序节点，将该工序节点更新为已完成状态；

11、动态校验模块，用于当检测到视轴发生旋转变换时，依据所述非对称地标特征重构所述绝对方位坐标系，以此校正所述身份id与象限的映射关系以拦截重复触发事件；在接收到整机装配结束信号时，若所述动态有向无环图中存在未完成状态的节点，则输出阻断提示。

12、与现有技术相比，本发明通过非对称地标特征建立绝对方位坐标系并划分象限区域，结合装配操作点触发的身份id绑定与时序像素跟踪器，实现了对称部件在复杂遮挡与视角变化下的持续身份锁定；同时利用动态有向无环图（dag）对装配工艺进行拓扑解构，允许并列工序任意顺序执行而仅保留刚性前后道约束，从而彻底摆脱线性顺序限制；当视轴旋转时，利用自遮挡边缘残差与三维cad数字孪生模型进行多视角投影比对，重构完整几何基准轴线并校正坐标系，有效拦截因视角错位导致的重复触发事件，并在整机结束时对未完成节点输出阻断提示。

13、由此，本发明在视轴频繁变换和无序工序的实际生产条件下，同时解决了重复误判与工序漏检的技术问题，进而可显著提升无人机装配检测的鲁棒性与准确性。

1.一种基于视频流的无人机装配检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于视频流的无人机装配检测方法，其特征在于，识别其中的非对称地标特征，以此在图像中建立绝对方位坐标系，进而将整个装配区域划分为若干个互不重叠的象限区域，包括：

3.根据权利要求1所述的基于视频流的无人机装配检测方法，其特征在于，利用时序像素跟踪器对该身份id进行持续锁定，包括：

4.根据权利要求1所述的基于视频流的无人机装配检测方法，其特征在于，将该装配动作与当前锁定的身份id结合生成装配事件，利用该装配事件匹配预设动态有向无环图中的对应工序节点，将该工序节点更新为已完成状态，包括：

5.根据权利要求1所述的基于视频流的无人机装配检测方法，其特征在于，依据所述非对称地标特征重构所述绝对方位坐标系，以此校正所述身份id与象限的映射关系以拦截重复触发事件，包括：

6.一种基于视频流的无人机装配检测系统，其特征在于，所述系统包括：

7.根据权利要求6所述的基于视频流的无人机装配检测系统，其特征在于，所述区域划分模块具体包括：

8.根据权利要求6所述的基于视频流的无人机装配检测系统，其特征在于，所述身份锁定模块具体包括：

9.根据权利要求6所述的基于视频流的无人机装配检测系统，其特征在于，所述事件映射模块具体包括：

10.根据权利要求6所述的基于视频流的无人机装配检测系统，其特征在于，所述动态校验模块具体包括：