基于目标检测的高空安全带近距离识别方法及系统与流程

摘要: 本发明涉及计算机视觉,尤其涉及基于目标检测的高空安全带近距离识别方法及系统。背景技术:1、高空作业过程中,安全绳、围杆带、自锁器和速差器承担人员坠落防护作用,装...
基于目标检测的高空安全带近距离识别方法及系统与流程

本发明涉及计算机视觉,尤其涉及基于目标检测的高空安全带近距离识别方法及系统。

背景技术:

1、高空作业过程中,安全绳、围杆带、自锁器和速差器承担人员坠落防护作用,装备佩戴状态、挂接状态及使用姿态直接影响防护有效性。现有安全带智能监测技术主要采用加速度传感器、磁传感器、倾角传感器、射频测距设备采集装备姿态、空间位置及挂接信息,并利用规则判断、机器学习分类及状态比对方式识别装备使用状态,部分方案还通过安全绳和围杆带上的姿态节点恢复空间曲线,实现防护装备状态监测。现有方法能够减少人工巡检工作量,但在遮挡、人员运动及装备交叠条件下,对装备空间关系和连接状态的综合识别能力仍然有限。

2、随着计算机视觉目标检测技术的发展,摄像机近距离采集高空作业人员及安全带图像,再利用目标检测模型识别安全绳、围杆带、挂钩、自锁器和速差器等目标,已经成为安全装备监测的一种技术路径。基础目标检测模型通常依据图像纹理、边缘和局部形状完成目标定位与分类,但安全绳和围杆带具有细长、弯曲和易遮挡特征,人体遮挡、装备交叉及图像边界截断容易使同一装备在图像中形成分离片段,单纯依赖视觉特征难以稳定判断分离片段的归属关系,并进一步影响连接状态和保护状态的识别准确性。

3、因此,如何提供基于目标检测的高空安全带近距离识别方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出基于目标检测的高空安全带近距离识别方法及系统,本发明充分利用近距离视觉目标检测、安全绳与围杆带姿态节点感知及多源状态校验技术,详细描述了基于全局物理弧长身份坐标建立物理身份曲线、沿物理身份曲线生成轨迹锚框、区分装备实体存在状态与视觉可见状态,并结合候选身份、弧长占用基准和姿态节点顺序完成遮挡及交叉条件下装备片段身份确认的处理过程,同时依据同装备片段链、端部许可连接关系及自锁器、速差器监测数据建立防护拓扑,实现了分离装备片段连续归属、连接关系确认及保护状态识别,具有遮挡适应性强、装备归属准确、连接判断可靠和保护状态识别精度高的优点。

2、根据本发明实施例的基于目标检测的高空安全带近距离识别方法,包括:

3、采集高空安全带多源近距识别数据,经预处理得到同步感知数据;

4、基于同步感知数据中的姿态节点数据恢复安全绳、围杆带空间曲线,按节点顺序建立全局物理弧长身份坐标,得到物理身份曲线;

5、将同步感知数据中的近距图像和物理身份曲线输入改进refinedet,所述改进refinedet包括物理身份锚框生成模块、双状态锚框精炼模块、身份竞争冻结模块和弧长占用编码模块,得到候选身份和候选弧长区间,并确定非竞争确认结果;

6、基于候选身份和候选弧长区间确定竞争片段,结合两侧非竞争确认结果和弧长占用基准构建身份路径,筛选得到竞争确认结果;

7、基于非竞争确认结果和竞争确认结果按身份及弧长顺序连接装备片段,将相邻确认区间间不可见部分确定为未观测弧段,得到同装备片段链和身份传递特征;

8、基于身份传递特征筛选端部片段并与连接对象配对,经端部许可检测及自锁器、速差器数据校验,得到确认连接关系;

9、基于同装备片段链和确认连接关系建立防护拓扑,按拓扑连续性得到保护状态和识别结果。

10、可选的,所述高空安全带多源近距识别数据具体包括近距图像数据、摄像机标定数据、安全绳监测数据、围杆带监测数据、自锁器监测数据、速差器监测数据和采集时间数据。

11、可选的,所述经预处理得到同步感知数据,包括:

12、基于摄像机标定数据对近距图像数据执行畸变校正和尺寸调整,得到标准近距图像;

13、基于安全绳监测数据和围杆带监测数据按姿态节点顺序排列节点数据,并基于采集时间数据对自锁器监测数据和速差器监测数据按采集时间戳排序,得到序列化监测数据;

14、基于采集时间数据,以标准近距图像采集时间戳为基准,将时间差最小的序列化监测数据与对应标准近距图像对齐,并关联摄像机标定数据,得到同步感知数据。

15、可选的,所述得到物理身份曲线,包括:

16、基于同步感知数据中的安全绳监测数据和围杆带监测数据,按节点标识及排列顺序读取节点姿态和节点间距,逐段计算节点空间位置并连接,得到安全绳、围杆带空间曲线;

17、基于安全绳、围杆带空间曲线按节点顺序计算各节点至起点的累计弧长,以累计弧长与曲线总弧长的比值确定全局物理弧长身份坐标,得到起点为0、终点为1的全局物理弧长身份坐标;

18、基于摄像机标定数据将携带全局物理弧长身份坐标的安全绳、围杆带空间曲线投影至近距图像坐标系,保留投影位置对应的全局物理弧长身份坐标,得到物理身份曲线。

19、可选的,所述确定非竞争确认结果,包括:

20、构建改进refinedet,所述改进refinedet包括物理身份锚框生成模块、双状态锚框精炼模块、身份竞争冻结模块和弧长占用编码模块;

21、物理身份锚框生成模块基于同步感知数据中的近距图像提取多尺度视觉特征,沿物理身份曲线按照全局物理弧长身份坐标生成轨迹锚框,并为轨迹锚框绑定候选身份和候选弧长区间;

22、双状态锚框精炼模块基于多尺度视觉特征修正轨迹锚框位置,将与物理身份曲线对应的轨迹锚框保持为实体存在状态,基于轨迹锚框对应区域的多尺度视觉特征区分视觉可见状态和视觉不可见状态,得到装备片段和连接对象,并保留装备片段对应的候选身份和候选弧长区间;

23、身份竞争冻结模块基于装备片段对应的候选身份数量,对同时对应安全绳身份和围杆带身份的装备片段保留2个候选身份和对应候选弧长区间并冻结身份确认,对仅对应1个候选身份的装备片段保留候选身份和候选弧长区间,得到非竞争装备片段;

24、弧长占用编码模块基于非竞争装备片段、候选弧长区间和物理身份曲线,按照全局物理弧长身份坐标及姿态节点顺序确定已确认弧长区间和对应姿态节点区间,形成弧长占用基准,将非竞争装备片段、候选身份、候选弧长区间和弧长占用基准组成非竞争确认结果;

25、对改进refinedet进行训练,采用目标分类损失、边界框回归损失、候选身份约束损失和弧长区间一致性损失的加权和作为优化目标,持续优化物理身份锚框生成模块、双状态锚框精炼模块、身份竞争冻结模块和弧长占用编码模块中的可训练参数,当连续20轮训练的总损失变化率不大于0.001时停止训练。

26、可选的,所述筛选得到竞争确认结果,包括:

27、基于候选身份和候选弧长区间,将冻结身份确认且对应2个以上候选身份的装备片段确定为竞争片段;

28、基于竞争片段的各候选身份,分别关联全局物理弧长身份坐标两侧的非竞争确认结果,并结合弧长占用基准按弧长顺序连接,得到候选身份路径;

29、基于候选身份路径比较竞争片段候选弧长区间与两侧非竞争确认结果的已确认弧长区间,删除未位于两侧已确认弧长区间之间、与弧长占用基准中的已确认弧长区间重叠以及对应姿态节点未按两侧非竞争确认结果的姿态节点顺序连续排列的候选身份路径,将剩余候选身份路径对应的竞争片段、候选身份和候选弧长区间组成竞争确认结果。

30、可选的,所述得到同装备片段链和身份传递特征,包括:

31、基于非竞争确认结果和竞争确认结果,按候选身份归并装备片段,并依据候选弧长区间起点由小到大排列,得到身份有序片段序列;

32、基于身份有序片段序列比较相邻候选弧长区间,将前一候选弧长区间终点至后一候选弧长区间起点之间的不可见区间确定为未观测弧段,并按顺序连接装备片段和未观测弧段,得到同装备片段链;

33、基于同装备片段链编码装备片段的多尺度视觉特征、候选身份、候选弧长区间、未观测弧段及排列顺序,得到身份传递特征。

34、可选的,所述得到确认连接关系,包括:

35、基于身份传递特征读取装备片段对应的候选身份和候选弧长区间,筛选候选弧长区间覆盖全局物理弧长身份坐标起点或终点的装备片段,得到端部片段;

36、基于端部片段和连接对象的位置对应关系进行配对,仅保留端部片段与连接对象形成的配对关系,得到端部许可连接关系;

37、基于同步感知数据中的自锁器监测数据和速差器监测数据,核对端部许可连接关系对应的连接状态,删除连接状态与端部许可连接关系不一致的配对关系,得到确认连接关系。

38、可选的,所述按拓扑连续性得到保护状态和识别结果,包括:

39、基于同装备片段链的候选身份和弧长顺序,关联对应确认连接关系,将同装备片段链两端与对应连接对象连接,得到防护拓扑;

40、基于防护拓扑核对同装备片段链两端的确认连接关系及链内弧长顺序,将两端均存在确认连接关系且链内弧长连续的防护拓扑确定为连续防护拓扑,将任一端不存在确认连接关系或链内弧长不连续的防护拓扑确定为非连续防护拓扑,得到拓扑连续性结果;

41、基于拓扑连续性结果,将连续防护拓扑对应装备确定为有效保护状态,将非连续防护拓扑对应装备确定为无效保护状态,并结合防护拓扑中的装备片段、连接对象及确认连接关系,得到近距离识别结果。

42、根据本发明实施例的基于目标检测的高空安全带近距离识别系统,包括如下模块:

43、近距感知模块,用于采集并预处理高空安全带多源近距识别数据,得到同步感知数据;

44、物理身份曲线模块,用于基于同步感知数据恢复安全绳、围杆带空间曲线,建立全局物理弧长身份坐标并结合标定数据投影,得到物理身份曲线;

45、片段识别模块,用于基于同步感知数据中的近距图像和物理身份曲线,通过改进refinedet检测装备片段和连接对象,得到候选身份、候选弧长区间和非竞争确认结果;

46、竞争确认模块,用于基于候选身份、候选弧长区间、两侧非竞争确认结果和弧长占用基准构建身份路径,得到竞争确认结果;

47、片段链模块,用于基于非竞争确认结果和竞争确认结果按身份及弧长顺序连接装备片段,确定未观测弧段,得到同装备片段链和身份传递特征;

48、连接确认模块,用于基于身份传递特征筛选端部片段并与连接对象配对,经端部许可检测及自锁器、速差器数据校验,得到确认连接关系;

49、防护识别模块,用于基于同装备片段链和确认连接关系建立防护拓扑,并按拓扑连续性得到保护状态和识别结果。

50、本发明的有益效果是:

51、本发明通过将近距图像与安全绳、围杆带姿态节点数据相结合,建立全局物理弧长身份坐标和物理身份曲线,使图像中的装备片段不仅具有视觉位置关系,还具有对应的物理身份和弧长位置依据,在人体遮挡、装备交叉以及图像边界截断造成同一装备被分割为不同片段时,能够依据候选身份、候选弧长区间、两侧非竞争确认结果、弧长占用基准和姿态节点顺序,对竞争片段进行连续身份判断,降低仅依赖局部视觉特征造成的装备归属错误。

52、本发明通过未观测弧段保持同一装备在不可见区域内的连续关系,并结合端部片段、连接对象、自锁器监测数据和速差器监测数据确认装备连接状态,在此基础上建立防护拓扑,对安全绳和围杆带的连接完整性及链内连续性进行统一判断,从而实现装备片段识别、同装备归属确认、连接关系确认和保护状态识别的连续处理,提高复杂近距离作业场景下高空安全带识别结果的稳定性和准确性。