一种球机协同目标跟踪方法、装置、电子设备及存储介质与流程
本发明涉及视频监控与智能跟踪,尤其涉及一种球机协同目标跟踪方法、装置、电子设备及存储介质。
背景技术:
1、随着视频监控技术在大范围场景中的广泛应用,全景摄像机与局部球机的协同跟踪已成为机场、港口、园区等场所实现全局态势感知与局部细节观察的重要手段。然而,传统协同跟踪方案在应对复杂场景时面临诸多挑战。
2、传统方案通常依赖目标检测、轨迹跟踪、几何映射和固定控制参数,通过计算目标在画面中的位置偏差来控制球机转动或变焦。该类方案在目标数量较少、场景变化较小时效果较好,但在目标交叉、短时遮挡、目标尺度快速变化或局部画面存在多个相似目标时,仅依赖几何位置或单一标识容易导致误关联和跟踪丢失;同时,固定控制参数难以根据目标区域、运动阶段和画面质量自适应调整,导致跟踪稳定性和适应性不足。
3、此外,多摄像机联动方案对全景目标与局部候选目标是否为同一目标缺少语义级确认,跨视角关联容易受检测误差、视角变化和遮挡影响;而语言模型参与摄像机控制的方案多面向自然语言交互,若直接输出连续控制指令,难以保证实时性和安全性。
4、因此,迫切需要一种能够提高全景与局部球机之间目标关联可靠性,确保复杂场景下跟踪稳定性和安全性,且智能、实时且可扩展的球机协同目标跟踪方法。
技术实现思路
1、本发明各实施例提供一种球机协同目标跟踪方法,以解决现有技术跨视角关联易误判、固定参数难自适应、模型直控不稳定的问题。所述技术方案如下:
2、根据本发明的一个方面,一种球机协同目标跟踪方法,所述方法包括:通过全景摄像机对全景视频进行目标检测,获取全景目标的全景信息;所述全景信息包括全景目标标识、全景目标位置、全景目标区域、全景目标尺度、全景目标运动趋势及历史轨迹信息;通过局部球机对局部画面进行候选目标检测,获取局部候选目标标识、局部候选目标位置和局部候选目标尺度,并读取球机当前转向角度和变焦状态与所述全景信息构建统一目标状态;对所述统一目标状态中的全景目标截图、局部候选截图、目标运动摘要和历史跟踪摘要进行跨视角一致性判断,输出语义判定结果;所述语义判定结果包括同一目标置信度、目标状态类别、遮挡风险等级、画面质量等级和候选目标排序;根据所述语义判定结果生成跟踪策略及控制参数建议,经参数边界约束后对所述局部球机执行转向与变焦闭环控制,当跟踪不稳定时结合全景目标位置和历史运动趋势对所述局部球机进行搜索控制,确认目标后恢复闭环跟踪。
3、在其中一个实施例中,通过全景摄像机对全景视频进行目标检测,获取全景目标的全景信息通过以下步骤实现:通过全景摄像机读取全景视频中当前帧的目标感知结果,解析得到全景目标的全景信息,若所述目标感知结果异常或当前无待跟踪目标,则仅更新状态并等待下一周期;所述标识用于指代所述目标;所述位置用于确定所述目标在全景画面中的坐标;所述区域用于确定所述目标所处的场景区域;所述尺度用于描述所述目标在全景画面中的大小;所述运动趋势用于描述所述目标的移动方向与运动状态;所述历史轨迹用于记录所述目标在历史周期中的位置变化。在其中一个实施例中,通过局部球机对局部画面进行候选目标检测,获取局部候选目标标识、局部候选目标位置和局部候选目标尺度,并读取球机当前转向角度和变焦状态与所述全景信息构建统一目标状态通过以下步骤实现:读取局部画面中当前帧的局部候选目标,获取局部候选目标标识、局部候选目标位置和局部候选目标尺度,并读取球机当前转向角度和球机当前变焦状态;所述局部候选目标标识用于区分不同候选目标;所述局部候选目标位置用于确定所述局部候选目标在局部画面中的坐标;所述局部候选目标尺度用于描述所述局部候选目标在局部画面中的大小;所述球机当前转向角度用于确定局部球机当前的指向方向;所述球机当前变焦状态用于确定局部球机当前的放大倍率;将所述局部候选目标标识、局部候选目标位置、局部候选目标尺度、球机当前转向角度和球机当前变焦状态,与所述全景信息及场景区域信息和业务标识信息进行整合形成统一目标状态,若当前无待跟踪目标,则仅更新状态并等待下一周期。
4、在其中一个实施例中,对所述统一目标状态中的全景目标截图、局部候选截图、目标运动摘要和历史跟踪摘要进行跨视角一致性判断,输出语义判定结果通过以下步骤实现:根据所述全景目标位置获取全景目标截图,根据所述局部候选目标位置获取局部候选截图,根据所述全景目标运动趋势和全景目标历史轨迹生成目标运动摘要,根据所述全景目标历史轨迹和局部候选目标标识生成历史跟踪摘要;对所述全景目标截图、局部候选截图、目标运动摘要和历史跟踪摘要进行跨视角一致性判断,判断全景视频中的全景目标与局部球机画面中的各局部候选目标是否为同一目标,并评估目标当前所处状态、遮挡风险和画面质量输出语义判定结果;所述同一目标置信度用于表示全景目标与局部候选目标属于同一目标的可能性;所述目标状态类别用于表示目标状态;所述遮挡风险等级用于表示目标被遮挡的风险程度;所述画面质量等级用于表示局部画面的清晰程度;所述候选目标排序用于表示各局部候选目标与全景目标一致性的排序。
5、在其中一个实施例中,根据所述语义判定结果生成跟踪策略及控制参数建议通过以下步骤实现:根据所述语义判定结果生成当前周期的跟踪策略和控制参数建议;所述跟踪策略包括继续跟踪、保持等待、降低变焦、增强搜索、切换候选目标、进入重捕获流程或返回默认观察状态;所述控制参数建议包括响应强度档位、目标保持阈值、目标丢失容忍时间和变焦补偿强度;所述响应强度档位用于表示局部球机转向与变焦控制的响应快慢;所述目标保持阈值用于表示目标保持在局部画面预设区域内所需的判定门限;所述目标丢失容忍时间用于表示目标短时消失后允许等待并继续搜索的时间长度;所述变焦补偿强度用于表示在目标尺度变化时对变焦控制进行补偿的幅度。
6、在其中一个实施例中,经参数边界约束后对所述局部球机执行转向与变焦闭环控制通过以下步骤实现:对所述响应强度档位、目标保持阈值、目标丢失容忍时间和变焦补偿强度进行边界裁剪和合法性校验、限制取值范围、过滤异常输出,并在结果不可信时回退到预设默认策略和参数;采用比例积分微分控制、模糊控制或模型预测控制根据所述局部候选目标位置与预设区域的位置偏差计算转向控制量,根据所述局部候选目标尺度与期望尺度的尺度偏差计算变焦控制量,当局部画面放大所述局部候选目标偏离预设区域时,对转向控制和变焦控制进行耦合补偿。
7、在其中一个实施例中,当跟踪不稳定时结合全景目标位置和历史运动趋势对所述局部球机进行搜索控制,确认目标后恢复闭环跟踪通过以下步骤实现:若所述同一目标置信度满足继续跟踪阈值且遮挡风险等级处于可接受范围内,则判定当前跟踪稳定,更新状态后进入下一周期;否则判定当前跟踪不稳定,则根据所述全景目标位置、全景目标运动趋势、全景目标历史轨迹、球机当前转向角度、球机当前变焦状态和历史观察记录判断继续搜索或返回默认观察状态;所述继续搜索包括等待目标重新出现、按历史轨迹预测指向、小范围搜索、降低变焦后扩大视野搜索;对新发现的局部候选目标进行跨视角一致性判断,若确认为原目标,则恢复局部闭环控制,若超过目标丢失容忍时间仍未能确认,则停止当前跟踪或切换到新的候选目标。
8、根据本发明的一个方面,一种球机协同目标跟踪装置,所述装置包括:全景目标检测模块,用于通过全景摄像机对全景视频进行目标检测,获取全景目标的全景信息;所述全景信息包括全景目标标识、全景目标位置、全景目标区域、全景目标尺度、全景目标运动趋势及历史轨迹信息;目标状态构建模块,用于通过局部球机对局部画面进行候选目标检测,获取局部候选目标标识、局部候选目标位置和局部候选目标尺度,并读取球机当前转向角度和变焦状态与所述全景信息构建统一目标状态;跨视角语义判定模块,用于对所述统一目标状态中的全景目标截图、局部候选截图、目标运动摘要和历史跟踪摘要进行跨视角一致性判断,输出语义判定结果;所述语义判定结果包括同一目标置信度、目标状态类别、遮挡风险等级、画面质量等级和候选目标排序;控制与重捕获模块,用于根据所述语义判定结果生成跟踪策略及控制参数建议,经参数边界约束后对所述局部球机执行转向与变焦闭环控制,当跟踪不稳定时结合全景目标位置和历史运动趋势对所述局部球机进行搜索控制,确认目标后恢复闭环跟踪。
9、根据本发明的一个方面,一种电子设备,包括至少一个处理器以及至少一个存储器,其中,所述存储器上存储有计算机可读指令;所述计算机可读指令被一个或多个所述处理器执行,使得电子设备实现如上所述的球机协同目标跟踪方法。
10、根据本发明的一个方面,一种存储介质,其上存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行,以实现如上所述的球机协同目标跟踪方法。
11、本发明提供的技术方案带来的有益效果是:
12、在上述技术方案,本发明通过首先获取全景视频中全景目标的全景信息以及局部球机画面中局部候选目标的局部信息,构建包含全景目标标识、全景目标位置、全景目标区域、全景目标尺度、全景目标运动趋势、全景目标历史轨迹、局部候选目标标识、局部候选目标位置、局部候选目标尺度、球机当前转向角度、球机当前变焦状态以及场景区域信息和业务标识信息的统一目标状态,从而准确描述全景与局部之间的目标关联基础,在此基础上,利用多模态语义判定模块对统一目标状态中的全景目标截图、局部候选截图、目标运动摘要和历史跟踪摘要进行跨视角一致性判断,输出同一目标置信度、目标状态类别、遮挡风险等级、画面质量等级和候选目标排序,得到语义判定结果,同时,根据语义判定结果生成跟踪策略及控制参数建议,并对响应强度档位、目标保持阈值、目标丢失容忍时间和变焦补偿强度进行参数边界约束,然后,经参数边界约束后由确定性控制器根据局部候选目标位置与预设区域的位置偏差以及局部候选目标尺度与期望尺度的尺度偏差,对局部球机执行转向与变焦闭环控制,最后,当跟踪不稳定时结合全景目标位置、全景目标运动趋势和全景目标历史轨迹对局部球机进行搜索控制,确认目标后恢复闭环跟踪,实现了对全景与局部球机之间目标关联的语义确认和局部球机的稳定控制,不仅提高了跨视角目标关联的可靠性,而且显著增强了复杂场景下的跟踪稳定性,使得系统在目标交叉、短时遮挡和尺度快速变化等情况下能够更加安全、稳定地完成跟踪任务,从而能够有效地解决现有技术面对复杂场景时跨视角关联易误判、固定参数难自适应、模型直控不稳定的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com