基于AutoQuan量化和LDA分类的交通视频事件分析方法及系统
本发明属于智能交通视频分析,更具体地,涉及一种基于autoquan量化和lda分类的交通视频事件分析方法及系统。
背景技术:
1、随着城市智慧交通管控体系持续落地,路侧摄像头、高速监控等设备实现全域道路视频采集,依靠机器视觉自动识别车辆违停、道路交通事故、行人违规闯入、道路拥堵等异常交通事件,能够显著降低人工巡检人力投入、缩短突发事件应急响应时效,是道路交通自动化管控的核心技术手段。
2、当前卷积神经网络类目标检测算法已趋于成熟,fasterr-cnn、yolo、rt-detr等模型可精准解析监控画面内行人、非机动车、机动车的目标类别、外接坐标、跨帧运动轨迹等基础感知信息。但现有检测模型仅能完成单帧目标基础感知,缺失针对交通运动特征的自适应优化、道路场景先验融合、视频时序关联推理能力,难以实现复杂道路场景下高精度、高鲁棒性的交通事件深度判定,成为本领域亟待攻克的技术瓶颈。
3、目前业内公开三类主流道路交通异常事件检测技术方案,分别存在固有技术缺陷:
4、(1)基于自编码器与无监督终身学习的检测方案:该方案通过自编码器提取视频底层原始视觉特征,结合k-means聚类区分常规交通运行模式,并依托增量学习迭代更新模型以适配动态车流量变化。但该方案存在两处核心缺陷:其一,算法完全依赖清晰无干扰的视频画面,当出现镜头晃动、画面模糊、逆光遮挡等微小画面扰动时,检测精度大幅衰减,抗干扰能力极差;其二,聚类过程未对行人、车辆等差异化交通目标做类别区分,不同目标运动特征混叠计算,极易造成事件判定结果偏差,检测精准度不足。
5、(2)基于视觉大语言模型的交通事件检测方案
6、该方案将监控视频帧直接输入视觉大语言模型,由多模态模型输出自然语言描述并依靠模型内置逻辑区分各类交通事件,省去人工设计特征量化转换流程。该方案缺陷显著:一是大模型推理属于黑盒计算模式,无结构化、可追溯的可控计算链路,算法判定逻辑可解释性极低,不适用于交通监管事后溯源核查场景;二是视觉大模型参数量庞大、推理算力开销极高,无法部署在算力资源受限的路侧边缘监控硬件,落地通用性差。
7、(3)基于yolov8、固定均匀量化与lda文本聚类的无监督检测方案:该方案采用yolov8结合deepsort完成多目标跟踪,通过固定均匀量化规则离散化目标运动参数,将单帧检测信息转换为文本语料,再依托lda无监督文本分类实现逐帧交通事件判定,无需大规模事件样本标注,部署门槛较低。但该方案存在三项不可忽视的技术短板:
8、①运动目标位置、运动方向采用固定均匀量化规则,不具备自适应调整能力,无法匹配不同道路场景下目标分布的内在统计规律,运动特征量化失真严重;
9、②算法未设置场景先验知识融合机制,不能针对人行横道、路口、禁行区等高风险区域、行人等高风险目标、横穿等高风险运动角度做差异化特征增强处理,异常事件辨识度低;
10、③仅基于独立单帧视频完成文本映射与分类,未利用视频时序连续性特征,当画面有效运动目标稀少、量化存在微小误差时,极易出现帧级分类结果跳变,与真实交通事件连续演化的客观规律相悖,算法运行稳定性差。
11、综上,当前主流道路交通事件检测方案分别存在画面抗干扰能力弱、目标类别区分精度低、算法可解释性差、边缘设备部署困难、量化机制固化、无时序特征建模能力等多重缺陷。现有技术中尚未形成一套同时具备自适应运动特征量化、场景先验多维加权融合、时序连续特征建模能力的轻量化无监督交通事件检测方案,无法满足复杂城市道路、高速公路场景下高精度、高稳定性、可落地部署的交通事件智能分析需求。
技术实现思路
1、针对现有技术存在的上述技术问题,本发明提供一种基于autoquan量化和lda分类的交通视频事件分析方法及系统,首先逐帧采用rt-detr目标检测算法获取运动目标的类别、位置及跟踪编号,并基于所有帧中目标中心点的实际分布密度,分别在轴和轴构建自适应非均匀量化映射函数,使密集区域精细划分、稀疏区域粗疏划分;同时针对运动方向角度的环形特征,通过360°统计分布双倍复制扩展与峰值中心双向递推划分,构建无边界割裂的角度量化映射函数,生成由类别、轴、轴及角度四维量化值拼接而成的结构化文本词;继而根据场景先验知识,从目标类别、空间区域和运动方向三个维度配置权重映射函数,计算各文本词的综合权重系数并按比例进行词频重复扩展,实现高风险特征的差异化增强;随后采用时序滑动窗口策略将当前帧与前序多帧的原始文本累加生成加强文本,构建文本集输入lda无监督聚类模型,为每帧分配事件主题类别。本发明通过自适应非均匀量化精准保留目标时空分布特征、通过多维加权映射放大异常事件词频信号、通过时序窗口融合抑制单帧噪声并避免伪收敛,在无需大规模标注样本和无需高算力大模型的前提下,显著提升了交通事件检测的准确率、鲁棒性及算法可解释性,能够直接部署于路侧边缘监控设备,满足复杂道路场景下高精度、高稳定性的事件分析需求。
2、为了实现上述目的,本发明的一个方面提供一种基于autoquan量化和lda分类的交通视频事件分析方法,包括如下步骤:
3、s1、获取道路交通监控视频,逐帧使用目标检测算法进行运动目标检测和跟踪,筛选出与道路交通相关的目标类别,获得每帧中各运动目标的类别信息、位置信息和跟踪编号;
4、s2、基于所有帧中运动目标的中心点位置分布,分别计算位置x轴和y轴的自适应非均匀量化映射函数;基于相邻帧间同跟踪编号目标的位移向量计算运动方向角度,通过环形扩展统计分布计算运动方向角度的自适应非均匀量化映射函数;利用所述量化映射函数对各运动目标的运动特征进行量化,生成由类别量化值、轴位置量化值、轴位置量化值和方向角度量化值拼接而成的量化文本词;
5、s3、根据预设的场景先验知识,分别构建运动目标类别权重映射函数、位置区域权重映射函数和运动方向角度权重映射函数,并计算每个量化文本词的综合权重系数,并基于所述综合权重系数对量化文本词进行重复扩展;
6、s4、将每帧经重复扩展后的所有量化文本词拼接为该帧的原始文本,采用时序滑动窗口策略将当前帧及其前序若干帧的原始文本累加,生成每帧的加强文本,由全部加强文本构成文本集;
7、s5、将所述文本集输入lda无监督聚类模型,为每帧的加强文本分配事件主题类别,实现复杂道路场景下交通异常事件的自动分类检测。
8、进一步地,步骤s1具体包括:
9、获取道路交通监控视频流,读取视频的帧宽度frame_width、帧高度frame_height以及总帧数frame_count;
10、逐帧读取视频,对每一帧使用使用rt-detr目标检测算法进行目标检测和跟踪;
11、筛选出与道路交通相关的目标类别,具体包括行人、自行车、摩托车、小汽车、公交车和卡车共六类;
12、对于每个检测到的有效目标,记录其在当前帧中的边界框坐标;利用跨帧跟踪算法为同一物理目标在不同帧中分配并保持唯一的跟踪编号;
13、根据边界框坐标,计算运动目标在当前帧中的外接矩形中心点坐标;计算公式为:,;其中,为运动目标中心点横坐标;为运动目标中心点纵坐标;为边界框的左上角顶点横纵坐标;为边界框的右下角顶点横纵坐标,其中,;
14、对于每一帧,输出每一帧中所有有效运动目标的类别信息、位置信息和跟踪编号。
15、进一步地,步骤s2中所述计算位置轴的自适应非均匀量化映射函数的过程包括:
16、遍历所有帧中所有有效运动目标的中心点横坐标,统计其在1~frame_width−1范围内的出现频次,构建运动物体在位置轴上的离散分布函数;
17、设定轴量化阶数为,计算轴的量化阈值:
18、
19、从开始,依次累加的值寻找区间边界;假设当前量化区间的起点为,则根据以下公式确定当前量化区间的终点:
20、
21、逐个递推计算所有区间的起点和终点,直至已划分的区间数量达到个;每个区间内的目标样本总数基本都等于;
22、根据计算得到的各量化区间,构建轴量化映射函数;满足:当取值落入第个量化区间时,,其中;
23、步骤s2中所述计算位置轴的自适应非均匀量化映射函数的过程包括:
24、遍历所有帧中所有有效运动目标的中心点纵坐标,统计其在1~frame_height−1范围内的出现频次,构建轴离散分布函数;
25、设定运动物体在轴的量化阶数为,计算轴的量化阈值:
26、
27、从开始,依次累加的值寻找区间边界;假设当前量化区间的起点为,则根据以下公式确定当前量化区间的终点:
28、
29、逐个递推计算所有区间的起点和终点,直至已划分的区间数量达到个;每个区间内的目标样本总数基本均等于;
30、根据计算得到的各量化区间,构建轴量化映射函数;满足:当取值落入第个量化区间时,,其中。
31、进一步地,步骤s2中计算运动方向角度的自适应非均匀量化映射函数的过程包括:
32、对每一帧的每个运动目标,根据其跟踪编号id,找到该目标在上一帧中的位置方框矩形左上角坐标(,)和右下角坐标(,),以及当前帧中的位置方框矩形左上角坐标(,)和右下角坐标(,);计算上一帧的中心点位置坐标和当前帧的中心点位置坐标,表达式为:
33、
34、根据运动目标从上一帧到当前帧的位移向量,计算运动方向角度angle:
35、
36、对angle进行360取模并取整,得到1~360范围内的整数角度值;逐帧遍历所有运动目标,每个目标均可得到一个运动角度值,累加统计后得到运动方向的统计分布函数;
37、定义运动物体的角度的量化阶数为(预设正整数),计算角度的量化阈值:
38、
39、找到运动方向的统计分布函数中的最大值及其对应的角度,满足;
40、对原统计分布函数()进行横向复制扩展,构造扩展分布函数,使之满足以下公式:
41、
42、以为中心向两侧同步扩展步长,寻找角度的第一个量化区间,计算公式如下:
43、
44、满足上述不等式时,即确定第一个量化区间的范围为;
45、假设当前量化区间的起点为,可根据以下公式计算终点:
46、
47、假设第二个前量化区间的起点为,则根据上式不等式确定第二个前量化区间的终点;利用与轴相同的递推规则类推,可以逐步计算出第个量化区间的起点和终点;
48、对递推得到的最后一个区间终点进行360取模计算;当满足时,说明量化区间的取值范围已经形成360°圆形闭环;此时,令第个量化区间的终点等于;
49、对所有量化区间的起点和终点坐标执行360°取模操作:将大于360的区间起点或终点减去360,使角度计算过程中1~720的取值范围回归到1~360,完成运动方向角度的全部个量化区间的计算;
50、根据计算得到的各量化区间构建方向角度量化映射函数;所述角度量化映射函数满足:当取值为第个量化区间时,,其中。
51、进一步地,步骤s2中量化文本词生成的具体过程为:
52、使用coco80数据集中物体类别id的值作为运动目标的类别量化值;
53、使用当前运动目标的位置信息,计算所述目标的中心点横坐标;将代入所述轴量化映射函数,得到所述目标在轴上的量化值:;
54、使用当前运动目标的位置信息,计算所述目标的中心点纵坐标;将代入所述轴量化映射函数,得到所述目标在轴上的量化值:;
55、使用当前运动目标的位置信息及跟踪编号id,计算相邻帧同id目标的位移向量,求得运动方向角度并取模取整得到角度值;将代入所述方向角度量化映射函数,得到所述目标运动方向的量化值:;
56、每一帧中每个运动目标的有效运动信息均被转化为四个维度的离散量化值;将这四个量化值统一视为字符串类型,通过英文句点作为分隔符进行拼接,得到该运动目标最终的量化文本词:。
57、进一步地,步骤s3中所述根据预设的场景先验知识,分别为运动目标的类别、位置区域和运动方向角度配置权重映射函数的具体过程为:
58、设定运动目标的类别量化值的取值范围为{0, 1, 2, 3, 5, 7},分别对应coco80数据集中的行人、自行车、小汽车、摩托车、公交车、卡车;根据场景特性和事件分析的倾向,使用场景先验知识定义物体类别的权重映射函数:
59、
60、其中,为预设的行人、自行车、小汽车、摩托车、公交车、卡车的正实数权重值;
61、设定运动目标的中心点位置的取值范围为,;根据场景特性和事件分析的倾向,使用场景先验知识在视频帧平面内添加个调控区域,对区域内的权重进行差异化设置;定义个调控区域,构成区域集合;对于每个区域,设置其左上角顶点坐标和右下角顶点坐标();当某个目标中心点满足且时,判定该点落在区域内;每个调控区域对应一个特定的权重值,使用场景先验知识定义物体位置的权重映射函数:
62、
63、其中,为预设的个调控区域的正实数权重值,为未落入任何调控区域时的默认权重值;
64、设定场景中物体的运动方向角度量化值的取值范围为;根据场景特性和事件分析的倾向,使用场景先验知识添加个调控区间,对区间内的角度权重进行差异化设置;
65、根据道路方向或车流、行人行进方向的特点,定义个调控角度区间,构成区间集合;对于每个区间,设置角度起点和终点。当某个运动目标的方向角度满足时,判定该目标落在此角度调控区间内;每个调控区间对应一个特定的权重值,使用场景先验知识定义物体方向角度的权重映射函数:
66、
67、其中,为预设的个调控角度区间的正实数权重值,为未落入任何调控角度区间时的默认权重值。
68、进一步地,步骤s3中计算每个量化文本词的综合权重系数具体包括:
69、将步骤s2中每一个量化后的文本词word对应的目标运动物体类别量化值cquan、运动位置中心点坐标以及运动方向角度量化值
70、分别代入所述代入物体类别的权重映射函数、所述物体位置的权重映射函数和物体方向角度的权重映射函数,得到所述word的综合权重系数,表达式为:
71、
72、其中,为目标运动类别权重映射函数;为目标运动位置权重映射函数;目标运动方向角度权重映射函数;
73、步骤s3中基于所述综合权重系数对量化文本词进行重复扩展,具体包括:
74、对于视频的每一帧,在完成所有运动目标的word量化并计算出各自的权重系数后,对当前帧内所有权重系数进行排序,找到其中的最小值:
75、遍历当前视频帧所有量化后的word文本,将每个word的权重系数与最小值求相对比值并进行四舍五入取整,得到word的权重系数的扩展复制次数,其中round为取整函数;为word的综合权重系数。
76、进一步地,步骤s4中采用时序滑动窗口策略将当前帧及其前序若干帧的原始文本累加,生成每帧的加强文本,具体包括:
77、定义一个滑动窗口长度,为大于1的正整数;对于第帧,按照以下规则生成所述帧的加强文本n:
78、当≤时,;即从第1帧原始文本开始依次拼接至当前帧文本;
79、当时,;即将前序帧到当前帧原始文本按时间顺序依次拼接到当前文本上。
80、进一步地,步骤s5具体包括:
81、对lda无监督文本分类算法,设定迭代次数和分类数量;
82、将步骤s4生成的文本集作为lda算法的输入语料;运行lda无监督文本分类算法,待迭代次数达到iteration_count后,模型训练结束;
83、算法结束后,corpus中的每一个文本都会被分配一个事件类别标签topic,topic为1到k之间的正整数;视频中的每一帧均被赋予一个事件类别编号,完成了从原始监控视频到逐帧事件分类的端到端映射;
84、统计每个topic下概率最高的若干代表性量化文本词;将所述代表性量化文本词解码为对应的运动特征组合;结合场景先验知识归纳对应主题所代表的事件模式,并为其标注语义标签,将每帧的事件类别编号映射为可读的事件名称;实现最终的道路交通异常事件分析与检测。
85、本发明的第二个方面提供一种基于autoquan量化和lda分类的交通视频事件分析系统,用于实现所述的基于autoquan量化和lda分类的交通视频事件分析方法,包括:
86、视频获取与目标检测跟踪模块,用于获取道路交通监控视频,逐帧使用目标检测算法进行运动目标检测和跟踪,筛选出与道路交通相关的目标类别,获得每帧中各运动目标的类别信息、位置信息和跟踪编号;
87、自适应非均匀量化模块,用于基于所有帧中运动目标的中心点位置分布,分别计算位置轴和轴的自适应非均匀量化映射函数;基于相邻帧间同跟踪编号目标的位移向量计算运动方向角度,通过环形扩展统计分布计算运动方向角度的自适应非均匀量化映射函数;利用所述量化映射函数对各运动目标的运动特征进行量化,生成由运动目标类别量化值、轴位置量化值、轴位置量化值和方向角度量化值拼接而成的量化文本词;
88、场景先验多维加权模块,用于根据预设的场景先验知识,分别构建运动目标类别权重映射函数、位置区域权重映射函数和运动方向角度权重映射函数,并计算每个量化文本词的综合权重系数,并基于所述综合权重系数对量化文本词进行重复扩展;
89、时序滑动窗口文本构建模块,用于将每帧经重复扩展后的所有量化文本词拼接为对应帧的原始文本,采用时序滑动窗口策略将当前帧及其前序若干帧的原始文本累加,生成每帧的加强文本,由全部加强文本构成文本集;
90、lda无监督聚类与事件分类模块,用于将所述文本集输入lda无监督聚类模型,为每帧的加强文本分配事件主题类别,完成交通视频事件的分类检测。
91、总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
92、(1)本发明通过设计autoquan自适应非均匀量化机制,分别对运动目标在轴、轴位置以及运动方向角度三个维度进行量化区间的自适应分割:一方面基于所有帧中目标中心点的实际统计分布密度,在密集区域自动缩小区间宽度实现精细划分,在稀疏区域自动增宽区间实现粗疏划分,使每个量化区间容纳的样本数量基本相等,有效减少了高速运动目标轨迹特征丢失与静态目标量化冗余;另一方面针对运动方向角度的环形特征,将1°~360°的统计分布进行双倍复制扩展为1°~720°的函数,并以分布峰值为中心向两侧双向划分第一个量化区间,消除了0°与360°的天然分割断点,完整保留了车辆转向、行人横穿等环形运动特征的连续性。该设计克服了现有技术中固定均匀量化无法适配不同道路场景下目标分布内在统计规律的缺陷,大幅提升了交通目标时空运动特征的量化表征精度。
93、(2)本发明通过构建融合目标类别、道路空间区域、运动方向角度三个维度的场景先验加权映射体系,分别定义类别权重映射函数、位置区域权重映射函数和方向角度权重映射函数,将三者相乘得到每个量化文本词的综合权重系数,并基于综合权重系数与帧内最小权重的比值对文本词进行重复扩展(词频增强);该机制能够对行人、路口中心、逆行方向、横穿方向等高风险交通特征赋予更高的词频权重,使异常/高危目标在后续lda词袋模型中占据更大的比重,有效放大了异常事件特征的辨识度,降低了交通事件的漏检率和误检率,克服了现有技术中缺乏场景先验知识融合、异常事件被正常通行模式淹没的缺陷。
94、(3)本发明通过采用时序滑动窗口策略,将当前帧及其前序帧的原始文本按时间顺序首尾拼接生成加强文本,以加强文本而非单帧文本作为lda模型的输入文档;该设计一方面充分利用了交通事件在时间维度上的自然连续性,使得异常模式在多帧中反复出现时词频被进一步累积放大,有效抑制了因单帧目标检测误差、短暂遮挡或镜头抖动导致的帧级分类结果跳变;另一方面将多帧数据聚合到单篇文档中,显著增加了每篇文档的有效词数,避免了lda模型因单帧数据量不足而产生的伪收敛现象。该机制克服了现有技术中仅基于独立单帧进行分析、与真实交通事件连续演化客观规律相悖的缺陷,显著提升了复杂道路工况下算法运行的稳定性和鲁棒性。
95、(4)本发明通过以rt-detr轻量化目标检测算法为基础,配合纯数值化的自适应非均匀量化、多维度加权扩展和文本拼接运算,最终依托lda无监督聚类完成事件分类,全程无需海量人工标注的事件训练样本,也不依赖视觉大语言模型的海量参数推理。整套方案的计算负载完全可控,不涉及高复杂度的神经网络反向传播或大矩阵运算,可直接部署于算力资源受限的路侧边缘监控硬件设备上。该设计克服了现有视觉大模型方案推理算力开销极高、无法在边缘端落地的缺陷,同时也规避了自编码器方案对清晰画面的强依赖,拓宽了本发明在复杂城市道路、高速公路等多种场景下的实际部署适用面。
96、(5)本发明通过将目标检测数值转化为带有明确物理含义的结构化文本词,再执行无监督lda聚类,使得从量化区间划分、权重系数计算到时序文本构建的全流程均可追溯、可复现。lda输出的每个事件主题均可由高频量化文本词反向解码为具体的运动特征组合(如"类别=行人,位置=斑马线,方向=横穿"),判定逻辑透明度高,不同于视觉大语言模型的黑盒计算模式;该特性便于交通监管人员在事后溯源核查时直接理解异常事件的识别依据,完全适配日常道路巡查和交通违法取证等业务场景的需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com