一种城市治理盲区的多模态虚拟感知与风险筛查方法、系统及介质

本发明属于城市治理风险感知、智能视频分析、音频信号处理和多模态人工智能，具体涉及一种城市治理盲区的多模态虚拟感知与风险筛查方法、系统及介质。

背景技术：

1、随着城市更新、城市体检和城市运行管理服务平台建设的推进，城市治理对象正由主次干道、广场、公园等开放公共空间，进一步延伸至城中村、老旧街区、背街小巷、沿街门店后场、小型厂房、仓储院落和封闭式居住组团等存量空间。上述空间通常具有产权关系复杂、功能混杂、空间封闭、经营主体多元和人员流动频繁等特点，居住、经营、仓储、加工、物流和生活服务等活动在有限空间内叠加，容易产生消防通道占用、飞线充电、异常物流、噪声扰民、疑似隐蔽加工、违规堆放、非正规运输等治理风险。

2、现有城市治理风险发现主要依赖人工巡查、群众投诉、专项整治、网格员上报和事后抽查等方式。该类方式能够对已经显性化的问题进行核查和处置，但对于空间封闭、进入成本较高、活动时间不固定或者外部表现较弱的治理盲区，往往难以实现连续、主动、低成本和细粒度的前端感知。特别是在高密度建成环境中，内部院落、门店后场、小型作坊和巷道深处常常不在常规固定监控的直接视域范围内，治理人员即使能够通过街巷入口、道路断面或者外围公共空间观察到部分人车活动、物流出入、声音外溢和环境变化，也难以将这些外部迹象及时、稳定地转化为可复核的风险线索。

3、近年来，城市运行管理服务平台和智慧城市系统逐步引入物联网、大数据、人工智能、视频智能识别、地理信息系统和工单流转等技术，用于提升城市运行监测、事件发现、任务派遣和闭环处置能力。较为接近的现有技术包括基于固定摄像头或移动巡检设备的城市事件识别技术、基于视频分析的占道经营或违法停车检测技术、基于城市管理平台的案件派遣和处置反馈技术，以及基于多源数据汇聚的城市运行监测技术。上述技术通常能够对可见范围内的显性目标或显性事件进行识别，例如车辆停放、垃圾堆放、人员聚集、道路积水、设施破损等，并将识别结果接入城市管理平台进行流转。

4、但该类现有技术仍存在以下不足：第一，现有视频智能识别通常以摄像头直接拍摄到的对象或事件为识别对象，强调对画面中显性目标的检测与分类，难以针对被遮挡、处于封闭空间内部或者仅通过外围迹象间接表现的治理风险进行推断。第二，传统目标检测或行为识别模型多依赖预设类别和训练样本，对光照变化、机位差异、行人车辆遮挡、场景尺度变化和长尾风险适应性不足；而城市治理中的许多风险并非单一视觉目标，而是由空间环境状态、活动频率、出入方向、声音特征、时间段和地理位置共同构成的复合线索。第三，若直接将连续视频或长时段监控数据输入云端大模型或视频分析模型，将产生较大的数据传输、计算成本和响应延迟，同时大量冗余帧、静止目标和低价值片段会降低模型研判效率，不利于在基层治理场景中持续部署。

5、在音频感知方面，现有技术已经能够利用短时傅里叶变换、梅尔频谱、频带能量、声学事件分类或异常声音检测等方法，对设备运行、交通噪声、施工噪声、突发声响等声音进行分析。该类技术能够补充视觉感知在遮挡条件下的不足，但多数应用集中于环境噪声监测、工业设备状态检测或一般声音事件分类，通常以声源类型识别或噪声强度评价为目标，缺少与城市治理风险类型、空间点位关系、外部迹象和责任处置流程之间的联动。对于城中村、小型厂房或门店后场等场景，持续机械作业、隐蔽加工、异常装卸或夜间高频物流可能仅以外溢声音形式表现，仅依赖声压级或普通声音分类难以区分其治理含义，也难以形成可供现场复核的空间化证据链。

6、在多模态人工智能方面，多模态大模型具备较强的图像、文本、场景语义和复杂关系理解能力，为城市复杂长尾场景识别提供了新的技术路径。但如果缺少面向治理任务的前端证据筛选、空间约束和知识规则，大模型输出容易停留在一般场景描述或开放式文本生成层面，难以稳定对应到风险类型、严重程度、责任主体、紧急程度和处置动作等治理业务字段。同时，在真实城市治理场景中，单个点位可能同时产生静态空间隐患、动态物流活动、异常声音和空间区位线索，若缺少统一的数据结构和融合研判机制，各类识别结果容易分散存储、相互割裂，难以支撑后续人工复核、任务派发和跨部门协同处置。

7、现有城市管理工单系统通常侧重案件登记、派遣、处理反馈、核查结案和绩效评价等流程管理，风险数据多来自人工上报、群众投诉或单一智能识别结果。对于由外围视频、运动目标、音频频谱和空间位置共同构成的隐蔽风险线索，现有系统缺少从原始音视频到派生证据、从派生证据到风险标签、从风险标签到治理任务的自动化转换机制，也缺少对静态背景图、运动目标片段、音频频谱图、原始音视频路径和空间坐标等证据材料的统一组织方式。因此，即使城市既有监控、巡检视频或类监控数据持续记录了街巷入口、人车流动、物流出入、环境变化和声音外溢等信息，也往往主要用于事后回看和个案取证，尚未充分转化为前端筛查与主动预警能力。

8、综上，现有技术尚缺乏一种面向城市治理盲区的多模态虚拟感知与风险筛查方法，能够在不直接进入封闭或半封闭空间的情况下，利用外围可观测的视觉、声音和空间迹象，通过本地轻量化预处理提取静态空间证据、动态活动证据和音频异常证据，再结合治理知识集合进行融合研判，将外部迹象转化为风险标签、风险等级、证据摘要、责任主体和建议处置动作，并输出可复核、可追踪、可空间化表达的结构化告警和治理任务数据。开发该类方法，对于提升城市治理盲区的前端感知能力、降低人工巡查成本、提高风险筛查效率和增强隐患处置的证据支撑具有重要技术意义。

技术实现思路

1、为解决现有城市治理风险发现方式对城中村、老旧街区、沿街门店后场、小型厂房、封闭院落等治理盲区连续感知能力不足，传统视频智能识别难以识别遮挡、封闭或仅以外围迹象表现的复合风险，普通音频分析难以将声音异常转化为治理风险线索，以及现有工单系统难以将多源派生证据自动转换为可复核、可追踪、可空间化表达的风险任务数据等技术问题，本发明提出一种城市治理盲区的多模态虚拟感知与风险筛查方法、系统及介质。

2、本发明的核心思想在于：不以进入盲区内部直接采集为必要条件，而是以街巷入口、院落外围、道路断面、门店后场外围、封闭空间外缘等目标点位的外围音视频数据和空间位置数据为基础，分别提取静态空间证据、动态活动证据、音频异常证据和地理空间证据，并通过包含风险规则、空间场景约束、责任主体关系和处置动作模板的治理知识集合进行融合研判，将外围可观测迹象转换为风险标签、风险等级、证据摘要、责任主体和建议处置动作，从而形成可供复核、查询、派发和系统对接的结构化告警数据与治理任务数据。

3、为实现上述目的，本发明采用如下技术方案。

4、一种城市治理盲区的多模态虚拟感知与风险筛查方法，包括以下步骤：

5、步骤1、在城市治理盲区的外围布设观测点位，在所述观测点位处以摄像设备采集音视频数据并获取点位空间坐标；基于每一原始音视频文件建立证据单元，所述证据单元用于将原始音视频、空间坐标、采集时间、点位编号以及派生的图像与音频证据进行组织归档；

6、步骤2、将所述原始音视频数据进行视频帧序列与音频轨道分离；将音频轨道转换为单通道归一化音频信号，并形成统一输入形式；对视频帧序列进行抽帧与候选帧筛选，得到静态相关与运动相关候选帧；

7、步骤3、对同一点位同一时间窗口内的候选帧进行尺寸归一化；对候选帧与基准帧提取局部特征点及其描述子，并匹配，基于匹配点估计仿射变换并完成图像对齐；将对齐后的候选帧在像素位置与颜色通道维度进行中值融合，生成静态背景图像，并基于所述静态背景图像以及点位信息识别静态空间风险线索，得到静态空间证据及其置信度cs；

8、步骤4、对视频候选帧进行目标检测，得到目标类别与检测框及置信度；采用跨帧跟踪算法对检测框进行轨迹关联；对于同一轨迹标识在相邻采样时刻的检测框，计算中心点位移、目标尺度和位移比，依据位移比确定运动目标轨迹，并将所述运动目标轨迹对应的关键帧或短片段裁剪形成动态活动证据；对所述动态活动证据进行语义识别或规则判定，得到动态活动证据及其置信度；

9、步骤5、对音频信号进行分帧加窗，并执行短时傅里叶变换，获得复数时频矩阵并生成分贝尺度谱图；将有效频率范围划分为多个频段，计算各频段能量占比并对不同频段设置频带权重得到高频加权评分；对所述分贝谱转换为灰度谱图，基于所述分贝谱进行阈值分割得到高能量二值掩膜，提取在频率方向上连续延伸且在时间方向上持续存在的连续频带区域，计算连续频带异常特征值及持续噪声时长，并计算得到音频异常证据置信度；

10、步骤6、构建治理知识集合，其中为风险规则与风险类型集合，为空间场景与位置约束集合，为责任主体与协同关系集合，为处置动作与工单模板集合；将静态空间证据、动态活动证据、音频异常证据与地理空间证据映射为外围可观测迹象；输入所述外围可观测迹象与治理知识集合进行融合研判，获得风险线索并输出候选风险类型及其证据摘要；

11、步骤7、根据静态空间证据置信度、动态活动证据置信度、音频异常证据置信度以及空间位置证据置信度，计算综合置信度c，根据风险类型权重ψr与综合置信度c通过分级函数确定风险等级；基于所述风险类型、风险等级与综合置信度生成结构化风险数据；

12、步骤8、根据所述结构化风险数据输出风险告警数据和治理任务数据。

13、地理空间证据置信度按下式计算：；

14、且，基于风险类型与点位类型匹配关系确定，基于邻近兴趣点类型与距离确定，基于点位与潜在风险区域距离确定，基于路网或入口关系确定；

15、动态活动证据置信度按下式计算：；

16、其中，，且取有效运动目标检测框置信度的平均值或可取有效运动目标检测框置信度的平均值和最大值的加权值；，，，，l为轨迹连续有效帧数，l0为轨迹长度阈值，为轨迹生命周期内丢失帧数量占总帧数的比例，为轨迹跨帧关联时的平均 iou 匹配值；，为位移比rt的均值，为累计中心点运动距离，为目标平均尺度，若位移比rt不小于，则满足运动阈值，连续满足运动阈值的帧数加1；=0.30·+0.20·+0.20·+0.20·+0.10·，，为货物区域面积与目标检测框面积之间的比值，目标类别风险评分用于表征目标类别本身与异常物流或隐蔽加工关联运输之间的相关程度，出入方向或重点入口关联评分用于表征目标轨迹是否与街巷入口、院落入口、门店后场、小型厂房邻近区域、物流出入通道或封闭空间外缘的相关性，= min(nc/n0, 1)，时间窗口内检测到的载货目标数量为 nc，预设高频阈值为n0，停留、装卸或通道占用行为评分用于表征目标是否在重点空间区域发生异常停留、疑似装卸或占用狭窄通道等行为；

17、静态空间证据的置信度通过下式计算：；

18、其中，，且背景重建质量置信度按下式计算：；

19、其中，为图像对齐质量评分，由对齐质量得到，为背景清晰度评分，由背景清晰度得到，背景覆盖完整度评分，由背景覆盖完整度得到；

20、当采用多模态语义识别模型识别静态隐患时，直接采用多模态语义识别模型返回的类别置信度；当采用本地规则模型识别静态隐患时，可由规则匹配数量、隐患区域面积、持续出现次数或空间约束满足情况换算得到；

21、本地规则校验置信度；为候选静态隐患类型中规则配置的权重，；若第条规则被满足，则；若不满足，则；

22、空间场景匹配程度置信度；

23、其中：为点位类型匹配评分，静态隐患类型高匹配场景取，中匹配取，低匹配取，为周边兴趣点匹配评分，检索目标点位100米半径内的兴趣点，根据兴趣点类型与距离衰减计算：；其中为周边兴趣点，为兴趣点类型权重，为目标点位到兴趣点的距离，为距离评分，设目标点位距离静态风险相关区域的最近距离为，最大有效距离阈值取100米，则：。

24、进一步地，步骤1中所述观测点位布设于城中村入口、街巷交叉口、院落外围、道路断面、门店后场外围、小型厂房邻近道路或居民区与生产经营混合区交界处。

25、进一步地，步骤2中将音频轨道转换为单通道归一化音频信号，音频归一化可采用如下方式：；

26、其中，x[n]为原始音频采样点，xnorm[n]为归一化后的音频采样点，δ为防止除零的极小稳定项。

27、进一步地，步骤(3)中所述局部特征提取方法采用sift、orb、surf或akaze中的至少一种；对候选帧与基准帧进行特征匹配，采用比率测试剔除歧义匹配点，对于同一候选描述子，设最近邻匹配距离为d1，次近邻匹配距离为d2， 当时，时保留匹配点；其中，ρ为比率测试阈值；当d1与d2的比值接近1时，表示最近邻和次近邻匹配距离接近，匹配结果存在歧义，应予以剔除；

28、对保留的匹配点采用随机采样一致性算法估计仿射变换矩阵；

29、所述仿射变换估计采用ransac并以重投影误差阈值筛选内点；所述中值融合在每个像素位置与颜色通道维度进行。

30、进一步的，步骤4中采用多目标跟踪算法对检测框进行跨帧关联，第一阶段将高置信度检测框与已有轨迹匹配，第二阶段将低置信度检测框与第一阶段未匹配的轨迹进行匹配，以减少短时遮挡和低置信度检测造成的轨迹中断；

31、在所述跨帧关联中，检测框与轨迹之间的匹配代价基于交并比计算：

32、

33、

34、其中，a和b分别表示检测框区域和轨迹预测框区域， 匹配过程可采用匈牙利算法求解最优匹配结果；

35、当检测框与轨迹匹配成功时，使用新检测框更新该轨迹；当轨迹未被检测框匹配时，将该轨迹标记为丢失并保留若干帧以容忍短时遮挡；当检测框未匹配到任何轨迹时，创建新轨迹；当轨迹在连续多帧未被匹配时，删除该轨迹；并为每个被跟踪目标分配唯一轨迹标识以实现跨帧身份关联；

36、所述多目标跟踪算法可采用bytetrack、deepsort、oc-sort或其他基于检测框关联的跟踪算法；

37、中心点位移dt：；目标尺度st：；位移比rt：；

38、并在连续个采样时刻内当满足第一运动阈值或累计位移满足第二运动阈值时判定为运动目标；其中为大于1的整数。

39、进一步地，步骤5中对音频信号进行分帧加窗，并执行短时傅里叶变换，获得复数时频矩阵并生成分贝尺度谱图包括：对降噪后的音频信号x[n]进行分帧加窗处理，执行短时傅里叶变换生成复数时频矩阵x(k,m)：

40、

41、其中，k为频点索引，m为时间帧索引，l为单帧长度，h为帧移，w[n]为窗函数；

42、对所述复数时频矩阵取模并转换为分贝尺度谱图s(k,m)，其计算公式如下：

43、

44、其中，δ为避免对数运算中出现零值的稳定项；

45、将有效频率范围划分为多个频段，计算各频段能量占比并对不同频段设置频带权重得到高频加权评分包括：

46、将有效频率范围划分为p个频段ωp，第p个频段在预设时间窗口内的频段能量ep为：

47、

48、总能量etotal为：

49、

50、频段能量占比ηp为：

51、

52、对不同频段设置频段权重ωp，计算高频加权评分as：

53、

54、其中，较高频段对应的频段权重大于较低频段对应的频段权重；

55、基于所述分贝谱进行阈值分割得到高能量二值掩膜，提取在频率方向上连续延伸且在时间方向上持续存在的连续频带区域，计算连续频带异常特征值及持续噪声时长，并计算得到音频异常证据置信度包括：

56、对所述分贝尺度谱图执行连续频带检测，使用原始分贝谱 s(k,m) 进行阈值判定，区分高能量区域与背景区域，生成高能量二值掩膜 m(k,m)：

57、

58、其中，θs为谱图强度阈值；

59、对二值谱图执行形态学运算与连通域分析，提取在频率方向上连续延伸且在时间方向上持续存在的连续频带区域；设连续频带连通域集合为q，第z个连续频带区域的面积为area(qz)、持续时间为dur(qz)、频带宽度为band(qz)，计算连续频带异常特征值wb：

60、

61、其中，φz为第z个连续频带区域的权重，θa、θt、θb分别为面积阈值、持续时间阈值和频带宽度阈值，i(·)为指示函数；

62、基于高频加权评分as、连续频带异常特征值wb和持续噪声时长ds，计算音频异常置信度ca：

63、

64、其中，μ1、μ2、μ3为权重系数，b为偏置项，σ(·)为归一化激活函数。

65、进一步的，步骤6中输入所述外围可观测迹象 e 与治理知识集合 k 进行融合研判包括：将所述静态背景图像、运动目标图像、关键视频片段、时间-频率谱图和结构化特征摘要中的至少一种输入多模态语义识别模型，生成候选风险类型及其证据摘要；根据所述治理知识集合对所述候选风险类型和候选证据摘要进行规则校验、空间约束校验和责任主体匹配；当所述多模态语义识别模型不可用或输出结果不满足置信度阈值时，调用本地规则引擎生成基础风险类型和基础证据摘要。

66、进一步地，步骤7中所述风险告警数据和治理任务数据包括：点位编号、采集时间、风险类型、风险等级、置信度、证据摘要、多模态证据回溯路径、空间坐标、责任主体、紧急程度、建议处置动作和人工复核状态中的至少一种；

67、所述风险等级根据综合置信度c确定，所述综合置信度c按照下式计算：

68、

69、其中，cs为静态空间证据置信度，cd为动态活动证据置信度，ca为音频异常证据置信度，cg为空间位置证据置信度，λs、λd、λa、λg为权重系数，且满足：

70、

71、空间位置证据置信度cg可根据点位类型、空间邻近度和场景匹配度确定：

72、

73、其中，ptype为点位类型匹配分，pdist为空间邻近度分，pscenee为场景匹配分，α1、α2、α3为权重系数，且三个权重系数之和为1；

74、风险等级g可按照综合置信度c和风险类型权重ψr确定：

75、

76、其中，grade(·)为分级函数，

77、当ψrc低于第一阈值θ1时，生成低风险等级；当ψrc不低于第一阈值θ1且低于第二阈值θ2时，生成中风险等级；当ψrc不低于第二阈值θ2时，生成高风险等级。

78、本发明还提供一种城市治理盲区的多模态虚拟感知与风险筛查系统，包括数据获取模块、数据预处理模块、静态证据提取模块、动态证据提取模块、音频证据提取模块、知识引导研判模块、隐私保护模块和告警与任务输出模块；

79、所述数据获取模块，用于获取目标外围点位的多模态感知数据及空间上下文数据，并进行时空同步对齐，构建多模态时空证据单元；其中，所述目标外围点位包括街巷入口、院落外围、道路断面、门店后场外围、封闭空间外缘、城中村内部节点、老旧街区巷道节点或小型厂房邻近区域中的至少一种；

80、所述数据预处理模块，多模态感知数据进行标准化预处理，分离出视频帧序列和音频轨道，对所述视频帧序列执行抽帧、质量筛选和时间分组处理，对所述音频轨道执行格式转换和归一化处理；

81、所述静态证据提取模块，用于对所述视频帧序列执行静态空间证据提取，包括进行多视角时空配准与背景重建，识别静态空间风险线索，生成静态空间证据；

82、所述动态证据提取模块，用于对所述视频帧序列执行动态活动证据提取，包括进行目标检测与多目标跨帧跟踪，判别真实运动状态并提取时空交互片段，生成动态活动证据；

83、所述音频证据提取模块，用于对所述音频轨道执行声学异常证据提取，包括提取多维听觉特征并识别声学异常线索，生成音频异常证据；

84、所述知识引导研判模块，用于基于治理知识集合，对所述静态空间证据、动态活动证据、音频异常证据和空间上下文数据进行融合研判，生成结构化风险数据；所述结构化风险数据包括风险标签、风险等级、置信度、证据摘要、空间位置、证据回溯路径和建议处置动作中的至少一种；

85、所述隐私保护模块，用于对所述多模态感知数据及派生的多模态证据执行隐私保护处理，消除敏感生物识别特征并保留风险表征特征；所述隐私保护处理包括对视觉数据中的身份识别信息进行脱敏，以及对音频数据中的声纹信息进行脱敏；

86、所述告警与任务输出模块，用于根据所述结构化风险数据输出风险告警数据和治理任务数据。

87、本发明还提供一种电子设备，包括至少一个存储器、以及与所述至少一个处理器通信连接的存储器；其中，所述存储器可被所述至少一个处理器上执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的城市治理盲区的多模态虚拟感知与风险筛查方法。

88、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的城市治理盲区的多模态虚拟感知与风险筛查方法。

89、与现有技术相比，本发明至少具有如下有益效果：

90、1、本发明利用外围音视频数据和空间上下文数据构建面向城市治理盲区的虚拟感知链路，不要求直接进入封闭或半封闭空间内部，即可根据街巷入口、院落外围、道路断面等目标点位的外部迹象推断潜在风险状态，能够提升对“看不全、进不易、管不细”场景的前端筛查能力，该方式完美规避了进入私人院落、门店后厨等私有产权区域施工的物理阻力，从源头阻断了内部高清监控带来的隐私侵权风险，同时充分复用现有街面监控等存量资产，大幅降低了盲区覆盖的建设与运维成本。

91、2、本发明将静态背景重建、动态目标跟踪、音频时频谱分析和空间位置约束纳入统一框架，能够同时处理空间环境隐患、异常出入活动、外溢声音异常和位置场景关系等多类证据，克服单一视频检测或单一音频监测难以识别复合治理风险的不足，消除了移动巡检设备（如执法记录仪、巡检车）因相机自运动导致的静止物体误判问题，克服了传统像素级中值融合算法将“长期违停车辆、长期堆放杂物”错误洗入静态背景的行业痛点，确保了动静证据提取的纯粹性与高准确率。

92、3、本发明通过特征匹配、仿射对齐和多帧背景融合生成去除瞬时动态前景后的静态背景图像，降低行人、车辆等短时遮挡对街道立面、消防通道、飞线、堆放物和违章加盖等静态隐患识别的影响，提高静态空间证据的完整性和可复核性。

93、4、本发明通过目标检测、跨帧跟踪和位移比过滤提取真正发生移动的目标片段，能够过滤静止停放车辆和低价值冗余片段，保留异常物流、载货运输、频繁出入等动态治理线索，从而降低后续多模态语义识别模型的输入规模和计算成本。

94、5、本发明采用短时傅里叶变换、频段能量占比、高频加权评分和连续频带检测分析视频音频轨道，能够从混杂城市环境声音中提取持续设备运行、隐蔽加工和异常噪声等声学线索，弥补视觉感知在遮挡、封闭和不可直接观察条件下的不足。

95、6、本发明通过治理知识集合将风险规则、空间场景约束、责任主体关系和处置动作模板嵌入融合研判过程，使模型输出从一般目标检测结果或场景描述转化为具有治理含义的风险标签、风险等级、证据摘要和建议处置动作，提高风险识别结果与基层治理任务之间的对应性。

96、7、本发明在多模态语义识别模型不可用、调用失败或置信度不足时，能够通过本地规则引擎生成基础风险研判结果，增强系统在真实部署环境中的连续运行能力和工程鲁棒性。

97、8、本发明将风险告警数据和治理任务数据以json、pdf、geojson、shapefile、数据库记录或消息接口数据等形式输出，并保留原始音视频路径和派生证据路径，可支撑人工复核、空间展示、平台对接、任务派发和后续追踪，提高城市治理风险筛查结果的可追溯性和可应用性。

98、9、本发明可在输出前对人脸、车牌等个人识别信息进行模糊化、遮挡、哈希化或脱敏存储，在保留风险筛查所需目标类别、轨迹、时间范围和证据路径的同时，降低不必要的个人信息暴露风险。