面向空间治理场景的图像处理方法、装置、介质及产品与流程

本技术涉及图像处理或人工智能领域，具体而言，涉及一种面向空间治理场景的图像处理方法、装置、介质及产品。

背景技术：

1、目前，城市空间治理（例如，环境污染治理、违规行为治理）场景复杂，例如，环境污染行为具有极强的隐蔽性，难以精准定位预警目标源头。违规行为的瞬时性导致调查取证困难，治理效率低下，另外，对城市空间治理，还依赖于高昂的人力与物力投入，存在治理成果高的情况。

2、在相关技术中，存在利用卫星图像、传感器实时读数、相关规章文本及地理坐标数据构成的多源异构数据，对城市空间进行治理的方式，但是由于城市空间治理场景复杂，该方式对城市空间进行治理的效率也比较低。

3、针对相关技术中在空间治理复杂场景下，空间治理问题的处理效率低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种面向空间治理场景的图像处理方法、装置、介质及产品，以解决相关技术中在空间治理复杂场景下，空间治理问题的处理效率低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种面向空间治理场景的图像处理方法。该方法包括：获取视频图像，其中，所述视频图像包括：通过挂载在铁搭上的图像采集设备所采集的图像；将所述视频图像输入目标多模态大模型，输出所述视频图像的场景信息；将所述场景信息和所述视频图像输入调度中枢，通过所述调度中枢调度多个处理工具对所述视频图像中涉及的目标事件进行处理，其中，多个所述处理工具包括下述至少之一：视觉场景化工具、遥感定位工具以及治理评估工具，所述视觉场景化工具用于对所述视频图像进行目标检测，所述遥感定位工具用于对所述目标事件进行定位，所述治理评估工具用于在所述目标事件被治理后，评估所述目标事件的治理效果。

3、进一步地，所述调度中枢中部署有大语言模型，通过所述调度中枢调度多个处理工具对所述视频图像中涉及的目标事件进行处理，包括：基于所述场景信息，确定目标提示词，其中，所述目标提示词用于引导所述大语言模型按所述场景信息进行任务规划；将所述目标提示词输入所述大语言模型，得到多个子任务，并对每个所述子任务进行语义编码，得到每个所述子任务的语义向量；对每个所述子任务的语义向量和向量工具映射关系进行匹配，得到匹配结果，其中，所述向量工具映射关系中包括：每个所述处理工具的元数据关联的语义向量和该处理工具的元数据之间的映射关系；基于所述匹配结果选择多个所述处理工具，利用多个所述处理工具对所述视频图像中涉及的目标事件进行处理。

4、进一步地，利用多个所述处理工具对所述视频图像中涉及的目标事件进行处理，包括：基于每个所述处理工具的参数信息，生成符合该处理工具的输入格式的输入数据；将每个所述处理工具的关联的输入数据输入该处理工具，接收该处理工具返回的处理结果，并基于每个所述处理工具返回的处理结果生成处理报告，将所述处理报告传输至目标存储空间；在利用多个所述处理工具对所述视频图像中涉及的目标事件进行处理过程中，还包括：对每个所述处理工具的处理过程进行异常检测，在检测到存在异常情况的情况下，通过预设处理策略对异常情况进行处理，其中，所述异常检测包括下述至少之一：参数校验、对所述处理结果进行校验、运行错误检测、调用超时检测。

5、进一步地，所述大语言模型通过以下方式训练，包括：利用第一语言模型模拟任务发起方生成任务需求，并利用第二语言模型模拟生成所述处理工具的调用流程和处理结果，得到合成数据；对所述合成数据进行校验，得到校验结果；在所述校验结果指示所述合成数据校验通过的情况下，基于所述合成数据，利用监督微调策略对初始模型进行训练，得到所述大语言模型，其中，所述初始模型包括：未进行监督微调之前的大语言模型；采用强化学习策略对所述大语言模型进行调整。

6、进一步地，在利用多个所述处理工具对所述视频图像中涉及的目标事件进行处理之前，还包括：基于所述场景信息和每个所述子任务，采用预设资源分配策略为每个所述处理工具分配计算资源，得到资源分配结果，其中，所述预设资源分配策略包括下述至少之一：基于所述子任务的紧急程度分配计算资源、采用错峰资源分配策略为周期性的所述子任务分配计算资源、调用冗余计算资源均衡计算压力。

7、进一步地，所述目标事件包括下述至少之一：烟火情况、垃圾堆积、违规施工，所述视觉场景化工具中包括下述至少之一：烟雾检测工具、垃圾检测工具以及施工检测工具，所述视频图像的类型包括：可见光图像、红外图像，在通过所述调度中枢调度所述视觉场景化工具对所述视频图像中涉及的目标事件进行处理的情况下，所述方法包括下述至少之一：基于所述可见光图像和所述红外图像，通过所述烟雾检测工具对视频图像中的烟火特征进行识别；基于所述可见光图像和红外图像，通过所述垃圾检测工具对所述视频图像中的垃圾堆积情况进行识别，其中，所述垃圾堆积情况包括下述之一：垃圾堆积面积超过预设面积阈值的情况；基于所述可见光图像和红外图像，通过所述施工检测工具对所述视频图像中违规施工情况进行识别。

8、进一步地，所述目标多模态大模型包括：参数量小于预设数量阈值，并且支持输入所述可见光图像与所述红外图像的多模态大模型，所述目标多模态大模型包括：数据层、训练层、推理层以及应用层，所述数据层用于接收所述视频图像并对所述视频图像进行预处理，所述预处理方式至少包括：数据清洗和数据融合，所述训练层用于模型训练和模型参数更新，所述推理层用于进行推理和任务处理，所述应用层用于确定所述场景信息。

9、为了实现上述目的，根据本技术的另一方面，提供了一种面向空间治理场景的图像处理装置。该装置包括：获取单元，用于获取视频图像，其中，所述视频图像包括：通过挂载在铁搭上的图像采集设备所采集的图像；第一处理单元，用于将所述视频图像输入目标多模态大模型，输出所述视频图像的场景信息；第二处理单元，用于将所述场景信息和所述视频图像输入调度中枢，通过所述调度中枢调度多个处理工具对所述视频图像中涉及的目标事件进行处理，其中，多个所述处理工具包括下述至少之一：视觉场景化工具、遥感定位工具以及治理评估工具，所述视觉场景化工具用于对所述视频图像进行目标检测，所述遥感定位工具用于对所述目标事件进行定位，所述治理评估工具用于在所述目标事件被治理后，评估所述目标事件的治理效果。

10、进一步地，所述调度中枢中部署有大语言模型，第二处理单元包括：确定子单元，用于基于所述场景信息，确定目标提示词，其中，所述目标提示词用于引导所述大语言模型按所述场景信息进行任务规划；第一处理子单元，用于将所述目标提示词输入所述大语言模型，得到多个子任务，并对每个所述子任务进行语义编码，得到每个所述子任务的语义向量；匹配子单元，用于对每个所述子任务的语义向量和向量工具映射关系进行匹配，得到匹配结果，其中，所述向量工具映射关系中包括：每个所述处理工具的元数据关联的语义向量和该处理工具的元数据之间的映射关系；第二处理子单元，用于基于所述匹配结果选择多个所述处理工具，利用多个所述处理工具对所述视频图像中涉及的目标事件进行处理。

11、进一步地，第二处理子单元包括：第一处理模块，用于基于每个所述处理工具的参数信息，生成符合该处理工具的输入格式的输入数据；将每个所述处理工具的关联的输入数据输入该处理工具，接收该处理工具返回的处理结果，并基于每个所述处理工具返回的处理结果生成处理报告，将所述处理报告传输至目标存储空间；第二处理子单元还包括：第二处理模块，用于对每个所述处理工具的处理过程进行异常检测，在检测到存在异常情况的情况下，通过预设处理策略对异常情况进行处理，其中，所述异常检测包括下述至少之一：参数校验、对所述处理结果进行校验、运行错误检测、调用超时检测。

12、进一步地，所述大语言模型通过以下子单元训练，包括：第三处理子单元，用于利用第一语言模型模拟任务发起方生成任务需求，并利用第二语言模型模拟生成所述处理工具的调用流程和处理结果，得到合成数据；校验子单元，用于对所述合成数据进行校验，得到校验结果；训练子单元，用于在所述校验结果指示所述合成数据校验通过的情况下，基于所述合成数据，利用监督微调策略对初始模型进行训练，得到所述大语言模型，其中，所述初始模型包括：未进行监督微调之前的大语言模型；强化子单元，用于采用强化学习策略对所述大语言模型进行调整。

13、进一步地，第二处理单元还包括：分配子单元，用于在利用多个所述处理工具对所述视频图像中涉及的目标事件进行处理之前，基于所述场景信息和每个所述子任务，采用预设资源分配策略为每个所述处理工具分配计算资源，得到资源分配结果，其中，所述预设资源分配策略包括下述至少之一：基于所述子任务的紧急程度分配计算资源、采用错峰资源分配策略为周期性的所述子任务分配计算资源、调用冗余计算资源均衡计算压力。

14、进一步地，所述目标事件包括下述至少之一：烟火情况、垃圾堆积、违规施工，所述视觉场景化工具中包括下述至少之一：烟雾检测工具、垃圾检测工具以及施工检测工具，所述视频图像的类型包括：可见光图像、红外图像，在通过所述调度中枢调度所述视觉场景化工具对所述视频图像中涉及的目标事件进行处理的情况下，包括下述至少之一：基于所述可见光图像和所述红外图像，通过所述烟雾检测工具对视频图像中的烟火特征进行识别；基于所述可见光图像和红外图像，通过所述垃圾检测工具对所述视频图像中的垃圾堆积情况进行识别，其中，所述垃圾堆积情况包括下述之一：垃圾堆积面积超过预设面积阈值的情况；基于所述可见光图像和红外图像，通过所述施工检测工具对所述视频图像中违规施工情况进行识别。

15、进一步地，所述目标多模态大模型包括：参数量小于预设数量阈值，并且支持输入所述可见光图像与所述红外图像的多模态大模型，所述目标多模态大模型包括：数据层、训练层、推理层以及应用层，所述数据层用于接收所述视频图像并对所述视频图像进行预处理，所述预处理方式至少包括：数据清洗和数据融合，所述训练层用于模型训练和模型参数更新，所述推理层用于进行推理和任务处理，所述应用层用于确定所述场景信息。

16、根据本技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行所述的面向空间治理场景的图像处理方法。

17、根据本技术的另一方面，提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行所述程序，其中，所述程序运行时执行所述的面向空间治理场景的图像处理方法。

18、根据本技术的另一方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现所述的面向空间治理场景的图像处理方法的步骤。

19、在本技术中，采用以下方式：获取视频图像，其中，视频图像包括：通过挂载在铁搭上的图像采集设备所采集的图像；将视频图像输入目标多模态大模型，输出视频图像的场景信息；将场景信息和视频图像输入调度中枢，通过调度中枢调度多个处理工具对视频图像中涉及的目标事件进行处理，其中，多个处理工具包括下述至少之一：视觉场景化工具、遥感定位工具以及治理评估工具，视觉场景化工具用于对视频图像进行目标检测，遥感定位工具用于对目标事件进行定位，治理评估工具用于在目标事件被治理后，评估目标事件的治理效果，进而解决了相关技术中在空间治理复杂场景下，空间治理问题的处理效率低的技术问题。在本技术中，通过目标多模态大模型进行场景识别，通过调度中枢调度多个处理工具对目标事件进行治理，避免了相关技术中在空间治理复杂场景下，目标定位难度高，空间治理效率低的情况，从而实现了提高空间治理效率的技术效果。