一种部署环境国产化的双模型协同遥感大模型

本技术涉及人工智能与遥感信息处理的，尤其是涉及一种部署环境国产化的双模型协同遥感大模型。

背景技术：

1、随着科技的不断发展，多模态遥感大模型在国土调查、环境监测与灾害预警等领域发挥着日益重要的作用。这些领域对于准确的数据和信息有着极高的需求，而多模态遥感大模型能够整合多种不同类型的遥感数据，从而提供更全面、更精准的分析结果，为相关决策提供有力支持。

2、目前，在处理多模态遥感数据方面，主流的多模态大模型所采用的模型结构相对比较单一，大多是围绕传统的模型架构进行开发工作，然而遥感影像本身具有多尺度、多类别、多语义且区域差异显著的特点，很多模型难以对其进行统一处理，导致遥感任务解析效率以及准确率较低，在实际应用中无法充分发挥遥感影像的价值，影响了相关领域的决策准确性和效率。

技术实现思路

1、为了提高遥感任务解析效率以及准确率，本技术提供一种部署环境国产化的双模型协同遥感大模型。

2、第一方面，本技术提供一种应用于主机的部署环境国产化的双模型协同遥感大模型，采用如下的技术方案：

3、一种部署环境国产化的双模型协同遥感大模型，应用于主机，包括：

4、数据获取模块，用于获取待解析任务，所述待解析任务包括原始遥感影像以及文本数据；

5、三阶感知增强模块，用于对所述原始遥感影像进行语义感知增强、场景感知增强以及目标感知增强，得到语义增强特征、场景增强特征以及目标增强特征；

6、跨模态交互模块，用于采用多头注意力机制融合所述语义增强特征、所述场景增强特征、所述目标增强特征以及所述文本数据，得到融合多模态特征；

7、任务调度模块，用于基于预设轻量化文本分类模型以及所述文本数据确定任务类型，基于所述任务类型确定任务执行模型，所述任务执行模型为运行于主机的第一多模态大模型或运行于从机的第二多模态大模型，若所述任务执行模型为所述第二多模态大模型，则向所述从机发送任务指令；

8、第一协同推理模块，用于若所述任务执行模型为所述第一多模态大模型，则基于所述融合多模态特征以及分块并行处理机制对所述待解析任务进行任务推理，得到推理结果；

9、从机结果接收模块，用于若所述任务执行模型为所述第二多模态大模型，则从所述从机接收所述推理结果；

10、结果输出模块，用于基于所述任务类型确定结果输出形式，并基于所述结果输出形式将所述推理结果进行输出。

11、通过采用上述技术方案，数据获取模块获取包含原始遥感影像和文本数据的待解析任务，为后续处理提供基础；三阶感知增强模块对原始遥感影像进行语义感知增强、场景感知增强和目标感知增强，能提升对遥感影像的特征提取能力，更精准地挖掘影像信息；跨模态交互模块采用多头注意力机制融合多种特征和文本数据，可得到融合多模态特征，加强不同模态数据间的关联；任务调度模块根据任务类型确定执行模型并能与从机通信，可灵活分配任务，实现主机和从机协同工作；第一协同推理模块基于融合多模态特征和分块并行处理机制对待解析任务进行推理，提高了推理效率；当任务执行模型为第二多模态大模型时，从机结果接收模块可以从从机接收推理结果，为后续结果输出提供支持；结果输出模块根据任务类型确定输出形式，使结果输出更符合实际需求，综上，各模块协同配合，在国产化部署环境下显著提升了遥感大模型对多类型任务的适应性、任务解析效率以及准确率。

12、可选的，所述三阶感知增强模块包括：

13、语义感知增强模块，用于采用多粒度金字塔输入策略与语义分割模型结构相结合的方式提取所述原始遥感影像多个尺度的语义特征图；

14、场景感知增强模块，用于基于场景分类模型结构，采用对比学习机制实现所述原始遥感影像与预设场景语义模板的跨模态嵌入，得到所述场景增强特征；

15、目标感知增强模块，用于基于目标检测模型结构，通过动态特征金字塔提取实例级视觉特征，并利用轻量化注意力机制增强小目标检测能力，得到所述目标增强特征。

16、通过采用上述技术方案，多粒度金字塔输入策略与语义分割模型结构结合，能有效提取原始遥感影像多个尺度的语义特征图；基于场景分类模型结构的对比学习机制，可实现原始遥感影像与预设场景语义模板的跨模态嵌入，得到场景增强特征，增强场景感知能力；基于目标检测模型结构，利用动态特征金字塔提取实例级视觉特征，结合轻量化注意力机制增强小目标检测能力，得到目标增强特征，可以提升目标感知能力。

17、可选的，所述语义感知增强模块的损失函数构建为交叉熵损失与dice损失的加权和，所述交叉熵损失的权重系数为第一预设超参数权重系数，所述dice损失的权重系数为第二预设超参数权重系数。

18、通过采用上述技术方案，将语义感知增强模块的损失函数构建为交叉熵损失与dice损失的加权和，可结合两种损失的优势对语义感知增强模块进行优化，从而提高语义感知增强模块对原始遥感影像语义特征的提取效果，为后续的多模态特征融合和任务推理提供更准确的语义增强特征，进而提升整个双模型协同遥感大模型的性能和分析结果的准确性。

19、可选的，所述场景感知增强模块中所述对比学习机制对应的对比学习损失函数包括：

20、，

21、其中，l_clip表示对比学习损失值，i表示经过l2归一化处理的所述原始遥感影像，t表示所述预设场景语义模板中经过l2归一化处理的当前匹配文本模板，为温度参数，t_i表示所述预设场景语义模板中经过l2归一化处理的第i个文本模板，sim（）表示余弦相似度计算。

22、可选的，所述目标感知增强模块具体用于：

23、利用自适应锚框机制，根据目标密度动态调整检测层尺度；

24、在多尺度检测结果融合时采用iou加权非极大值抑制策略。

25、通过采用上述技术方案，利用自适应锚框机制根据目标密度动态调整检测层尺度，可使模型更好地适应不同目标密度的情况，提高目标检测的准确性；在多尺度检测结果融合时采用iou加权非极大值抑制策略，能有效抑制冗余检测框，提升目标检测效果。

26、可选的，所述跨模态交互模块具体用于：

27、通过预设编码器分别对所述语义增强特征、所述场景增强特征以及所述目标增强特征进行映射，并将映射得到的内容进行拼接，得到多源视觉特征嵌入序列；

28、通过预设编码器将所述文本数据映射为文本嵌入向量；

29、通过两阶段多头注意力机制完成语义融合：

30、第一阶段将所述文本嵌入向量作为查询，将所述多源视觉特征嵌入序列作为键与值，通过视觉—文本对齐注意力机制生成初步多模态语义向量；

31、第二阶段将所述初步多模态语义向量同时作为查询、键与值，通过语义一致性增强注意力机制得到融合多模态特征。

32、通过采用上述技术方案，利用预设编码器对增强特征和文本数据映射拼接，再通过两阶段多头注意力机制完成语义融合得到融合多模态特征，能更好地整合多模态数据，提高模型对多类型遥感任务的适应性，有助于后续更准确地进行任务推理和输出结果，提升相关领域决策的准确性和效率。

33、可选的，所述任务调度模块具体用于：

34、若所述任务类型为复杂推理类型和/或语言生成类型，则所述任务执行模型为所述第一多模态大模型；

35、若所述任务类型为目标检测类型和/或目标分类与计数类型，则所述任务执行模型为所述第二多模态大模型。

36、通过采用上述技术方案，根据不同任务类型灵活选择对应的任务执行模型，可提高双模型协同遥感大模型对不同类型任务的适应性，更高效地适配不同任务需求，提升任务处理的准确性和效率。

37、可选的，所述第一协同推理模块具体用于：

38、将所述原始遥感影像在空间维度上按照预设形式进行区域划分，得到多个子区域；

39、将每个所述子区域分别输入所述第一多模态大模型内部权值共享的transformer编码层，通过多层感知机与局部多头自注意力模块，结合所述融合多模态特征，并行提取各个所述子区域的局部区域特征；

40、各个所述局部区域特征在所述第一多模态大模型深层进行拼接，并在全局自注意力层中进行融合，得到所述推理结果。

41、通过采用上述技术方案，对原始遥感影像按预设形式划分区域，之后各个子区域分别输入第一多模态大模型内部权值共享的transformer编码层，利用多层感知机与局部多头自注意力模块结合融合多模态特征并行提取子区域局部区域特征，再经深层拼接和全局自注意力层融合得到推理结果，能够在处理多类型遥感任务时，提高推理效率和准确性，并且充分利用多模态特征，可以更好地适配不同任务需求，实现双模型协同遥感大模型的高效运行。

42、第二方面，本技术提供一种应用于从机的部署环境国产化的双模型协同遥感大模型，采用如下的技术方案：

43、一种部署环境国产化的双模型协同遥感大模型，应用于从机，包括：

44、任务接收模块，用于从主机接收任务指令；

45、第二协同推理模块，用于基于所述任务指令以及分块并行处理机制进行任务推理，得到推理结果；

46、结果传输模块，用于将所述推理结果发送至所述主机。

47、通过采用上述技术方案，从机可接收主机任务指令，并利用分块并行处理机制进行推理得到推理结果，之后将推理结果发送至主机，实现从机与主机的协同工作，有助于提高双模型协同遥感大模型处理多类型遥感任务的效率和适应性。