一种基于多模态信息与深度学习的矾花预测方法及系统与流程

本发明属于水处理领域，具体涉及一种基于多模态信息与深度学习的矾花预测方法及系统。

背景技术：

1、投药-混凝是水处理领域中一种关键工艺，通过向水体中投加化学药剂（如明矾、聚合氯化铝等），促使水中悬浮颗粒和胶体物质凝聚形成较大的矾花，从而实现杂质的去除。矾花的形成和形态是水质的重要指示性特征，传统混凝过程的优化往往依赖操作人员的经验和直观判断，缺乏科学依据，主观性较强，难以实现连续监测和自动化操作，处理效率低下。随着智能化技术的推进，传统的经验式操作逐渐转向基于数据驱动和自动化优化的技术解决方案。

2、目前已有的水处理智能投药系统通常依赖高精度传感器和数据采集设备对投药效果进行实时监测，系统的建设和维护成本非常高，系统的智能化程度有限。通过机器学习或图像处理分析矾花形态的方法多以图像或数值数据单一模态为主，忽视了投药量等关键物理约束对矾花形成的影响，往往会与实际情况有较大的偏差。

技术实现思路

1、为克服上述现有技术中以图像或数值的单一模态信息处理分析矾花会存在偏差的不足，本发明提供一种基于多模态信息与深度学习的矾花预测方法及系统，通过融合矾花图像与投药量等物理约束的多模态信息深度学习预测，实现精准的矾花预测，实现物理约束与水质之间的映射关系的精确数据支撑。

2、根据本发明说明书的一方面，提供一种基于多模态信息与深度学习的矾花预测方法，包括：

3、获取矾花图像与矾花的物理约束条件，将物理约束作为附加通道添加到输入矾花图像中，每个物理约束涉及的参数对应一个通道，后按时间顺序组合，得到多模态矾花信息序列；所述组合的过程为：将物理约束作为附加通道添加到输入矾花图像中，每个物理约束涉及的参数对应一个通道；

4、将多模态矾花信息序列输入训练后的矾花预测模型，输出预测的矾花图像；

5、其中，所述矾花预测模型的训练过程包括：

6、基于历史矾花经验数据构建训练数据集；所述训练数据集中数据为多模态矾花信息序列；

7、构建矾花预测模型，所述模型由u-net网络、convlstm网络和跳跃连接部分组成：编码部分通过若干层卷积神经网络，逐层处理模型输入，输出多尺度的特征图序列以及编码部分末层输出的最终特征图序列；convlstm部分处理最终特征图序列，输出时空特征图；跳跃连接部分，用于编码部分和解码部分之间的直接通信；解码部分，将多尺度的特征图序列与时空特征图进行融合解码处理，最终输出预测的矾花图像；

8、使用训练数据集训练矾花预测模型，输出训练后的模型。

9、作为进一步的技术方案，物理约束包括但不限于投药量和浊度。

10、作为进一步的技术方案，编码部分包括若干层结构相同的浅层卷积神经网络和一个末层卷积神经网络；其中，浅层卷积神经网络通过两个卷积层-relu激活函数层结构依次处理该层的输入，输出由不同时间步的高阶特征图组成的特征图序列，最终通过下采样层进行尺寸调整，输出调整尺寸后的特征图序列；末层卷积神经网络通过两个卷积层-relu激活函数层依次处理该层的输入，输出由不同时间步的最终特征图组成的最终特征图序列，作为编码部分末层输出。

11、作为进一步的技术方案，convlstm部分通过若干层结构相同的convlstm结构堆叠而成，逐层处理由编码部分末层输出的最终特征图序列，输出末层convlstm结构的隐藏状态作为时空特征图。

12、作为进一步的技术方案，解码部分包含若干结构相同的解码层，其数量与编码部分的浅层卷积神经网络层数一致，且逐层对应；其中，每个解码层通过一个上采样层处理该层输入，后将上采样层处理结果与跳跃连接引入的的特征图序列进行通道拼接，再经两个包括卷积层和relu激活函数的组合结构解码处理，得到本层解码层的输出，最终解码层的输出，通过一个relu激活层处理，生成预测的矾花图像。

13、作为进一步的技术方案，跳跃连接部分将浅层卷积神经网络与对应解码层通过一个卷积层联系，浅层卷积神经网络在下采样层前输出的不同时间步的高阶特征图，通过卷积层调整通道数至与对应解码层输入一致，后引入至对应解码层。

14、根据本说明书的另一方面，提供一种基于多模态信息与深度学习的矾花预测系统，包括：

15、矾花信息获取模块，用于获取矾花图像与矾花的物理约束条件，将物理约束作为附加通道添加到输入矾花图像中，每个物理约束涉及的参数对应一个通道，后按时间顺序组合，得到多模态矾花信息序列；

16、矾花预测模块，用于将多模态矾花信息序列输入训练后的矾花预测模型，输出预测的矾花图像；

17、其中，所述矾花预测模型的训练过程包括：

18、基于历史矾花经验数据构建训练数据集；所述训练数据集中数据为多模态矾花信息序列；

19、构建矾花预测模型，所述模型由u-net网络、convlstm网络和跳跃连接部分组成：编码部分通过若干层卷积神经网络，逐层处理模型输入，输出多尺度的特征图序列以及编码部分末层输出的最终特征图序列；convlstm部分处理最终特征图序列，输出时空特征图；跳跃连接部分，用于编码部分和解码部分之间的直接通信；解码部分，将多尺度的特征图序列与时空特征图进行融合解码处理，最终输出预测的矾花图像；

20、使用训练数据集训练矾花预测模型，输出训练后的模型。

21、根据本说明书的另一方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行一种基于多模态信息与深度学习的矾花预测方法。

22、根据本说明书的另一方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行一种基于多模态信息与深度学习的矾花预测方法。

23、与现有技术相比，本发明的有益效果在于：经济性：通过将传统依赖高精度传感器和数据采集设备的水处理试验与监测环节转移至计算机模拟环境中，避免大型设备的采购与复杂的后期维护工作。精准的投药量控制大幅减少了化学药剂的浪费，有效降低整体水处理成本。精准性：深度学习在处理非线性问题方面具有强大的能力，本技术能够在复杂、高维和多样化的任务场景中表现卓越。其对矾花图像的精准预测，为构建投药量与水质之间的映射关系提供精确数据支撑。可有效提升水处理效率、节约资源与成本，显著增强出水水质的稳定性和可靠性。本发明可应用于水处理、生态环境保护、智慧水务、灾害应急等领域，为环保部门、资源部门、应急防控部门、水处理部门的管理决策提供支撑。

1.一种基于多模态信息与深度学习的矾花预测方法，其特征在于，包括：

2.如权利要求1所述的一种基于多模态信息与深度学习的矾花预测方法，其特征在于，所述物理约束包括但不限于投药量和浊度。

3.如权利要求1所述的一种基于多模态信息与深度学习的矾花预测方法，其特征在于，所述编码部分包括若干层结构相同的浅层卷积神经网络和一个末层卷积神经网络；其中，浅层卷积神经网络通过两个卷积层-relu激活函数层结构依次处理该层的输入，输出由不同时间步的高阶特征图组成的特征图序列，最终通过下采样层进行尺寸调整，输出调整尺寸后的特征图序列；末层卷积神经网络通过两个卷积层-relu激活函数层依次处理该层的输入，输出由不同时间步的最终特征图组成的最终特征图序列，作为编码部分末层输出。

4.如权利要求1所述的一种基于多模态信息与深度学习的矾花预测方法，其特征在于，所述convlstm部分通过若干层结构相同的convlstm结构堆叠而成，逐层处理由编码部分末层输出的最终特征图序列，输出末层convlstm结构的隐藏状态作为时空特征图。

5.如权利要求3所述的一种基于多模态信息与深度学习的矾花预测方法，其特征在于，所述解码部分包含若干结构相同的解码层，其数量与编码部分的浅层卷积神经网络层数一致，且逐层对应；其中，每个解码层通过一个上采样层处理该层输入，后将上采样层处理结果与跳跃连接引入的的特征图序列进行通道拼接，再经两个包括卷积层和relu激活函数的组合结构解码处理，得到本层解码层的输出，最终解码层的输出，通过一个relu激活层处理，生成预测的矾花图像。

6.如权利要求5所述的一种基于多模态信息与深度学习的矾花预测方法，其特征在于，所述跳跃连接部分将浅层卷积神经网络与对应解码层通过一个卷积层联系，浅层卷积神经网络在下采样层前输出的不同时间步的高阶特征图，通过卷积层调整通道数至与对应解码层输入一致，后引入至对应解码层。

7.一种基于多模态信息与深度学习的矾花预测系统，其特征在于，包括：

8.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至7任一项权利要求所述的方法。

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至7中任一项权利要求所述的方法。