面向MSWI过程多模态数据驱动预测模型的仿实时验证平台

面向mswi过程多模态数据驱动预测模型的仿实时验证平台
技术领域
1.本发明涉及mswi过程控制技术领域，特别是涉及一种面向mswi过程多模态数据驱动预测模型的仿实时验证平台。


背景技术：

2.城市固废(msw)，即生活垃圾，其总量随全球经济的快速发展而逐年升高。“垃圾围城”现象的普遍存在和城市污染减排要求的逐渐提高，使得具有无害化、减量化和资源化等特点的msw焚烧(mswi)技术在国内的应用日趋广泛。mswi电厂在实际运行过程中多依靠领域专家依据过程数据、火焰视频等多模态信息，并结合自身经验预测炉膛温度(ft)、烟气含氧量(oc)和锅炉蒸汽流量(bsf)等关键工艺参数的变化趋势。因领域专家经验的差异性和精力的有限性，预测结果必然存在偏差性和随机性，不利于mswi过程的长期稳定运行。
3.目前，采用机器学习算法建立预测模型已成为模拟领域专家估计关键工艺参数的主要手段。随着人工智能算法提取图像特征信息能力的增强，利用图像建模也成为了一种关键手段。显然，基于机器学习方法利用过程数据或火焰图像等单模态信息构建关键工艺参数预测模型的方法与实际工业现场中领域专家依据过程数据、火焰视频等多模态数据进行关键工艺参数预测的事实不符。然而，融合多模态数据构建mswi过程ft、oc和bsf等关键工艺参数预测模型的研究还很少。
4.由于mswi过程控制系统固有的封闭性与工业现场的安全性要求，离线研究的建模与控制算法通常难以在工业现场进行在线验证。在实际mswi过程中，领域专家依据过程数据、火焰视频等多模态信息，对ft、oc和bsf等关键工艺参数趋势进行预测。但是，针对多模态数据驱动预测模型验证，目前还缺少能够实现离线多模态数据同步发布，以及进行数据驱动预测模型验证的类工业现场实时平台环境。


技术实现要素：

5.本发明的目的是提供一种面向mswi过程多模态数据驱动预测模型的仿实时验证平台，结合领域专家预测关键工艺参数过程的抽象化描述，设计了仿实时验证平台结构，并建立了以ft、oc和bsf为输出的多模态数据驱动预测模型；同时，为mswi过程离线多模态数据驱动预测模型提供了可靠的工程化验证环境。
6.为实现上述目的，本发明提供了如下方案：
7.一种面向mswi过程多模态数据驱动预测模型的仿实时验证平台，包括：多模态历史数据同步子系统和多模态历史数据驱动建模子系统；
8.所述多模态历史数据同步子系统包括过程数据与图像同步设备、历史数据实时发布设备、左炉排火焰实时播放设备和右炉排火焰实时播放设备，所述过程数据与图像同步设备用于同步历史数据实时发布设备、左炉排火焰实时播放设备和右炉排火焰实时播放设备的系统时间；所述多模态历史数据同步子系统设置多模态历史数据发布时间，以同步发布多模态数据；
9.所述多模态历史数据驱动建模子系统包括历史数据实时接收模块、火焰图像实时采集模块和多模态历史数据驱动预测模型模块，所述历史数据实时接收模块利用opc协议，通过网口接收所述历史数据实时发布设备中产生的历史数据，所述火焰图像实时采集模块结合视频采集卡，通过两台摄像机实时拍摄左炉排火焰实时播放设备和右炉排火焰实时播放设备中产生的火焰视频，实现火焰图像的采集；所述多模态历史数据驱动预测模型模块基于实际多模态历史数据综合运用随机森林和bpnn算法，建立以ft、oc和bsf为输出的多模态历史数据驱动预测模型，所述多模态历史数据驱动预测模型模块同步采集得到的多模态历史数据时间并将其作为多模态历史数据驱动预测模型输入，实现mswi过程关键工艺参数的预测。
10.进一步的，所述过程数据与图像同步设备用于通过接收卫星信号并利用ethernet同步历史数据实时发布设备、左炉排火焰实时播放设备和右炉排火焰实时播放设备的系统时间。
11.进一步的，所述历史数据实时发布设备将实际工业现场中采集得到的过程数据保存至本地mysql数据库中，通过opc client定时将数据库中数据读出并写入至opc sever之中。
12.进一步的，所述左炉排火焰实时播放设备和右炉排火焰实时播放设备将在实际工业现场中与过程数据同时采集的左、右炉排火焰视频保存在设备硬盘上，配合历史数据实时发布设备定时同步播放，实现mswi过程多模态数据同步发布。
13.进一步的，所述多模态历史数据驱动预测模型模块利用opc协议接收多模态历史数据同步子系统同步发布的过程数据，并结合视频采集卡采集播放系统软件中的火焰视频，通过将二者时间进行同步匹配后，输入至多模态历史数据驱动预测模型中，从而得到ft、oc和bsf的预测输出。
14.进一步的，所述历史数据实时接收模块利用opc协议，通过网口接收所述历史数据实时发布设备中产生的历史数据，该过程表示为：
[0015][0016]
其中，d表示实时接收的过程数据，d
pre
表示历史数据实时发布设备当前发布的过程数据，t
pub
表示多模态历史数据发布时间，表示历史数据接收时间间隔，ip表示网口ip地址，f
data
(
·
)表示历史数据接收过程；
[0017]
所述火焰图像实时采集模块结合视频采集卡，通过两台摄像机实时拍摄左炉排火焰实时播放设备和右炉排火焰实时播放设备中产生的火焰视频，实现火焰图像的采集，该过程表示为：
[0018][0019]
其中，p
l
表示实时采集的左炉排火焰图像，pr表示实时采集的右炉排火焰图像，表示左炉排火焰实时播放设备当前发布的左炉排火焰视频图像，表示右炉排火焰实时播放设备当前发布的右炉排火焰视频图像，t
pub
表示多模态历史数据发布时间，表示火焰图像采集时间间隔，port表示视频采集端口，f
fire
(
·
)表示火焰图像采集过程；
[0020]
所述多模态历史数据驱动预测模型模块同步采集得到的多模态历史数据时间并
将其作为多模态历史数据驱动预测模型输入，实现mswi过程关键工艺参数的预测，该过程表示为：
[0021][0022]
其中，表示多模态历史数据驱动预测模型的输出，d表示实时接收的过程数据，p
l
表示实时采集的左炉排火焰视频图像，pr表示实时采集的右炉排火焰视频图像，表示历史数据接收时间间隔，表示火焰图像采集时间间隔，f
mswi
(
·
)表示多模态数据驱动预测模型工作过程。
[0023]
进一步的，所述多模态历史数据驱动预测模型包括图像特征提取模块、数据特征选择模块和多模态数据驱动关键工艺参数预测模型模块；所述图像特征提取模块用于对采集到的火焰图像采用进行图像预处理和颜色矩特征提取，所述数据特征选择模块根据专家经验，选择实际运行过程中与ft、oc和bsf相关性最高的多个过程变量作为上述三个关键工艺参数预测模型的输入特征；多模态数据驱动关键工艺参数预测模型模块包括基于火焰图像的子模型、基于过程数据的子模型以及基于bpnn的融合模型。
[0024]
进一步的，所述图像预处理包括基于单幅图像的快速去雾算法以及中值滤波去噪。
[0025]
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的面向mswi过程多模态数据驱动预测模型的仿实时验证平台，由多模态历史数据同步子系统和多模态历史数据驱动建模子系统组成，首先，结合现场领域专家预测关键工艺参数过程的抽象化描述，设计了仿实时验证平台结构；接着，建立了以炉膛温度、烟气含氧量和锅炉蒸汽流量为输出的多模态数据驱动预测模型；最后，根据需求搭建硬件环境并开发了相应的软件系统，实现了平台子系统间的协同运行。利用实际过程数据与火焰视频验证了该平台能够解决多模态数据预测模型构建中存在的采样难、同步难、匹配难等问题，为离线多模态驱动预测模型提供了可靠的工程化验证环境。
附图说明
[0026]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0027]
图1为mswi过程领域专家的预测过程描述示意图；
[0028]
图2为本发明多模态数据驱动预测模型仿实时验证平台结构示意图；
[0029]
图3为本发明多模态数据驱动建模策略图；
[0030]
图4为本发明仿实时验证平台软件设计结构图；
[0031]
图5为本发明仿实时验证平台的协同运行方式示意图。
具体实施方式
[0032]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0033]
基于北京某mswi电厂，领域专家预测关键工艺参数的过程描述如图1所示。
[0034]
北京某mswi电厂的工艺流程如图1左侧底部所示，可知：首先，msw由市政环卫车辆运至后排入固废池，经过3-7天的生物发酵脱水后被抓斗抛入料斗；然后，进料器将msw推向左、右炉排，经过干燥、燃烧、燃烬三个阶段；最后，产生的烟气经过炉膛、水平烟道和烟气处理后由烟囱排出。运行过程中产生的过程数据经过分散控制系统(distributed control system,dcs)利用工业以太网传输至监控系统中，火焰视频通过炉膛后拱顶部两台摄像机实时拍摄，利用同轴电缆结合视频传输转换柜显示至监控室大屏设备中。
[0035]
领域专家根据过程数据、火焰视频等多模态实时数据所蕴含的信息，对mswi过程关键工艺参数进行预测，并由专家进行相关操作从而保证mswi过程的稳定运行，如：若火焰视频中出现燃烧线后移，同时实时监控界面中ft处于临界值，领域专家依据自身专家经验预测ft变化趋势，从而根据预测结果进行提前操作。同时，要保证其他过程指标，如oc、bsf等关键工艺参数的变化趋势处于稳定状态。由此可知，各关键工艺参数间的耦合关系难以描述，但保持合理变化趋势是保证炉膛内msw正常燃烧的必备条件。可见，构建基于多模态数据驱动的预测模型，并能够在类工业现场的实时环境下进行验证是非常必要的。
[0036]
本发明的目的是提供一种面向mswi过程多模态数据驱动预测模型的仿实时验证平台，结合领域专家预测关键工艺参数过程的抽象化描述，设计了仿实时验证平台结构，并建立了以ft、oc和bsf为输出的多模态数据驱动预测模型；同时，为mswi过程离线多模态数据驱动预测模型提供了可靠的工程化验证环境。
[0037]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0038]
基于上述领域专家预测过程的抽象化描述，本发明提出由多模态历史数据同步子系统和多模态历史数据驱动建模子系统组成的仿实时验证平台，结构如图2所示。本发明提供的面向mswi过程多模态数据驱动预测模型的仿实时验证平台，包括：多模态历史数据同步子系统和多模态历史数据驱动建模子系统；
[0039]
所述多模态历史数据同步子系统包括过程数据与图像同步设备、历史数据实时发布设备、左炉排火焰实时播放设备和右炉排火焰实时播放设备，所述过程数据与图像同步设备用于同步历史数据实时发布设备、左炉排火焰实时播放设备和右炉排火焰实时播放设备的系统时间；设备具体结构可参考申请人提交的申请号为202123164393.4的专利申请文件。
[0040]
所述过程数据与图像同步设备用于通过接收卫星信号并利用ethernet同步历史数据实时发布设备、左炉排火焰实时播放设备和右炉排火焰实时播放设备的系统时间；所述历史数据实时发布设备将实际工业现场中采集得到的过程数据保存至本地mysql数据库中，通过opc client定时将数据库中数据读出并写入至opc sever之中；所述左炉排火焰实时播放设备和右炉排火焰实时播放设备将在实际工业现场中与过程数据同时采集的左、右炉排火焰视频保存在设备硬盘上，配合历史数据实时发布设备定时同步播放，实现mswi过程多模态数据同步发布。
[0041]
所述多模态历史数据同步子系统的工作过程为：首先，将实际工业现场中同步采
集得到的过程数据与火焰视频分别存储在仿实时验证平台设备中；接着，利用过程数据与图像同步设备同步历史数据实时发布设备、左炉排火焰实时播放设备和右炉排火焰实时播放设备的系统时间；最后，设置多模态历史数据发布时间，以同步发布多模态数据。
[0042]
所述多模态历史数据驱动建模子系统包括历史数据实时接收模块、火焰图像实时采集模块和多模态历史数据驱动预测模型模块，所述历史数据实时接收模块利用opc协议，通过网口接收所述历史数据实时发布设备中产生的历史数据，所述火焰图像实时采集模块结合视频采集卡，通过两台摄像机实时拍摄左炉排火焰实时播放设备和右炉排火焰实时播放设备中产生的火焰视频，实现火焰图像的采集；所述多模态历史数据驱动预测模型模块基于实际多模态历史数据综合运用随机森林和bpnn算法，建立以ft、oc和bsf为输出的多模态历史数据驱动预测模型，所述多模态历史数据驱动预测模型模块同步采集得到的多模态历史数据时间并将其作为多模态历史数据驱动预测模型输入，实现mswi过程关键工艺参数的预测。
[0043]
所述多模态历史数据驱动预测模型模块利用opc协议接收多模态历史数据同步子系统同步发布的过程数据，并结合视频采集卡采集播放系统软件中的火焰视频，通过将二者时间进行同步匹配后，输入至多模态历史数据驱动预测模型中，从而得到ft、oc和bsf的预测输出。
[0044]
其中，1)所述历史数据实时接收模块利用opc协议，通过网口接收所述历史数据实时发布设备中产生的历史数据，该过程表示为：
[0045][0046]
其中，d表示实时接收的过程数据，d
pre
表示历史数据实时发布设备当前发布的过程数据，t
pub
表示多模态历史数据发布时间，表示历史数据接收时间间隔，ip表示网口ip地址，f
data
(
·
)表示历史数据接收过程；
[0047]
2)所述火焰图像实时采集模块结合视频采集卡，通过两台摄像机实时拍摄左炉排火焰实时播放设备和右炉排火焰实时播放设备中产生的火焰视频，实现火焰图像的采集，该过程表示为：
[0048][0049]
其中，p
l
表示实时采集的左炉排火焰图像，pr表示实时采集的右炉排火焰图像，表示左炉排火焰实时播放设备当前发布的左炉排火焰视频图像，表示右炉排火焰实时播放设备当前发布的右炉排火焰视频图像，t
pub
表示多模态历史数据发布时间，表示火焰图像采集时间间隔，port表示视频采集端口，f
fire
(
·
)表示火焰图像采集过程；
[0050]
3)所述多模态历史数据驱动预测模型模块同步采集得到的多模态历史数据时间并将其作为多模态历史数据驱动预测模型输入，实现mswi过程关键工艺参数的预测，该过程表示为：
[0051][0052]
其中，表示多模态历史数据驱动预测模型的输出，d表示实时接收的过程数据，p
l
表示实时采集的左炉排火焰视频图像，pr表示实时采集的右炉排火焰视频图像，
表示历史数据接收时间间隔，表示火焰图像采集时间间隔，f
mswi
(
·
)表示多模态数据驱动预测模型工作过程。
[0053]
综上，通过搭建多模态数据驱动预测模型仿实时验证平台，能够有效解决多模态数据驱动建模难以在线验证的难题，同时能够解决多模态数据应用存在的采样难、同步难、匹配难等问题。
[0054]
本发明结合实际mswi过程关键工艺参数与领域专家经验，基于实际多模态历史数据综合运用随机森林和bpnn算法，建立了以ft、oc和bsf为输出的多模态历史数据驱动预测模型，策略如图3所示。所述多模态历史数据驱动预测模型包括图像特征提取模块、数据特征选择模块和多模态数据驱动关键工艺参数预测模型模块。所述图像特征提取模块用于对采集到的火焰图像采用进行图像预处理和颜色矩特征提取，所述数据特征选择模块根据专家经验，选择实际运行过程中与ft、oc和bsf相关性最高的多个过程变量作为上述三个关键工艺参数预测模型的输入特征；多模态数据驱动关键工艺参数预测模型模块包括基于火焰图像的子模型、基于过程数据的子模型以及基于bpnn的融合模型。
[0055]
图3中，表示原始火焰图像，表示去雾后火焰图像，表示预处理后火焰图像，表示一阶颜色矩特征，表示二阶颜色矩特征，表示三阶颜色矩特征，其中n表示训练样本数量，z
fire
表示火焰图像颜色矩组合特征，z
process
表示mswi过程数据特征，z
data
表示基于专家经验选择的过程数据特征，表示基于火焰图像的子模型预测输出，表示基于过程数据的子模型预测输出，y表示关键工艺参数真值，表示多模态数据驱动预测模型输出。
[0056]
图像特征提取模块的工作过程如下：
[0057]
1、图像预处理
[0058]
因工况复杂、视频采集与传输存在偏差干扰等原因，原始火焰图像包含烟雾、飞灰及不确定噪声，需进行预处理以得到清晰图像
[0059]
1)基于单幅图像的快速去雾算法
[0060]
首先，取原始火焰图像in(u,v)的r、g、b三通道中的最小值，得到hn(u,v)，如下：
[0061][0062]
接着，计算环境光zn(u,v)的值。透射率ln(u,v)与图像的关系为：
[0063]
ln(u,v)≥1-in(u,v)
×
(an)-1
＝1-hn(u,v)
×
(an)-1
ꢀꢀꢀ
(5)
[0064]
其中，an代表全局大气光，对公式(5)右边进行均值滤波，将其窗口记作ω，大小为sa×
sa：
[0065]
averagesa(1-hn(u,v)
×
(an)-1
)＝1-averagesa(hn(u,v))(an)-1
ꢀꢀꢀ
(6)
[0066]
均值滤波后得到透射率的粗略估计值如下：
[0067][0068]
其中，上式最末项为弥补的偏移值，ψ∈[0,1]。
[0069]
记η＝1-ψ，则有：
[0070][0071]
为防止去雾后的图像出现偏暗或偏亮的情况，设置ρ为可调节参数且ρ为可调节参数且是hn(u,v)所有元素的均值。
[0072]
由此得出透射率：
[0073][0074]
其中，为透射率的粗略估计值，1-hn(u,v)
×
(an)-1
为透射率的下限值。
[0075]
根据环境光zn(u,v)的计算公式，可得出：
[0076][0077]
然后，在取值范围内估计全局大气光an，取均值作为其值：
[0078][0079]
其中，表示对第n幅图像的r、g、b三通道取最大值。
[0080]
最后，输出得到去雾后的图像fn(u,v)：
[0081][0082]
2)中值滤波去噪
[0083]
中值滤波能有效消除图像中的孤立噪声点，保护图像边缘。本发明采用大小为sb×
sb的矩形窗在图像上滑动，将窗口中的像素点值由大到小排序后将中间值赋给模板中心的像素点。此时，得到预处理后的图像为：
[0084][0085]
2、颜色矩特征提取
[0086]
炉排的运动以及风量的变化使得炉内火焰处于不断变化之中，相应的图像颜色特征也发生变化。理论上图像中的任何颜色分布均可由颜色矩进行表示。考虑到火焰图像具有明显的亮度变化，需要将预处理后的图像由rgb空间转到更能够体现颜色直观性的hsv空间图像本发明采用一阶矩二阶矩和三阶矩表达图像的颜色信息，可表示为：
[0087][0088][0089][0090]
其中，和分别表示h、s、v空间的一阶矩；和
分别表示h、s、v空间的二阶矩；和分别表示h、s、v空间的三阶矩。
[0091]
以第n幅经过颜色空间转换的图像为例，其一阶矩计算公式如下：
[0092][0093]
其中，和分别表示第n幅火焰图像经过颜色空间转换的h、s、v空间，u表示其像素点总数。
[0094]
类似地，二阶矩各项计算公式如下：
[0095][0096]
类似地，三阶矩各项计算公式如下：
[0097][0098]
最后，将上述提取的颜色矩特征组合，记作：
[0099][0100]
作为具有综合复杂特性的工业过程，mswi过程各变量间的耦合关系难以精确量化。本发明中，数据特征选择模块根据专家经验，选择实际运行过程中与ft、oc和bsf相关性最高的37个过程变量作为上述三个关键工艺参数预测模型的输入特征，具体如表1所示。
[0101]
表1三个关键工艺参数的输入特征
[0102][0103][0104]
多模态数据驱动关键工艺参数预测模型模块的构建过程如下：以ft预测模型的构建为例进行表述。
[0105]
1)基于火焰图像的子模型
[0106]
首先，针对{z
fire
,y
ft
}采用bootstrap机制获得火焰图像训练子集，并基于rsm机制随机选择特征，生成个训练子集，其过程为：
[0107][0108]
其中，y
ft
表示训练样本的ft真值，是第次选择的ft训练子集，表示第个训练子集中包含的输入特征数量。
[0109]
然后，将去除重复样本的训练子集标记为以第m个输入特征作为分割变量，以第n
sel
个样本对应的值作为分割点，将输入特征空间分为两个区域和如下：
[0110][0111]
接着，通过遍历获得最优分割变量和分割点，直到叶节点样本数小于经验设定阈值准则如下：
[0112][0113]
其中，和分别代表区域和中第个训练子集的真值；和分别代表区域和中真值的平均值。
[0114]
最后，将输入特征空间划分为k
fire
·
ft
个区域并标记为进而，基于cart回归树构建的ft预测模型如下：
[0115][0116][0117]
其中，表示基于火焰图像的ft模型的预测输出，表示区域包含的样本数，是区域内第个训练子集的第个真值；i(
·
)为指示函数，当存在时函数值为1，否则为0。
[0118]
2)基于过程数据的子模型
[0119]
基于过程数据的子模型采用与基于火焰图像的子模型相同的算法构建，区别在于
其输入为过程数据z
data
，输出为
[0120]
3)基于bpnn的融合模型
[0121]
本发明采用bpnn作为融合模型，各层之间全连接，激活函数采用sigmoid函数。网络结构设置为输入层2个节点，隐含层j
ft
个节点，输出层1个节点。将输入层到隐含层的权值和阈值记为和隐含层到输出层的权值和阈值记为和ρ
ft
，训练步骤如下：
[0122]
首先，取随机数列初始化bpnn的权值和阈值，并以n个基于火焰图像和基于过程数据ft预测输出作为网络输入，以y
ft
为网络真值进行训练。
[0123]
然后，依次计算各层输出，如下：
[0124][0125]
其中，为第n个样本隐含层ft输出。
[0126]
接着，计算输出层和隐含层的反传误差并记下和的值，如下：
[0127][0128]
其中，和表示ft融合模型输出层和隐含层的反传误差，表示ft融合模型预测输出。
[0129]
然后，在训练完毕所有样本后按权值修正公式修正各层权值和阈值，如下：
[0130][0131]
最后，按照重新修正的权值计算和并计算：
[0132][0133]
若ea＞ε(ε表示收敛误差)或未达到最大学习次数，则继续训练；否则终止学习并输出ft预测模型结果
[0134]
多模态数据驱动预测模型仿实时验证平台的软件设计，如图4所示：
[0135]
1)多模态历史数据同步子系统包括过程数据与图像同步系统软件、历史数据发布系统软件、左炉排火焰播放系统软件和右炉排火焰播放系统软件，其中过程数据与图像同步系统软件通过接收卫星信号并利用ethernet同步各设备系统时间；历史数据发布系统软件将实际工业现场中采集得到的过程数据保存至本地mysql数据库中，通过opc client定时将数据库中数据读出并写入至opc sever之中；左炉排火焰播放系统软件和右炉排火焰
播放系统软件将在实际工业现场中与过程数据同时采集的左、右炉排火焰视频保存在设备硬盘上，配合历史数据发布系统软件定时同步播放，实现mswi过程多模态数据同步发布。
[0136]
2)多模态历史数据驱动建模子系统中多模态数据驱动预测模型系统软件利用opc协议接收仿实时验证平台同步发布的过程数据，并结合视频采集卡采集播放系统软件中的火焰视频，通过将二者时间进行同步匹配后，输入至关键工艺参数预测模型中，从而得到ft、oc和bsf的预测输出。
[0137]
本发明所提出的仿实时验证平台协同运行方式如图5所示。协同运行步骤如下：
[0138]
步骤(1)：将多模态历史数据同步子系统中各设备系统时间进行同步设置；
[0139]
步骤(2)：将多模态历史数据存储至各自设备中，其中：过程数据建立新表存储至mysql数据库，火焰视频存储至自定义文件夹；
[0140]
步骤(3)：在多模态历史数据同步子系统中连接多模态数据源，并设置定时发布时间以等待多模态历史数据定时同步发布；
[0141]
步骤(4)：多模态历史数据驱动建模子系统中设置多模态数据采集时间，实现多模态历史数据的采集功能；
[0142]
步骤(5)：将采集得到的多模态历史数据进行时间同步匹配；
[0143]
步骤(6)：将同步匹配完毕的多模态历史数据传输至训练完毕的多模态数据驱动预测模型，同时将相关过程数据实时存储至mysql数据库；
[0144]
步骤(7)：在mswi过程多模态数据驱动预测模型仿实时验证平台软件界面查看当前工况及预测曲线。
[0145]
本发明提出的mswi过程多模态数据驱动预测模型仿实时验证平台的硬件由1台卫星时间同步服务器、4台工控机、2台摄像机和1张视频采集卡等组成。多模态数据驱动预测模型仿实时验证平台各设备之间利用ethernet连接，利用2台独立摄像机分别拍摄左、右炉排火焰视频，通过同轴电缆传输至多模态数据预测模型设备进行接收与应用。卫星时间服务器采用北斗时讯(天津)科技有限公司所研发的bdts801实现，输入为卫星信号，输出为sntp或ntp网络时间协议；工控机选用研华ipc-610l，配置为i5-6500 cpu，8gb内存；视频采集卡采用天创恒达tc-4000sd pro四路采集卡，通过装配在多模态数据预测模型设备中实现火焰视频图像的采集功能。
[0146]
本平台软件的运行环境为windows7专业版，开发环境为c#、mysql和matlab，软件开发采用visual studio professional 2022和matlab r2015b软件混合编程实现。为展示该平台的有效性，采用了北京某mswi电厂2021年10月19日9：00至17：00共计8小时连续运行所产生的过程数据与火焰视频。在多模态预测模型设备中设置过程数据采集间隔为1s，火焰图像采集间隔为30s，火焰图像分辨率为720*576，其预处理参数为：均值滤波窗口大小sa＝15、可调节参数ρ＝2和中值滤波窗口大小sb＝5。rf子模型和bpnn融合模型的相关参数设置如表2所示。
[0147]
表2多模态数据驱动关键参数预测模型的参数设置
[0148]
[0149][0150]
本发明提出的仿实时验证平台能够实现mswi过程多模态历史数据的同步发布与实时采集，为离线多模态数据建模验证所存在的采集难、同步难、匹配难等问题提供一个很好的解决方案；同时，能够建立有效的多模态数据驱动的关键工艺参数预测模型，并提供可靠的仿实时工程化验证环境。
[0151]
综上，本发明提供的面向mswi过程多模态数据驱动预测模型的仿实时验证平台，(1)利用过程数据与图像同步设备解决了多模态历史数据时间同步匹配繁琐的问题，并搭建硬件环境和开发相关的系统软件，模拟了实际工业现场中多模态数据的同步产生与发布；(2)构建多模态数据驱动的ft、oc和bsf预测模型，模拟领域专家对关键工艺参数的预测。本发明基于实际工业现场采集的多模态历史数据展示了该仿实时验证平台的有效性，为mswi过程离线多模态驱动预测模型提供了可靠的工程化验证环境，解决了智能预测模型落地应用前验证难的问题。
[0152]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。