一种基于地铁综合监控系统的时序数据填补方法及装置与流程

1.本技术实施例涉及地铁交通技术领域，尤其涉及一种基于地铁综合监控系统的时序数据填补方法及装置。


背景技术：

2.随着交通的快速发展，公共交通工具成为人们出行的必备工具，其中公共地铁是人们日常出行重要交通工具。地铁作为人们每天必备的公共交通工具，其正常运行与否，以及其运行状态，需要进行密切的关注。因此，地铁综合监控系统成为地铁交通领域十分重要的一个监视系统。
3.地铁综合监控系统(iscs)是一个高度集成的综合自动化监控系统，其目的是通过集成地铁多个主要弱电系统，形成统一的监控层硬件平台和软件平台，从而实现对地铁弱电设备的集中监控和管理功能，实现对列车运行情况和客流统计数据的关联监视功能，最终实现相关各系统之间的信息共享和协调互动功能。
4.在地铁综合监控系统中，对地铁机电设备的电流，电压，温度，开度反馈及输出频率等指标进行实时监控是保证地铁列车安全运行的重要措施之一。此外，通过对地铁机电设备监控数据的采集分析，可以帮助地铁运营维护技工对机电设备进行健康诊断和维修。然而，由于在实际运营过程中受到各种不确定因素干扰，如通信系统故障，设备临时维修等，机电设备实时运行状态并不能够很好传送到iscs系统，造成监控系统输出中断，带来时序数据缺失的问题，从而干扰了iscs监控人员或者列车司机对列车状态的判断。


技术实现要素：

5.本技术实施例提供一种地铁综合监控系统的时序数据填补方法及装置，能够解决时序数据缺失问题，提升数据传输的完整性。
6.在第一方面，本技术实施例提供了一种地铁综合监控系统的时序数据填补方法，包括：
7.获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；
8.将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；
9.对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
10.进一步的，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。
11.进一步的，所述获取时序数据并进行数据预处理，具体为：
12.对获取的时序数据进行数据预处理得到平均值；
13.根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；
14.过滤异常数据，得到数据预处理后的数据。
15.进一步的，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
16.进一步的，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值。
17.进一步的，所述时间维度独热编码特征值分为日期、星期、小时和分钟对应的独热编码特征值，具体为：
18.日期维度的独热编码特征值设置为31个；
19.星期维度的独热编码特征值设置为7个；
20.小时维度的独热编码特征值设置为24个；
21.分钟维度的独热编码特征值设置为60个。
22.进一步的，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
23.在第二方面，本技术实施例提供了一种地铁综合监控系统的时序数据填补装置，包括：
24.第一数据处理单元，用于获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；
25.时序数据输出单元，用于将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；
26.第二数据处理单元，用于对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
27.进一步的，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。
28.进一步的，第一数据处理单元，还用于对获取的时序数据进行数据预处理得到平均值；
29.根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；
30.过滤异常数据，得到数据预处理后的数据。
31.进一步的，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
32.进一步的，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值。
33.进一步的，所述时间维度独热编码特征值分为日期、星期、小时和分钟对应的独热编码特征值，具体为：
34.日期维度的独热编码特征值设置为31个；
35.星期维度的独热编码特征值设置为7个；
36.小时维度的独热编码特征值设置为24个；
37.分钟维度的独热编码特征值设置为60个。
38.进一步的，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
39.在第三方面，本技术实施例提供了一种电子设备，包括：
40.存储器以及一个或多个处理器；
41.所述存储器，用于存储一个或多个程序；
42.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的地铁综合监控系统的时序数据填补方法。
43.在第四方面，本技术实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的地铁综合监控系统的时序数据填补方法。
44.本技术实施例通过对获取可能有缺失的时序数据进行数据预处理后，将预处理后的数据输入预设的时序数据填补模型中提取时间维度独热编码特征值进行数据分析处理，输出对应的至少一组填补后的时序数据，并对输出的至少一组填补后的时序数据进行加权平均处理得到最终时序数据。采用上述技术手段，通过时间维度特征值进行数据处理，由于时间变量是时刻存在的，解决了时间依赖性和填补数据长度不固定的问题，提高了输出填补完整的时序数据的有效性和完整性；进一步的，通过对时间维度的特征值用独热编码进行编码表示，使得后续的数据处理十分的便捷，从而在预设的模型中进行数据分析处理时，提高了数据分析处理的工作效率；而且通过经过训练得到的预设的时序数据填补模型进行数据处理，并对输出的至少一组数据进行加权平均处理，提高了输出数据的准确性。
附图说明
45.图1是本技术实施例一提供的一种地铁综合监控系统的时序数据填补方法的流程图；
46.图2是本技术实施例一中特征值构建示意图；
47.图3是本技术实施例二提供的一种地铁综合监控系统的时序数据填补装置的结构示意图；
48.图4是本技术实施例三提供的一种电子设备的结构示意图。
具体实施方式
49.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图对本技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
50.本技术提供的地铁综合监控系统的时序数据填补方法及装置，旨在通过对获取可能有缺失的时序数据进行数据预处理后，将预处理后的数据输入预设的时序数据填补模型中提取时间维度独热编码特征值进行数据分析处理，输出对应的至少一组填补后的时序数据，并对输出的至少一组填补后的时序数据进行加权平均处理得到最终时序数据。相对于传统的时序数据填补方式，其解决了时间依赖性和填补长度不固定的影响。传统的时序数据填补方式通过如按特殊值填补、插值填补、就近规则填补和聚类填补等方式均难以解决时间依赖性和填补长度不固定的影响。基于此，提供本技术实施例的地铁综合监控系统的时序数据填补方法，以解决现有时序数据缺失的问题。
51.实施例一：
52.图1给出了本技术实施例一提供的一种地铁综合监控系统的时序数据填补方法的流程图，本实施例中提供的地铁综合监控系统的时序数据填补方法可以由地铁综合监控系统的时序数据填补设备执行，该地铁综合监控系统的时序数据填补设备可以通过软件和/或硬件的方式实现，该地铁综合监控系统的时序数据填补设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该地铁综合监控系统的时序数据填补设备可以是终端设备，如计算机等。
53.下述以计算机为执行地铁综合监控系统的时序数据填补方法的主体为例，进行描述。参照图1，该地铁综合监控系统的时序数据填补方法具体包括：
54.s101、获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理。
55.在实施例中，首先是对时序数据进行采集，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值，且所述时序数据还包括时间维度的信息，包括日期信息、时刻信息、是否是节假日、是否是高峰期等等。其次，对于采集得到的时序数据进行数据预处理，所述数据预处理包括过滤异常数据处理。
56.具体的，所述过滤异常数据处理包括对获取的时序数据进行数据预处理得到平均值；根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；过滤异常数据，得到数据预处理后的数据。
57.示例性的，过滤异常数据处理是指过滤掉时序数据因偶发因素引起机电设备极端状态的离群点，所述离群点数据不仅不能反应设备真实状态，还会干扰数据处理的过程。过滤异常数据主要通过两个步骤进行，首先是识别出异常数据点，然后过滤识别出的异常数据点。具体过滤异常数据处理步骤如下：对获取的时序数据进行数据预处理得到所述时序数据的平均值，根据所述平均值计算并筛选出高于所述平均值三倍的标准差的数据点为异常数据点；删除所述异常数据点，得到过滤异常数据点后的时序数据。
58.示例性的，所述过滤异常数据处理还包括对数值为0的数据的过滤。对时序数据进行数据预处理，筛选出数值为0的数据点为异常数据点，删除所述异常数据点，得到过滤异常数据点后的时序数据。
59.s102、将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据。
60.具体的，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。日期维度的独热编码特征值设置为31个；星期维度的独热编码特征值设置为7
个；小时维度的独热编码特征值设置为24个；分钟维度的独热编码特征值设置为60个。
61.示例性的，参照图2，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值，还包括时间维度的信息，包括日期信息、时刻信息、是否是节假日、是否是高峰期等等。因此，可以对时序数据提取对应的时间维度独热编码特征值。例如所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。所述日期维度的独热编码特征值设置为31个，例如2021年1月1日、2021年1月2日、2021年1月3日等；星期维度的独热编码特征值设置为7个，例如星期一、星期二、星期三等；小时维度的独热编码特征值设置为24个，例如12时、13时、14时等；分钟维度的独热编码特征值设置为60个，例如1分钟、2分钟、3分钟等。所述时间维度的特征值可以根据实际需要而进行设定，例如还可以设定节日，例如节假日、工作日、周末等。以采集时序数据为电流的时序数据为例，在2021年1月1日8时8分采集得到的电流数据，则对应的时间维度数据为日期为2021年1月1日、星期为星期五、小时为8时、分钟为8分所对应的特征值为1，其他日期、星期、小时、分钟对应的特征值均为0。
62.在一实施例中，所述独热编码即one-hot编码，又称为一位有效编码，主要是采用n位状态寄存器来对n个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候只有一位有效。one-hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。在本实施例中，通过将所述时序数据进行时间维度的one-hot编码得到每个数据对应的各时间维度对应的特征值。在所述预设的时序数据填补模型中，提取时间维度one-hot编码特征值进行数据分析处理，输出至少一组填补后的时序数据。通过one-hot编码得到每个样本数据只对应于一个类别(即只在对应的特征处值为1，其余地方值为0)，因此使得后续的数据处理十分的便捷，从而在预设的模型中进行数据分析处理时，提高了数据分析处理的工作效率。
63.在一实施例中，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
64.在一实施例中，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
65.示例性的，所述预设的时序数据填补模型包括lightgbm模型，采用机器学习中五折交叉验证方法处理。首先对原始数据进行数据预处理并拆分成5份，每份数据以4:1比例拆分成训练集和验证集，利用5份训练集数据进行训练得到5个lightgbm初步模型，利用5份验证集数据对所述5个lightgbm初步模型进行验证得到最终的5个lightgbm模型。
66.示例性的，所述预设的时序数据填补模型包括lightgbm模型，其中模型训练涉及的参数如下：
67.参数名称中文解释取值boosting_type迭代类型gbdtobjective优化函数目标regression_l2metric评价指标mean_squared_error
num_leaves叶子数64learning_rate学习率0.1feature_fraction特征抽取比例0.3bagging_fraction样本抽样比例0.8bagging_freq样本抽样频次5verbose是否打印输出1device运行设备gpu
68.s103、对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
69.具体的，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，对应输出的多组填补后的时序数据结果，对输出多组填补后的时序数据结果进行加权平均处理得到最终时序数据。
70.示例性的，所述预设的时序数据填补模型包括5个lightgbm模型，将数据预处理后的数据输入所述5个lightgbm模型中，在所述5个lightgbm模型中，提取时间维度独热编码特征值进行数据分析处理，输出5组填补后的时序数据，对所述5组填补后的时序数据进行加权平均处理，得到一组完整的时序数据。
71.上述，通过对获取可能有缺失的时序数据进行数据预处理后，将预处理后的数据输入预设的时序数据填补模型中提取时间维度独热编码特征值进行数据分析处理，输出对应的至少一组填补后的时序数据，并对输出的至少一组填补后的时序数据进行加权平均处理得到最终时序数据。采用上述技术手段，通过时间维度特征值进行数据处理，由于时间变量是时刻存在的，解决了时间依赖性和填补数据长度不固定的问题，提高了输出填补完整的时序数据的有效性和完整性；进一步的，通过对时间维度的特征值用独热编码进行编码表示，使得后续的数据处理十分的便捷，从而在预设的模型中进行数据分析处理时，提高了数据分析处理的工作效率；而且通过经过训练得到的预设的时序数据填补模型进行数据处理，并对输出的至少一组数据进行加权平均处理，提高了输出数据的准确性。
72.实施例二：
73.在上述实施例的基础上，图3为本技术实施例二提供的一种地铁综合监控系统的时序数据填补装置的结构示意图。参考图3，本实施例提供的地铁综合监控系统的时序数据填补装置具体包括：第一数据处理单元21、时序数据输出单元22和第二数据处理单元23。
74.其中，第一数据处理单元21，用于获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；
75.时序数据输出单元22，用于将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；
76.第二数据处理单元23，用于对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
77.进一步的，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。
78.进一步的，所述第一数据处理单元21，还用于对获取的时序数据进行数据预处理
得到平均值；根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；过滤异常数据，得到数据预处理后的数据。
79.进一步的，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
80.进一步的，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值。
81.进一步的，所述时间维度独热编码特征值分为日期、星期、小时和分钟对应的独热编码特征值，具体为：日期维度的独热编码特征值设置为31个；星期维度的独热编码特征值设置为7个；小时维度的独热编码特征值设置为24个；分钟维度的独热编码特征值设置为60个。
82.进一步的，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
83.上述，通过对获取可能有缺失的时序数据进行数据预处理后，将预处理后的数据输入预设的时序数据填补模型中提取时间维度独热编码特征值进行数据分析处理，输出对应的至少一组填补后的时序数据，并对输出的至少一组填补后的时序数据进行加权平均处理得到最终时序数据。采用上述技术手段，通过时间维度特征值进行数据处理，由于时间变量是时刻存在的，解决了时间依赖性和填补数据长度不固定的问题，提高了输出填补完整的时序数据的有效性和完整性；进一步的，通过对时间维度的特征值用独热编码进行编码表示，使得后续的数据处理十分的便捷，从而在预设的模型中进行数据分析处理时，提高了数据分析处理的工作效率；而且通过经过训练得到的预设的时序数据填补模型进行数据处理，并对输出的至少一组数据进行加权平均处理，提高了输出数据的准确性。
84.本技术实施例二提供的地铁综合监控系统的时序数据填补装置可以用于执行上述实施例一提供的地铁综合监控系统的时序数据填补方法，具备相应的功能和有益效果。
85.实施例三：
86.本技术实施例三提供了一种电子设备，参照图4，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
87.存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本技术任意实施例所述的地铁综合监控系统的时序数据填补方法对应的程序指令/模块(例如，地铁综合监控系统的时序数据填补装置中的第一数据处理单元、时序数据输出单元和第二数据处理单元)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及
其组合。
88.通信模块33用于进行数据传输。
89.处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的地铁综合监控系统的时序数据填补方法。
90.输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
91.上述提供的电子设备可用于执行上述实施例一提供的地铁综合监控系统的时序数据填补方法，具备相应的功能和有益效果。
92.实施例四：
93.本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种地铁综合监控系统的时序数据填补方法，该地铁综合监控系统的时序数据填补方法包括：获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
94.存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
95.当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的地铁综合监控系统的时序数据填补方法，还可以执行本技术任意实施例所提供的地铁综合监控系统的时序数据填补方法中的相关操作。
96.上述实施例中提供的地铁综合监控系统的时序数据填补装置、存储介质及电子设备可执行本技术任意实施例所提供的地铁综合监控系统的时序数据填补方法，未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的地铁综合监控系统的时序数据填补方法。
97.上述仅为本技术的较佳实施例及所运用的技术原理。本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由权利要求的范围决定。