一种基于车联网平台的故障检测方法和系统与流程

1.本发明属于信息系统故障检测技术领域，涉及一种基于车联网平台的故障检测方法和系统。


背景技术：

2.电动汽车作为战略性新兴产业，经过多年的发展，已经取得了重大突破。充电设施作为电动汽车普及的重要保障，也得到快速发展。当车联网平台的本地运行环境出现故障时，能否根据系统日志进行快速定位、自动隔离和自动修复，直接关系到充电业务的正常运行。
3.目前在日志分析领域，已有大量的检测方法，如从源码中提取日志的抽象语法树(abstract syntax tree，ast)，并生成相应的日志模板，然后利用主成分分析(principal component analysis，pca)降低特征集的复杂度，寻找离群点，进行异常检测。目前多数的日志故障检测方法相对于检测速度和检测效率都不能较好的针对车联网平台的海量并发数据特点，给出有效的日志分析结论。
4.在故障检测领域，数据块相似性检测是其中一项关键技术，broder提出一种n-transform super-feature方法(简称“sf方法”)，但是该方法需要花费较多时间对提取到的数据指纹信息进行转换从而得到数据特征，因此效率受到限制。需要花费较多的时间进行特征转换，导致获得数据特征的时间复杂性较高。sf方法是目前最为流行的数据块级别的相似性检测方法，该方法首先获取数据块的特征，然后根据数据块的特征进行相似性检测。虽然该方法能够最大程度地检测到高度相似的数据块，但需要进行大量的线性转换以获取数据块的特征。
5.sf方法虽然在一定程度上解决了增量压缩中数据特征的提取和相似性检测问题，但是其仍然存在特征提取过程耗时等问题。针对相似性数据检测过程中依然存在的特征提取耗时、检测效率低等问题。


技术实现要素：

6.为克服上述现有技术的不足，本发明提出一种基于车联网平台的故障检测方法，包括：
7.获取车联网平台实时日志数据；
8.基于改进的sf方法或隔离树模型对所述车联网平台实时日志数据进行分块及特征提取，得到多个数据块及每个数据块对应的超级特征；
9.基于实时日志数据中各数据块对应的超级特征与预先确定的特征进行比对，定位异常数据；
10.其中所述预先确定的特征包括：采用改进的sf方法或隔离树模型对车联网平台历史日志数据进行分块及特征提取。
11.优选的，所述采用改进的sf方法或隔离树模型对车联网平台历史日志数据进行分
块及特征提取或基于改进的sf方法或隔离树模型对所述车联网平台实时日志数据进行分块及特征提取，包括：
12.将所述历史日志数据或实时日志数据采用固定数据块大小划分或者固定时间窗口划分，得到多个数据块；
13.基于每个数据块，对所述数据块的长度采用改进的sf方法进行分割得到多个子数据块，并计算每个子数据块的rabin指纹特征；或对所述数据块的长度和预先构建的隔离树模型利用空间向量的方法划分为多个子数据块，每个子数据块对应一个最小的分类二叉树，根据所述分类二叉树确定每个子数据块的特征；
14.通过对所述各子数据块的特征提取分组形成各数据块对应的特征。
15.优选的，所述基于每个数据块，对所述数据块的长度采用改进的sf方法进行分割得到多个子数据块，并计算每个子数据块的rabin指纹特征，包括：
16.基于每个数据块，对所述数据块的长度和待测数据特征数目进行分割操作，得到多个子数据块；
17.根据每个子数据块的各待测数据特征，进行遍历，得到各待测数据特征对应的rabin指纹特征。
18.优选的，所述隔离树模型的建立，包括：
19.根据停止条件及深度预设最大值确定所述隔离树模型。
20.优选的，所述通过对所述各子数据块的特征提取分组形成各数据块对应的特征，包括：
21.对所述每个子数据块的各待测数据特征进行初始化；
22.遍历所有待测数据特征和所述子数据块得到所述每个待测数据特征对应的rabin指纹特征，如果当前数据特征小于等于上一个数据特征时，将所述当前数据特征加入rabin指纹特征，否则继续遍历直到遍历完成。
23.优选的，所述基于实时日志数据中各数据块对应的超级特征与预先确定的特征进行比对，定位异常数据，包括：
24.基于所述实时日志数据中各数据块对应的超级特征和每个子数据块特征进行分组；
25.并根据每个所述分组与历史日志数据的数据块进行特征比对，计算所述数据块和数据块对应分组中局部特征是否相同；
26.如果相同特征个数大于相异特征个数，则利用相同的局部特征构建分组的特征；
27.如果相同特征个数小于相异特征个数，则利用相异的局部特征构建分组的特征；
28.根据所述相同和相异构建的分组特征，对数据块之间的相似性进行检测，定位异常数据。
29.优选的，所述数据块之间的特征判断相似性的计算式如下：
[0030][0031]
其中，a为超级特征数据，b为车联网平台历史日志数据的数据块的特征数据，h(a)和h(b)分别是a和b中元素的散列对应的集合，其中h是从一个极小的排列独立族中均匀随机地选取的，集合中的一个元素被映射到一个整数，min(
·
)为整数集合中最小的元素，集
合a和b具有相同的最小哈希元素的概率与它们的相似系数相同。
[0032]
基于同一发明构思，本技术还提供了一种基于车联网平台的故障检测系统，包括：获取模块、提取特征模块和特征比对模块；
[0033]
其中获取模块，用于获取车联网平台实时日志数据；
[0034]
其中提取特征模块，用于基于改进的sf方法或隔离树模型对所述车联网平台实时日志数据进行分块及特征提取，得到多个数据块及每个数据块对应的超级特征；
[0035]
其中特征比对模块，用于基于实时日志数据中各数据块对应的超级特征与预先确定的特征进行比对，定位异常数据；
[0036]
其中所述预先确定的特征包括：采用改进的sf方法或隔离树模型对车联网平台历史日志数据进行分块及特征提取。
[0037]
优选的，所述提取特征模块，包括：划分数据子模块、确定特征子模块和分组子模块；
[0038]
其中划分数据子模块，用于将所述历史日志数据或实时日志数据采用固定数据块大小划分或者固定时间窗口划分，得到多个数据块；
[0039]
其中确定特征子模块，用于基于每个数据块，对所述数据块的长度采用改进的sf方法进行分割得到多个子数据块，并计算每个子数据块的rabin指纹特征；还用于对所述数据块的长度和预先构建的隔离树模型利用空间向量的方法划分为多个子数据块，每个子数据块对应一个最小的分类二叉树，根据所述分类二叉树确定每个子数据块的特征；
[0040]
其中分组子模块，用于通过对所述各子数据块的特征提取分组形成各数据块对应的特征。
[0041]
优选的，所述确定特征子模块，包括：分割数据块单元和遍历单元；
[0042]
其中分割数据块单元，用于基于每个数据块，对所述数据块的长度和待测数据特征数目进行分割操作，得到多个子数据块；
[0043]
其中遍历单元，用于根据每个子数据块的各待测数据特征，进行遍历，得到各待测数据特征对应的rabin指纹特征。
[0044]
与最接近的现有技术相比，本发明具有的有益效果如下：
[0045]
1、本发明提供的一种基于车联网平台的故障检测方法和系统，包括：获取车联网平台实时日志数据；基于改进的sf方法或隔离树模型对所述车联网平台实时日志数据进行分块及特征提取，得到多个数据块及每个数据块对应的超级特征；基于实时日志数据中各数据块对应的超级特征与预先确定的特征进行比对，定位异常数据；其中所述预先确定的特征包括：采用改进的sf方法或隔离树模型对车联网平台历史日志数据进行分块及特征提取；本发明结合海量高并发的车联网平台的历史日志数据和实时日志数据进行检测，提高了检测的准确度和运行速率；
[0046]
2、本发明对于特征做了进一步的分组，改善了分组不明确的问题，提高了后续检测的效率。
附图说明
[0047]
图1为本发明提供的一种基于车联网平台的故障检测方法流程示意图；
[0048]
图2为本发明提供的一种基于车联网平台的故障检测方法实施例示意图；
[0049]
图3为本发明提供的一种基于车联网平台的故障检测系统框架示意图。
具体实施方式
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0051]
实施例1：
[0052]
如图1所示，本发明实施例的一种基于车联网平台的故障检测方法，包括：
[0053]
步骤1：获取车联网平台实时日志数据；
[0054]
步骤2：基于改进的sf方法或隔离树模型对所述车联网平台实时日志数据进行分块及特征提取，得到多个数据块及每个数据块对应的超级特征；
[0055]
步骤3：基于实时日志数据中各数据块对应的超级特征与预先确定的特征进行比对，定位异常数据；
[0056]
其中所述预先确定的特征包括：采用改进的sf方法或隔离树模型对车联网平台历史日志数据进行分块及特征提取。
[0057]
本发明具体采用的技术方案是：一种基于车联网平台的故障检测方法，如图2所示，其特征是，包括下列步骤：
[0058]
步骤1：获取车联网平台实时日志数据；
[0059]
(1)初始化历史数据日志文件，通过agent方式获取实时的日志文件数据，具体包括：
[0060]
初始化历史日志文件数据，对历史数据日志文件和实时数据日志文件中原始无重复数据集进行数据块的划分，可以采用固定数据块大小划分，也可以选择固定时间窗口划分；
[0061]
步骤2：基于改进的sf方法或隔离树模型对所述车联网平台实时日志数据进行分块及特征提取，得到多个数据块及每个数据块对应的超级特征；
[0062]
(2)将所有历史和实时日志文件的数据块进行再次划分形成子数据块，具体包括：
[0063]
对划分好的子数据块进行特征提取，使用改进之后的sf方法实现对子数据块特征的提取；
[0064]
随机根据日志文件空间向量的大小，使用隔离树的方法，构造子数据块特征的分类二叉树；
[0065]
步骤3：基于实时日志数据中各数据块对应的超级特征与预先确定的特征进行比对，定位异常数据；
[0066]
(3)对所有分好的数据块的特征进行重组得到对应的超级特征进行对比，实现异常以及相似性数据块的检测；
[0067]
通过获取子数据块的特征，然后对特征进行分组以便形成超级特征，然后利用超级特征进行数据块相似性检测，其中的相似性检测依据和集合间相似性检测依据类似；
[0068]
输出定位到的异常数据，并重新进行下一轮日志数据判断检测。
[0069]
具体操作如下：
[0070]
上述步骤(1)中初始化日志文件数据，如果采用固定数据块大小划分，则对原始无
重复数据集进行数据块的划分，通常数据块大小为2kb级别，如果采用固定时间窗口划分，则开始检测时间为临界时间戳，选择时间戳前十份历史日志文件和时间戳后一分钟产生的日志文件；
[0071]
上述步骤(2)改进之后的sf方法实现对子数据块特征的提取，优化了数据特征的提取的过程，利用数据特征的分组集成，实现了对数据块的快速相似性检测，本文将数据块进行二次划分形成更小的数据块，然后进行子数据块特征的提取，进而对子数据块的特征进行分组表决，具体的执行过程如表1中伪代码所示：
[0072]
表1数据块局部特征提取方法
[0073][0074][0075]
上述rabin指纹方法是一种基于模平方和模平方根的非对称加密方法，以每个特征长度的指纹为地址，仅用一位数据标识一条特征长度，每次检索仅需对相应的一位数据的值做一次判断。
[0076]
上述步骤(3)特征获取过程中，通过获取子数据块的特征，然后对特征进行分组以便形成超级特征，然后利用超级特征进行数据块相似性检测，其中的相似性检测依据和集合间相似性检测依据类似，两个集合之间相似性的计算方法为：对于两个集合a和b，h(a)和h(b)分别是a和b中元素的散列对应的集合，其中h是从一个极小的排列独立族中均匀随机地选取的。集合中的一个元素被映射到一个整数。令min(s)表示整数集合s中最小的元素，则：
[0077]
[0078]
在这里我们可以把a理解为超级特征数据，b理解为车联网平台历史日志数据的数据块的特征数据，(历史日志数据特征都会对应正常状态或异常状态)，集合a和b具有相同的最小哈希元素的概率与它们的相似系数相同，子块划分完成了对2kb大小的数据块的二次分割，形成了更小的数据块(或称为局部数据)，接下来需要完成对子数据块特征的提取以及子数据块特征的分组工作，其中子数据块特征的提取工作，获得数据块的局部特征之后，接下来对局部特征进行分组，按原始顺序排列数据块a和数据块b对应分组之内的若干个局部特征，即：
[0079][0080]
计算数据块a和数据块b对应分组中局部特征是否相同，构建s
ij
表示数据块a中的局部特征和数据块b中的局部特征，即：
[0081][0082]
然后记录相同的特征个数sum_same及不同的特征个数sum_diff，即：
[0083][0084]
sum_diff＝5-sum_sanme
[0085]
如果相同特征个数大于相异特征个数，则利用相同的局部特征构建分组的特征，如果相同特征个数小于相异特征个数，则利用相异的局部特征构建分组的特征，当数据块的所有超级特征构建完成之后，即可对数据之间的相似性进行检测，输出定位到的异常数据(即根据数据块b的正常状态或异常状态即可确定数据块a的状态，从而定位异常数据)，并重新确定下一轮日志数据判断检测。
[0086]
实施例2：
[0087]
基于同一发明构思，本发明还提供了一种基于车联网平台的故障检测系统，如图3所示，包括：获取模块、提取特征模块和特征比对模块；
[0088]
其中获取模块，用于获取车联网平台实时日志数据；
[0089]
其中提取特征模块，用于基于改进的sf方法或隔离树模型对所述车联网平台实时日志数据进行分块及特征提取，得到多个数据块及每个数据块对应的超级特征；
[0090]
其中特征比对模块，用于基于实时日志数据中各数据块对应的超级特征与预先确定的特征进行比对，定位异常数据；
[0091]
其中所述预先确定的特征包括：采用改进的sf方法或隔离树模型对车联网平台历史日志数据进行分块及特征提取。
[0092]
所述提取特征模块，包括：划分数据子模块、确定特征子模块和分组子模块；
[0093]
其中划分数据子模块，用于将所述历史日志数据或实时日志数据采用固定数据块大小划分或者固定时间窗口划分，得到多个数据块；
[0094]
其中确定特征子模块，用于基于每个数据块，对所述数据块的长度采用改进的sf方法进行分割得到多个子数据块，并计算每个子数据块的rabin指纹特征；还用于对所述数据块的长度和预先构建的隔离树模型利用空间向量的方法划分为多个子数据块，每个子数
据块对应一个最小的分类二叉树，根据所述分类二叉树确定每个子数据块的特征；
[0095]
其中分组子模块，用于通过对所述各子数据块的特征提取分组形成各数据块对应的特征。
[0096]
所述确定特征子模块，包括：分割数据块单元和遍历单元；
[0097]
其中分割数据块单元，用于基于每个数据块，对所述数据块的长度和待测数据特征数目进行分割操作，得到多个子数据块；
[0098]
其中遍历单元，用于根据每个子数据块的各待测数据特征，进行遍历，得到各待测数据特征对应的rabin指纹特征。
[0099]
该系统还包括：模型建立模块；
[0100]
其中模型建立模块，用于根据停止条件及深度预设最大值确定所述隔离树模型。
[0101]
所述分组子模块，包括：初始化单元和过程遍历单元；
[0102]
其中初始化单元，用于对所述每个子数据块的各待测数据特征进行初始化；
[0103]
其中过程遍历单元，用于遍历所有待测数据特征和所述子数据块得到所述每个待测数据特征对应的rabin指纹特征，如果当前数据特征小于等于上一个数据特征时，将所述当前数据特征加入rabin指纹特征，否则继续遍历直到遍历完成。
[0104]
所述特征比对模块，包括：分组对比子模块、计算判断子模块、相同特征子模块、相异特征子模块和检测异常子模块；
[0105]
其中分组对比子模块，用于基于所述实时日志数据中各数据块对应的超级特征和每个子数据块特征进行分组；
[0106]
其中计算判断子模块，用于并根据每个所述分组与历史日志数据的数据块进行特征比对，计算所述数据块和数据块对应分组中局部特征是否相同；
[0107]
其中相同特征子模块，用于如果相同特征个数大于相异特征个数，则利用相同的局部特征构建分组的特征；
[0108]
其中相异特征子模块，用于如果相同特征个数小于相异特征个数，则利用相异的局部特征构建分组的特征；
[0109]
其中检测异常子模块，用于根据所述相同和相异构建的分组特征，对数据块之间的相似性进行检测，定位异常数据。
[0110]
所述数据块之间的特征判断相似性的计算式如下：
[0111][0112]
其中，a为超级特征数据，b为车联网平台历史日志数据的数据块的特征数据，h(a)和h(b)分别是a和b中元素的散列对应的集合，其中h是从一个极小的排列独立族中均匀随机地选取的，集合中的一个元素被映射到一个整数，min(
·
)为整数集合中最小的元素，集合a和b具有相同的最小哈希元素的概率与它们的相似系数相同。
[0113]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0114]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0115]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0116]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0117]
最后应当说明的是:以上实施例仅用于说明本技术的技术方案而非对其保护范围的限制，尽管参照上述实施例对本技术进行了详细的说明，所属领域的普通技术人员应当理解:本领域技术人员阅读本技术后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。