基于多元日志数据分析的日志审计方法、系统、设备及介质与流程

1.本发明属于日志审计技术领域，特别涉及一种基于多元日志数据分析的日志审计方法、系统、设备及介质。


背景技术：

2.随着调控云建设的开展和深入，调控云主导节点、协同节点以及源数据端之间的交互更加紧密；在广域的数据交互中，数据本体安全及数据操作安全是决定数据质量的关键。应用服务访问日志数据具有全业务范围、全时间类型和全时间维度的特性，蕴藏着调控云系统运行的关键信息，通过对广域数据交互的日志进行记录可以在很大程度上进行版本回溯与问题定位，在实际的生产工作中对于运维人员进行系统维护和设备状态监控等活动有着至关重要的指导作用；其中，在进行版本回溯与问题定位时就涉及到了数据溯源技术。
3.关于数据溯源技术目前国内外的研究都主要集中在学术界，随着大数据的技术的成熟，数据共享成为挖掘数据价值的重要途径，数据溯源的研究也为大众所知。示例性的，bower s等人指出目前数据安全溯源方面面临的技术问题，并提出安全、可信的溯源需要为溯源记录提供完整性、机密性和可用性保障；在数据溯源模型的研究上，sudha等人提出w7模型；随后于2006年国际溯源和标注组织(international provenance and annotation workshop，ipaw)成立，致力于研究数据溯源相关技术及其标准化；2008年，sahoo等人提出provenir数据溯源模型，该模型主要针对数据库数据溯源，形成了涵盖数据存储到上层业务的完整体系；2012年，第四届ipaw会议，提出prov数据模型(prov-dm)，prov是目前较通用的数据溯源模型；yogesh的论文认为数据溯源一种用于跟踪数据演变过程的元数据，并据此提出了数据溯源的分类标准，将数据溯源分为四类，强调数据溯源的重要性。然而，目前传统的数据溯源采用的是集中式的溯源系统，存在单点系统具备的不可靠性；另外在数据溯源模型上，目前关于数据的溯源模型缺乏统一的标准，给数据平台间的信息整合分析增加了困难。基于上述现有溯源技术的缺陷可知，目前基于现有溯源技术的调控云广域数据交互日志审计方法也存在可靠性较差以及权威性较低的缺陷。
4.综上，目前电力调度自动化领域正在积极建设开放共享的数据生态，以进一步推进大数据及人工智能的落地应用；其中，在调度自动化生产系统中，数据重要性及私密性程度较高，跨地域跨部门的数据共享业务中除了需要对数据加密传输外，数据操作日志的记录也极为必要，目前的调控云广域数据交互日志审计方法不能满足可靠性要求，亟需一种新的基于多元日志数据分析的日志审计方法及系统。


技术实现要素：

5.本发明的目的在于提供一种基于多元日志数据分析的日志审计方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明提供的日志审计方法，采用基于区块链的广域数据交互日志溯源技术，可避免人工干预，具有较高的可靠性及权威性。
6.为达到上述目的，本发明采用以下技术方案：
7.本发明第一方面提供的一种基于多元日志数据分析的日志审计方法，包括以下步骤：
8.获取日志数据分析目标；
9.基于所述日志数据分析目标，利用基于区块链的日志存证、溯源方法，对分布于国分、省地两级的关联服务进行多元日志数据源定位，获得广域日志；
10.将所述广域日志中非结构化、半结构化的原始日志记录解析成结构化形式，并与所述广域日志中结构化的原始日志记录组合，形成结构化数据日志记录；
11.基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计。
12.本发明的进一步改进在于，所述获取日志数据分析目标的步骤具体包括：基于预设的业务需求和调控云服务类型，获得日志数据分析目标。
13.本发明的进一步改进在于，所述利用基于区块链的日志存证、溯源方法中：
14.所述区块链为联盟链；
15.所述区块链存储有预构建的适用于区块链的调控模型数据溯源模型信息；其中，所述预构建的适用于区块链的调控模型数据溯源模型基于prov建立，包括：实体、活动和代理；
16.所述实体描述的对象为数据交互操作，所述数据交互操作形式化描述为，数据交互操作＝(数据摘要，交互id，发起端，操作名，扩展字段)；式中，数据摘要是数据交互操作所操作的数据的数据摘要，交互id用于作为交互发起方的唯一标识符；
17.所述活动形式化描述为，活动＝(活动类型，活动代理，扩展字段)；式中，活动类型用于指定数据操作类型，活动代理字段用于与该活动关联的代理，扩展字段用于功能扩展；
18.所述代理形式化描述为，代理＝(代理类型，代理id，扩展字段)；
19.日志存证过程中，基于预设的操作日志溯源合约实现上链；
20.日志溯源过程中，基于预设的操作溯源验证合约实现查询。
21.本发明的进一步改进在于，所述日志存证过程中，基于预设的操作日志溯源合约实现上链的步骤具体包括：
22.在客户端发起广域数据交互时，广域数据交互中间件触发操作日志溯源合约开展操作日志上链记录，形成操作日志溯源链；
23.其中，所述操作日志溯源合约封装有put、delete、update和query操作，用于数据增删改查不同情况下的调用；put操作表示远程数据交互操作为新增数据，delete操作表示远程数据交互操作为删除数据，update操作表示远程数据交互操作为更改，query操作表示远程数据交互操作为查询；
24.所述操作日志溯源链的链式结构由节点组成；每个节点均包括节点头和节点体，节点头存储交互操作数据内容的hash值，节点体包括交互id、活动、代理、源端和前向指针；其中，源端字段用于存储操作用户的中文名称，前向指针用于保存上一节点的头hash。
25.本发明的进一步改进在于，所述日志溯源过程中，基于预设的操作溯源验证合约实现查询的步骤具体包括：
26.以指定数据内容的hash值为参数，自所述操作溯源验证合约预设的接口输入，实现对操作日志溯源链的历史版本查询。
27.本发明的进一步改进在于，所述区块链采用超级账本项目下的fabric联盟链平台实现。
28.本发明的进一步改进在于，所述基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计的步骤具体包括：
29.将所述结构化数据日志记录输入预构建的基于自注意力机制的日志序列异常检测模型中，通过日志序列异常检测模型输出结果形成审计报告，完成基于多元日志数据分析的日志审计；
30.其中，所述日志序列异常检测模型将日志模板序列建模为自然语言序列，以基于神经网络训练的词嵌入作为输入；所述日志序列异常检测模型设置有堆叠lstm层，用于提取日志序列的隐含模式，所述日志序列异常检测模型设置有自注意力层，用于通过计算一个序列中日志之间的相似度来表示其依赖关系。
31.本发明第二方面提供的一种基于多元日志数据分析的日志审计系统，包括：
32.分析目标获取模块，用于获取日志数据分析目标；
33.广域日志获取模块，用于基于所述日志数据分析目标，利用基于区块链的日志存证、溯源方法，对分布于国分、省地两级的关联服务进行多元日志数据源定位，获得广域日志；
34.结构化数据日志记录获取模块，用于将所述广域日志中非结构化、半结构化的原始日志记录解析成结构化形式，并与所述广域日志中结构化的原始日志记录组合，形成结构化数据日志记录；
35.审计报告获取模块，用于基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计。
36.本发明第三方面提供的一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明任一项上述基于多元日志数据分析的日志审计方法的步骤。
37.本发明第四方面提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明任一项上述基于多元日志数据分析的日志审计方法的步骤。
38.与现有技术相比，本发明具有以下有益效果：
39.本发明提供的日志审计方法，采用基于区块链的广域数据交互日志溯源技术，可避免人工干预，具有较高的可靠性及权威性。
40.本发明中，首先对广域数据交互模型进行建模(示例性的，模型建立在prov标准模型基础之上)；其次利用区块链底层分布式账本与其可编程性实现该数据溯源模型，实现数据交互动作日志的记录；最后利用区块链智能合约技术实现日志的自动触发上链。原理性解释的，区块链的不可篡改性可保证数据交互日志的不可抵赖性，提高可靠性；利用区块链智能合约技术实现日志的自动触发上链，可避免人工干预，提升交互日志的权威性。
41.本发明中，日志序列异常检测模型通过把正常日志序列模式输入模型进行训练，能检测出未知的执行工作流序列异常；示例性实验结果表明，该检测模型用于日志序列异常检测的总体准确率优于己有方法，且具有较低的时间开销。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明实施例的一种基于多元日志数据分析的日志审计方法的流程示意图；
44.图2是本发明实施例中，调控云总体架构示意图；
45.图3是本发明实施例中，调控云数据体系划分示意图；
46.图4是本发明实施例的又一种基于多元日志数据分析的日志审计方法的流程示意图；
47.图5是本发明实施例中，适用于区块链的调控模型数据溯源模型的示意图；
48.图6是本发明实施例中，基于区块链的数据溯源架构示意图；
49.图7是本发明实施例中，数据溯源单链表示意图；
50.图8是本发明实施例中，操作日志溯源合约协作流程示意图；
51.图9是本发明实施例中，操作日志溯源链的基本结构示意图；
52.图10是本发明实施例的一种基于多元日志数据分析的日志审计系统的示意图。
具体实施方式
53.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
54.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
55.下面结合附图对本发明做进一步详细描述：
56.实施例1
57.请参阅图1，本发明实施例的一种基于多元日志数据分析的日志审计方法，包括以下步骤：
58.获取日志数据分析目标；
59.基于所述日志数据分析目标，利用基于区块链的日志存证、溯源方法，对分布于国分、省地两级的关联服务进行多元日志数据源定位，获得广域日志；
60.将所述广域日志中非结构化、半结构化的原始日志记录解析成结构化形式，并与
所述广域日志中结构化的原始日志记录组合，形成结构化数据日志记录；
61.基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计。
62.本发明实施例提供的日志审计方法，采用基于区块链的广域数据交互日志溯源技术，可避免人工干预，具有较高的可靠性及权威性。
63.实施例2
64.目前，随着调控云建设的进一步深化，调控云已经成为调度自动化系统的数据汇集中心，跨地域部署的调控云各节点之间的数据交互也愈加紧密；调度自动化系统数据的私密性与准确性要求都较高，调控云采取国分调、省地调两级部署模式在本质上要求两级节点之间的数据及业务交互具备高度的安全性与可靠性，需要避免广域数据交互中的数据泄露与数据篡改。本发明实施例旨在利用数据溯源及区块链技术，研究适用于两级调控云广域数据交互日志的数据溯源技术，实现广域数据交互日志的可信记录与溯源；具体的，本发明的方法采用基于区块链的广域数据交互日志溯源技术，首先基于数据溯源相关研究课题的溯源模型对广域数据交互过程建模，其次通过区块链技术实现该数据溯源模型，实现数据交互动作日志的记录；最后利用区块链智能合约技术实现该日志的自动触发上链，避免人工干预，进一步提升交互日志的权威性。
65.请参阅图2，图2示出了调控云总体架构；具体的，调控云是面向电网调度业务的分析决策中心，旨在打通电网调度各专业间数据壁垒，整合电网模型、运行、实时等各类数据，实现电网数据安全共享，提升电网认知、分析与决策能力，保障特高压交直流混联大电网安全运行，支撑清洁能源消纳和市场化改革。调控云整体设计为两级结构，分为主导节点与协同节点，每个节点构建双活ab站点；其中，主导节点部署在国调，协同节点部署在每个省级调控中心。
66.请参阅图3，图3示出了调控云数据体系划分；具体的，调控云构建有模型数据平台、运行数据平台、实时数据平台、大数据平台用于汇聚业务系统的各类数据；同时建设有数据交换平台作为调控云与外部其他系统之间数据交换的中枢。在调控云内部，各数据平台的数据并不是孤岛，运行数据平台的数据由实时数据平台采集而来，大数据平台存储的历史数据与运行数据平台存储的数据也有重叠。各业务系统的数据按照业务需求汇集到平台中，通过数据交换平台对外共享，通过广域数据交互组件进行两级调控云的数据交互。本发明针对数据交互过程中的各类操作，在调控云“数据共享”理念的前提下，对数据交互的整个过程进行追踪和溯源，保障数据质量，管控关键环节。
67.请参阅图4，本发明实施例的一种基于多元日志数据分析的日志审计方法，具体针对调控云上广域日志的特有结构特点将日志审计拆分成以下几个关键步骤，包括：
68.(1)业务分析，包括：结合日常工作业务需求和调控云具体服务类型(例如，一致性校验、元数据等)，确定日志数据分析的目标。
69.(2)日志数据源定位，包括：利用基于区块链的日志存证、溯源技术对分布于国分、省地两级的关联服务进行定位。
70.解释性的，数据溯源技术的关键在围绕数据主体完成形式化的数据溯源模型描述，模型具体定义了数据溯源的功能边界，即要追溯数据的哪些信息，追踪数据的哪些操作，以何种形式存储这些“元数据”。不同的业务场景中使用数据的方式也不相同，因此有必
要针对调控模型数据及涉及的具体业务进行建模，以满足实际的数据溯源需求。请参阅图5，调控云体系结构提出了广域数据交互的需求，在广域的数据交互中，数据本体安全及数据操作安全是决定数据质量的关键，通过对广域数据交互的日志进行记录可以在很大程度上进行版本回溯与问题定位。本发明实施例基于数据溯源的prov标准，面向两级调控云体系，提出了基于区块链(联盟链)的操作日志数据溯源模型；同时进一步基于区块链智能合约对操作日志溯源模型进行了实际构造，设计了两个协同工作的智能合约完成操作日志上链记录与操作日志验证。本发明还利用可区块链本身在成员管理、分布式共识等方面的特点防止了恶意用户/恶意合约对数据进行篡改的可能，保证操作日志溯源历史的可靠性。
71.本发明实施例的区块链存储有预构建的适用于区块链的调控模型数据溯源模型信息；其中，所述预构建的适用于区块链的调控模型数据溯源模型基于prov建立，包括：实体、活动和代理。本发明实施例主要是针对广域数据交互动作的溯源，数据实体所描述的对象也就是“数据交互”这个操作本身；其中，将“数据交互操作”抽象为一个对象如下：数据交互操作＝(数据摘要，交互id，发起端，操作名，扩展字段)；其中，数据摘要是本数据交互操作所操作的数据的数据摘要，用于后期分析操作日志时快速定位数据；交互id交互发起方的唯一标识符，source标记了数据交互发起方中文名，便于人工识别，ext字段用于将来功能扩展。广域数据交互时的活动(activity)，可采取相同的方式描述为如下结构：活动＝(活动类型，活动代理，扩展字段)；其中，活动类型指定了本次操作属于那种操作，包括：数据的增、删、改、查等，活动代理字段用于与该活动关联的代理，扩展字段用于将来功能扩展。代理的建模较为简单，通常发起广域数据交互的主体主要包括2类，为生产系统和业务系统；生产系统主要对数据的操作主要是“增”，业务系统对数据的操作主要包括“删、改、查”，业务系统也会新增自己的业务数据；还可能存在人为干预数据的过程，比如运维人员手动维护数据，因此对代理建模主要考虑代理类型及代理标识，形式化描述如下：代理＝(代理类型，代理id，扩展字段)；实体在主体进行了某种活动后，状态发生变化，通过不同的代理不断的发起活动，形成一条单链表，如图5所示，利用某一节点实体的状态可以向前追溯实体的完整变化过程。本发明实施例示例性的，采用区块链对数据溯源模型中实体、活动、代理等信息进行存储。区块链分布式账本存储的数据是全局一致与不可篡改的，保证了数据溯源证据的安全可信；同时，利用智能合约技术实现数据溯源过程的自动化执行。
72.请参阅图6，基于上述的数据溯源模型，本发明实施例中设计了操作日志溯源、操作溯源验证两个智能合约协同完成工作，分别完成日志溯源元数据上链、溯源过程查询工作。操作日志溯源合约与用户程序直接交互，在客户端(可能是人工，也可能是程序)发起广域数据交互时，广域交互的中间件会触发操作日志溯源合约开展操作日志上链记录。联盟链智能合约只提供了基本的put与get操作，为进一步提供友好的数据读写接口，按照业务数据的常用模式，操作日志溯源合约封装了put、delete、update、query操作用作数据增删改查不同情况下的调用，广域数据交互中间件以json的形式将操作数据的数据摘要、应用id、操作名等传递给智能合约。智能合约被触发开始执行后，首先进行身份验证，通过验证后即调用智能合约内部的同名接口函数完成操作并返回给操作发起方；其中，操作日志溯源合约内设计了put、delete、update、query四个接口，通过这些操作完成操作日志溯源链条的构建，该溯源链结构如图7所示。
73.对操作日志溯源链的四个操作，功能说明如下：
①
put操作表示远程数据交互操作
为新增数据，会同步初始化一个新的操作日志溯源链，即一个初始化头节点；
②
delete操作表示远程数据交互操作为删除数据，对于操作日志溯源链来讲，数据删除后溯源链不再增长；
③
update操作表示远程数据交互操作为更改，对于操作日志溯源链来说，update操作会延长溯源链；
④
query操作表示远程数据交互操作为查询，对于操作日志溯源链来说，query操作会延长溯源链。
74.请参阅图7，操作日志溯源的链式结构由节点组成，每个节点包括节点头(header)和节点体(body)。节点头存储了交互操作数据内容的hash值，可快速索引到实际的数据；节点体包含应用id、动作、代理、源端、前向指针五项内容。其中，应用id是发起操作的应用或人的唯一标识符；动作表示本次对数据执行的操作；代理表示发起动作的用户名，源端字段存储本次操作用户的中文名称；前向指针保存上一节点的头hash，用于数据溯源时历史追溯。
75.示例性的，按照区块链网络开放的形态可将区块链分为三类：公有链、联盟链和私有链；其中，公有链最先出现并作为数字货币比特币的基础技术不断发展。公有链的网络对所有用户开放，是“完全去中心化”的，遵守既定网络协议的客户端可以随意加入或退出网络；私有链的操作管理权限完全从属于拥有者个人，在业务模式上是“完全中心化”的，私有链与公有链区别可类比为互联网(internet)与内联网(intranet)的区别；联盟链的开放程度介于公有链与私有链之间，其是“多中心化”的，联盟链的操作管理权限属于联盟内的多个机构，结构内部又区分了管理用户与普通用户，可以对加入网络的节点进行准入控制。联盟链具备区块链的共识机制及信任模型，同时还具备权限可控，性能优良的特点，适用于企业内部跨部门或跨企业间的使用，这是本发明选用联盟链做为原型实现的重要原因。解释性的，电网调控属于一个需要统筹全局的业务，调控数据更是来源多样且散落在各级调度机构与各部门，这就同时提出了数据共享及权限控制的要求，而数据的准确性和可靠性则利用区块链的信任模型来保证，联盟链技术正是为了满足上述需求发展而来的。
[0076]“智能合约”(smart contract)这个术语是由跨领域法律学者尼克
·
萨博(nick szabo)在1995年提出来的。他定义智能合约是“一套以数字形式定义的承诺(promises)，包括合约参与方可以在上面执行这些承诺的协议”。2009年开始，智能合约概念逐渐在以太坊、hyperledger等代表区块链2.0的技术框架上得以实践应用。智能合约是运行在区块链系统上的一段程序，由区块链保证智能合约内容的不可篡改及智能合约执行结果的不可篡改性。智能合约的出现赋予了区块链的可编程特性，使得区块链提供的信任模型更具通用性而不只局限于数字货币。本发明实施例中，设计了基于区块链的广域数据交互日志溯源模型，同时利用区块链智能合约设计并实现了一组可自动触发的智能合约程序，减少交互日志记录过程的人工干预。基于区块链的数据交互日志溯源技术首先完成数据溯源模型的设计，其次按照数据溯源模型设计智能合约组并部署到区块链上执行，广域交互应用程序在进行数据交互式需要调用智能合约接口进行操作日志记录。联盟链智能合约技术保证数据的每一步操作都是经过授权的；保证任何交互操作一旦完成触发日志记录合约执行，并写入区块链账本。
[0077]
请参阅图8和图9，本发明实施例中，采用超级账本项目下的fabric联盟链平台实现，用户在广域数据交互时，会触发操作日志初始化程序，开始在区块链上进行操作日志记录。本发明实施例中，操作日志记录写入区块链的步骤包括：首先，基于联盟链特有的身份
认证和权限控制机制完成准入控制，fabric采用公钥基础设施(public key infrastructure，pki)体系为成员生成数字证书以标识用户身份，采用模块化的成员管理服务(membership service provider，msp)组件进行身份认证和权限控制；其次，验证用户身份后在智能合约层完成数据交互，智能合约层设计了操作日志溯源、操作溯源验证两个合约协同完成工作，其中操作日志溯源合约由广域交互程序发送数据时调用，并完成操作日志写入，操作溯源验证合约用于以id为索引对指定id用户的数据操作记录进行回溯与验证；分布式账本的写入过程及多点存储保证了这些操作记录都是可靠的。
[0078]
操作溯源验证合约对接应用层可视化工具或其他相关应用，该合约提供了接口用于对操作日志溯源链进行查询，功能主要包括当前版本查询及历史回溯，可以指定数据内容的hash值为参数，当前版本查询功能返回数据最近的一次操作信息，历史回溯功能返回对该数据近n次的版本进行回溯，返回数据变更历史，n作为参数传入调用接口。利用联盟链的权限控制机制，操作溯源验证合约可根据需要开放给用户，智能合约执行前要先进行身份认证，认证通过才能进行实际的接口调用，获得所需数据。
[0079]
(3)日志解析，包括：通过日志模板提取方法，把每条非结构化、半结构化的原始日志记录解析成结构化形式。
[0080]
(4)日志异常检测诊断，主要是建立异常检测模型并分析产生异常的原因，为研发人员进行系统和应用服务管理提供重要参考。基于系统历史异常数据，采用数据分类、数据分析和数据挖掘等人工智能算法，建立系统历史异常、当前运行状态与未来潜在异常情况之间的关系，实现对调控云系统异常的预测；根据系统各应用服务的访问日志记录，对系统局部及整体的运行状态做出判断，实现当前系统异常的监测，同时预测未来系统故障或应用服务故障的发生。最终，形成的相关审计结论一方面为调控云研发人员进行工程消缺和日程运维提供辅助策略，保障应用服务访问安全稳定运行；另一方面为制定科学合理的维护计划和应急响应措施提供依据，以达到降低应用服务访问中异常事件发生概率，缩短异常事件处理时间的目的，达到提前预测数据、服务或系统异常的效果。
[0081]
示例性的，本发明提出了一种基于自注意力机制的日志序列异常检测模型，该模型能够有效检测较短日志序列中的异常，模型把日志模板序列建模为自然语言序列，以基于神经网络训练的词嵌入作为异常检测模型的输入，这样能够表现日志模板在当前日志序列中的语义规则，又实现降维的目的，加速整个模型的运算效率。模型中的堆叠lstm层有效提取日志序列的隐含模式，自注意力层通过计算一个序列中日志之间的相似度来表示其依赖关系，能更好地学习到一个序列的内部结构。异常检测模型通过把正常日志序列模式输入模型进行训练，能检测出未知的执行工作流序列异常。实验结果表明，该检测模型用于日志序列异常检测的总体准确率优于己有方法，且具有较低的时间开销。
[0082]
综上所述，日志审计是指通过集中采集信息系统中的系统安全事件、用户访问记录、系统运行日志和系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理后，以统一格式的日志形式进行集中存储和管理，结合丰富的日志统计汇总及关联分析功能，实现对信息系统日志的全面审计。本发明中，从业务范围、时间维度、网络安全、运维需求等多维度收集多元日志数据，利用收集的服务访问日志进行数据驱动的相关性建模，建立基于智能算法的日志异常检测模型，进行数据多维分析和挖掘，追踪多并行应用服务的内在联系的影响，实现缺陷故障的统一管理、隐患分析、故障定位、安全预警等分析及故障
的事前预防和事后分析。本发明技术方案的核心发明点包括：(1)首先对广域数据交互模型进行建模，利用区块链底层分布式账本与其可编程性实现该数据溯源模型，区块链的不可篡改性保证了数据交互日志的不可抵赖性，防止了恶意用户/恶意合约对数据进行篡改的可能，保证操作日志溯源历史的可靠性。(2)利用区块链智能合约技术实现该日志的自动触发上链，避免人工干预，进一步提升交互日志的权威性。(3)基于系统历史异常数据，采用数据分类、数据分析和数据挖掘等人工智能算法，通过日志存证、日志溯源建立系统历史异常、当前运行状态与未来潜在异常情况之间的关系，实现对调控云系统异常的预测。(4)本发明基于区块链的广域数据交互日志存证及审计技术，基于数据溯源的prov标准提出了基于区块链(联盟链)的应用服务日志数据溯源模型，同时进一步基于区块链智能合约对应用服务日志溯源模型进行了实际构造，设计了两个协同工作的智能合约完成应用服务日志上链存证与应用服务日志溯源。
[0083]
实施例3
[0084]
下述为本发明的装置实施例，可以用于执行本发明方法实施例；对于装置实施例中未纰漏的细节，请参照本发明方法实施例。
[0085]
请参阅图10，本发明实施例的一种基于多元日志数据分析的日志审计系统，包括：
[0086]
分析目标获取模块，用于获取日志数据分析目标；
[0087]
广域日志获取模块，用于基于所述日志数据分析目标，利用基于区块链的日志存证、溯源方法，对分布于国分、省地两级的关联服务进行多元日志数据源定位，获得广域日志；
[0088]
结构化数据日志记录获取模块，用于将所述广域日志中非结构化、半结构化的原始日志记录解析成结构化形式，并与所述广域日志中结构化的原始日志记录组合，形成结构化数据日志记录；
[0089]
审计报告获取模块，用于基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计。
[0090]
实施例4
[0091]
本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于多元日志数据分析的日志审计方法的操作。
[0092]
实施例5
[0093]
本发明再一个实施例中，提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然
也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于多元日志数据分析的日志审计方法的相应步骤。
[0094]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0095]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0096]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0097]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0098]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。