一种面向航空发动机的数据湖仓一体化管理方法及系统与流程
本发明涉及航空发动机分析,具体是一种面向航空发动机的数据湖仓一体化管理方法及系统。
背景技术:
1、当前,航空发动机数据湖仓管理普遍采用基于时间序列存储、冷热分层存储以及全文检索相结合的技术架构,以适应多源异构传感数据的快速入库与基础查询需求。然而,该类现有系统在实际工程应用中暴露出若干难以克服的局限。
2、现有管理系统对数据价值的判断维度单一,通常以数据的生成时间新旧、被访问的频率高低或被查询的时间邻近性作为存储布局的唯一依据。这种策略忽视了数据本身所蕴含的行为模式价值,即同一份数据可能因其记录的变化过程具有典型性或与其它测点变化存在强耦合关联而具有远超新近数据的分析价值。当高频次访问集中于某一类行为模式的数据时,传统冷热分层机制无法将同模式关联的数据聚集存放,导致查询时仍需跨区扫描,降速明显。更为根本的是,此类价值评估完全脱离数据的物理含义和逻辑结构,仅停留在统计层面的热度计量,难以识别出对发动机工况分析真正具有逻辑支撑作用的关键数据片段。
3、所以,本发明公开一种面向航空发动机的数据湖仓一体化管理方法及系统以解决上述问题。
技术实现思路
1、本发明的目的在于提供一种面向航空发动机的数据湖仓一体化管理方法及系统,以解决现有技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:一种面向航空发动机的数据湖仓一体化管理方法,该方法包括如下步骤:
3、s1:接收发动机各测点的连续监测数据,对监测数据分析相邻差值,并进行趋势标记;累计达有效趋势持续数量阈值为有效趋势标记段,否则为非实质性扰动区段并合并处理;生成标记映射关系表;
4、s2:获取各测点的标记映射关系表,统计同一测点内相邻符号的转移频次以及不同测点间同时段趋势标记的共现频次,构建有向加权标记转移网络;搜索闭合路径,生成候选逻辑规则;分组保留最高频次构建核心逻辑规则集,并回溯数据块标识列表;
5、s3:接收核心逻辑规则集及覆盖的数据块标识,分析每条规则的逻辑价值系数;依据逻辑价值系数将原始数据块进行分配储存;
6、s4:解析用户输入的查询条件,生成目标趋势类别串,基于摘要索引定位包含目标趋势类别串的规则并获取对应的数据块标识,根据存储分布记录拉取原始数值,分析查询的模式命中率,更新对应规则的前件覆盖广度。
7、在s1中,包括以下内容:
8、s101:对航空发动机任一测点在预设时间窗口内产生的连续采样数值序列,依次计算相邻两个采样点之间的数值差值,将数值差值作为对应局部区段的一阶变化度量;依据所述一阶变化度量的正负性或零值状态,对相邻两点间局部区段的变化趋势进行初步标记;
9、对连续且初步标记相同的局部区段,统计连续区段中局部区段的累计数量;
10、若所述累计数量达到或超过有效趋势持续数量阈值,则将对应连续区段判定为有效趋势标记段;若所述累计数量低于有效趋势持续数量阈值,则判定对应连续区段为非实质性扰动区段,并将非实质性扰动区段的所有标记按照采样时间的先后顺序进行合并处理;
11、所述合并处理具体为:优先将非实质性扰动区段合并至其前向相邻的有效趋势标记段中;若非实质性扰动区段位于整个序列的起始位置且不存在前向有效趋势标记段,则合并至其后向相邻的有效趋势标记段中;非实质性扰动区段合并后采用有效趋势标记段对应的趋势标记;
12、s102:统计每个有效趋势标记段内所包含的采样点个数,将采样点个数作为有效趋势标记段的持续时长属性;分析有效趋势标记段内终止采样点数值与起始采样点的原始传感数值之差的绝对值,将绝对值作为有效趋势标记段的幅值变化量属性;
13、将有效趋势标记段的起始时刻、趋势标记、持续时长属性以及幅值变化量属性进行结构化关联,生成测点的标记映射关系表;所述标记映射关系表以起始时刻作为主键索引;每个有效趋势标记段所对应的原始数值连续区间定义为一个数据块,并生成唯一标识符,存入对应测点的标记映射关系表;
14、本技术通过“连续相同标记数量达到阈值才判定为有效趋势标记段”的规则,滤除了传感器噪声和随机波动造成的伪趋势,仅保留物理意义上真实的持续变化过程,提高了符号化的鲁棒性;
15、通过将扰动段合并至相邻有效段的规则,确保了符号序列在时间轴上的连续覆盖性和完整性,不存在“无法归类”的孤点区间,为后续数据块划分提供了无缝隙的原始序列分段基础。
16、在s2中,包括以下内容:
17、s201:提取每一个测点的标记映射关系表,对同一测点内的趋势标记序列,按照时间递增顺序依次遍历趋势标记序列中所有相邻且互异的趋势标记对;对于每一组趋势标记对,记录从前一趋势标记转移至后一趋势标记的一次发生事件,通过累加方式统计每一种趋势标记对的出现总次数,将总次数作为物测点内部的自转移频次;以当前趋势标记作为行索引、相邻的下一趋势标记作为列索引,构建测点的局部自转移频次矩阵;
18、对任意两个不同的测点构建的测点组,逐一扫描两个测点的标记映射关系表中的每一个有效趋势标记段,对于第一测点中的有效趋势标记段与第二测点中的有效趋势标记段,分别提取两者的起始时刻和持续时长,若两者在时间窗口宽度内存在任意时间重叠,则将两个趋势标记的组合记录为一次跨测点共现事件;遍历全部测点组合及全部有效趋势标记段组合后,统计每一种趋势标记组合所对应的跨测点共现事件出现总次数,将总次数作为趋势标记组合的交叉共现频次;
19、以测点和趋势标记的二元组作为独立节点,将自转移频次作为同一测点内相邻节点之间有向边的权重,将交叉共现频次作为不同测点的节点之间有向边的权重,构建有向加权标记转移网络;
20、s202:在有向加权标记转移网络中,依次以每一个节点作为搜索起点,沿节点出发的各个有向边方向进行路径扩展,生成闭合路径;
21、在每一步扩展时,仅选择当前节点所连接的所有有向边中权重值排名处于前两位的边作为优先搜索分支;按照深度优先策略向前遍历,设定搜索路径长度的预设上限值;在遍历过程中,持续监测当前拓展路径的首个趋势标记与末端趋势标记;若末端趋势标记在增加一个新节点后与首趋势标记相同,则判定当前拓展路径形成一条闭合路径,立即终止对应分支的进一步扩展;
22、将搜索获得的每一条闭合路径中所包含的全部节点,按照访问顺序提取为一条趋势标记转移序列;将趋势标记转移序列中除末端趋势标记以外的全部前置趋势标记组合作为规则的前件趋势标记串,将末端趋势标记作为规则的后件趋势标记,生成候选逻辑规则;其中,所述前件趋势标记串包含来自同一测点或不同测点的连续演化趋势标记;
23、对全部候选逻辑规则进行分组,将具有相同前件趋势标记串但后件趋势标记不同的所有候选逻辑规则归入同一组内;对每一个分组,统计分组内各候选逻辑规则在对应闭合路径上的原始出现频次,仅保留分组中原始出现频次数值最高的一条候选逻辑规则,删除分组内其余原始出现频次较低的候选逻辑规则;将剩余候选逻辑规则组建核心逻辑规则集;
24、对所述核心逻辑规则集中的每一条有效规则,依据前件趋势标记串和后件趋势标记所对应的有效趋势标记段的起始时刻和终止时刻信息,回溯定位至原始连续数值序列中与有效规则中各个趋势标记段相对应的连续数值区间;将连续数值区间在数据湖仓中的逻辑数据块标识符,形成与有效规则唯一关联的数据块标识列表;
25、本技术通过同时构建“自转移频次矩阵”和“交叉共现频次”,使得所构建的符号转移网络能够同时反映发动机时间演化和部件间耦合两个维度的行为特征,比仅关注单维度关联的现有技术具有更全面的表征能力;
26、通过仅保留“前件相同而后件不同”的候选规则中出现频次最高的规则、删除其余冗余规则的处理方式,消除了规则集中可能存在的逻辑冲突和不一致性,使得核心逻辑规则集具有最小完备性;
27、通过将规则回溯定位至原始数值区间的逻辑数据块标识符列表,建立了“规则层”与“数据层”之间的映射桥梁,使得后续存储和查询操作能够通过规则直接寻址数据,无需重新进行趋势识别。
28、在s3中,包括以下内容:
29、s301:对核心逻辑规则集的每一条有效规则,统计有效规则所关联的数据块标识列表中所包含的数据块总数量;遍历全部有效规则,提取所有有效规则对应数据块总数量的最大值;将各个有效规则的数据块总数量与数据块总数量最大值的比值,记为对应有效规则的前件覆盖广度;
30、对核心逻辑规则集的每一条有效规则,识别出具有相同后件趋势标记的所有有效规则,构成一个后件同组集合;统计后件趋势标记的出现频率,利用出现频率分析对应后件趋势标记的信息熵值,将后件趋势标记的信息熵与最大信息熵的比值视为归一化熵值,用数值1减去归一化熵值,所得差值记为有效的后件确定程度;
31、将前件覆盖广度与后件确定程度的乘积值记为对应有效规则的有效逻辑价值系数;
32、s302:管理员预先配置细粒度保留系数阈值;所述细粒度保留系数阈值由管理员依据发动机型号、数据湖仓的总存储容量、目标检索响应时间以及历史数据分析精度要求等工程因素综合设定;
33、若有效规则的逻辑价值系数大于或等于所述细粒度保留系数阈值,则判定对应有效规则所对应的全部数据块具有第一保留优先级,将对应的全部数据块以原始采样值的完整精度和对应的趋势类别序列存储于预先划分的行存细粒度保留区;在所述细粒度保留区中,每个数据块保留全部时间戳及对应的物理量实测数值;
34、若有效规则的逻辑价值系数小于所述细粒度保留系数阈值,则判定对应有效规则所对应的数据块具有第二保留优先级,将对应的全部数据块的摘要信息进行存储;所述摘要信息包含对应数据块内生成的每个有效趋势标记段的趋势类别序列,以及数据块内各趋势标记段起始点和终止点位置的原始幅值,丢弃数据块中所有中间采样点;将摘要信息存储于预先划分的粗粒度摘要区;
35、建立从趋势类别序列到对应规则标识及存储地址的键值映射,形成摘要索引。
36、本技术通过“前件覆盖广度×后件确定程度”的价值系数公式,实现了对数据块逻辑价值的双重维度量化:广度越高说明该数据块参与的逻辑规则越多,确定程度越高说明该规则的后件越唯一。两者的乘积能够有效识别出“频繁出现且结论明确”的高价值行为模式;
37、通过将高价值数据块以完整精度存储于行存细粒度区,保证了核心行为模式的原始数值完整可回溯,支持精细分析和精确回放;
38、通过建立“趋势类别序列→规则标识及存储地址”的摘要索引,使查询定位从“扫描存储区”变为“键值查找”,降低查询复杂度。
39、在s4中,包括以下内容:
40、s401:接收用户提交的查询请求,所述查询请求包括纯符号趋势描述、数值范围条件或自然语言语义描述中的任一种或组合;对所述查询请求进行语法解析与类型识别;根据识别出的查询类型执行相应的模式转化操作,生成目标趋势类别串;
41、s402:将所述目标趋势类别串作为检索键与摘要索引进行匹配操作;
42、匹配操作具体为:执行精确匹配,若精确匹配成功,则提取匹配到的所有规则标识及关联的覆盖数据块标识列表;若精确匹配无结果,则启动模糊匹配策略,将目标趋势类别串拆分为若干子片段并与摘要索引中的各趋势类别序列进行最长公共子序列相似度比对,按相似度降序返回匹配结果;最终获得一个或若干个匹配规则,以及每个匹配规则所对应的覆盖数据块标识列表;
43、对数据块标识列表中的每一个数据块标识,并行地查询对应存储分布记录,确定每个数据块所属的存储区域类型及具体存储地址;
44、若数据块位于细粒度保留区,则直接读取数据块的完整原始采样数值,包括全部时间戳及对应物理量实测值;
45、若数据块位于粗粒度摘要区,则读取数据块所存储的趋势类别序列以及各趋势标记段起始点和终止点位置的原始幅值,并根据用户查询返回所需的数据粒度,对相邻极值点之间的缺失采样点进行线性插值填补;所述线性插值依据相邻极值点的时间差和幅值差,按照预设插值步长均匀插补中间数值点,所述预设插值步长由用户查询时指定的返回点数或默认的采样重现密度决定;
46、s403:记录查询匹配到的趋势标记段总数;同时记录实际返回的趋势标记段数量;将所述实际返回的趋势标记段数量除以所述查询匹配到的趋势标记段总数,所得比值记为本次查询的模式命中率;若全部匹配趋势标记段均成功返回,则模式命中率等于上限值;
47、对本次查询所涉及的所有匹配规则,利用模式命中率对前件覆盖广度进行增量更新;
48、本技术通过对摘要区的数据块进行线性插值填补,使得从摘要区返回的数据在形态上连续可读,用户无法感知到数据来源于细粒度区还是摘要区,实现了“存储异构、查询同构”的透明访问效果。
49、一种面向航空发动机的数据湖仓一体化管理系统,所述系统应用于上述的一种面向航空发动机的数据湖仓一体化管理方法实现,该系统包括数值序列符号化模块、转移网络规则分析模块、价值分析储存模块和匹配查询更新模块;
50、所述数值序列符号化模块用于接收发动机各测点的连续监测数据,对监测数据分析相邻差值,并进行趋势标记;累计达有效趋势持续数量阈值为有效趋势标记段,否则为非实质性扰动区段并合并处理;生成标记映射关系表;
51、所述转移网络规则分析模块用于获取各测点的标记映射关系表,统计同一测点内相邻符号的转移频次以及不同测点间同时段趋势标记的共现频次,构建有向加权标记转移网络;搜索闭合路径,生成候选逻辑规则;分组保留最高频次构建核心逻辑规则集,并回溯数据块标识列表;
52、所述价值分析储存模块用于接收核心逻辑规则集及覆盖的数据块标识,分析每条规则的逻辑价值系数;依据逻辑价值系数将原始数据块进行分配储存;
53、所述匹配查询更新模块用于解析用户输入的查询条件,生成目标趋势类别串,基于摘要索引定位包含目标趋势类别串的规则并获取对应的数据块标识,根据存储分布记录拉取原始数值,分析查询的模式命中率,更新对应规则的前件覆盖广度。
54、所述数值序列符号化模块包括趋势分析单元和属性映射单元;
55、所述趋势分析单元用于对航空发动机任一测点在预设时间窗口内产生的连续采样数值序列,依次计算相邻两点数值差值作为一阶变化度量;依据一阶变化度量正负或零值,进行趋势标记;连续且初步标记相同的区段累计数量达到有效趋势持续数量阈值时判定为有效趋势标记段;低于阈值者判定为非实质性扰动区段,将非实质性扰动区段合并至前向相邻有效趋势标记段或后向相邻有效趋势标记段,合并后采用有效趋势标记段对应的趋势标记;
56、所述属性映射单元用于统计每个有效趋势标记段内包含的采样点个数作为持续时长属性,计算有效趋势标记段内终止采样点数值与起始采样点的原始传感数值之差的绝对值作为幅值变化量属性;将有效趋势标记段的起始时刻、趋势标记、持续时长属性和幅值变化量属性结构化关联,生成测点的标记映射关系表,以起始时刻为主键索引,每个有效趋势标记段对应的原始数值连续区间定义为数据块并生成唯一标识符存入标记映射关系表;
57、所述转移网络规则分析模块用于转移网络构建单元和路径扩展规则分析单元;
58、所述转移网络构建单元提取每一测点的标记映射关系表,遍历同一测点内相邻且互异的趋势标记对,累加每一趋势标记对的出现总次数作为自转移频次,构建测点的局部自转移频次矩阵;对任意两测点,扫描两者有效趋势标记段,若时间重叠则记录跨测点共现事件,累加趋势标记组合的交叉共现频次;以测点和趋势标记的二元组为节点,自转移频次和交叉共现频次分别为有向边权重,构建有向加权标记转移网络;
59、所述路径扩展规则分析单元用于在有向加权标记转移网络中,以每一节点为搜索起点,沿权重值排名前两位的有向边方向进行深度优先路径扩展,设定搜索路径长度预设上限值,监测闭合路径时终止扩展;将闭合路径中节点按访问顺序提取为趋势标记转移序列,以前件趋势标记串和后件趋势标记生成候选逻辑规则;对相同前件不同后件分组,保留原始出现频次最高者组建核心逻辑规则集,并回溯定位至原始连续数值序列中与有效规则中各个趋势标记段相对应的连续数值区间,将连续数值区间在数据湖仓中的逻辑数据块标识符形成数据块标识列表;
60、所述价值分析储存模块包括价值系数分析单元和分区存储单元;
61、所述价值系数分析单元用于对核心逻辑规则集的每一条有效规则,统计其数据块标识列表中的数据块总数量,以各有效规则数据块总数量与全局最大值的比值作为前件覆盖广度。对具有相同后件趋势标记的所有有效规则构成后件同组集合,分析后件趋势标记的出现频率计算信息熵值并归一化,生成后件确定程度;将前件覆盖广度与后件确定程度的乘积作为有效逻辑价值系数。
62、所述分区存储单元用于将有效逻辑价值系数大于或等于阈值者判定为第一保留优先级,将对应全部数据块以原始采样值的完整精度和趋势类别序列存储于行存细粒度保留区;小于阈值者判定为第二保留优先级,将对应全部数据块的摘要信息存储于粗粒度摘要区,摘要信息包含趋势类别序列及各趋势标记段起始点和终止点位置的原始幅值并丢弃中间采样点,同时建立从趋势类别序列到规则标识及存储地址的键值映射形成摘要索引;
63、所述匹配查询更新模块包括查询解析单元、分区数据访问单元和数据更新单元;
64、所述查询解析单元用于接收用户提交的查询请求,进行语法解析与类型识别;纯符号趋势描述直接映射为对应的趋势标记;数值范围条件依据分位位置和变化速率映射为相应连续个数的趋势标记;自然语言描述通过语义关键词映射表转换为标准趋势符号序列,最终生成目标符号模式串;
65、所述分区数据访问单元用于以目标符号模式串为检索键,在摘要索引中执行精确匹配;若成功则提取匹配规则及覆盖数据块标识列表,若失败则启动最长公共子序列相似度模糊匹配并按相似度降序返回结果;对数据块标识列表中的每一标识并行查询存储分布记录;若位于细粒度保留区则直接读取完整原始采样数值;若位于粗粒度摘要区则读取趋势类别序列及起止点幅值,依据预设插值步长对相邻极值点间进行线性插值填补以返回所需数据粒度;
66、所述数据更新单元用于记录查询匹配到的趋势标记段总数和实际返回的趋势标记段数量,将实际返回数量除以匹配总数作为模式命中率,若全部匹配趋势标记段均成功返回则模式命中率等于上限值;对本次查询涉及的全部匹配规则,以原有前件覆盖广度值加上本次模式命中率乘以预设微小学习速率系数的乘积,所得结果作为规则更新后的前件覆盖广度新值。
67、与现有技术相比,本发明的有益效果是:本技术通过“连续相同标记数量达到阈值才判定为有效趋势标记段”的规则,滤除了传感器噪声和随机波动造成的伪趋势,仅保留物理意义上真实的持续变化过程,提高了符号化的鲁棒性;通过将扰动段合并至相邻有效段的规则,确保了符号序列在时间轴上的连续覆盖性和完整性,不存在“无法归类”的孤点区间,为后续数据块划分提供了无缝隙的原始序列分段基础。
68、本技术通过同时构建“自转移频次矩阵”和“交叉共现频次”,使得所构建的符号转移网络能够同时反映发动机时间演化和部件间耦合两个维度的行为特征,比仅关注单维度关联的现有技术具有更全面的表征能力;通过仅保留“前件相同而后件不同”的候选规则中出现频次最高的规则、删除其余冗余规则的处理方式,消除了规则集中可能存在的逻辑冲突和不一致性,使得核心逻辑规则集具有最小完备性;通过将规则回溯定位至原始数值区间的逻辑数据块标识符列表,建立了“规则层”与“数据层”之间的映射桥梁,使得后续存储和查询操作能够通过规则直接寻址数据,无需重新进行趋势识别。
69、本技术通过“前件覆盖广度×后件确定程度”的价值系数公式,实现了对数据块逻辑价值的双重维度量化:广度越高说明该数据块参与的逻辑规则越多,确定程度越高说明该规则的后件越唯一。两者的乘积能够有效识别出“频繁出现且结论明确”的高价值行为模式;通过将高价值数据块以完整精度存储于行存细粒度区,保证了核心行为模式的原始数值完整可回溯,支持精细分析和精确回放;通过建立“趋势类别序列→规则标识及存储地址”的摘要索引,使查询定位从“扫描存储区”变为“键值查找”,降低查询复杂度;本技术通过对摘要区的数据块进行线性插值填补,使得从摘要区返回的数据在形态上连续可读,用户无法感知到数据来源于细粒度区还是摘要区,实现了“存储异构、查询同构”的透明访问效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com