一种用于生物体的生物信息数据管理系统及方法
本发明涉及生物信息管理,具体而言,涉及一种用于生物体的生物信息数据管理系统及方法。
背景技术:
1、生物信息数据管理是一种通过归集生物体多组学信息、规整数据结构、校验数据内容来完成生物信息数字化管控的技术,可支撑生物体性状解析、物种比对、种质资源信息留存等科研工作,被广泛应用于生物育种、物种进化分析、遗传信息研究领域。
2、传统生物体生物信息数据管理方式中,多组学异构数据的融合规整效果与数据溯源管控能力是影响数据应用价值的关键。然而,传统生物体生物信息数据管理方式难以实现多组学异构数据的统一融合归集,不同类型组学数据格式、注释、计量标准不统一,各组学数据相互独立,无法形成完整的一体化数据维度。同时,传统管理方式缺乏多版本数据迭代归档与全流程溯源管控机制,数据操作轨迹、数据变更信息无法完整留存。
3、因此,有必要设计一种用于生物体的生物信息数据管理系统及方法,用以解决传统生物信息数据管理技术中存在的多组学异构数据无法有效融合、数据全生命周期溯源管控缺失的问题。
技术实现思路
1、鉴于此,本发明提出了一种用于生物体的生物信息数据管理系统及方法,旨在解决传统生物信息数据管理技术中存在的多组学异构数据无法有效融合、数据全生命周期溯源管控缺失的问题。
2、一个方面,本发明提出了一种用于生物体的生物信息数据管理方法,包括:
3、采集生物体多生长周期、多环境条件下的基因组、转录组、蛋白组、代谢组、表型组时序多组学原始数据及全链条元数据,建立原始数据、元数据与实体生物样本的初始绑定关系,完成同步归集存储,形成归集数据集;
4、调取所述归集数据集中已绑定的归集数据,按统一映射规则对异构归集数据执行格式转换、字段规整、注释对齐与计量单位换算,沿所述初始绑定关系串联各组学核心关联字段,对转换后的各组学数据进行多维度组学数据归一化融合,生成一体化数据集合;
5、提取所述一体化数据集合中的融合数据,对所述融合数据执行格式、完整性、重复性、异常值、注释匹配全维度质控校验,核验所述初始绑定关系的绑定一致性与问题点位,并执行纠错补全,剔除不可校正异常数据,生成质控合规数据,将所述质控合规数据对应的质控结果逐条记入对应数据的溯源轨迹;
6、提取所述质控合规数据中的涉密及核心数据,执行字段遮蔽与脱敏处理,将绑定操作主体权限与所述脱敏处理操作同步记入数据版本记录,基于脱敏后的质控合规数据加固数字化数据与实体生物样本的一一绑定关系,留存多版本数据并归档溯源信息,形成版本化数据集;
7、按分级权限接入组学核心算法,调取所述版本化数据集中绑定一致的多版本数据,执行联动解析与跨维度同源比对,将解析结果追加至对应版本数据以拓展关联维度,抓取全流程操作行为并归档流转日志,将日志与版本数据标识绑定,进行数据全生命周期溯源闭环管理。
8、进一步地,在采集生物体多生长周期、多环境条件下的基因组、转录组、蛋白组、代谢组、表型组时序多组学原始数据及全链条元数据时,包括:
9、按预设的时间间隔和预设的环境因子梯度设定采样节点,于各采样节点同步获取所述生物体的组织样本,对所述组织样本分别执行全基因组测序、转录组测序、质谱蛋白质鉴定、质谱代谢物检测及表型成像,生成所述多组学原始数据;
10、同时,采集各采样节点的生长天数、温湿度、光照强度、营养供给量及操作人员标识,作为所述元数据;
11、将所述多组学原始数据、元数据与所述组织样本的条码标签绑定,形成所述初始绑定关系,并存入分布式存储系统完成归集。
12、进一步地,在按统一映射规则对异构归集数据执行格式转换、字段规整、注释对齐与计量单位换算时,包括:
13、预先建立统一字段映射表,所述统一字段映射表包含各组学数据中基因标识符、转录本标识符、蛋白质登录号、代谢物公共名称、表型特征编码与标准词典的对应关系;
14、对所述基因组数据,将参考基因组版本统一至指定版本,并将变异位点表示为染色体、位置、参考等位基因、替代等位基因四字段格式;
15、对所述转录组数据,将基因表达量归一化为每百万转录本数,并将基因符号映射至ncbi基因id;
16、对所述蛋白组数据,将蛋白质丰度值转换为对数强度,并将蛋白质登录号映射至ncbi基因id;
17、对所述代谢组数据,将代谢物浓度统一为微摩尔每升,并将代谢物名称映射至代谢物标准数据库标识符;
18、对所述表型组数据,将表型测量值转换为国际单位制,并将表型描述词映射至表型本体术语。
19、进一步地,在对转换后的各组学数据进行多维度组学数据归一化融合,生成一体化数据集合时,包括:
20、以所述初始绑定关系中的生物体个体标识及采样节点标识为主键,将基因组变异矩阵、转录组表达矩阵、蛋白组丰度矩阵、代谢组浓度矩阵及表型特征矩阵按所述主键进行横向拼接,形成宽表矩阵;
21、对所述宽表矩阵中的缺失值,采用相同生长周期、相同环境条件下同组学数据的中位数进行填充;
22、对所述宽表矩阵中的数值型数据,采用最小、最大归一化压缩至[0,1]区间,并将归一化后的宽表矩阵作为所述一体化数据集合。
23、进一步地,在提取所述一体化数据集合中的融合数据,对所述融合数据执行格式、完整性、重复性、异常值、注释匹配全维度质控校验时,包括:
24、获取所述融合数据中各数值型字段的统计分布参数,计算当前数值偏离所述统计分布均值的标准差倍数;
25、若所述标准差倍数大于预设离群阈值,则将对应数据标记为异常值;
26、获取所述融合数据中各必填字段的缺失率,若所述缺失率大于预设缺失阈值,则触发纠错补全流程;
27、获取注释字段与标准词典的匹配相似度,若所述匹配相似度小于预设相似度阈值,则将对应数据标记为注释异常;
28、根据所述异常值标记、缺失率标记和注释异常标记,区分可校正异常与不可校正异常,剔除所述不可校正异常数据,对所述可校正异常数据执行纠错补全后生成质控合规数据。
29、进一步地,在提取所述质控合规数据中的涉密及核心数据,执行字段遮蔽与脱敏处理时,包括:
30、获取所述质控合规数据中每个字段的预设敏感等级,所述预设敏感等级包括第一预设敏感等级、第二预设敏感等级,且所述第一预设敏感等级大于第二预设敏感等级;
31、若所述敏感等级大于第一预设敏感等级,则对该字段执行完全遮蔽;
32、若所述敏感等级小于等于所述第一预设敏感等级且大于第二预设敏感等级,则对该字段执行部分遮蔽,保留前预设位数和后预设位数,中间位以占位符替换;
33、若所述敏感等级小于等于所述第二预设敏感等级,则对该字段执行模糊化处理,将字段值映射至预设泛化层级;
34、将执行遮蔽与脱敏处理的操作主体权限、处理时间及处理规则记入对应数据版本记录。
35、进一步地,在基于脱敏后的质控合规数据加固数字化数据与实体生物样本的一一绑定关系,留存多版本数据并归档溯源信息,形成版本化数据集时,包括:
36、获取当前脱敏后的质控合规数据的版本标识、时间戳和操作主体标识;
37、将当前数据与上一版本数据进行差异比较,计算差异度;
38、若所述差异度大于预设版本差异阈值,则将当前数据作为新版本存储,并保留上一版本数据;
39、若所述差异度小于等于所述预设版本差异阈值,则更新上一版本数据的元数据,记录当前时间戳和操作主体标识,不生成新版本;
40、将每次版本变更的溯源信息与对应版本数据标识绑定归档。
41、进一步地,在按分级权限接入组学核心算法,调取所述版本化数据集中绑定一致的多版本数据,执行联动解析与跨维度同源比对,将解析结果追加至对应版本数据以拓展关联维度时,包括:
42、获取所述版本化数据集中同一样本标识下的多组学数据,分别提取基因组变异、转录本表达、蛋白质丰度、代谢物浓度和表型特征;
43、对所述多组学数据中的同源分子标识符执行跨维度比对,得到各组学之间的关联相似度得分;
44、预设第一预设关联阈值、第二预设关联阈值,且第一预设关联阈值大于第二预设关联阈值;
45、若所述关联相似度得分大于第一预设关联阈值,则将解析结果作为强关联注释追加至对应版本数据;
46、若所述关联相似度得分小于等于所述第一预设关联阈值且大于第二预设关联阈值,则将解析结果作为弱关联注释追加至对应版本数据;
47、若所述关联相似度得分小于等于所述第二预设关联阈值,则不追加关联注释,并在日志中记录未匹配标识;
48、记录比对所用的算法版本、参数配置及关联类型,与追加后的版本数据标识绑定。
49、进一步地,在抓取全流程操作行为并归档流转日志,将日志与版本数据标识绑定,进行数据全生命周期溯源闭环管理时,包括:
50、按时间顺序抓取采集、转换融合、质控、脱敏、解析各环节的操作行为,生成操作日志序列;
51、获取每条操作日志对应的数据版本标识,将所述操作日志序列与所述版本化数据集中的版本标识进行逐条匹配校验;
52、若存在操作日志无法匹配至任一版本标识,则标记为溯源断裂并触发报警;
53、若匹配成功,则将操作日志与对应版本数据标识绑定,并计算操作链的连贯性指数;
54、若所述连贯性指数小于预设连贯阈值,则生成补充记录请求,提示缺失环节的操作信息;
55、将绑定完成的操作日志和版本标识作为溯源图谱归档,用于闭环追溯。
56、与现有技术相比,本发明的有益效果在于:
57、通过采集多生长周期、多环境条件下的时序多组学原始数据及全链条元数据,并建立数据与实体生物样本的初始绑定归集机制,为异构数据整合提供统一数据基底,通过设定标准化统一映射规则,对基因组、转录组、蛋白组、代谢组、表型组各类异构数据开展格式转换、字段规整、注释对齐与计量单位换算,依托样本绑定关联字段完成多组学数据归一化融合,打破传统技术中各类组学数据独立存储、字段不统一、注释不匹配、维度无法互通的壁垒,实现多维度组学数据的深度关联整合与统一规整,解决传统技术多组学异构数据融合困难、数据碎片化、关联性差的问题。同时,对融合数据实施全维度质控校验与纠错补全,同步记录质控溯源轨迹,对涉密核心数据进行分级脱敏处理,全程留存数据迭代版本、固化样本与数字数据的唯一绑定关系,并对数据采集、融合、质控、脱敏、解析比对的全部操作行为进行日志归档、标识绑定与闭环溯源管理,弥补了传统技术无版本迭代记录、无全程操作留存、无完整溯源链路的短板,形成完整、可追溯、可复现的生物体生物信息数据全生命周期管控体系。
58、另一方面,本技术还提供了一种用于生物体的生物信息数据管理系统,包括:
59、采集模块,被配置为采集生物体多生长周期、多环境条件下的基因组、转录组、蛋白组、代谢组、表型组时序多组学原始数据及全链条元数据,建立原始数据、元数据与实体生物样本的初始绑定关系,完成同步归集存储,形成归集数据集;
60、转换融合模块,被配置为调取所述归集数据集中已绑定的归集数据,按统一映射规则对异构归集数据执行格式转换、字段规整、注释对齐与计量单位换算,沿所述初始绑定关系串联各组学核心关联字段,对转换后的各组学数据进行多维度组学数据归一化融合,生成一体化数据集合;
61、质控模块,被配置为提取所述一体化数据集合中的融合数据,对所述融合数据执行格式、完整性、重复性、异常值、注释匹配全维度质控校验,核验所述初始绑定关系的绑定一致性与问题点位,并执行纠错补全,剔除不可校正异常数据,生成质控合规数据,将所述质控合规数据对应的质控结果逐条记入对应数据的溯源轨迹;
62、脱敏版本管理模块,被配置为提取所述质控合规数据中的涉密及核心数据,执行字段遮蔽与脱敏处理,将绑定操作主体权限与所述脱敏处理操作同步记入数据版本记录,基于脱敏后的质控合规数据加固数字化数据与实体生物样本的一一绑定关系,留存多版本数据并归档溯源信息,形成版本化数据集;
63、溯源解析模块,被配置为按分级权限接入组学核心算法,调取所述版本化数据集中绑定一致的多版本数据,执行联动解析与跨维度同源比对,将解析结果追加至对应版本数据以拓展关联维度,抓取全流程操作行为并归档流转日志,将日志与版本数据标识绑定,进行数据全生命周期溯源闭环管理。
64、可以理解的是,上述一种用于生物体的生物信息数据管理系统及方法具备相同的有益效果,在此不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com