基于探针寻址的层次化DNA文件系统及方法
本发明属于分子数据存储、文件系统和生物信息处理,具体地,涉及基于探针寻址的层次化dna文件系统及方法。具体而言,本发明提供的系统利用核酸探针的碱基互补配对实现内容寻址,并利用杂交反应的并行性解析文件路径和执行目录操作。
背景技术:
1、dna数据存储将数字信息编码为由腺嘌呤a、胸腺嘧啶t、胞嘧啶c和鸟嘌呤g构成的核苷酸序列,再通过dna合成写入、通过dna测序读取。现有硬件通常将大量dna链存放在芯片或容器的多个物理存储点中,同一物理存储点内还可通过不同引物划分为多个链集合。该介质具有高密度、长寿命和低静态能耗等优点,但dna合成和测序的时延及成本显著高于电子存储。
2、为减少测序量,现有dna存储系统通常利用引物扩增或物理位置实现随机访问。然而,引物只能定位到链集合,单个链集合中仍可能混合多个文件或多份元数据,读取目标文件时需要测序大量非目标dna链,产生较高的读放大。随着文件数量增长和目录层级加深,该问题更加突出。
3、传统文件系统通过逐级读取目录项解析路径。若直接将该方式移植到dna介质,访问深层文件必须先后读取根目录、各级父目录和目标文件,形成跨文件依赖和多轮串行测序。另一种方式是将完整路径散列到物理位置,虽然可以直接访问单个文件,但目录列举、目录重命名和子树迁移仍需枚举未知的后代路径;为维护目录项而修改父目录还会引入额外合成。
4、短单链dna探针能够与包含互补子序列的目标dna链发生特异性杂交,并可借助生物素—链霉亲和素磁珠、荧光分选或其他固相捕获方式从dna池中分离杂交体。该过程以链内容为地址并可在一次反应中并行作用于大量dna链。
5、目前,现有公开技术尚未给出一种把文件层级语义系统地编码进可被探针识别的dna子序列、从而同时支持精确文件访问、直接子项列举和预设可检索深度范围内的子树检索的文件系统方案。
6、此外,dna链合成后通常不能原位改写。若文件发生少量变化即重新合成全部数据,会造成较高的写放大和空间浪费。因此,还需要一种与探针检索机制相配合、能够以追加方式维护文件数据和元数据版本的更新方案。
7、专利文献cn118410008a公开了一种提高大型分布式文件系统元数据访问效率的方法,该方案无法配合探针检索机制,未克服dna链合成后不能原位改写的技术问题。
8、此问题亟须得到解决。
技术实现思路
1、针对现有技术中的缺陷,本发明的目的是提供一种基于探针寻址的层次化dna文件系统及方法。
2、根据本发明提供的一种基于探针寻址的层次化dna文件系统构建方法,包括:
3、步骤s1:获取多个文件系统对象的规范化文件路径;
4、步骤s2:将每一所述规范化文件路径解析为路径深度、祖先目录分量和对象名称,并分别编码为路径深度序列、祖先目录序列和对象名称序列;
5、步骤s3:将所述路径深度序列、所述祖先目录序列和所述对象名称序列依次连接,形成所述文件系统对象的路径标识;
6、步骤s4:将所述路径标识和对象属性写入对应的元数据dna链,并在所述文件系统对象具有文件内容时,将指向数据dna链的数据地址写入所述元数据dna链以及将所述文件内容写入对应的数据dna链;
7、将各个元数据dna链和数据dna链存储于dna存储介质的物理存储点和链集合中,建立所述规范化文件路径、元数据dna链与数据dna链之间的映射。
8、优选地,在所述步骤s3中,同一父目录的各直接子项的路径标识共享所述路径深度序列与该父目录的完整目录路径序列构成的共同前缀,同一父目录的各不同层级后代的路径标识共享该父目录的完整目录路径序列与深度共同后缀构成的公共子序列。
9、所述祖先目录序列仅由各祖先目录分量按照从根目录到父目录的次序连接形成,不包含对象自身;对于目录,所述完整目录路径序列由该目录的祖先目录序列与该目录自身的目录名称序列连接形成;对于根目录,所述完整目录路径序列为预设序列。
10、优选地,对路径深度序列进行编码,使深度大于预设阈值的多个路径深度序列具有预设长度的共同后缀;对路径分量进行散列并映射为定长序列;当路径深度超过表示上限时,映射为最大深度编码,当路径分量超长时,保留从根目录开始的预定数量分量;所述元数据dna链还记录规范化完整文件路径和/或校验摘要,用于测序后识别并剔除错误候选。
11、根据本发明提供的一种基于探针寻址的层次化dna文件访问方法,元数据dna链中预先写有路径标识和对象属性,并选择性写有指向数据dna链的数据地址,所述路径标识由路径深度序列、祖先目录序列和对象名称序列依次连接形成;
12、所述方法包括:
13、步骤a1:响应于文件操作,规范化指定的文件路径,根据所述文件操作的作用范围和所述路径标识的编码规则确定筛选目标序列,生成与所述筛选目标序列互补的dna探针;
14、步骤a2:使所述dna探针与候选元数据dna链进行杂交,分离杂交体并测序;
15、步骤a3:对测序得到的路径标识进行数字校验,确定与所述文件操作相匹配的目标元数据dna链;
16、根据所述文件操作的类型,读取所述目标元数据dna链中的对象属性和/或根据所述数据地址访问相应的数据dna链,并执行所述文件操作。
17、优选地,当操作用于访问单个对象时,以该对象的完整路径标识作为筛选目标序列并生成精确探针;
18、当操作用于列举目标目录的直接子项时,以所述直接子项共有的路径深度序列与目标目录的完整目录路径序列的连接序列作为筛选目标序列并生成直接子项探针,以在同一批次中获取所有直接子项的元数据链;
19、当操作用于目标目录的子树时,以表示深度大于目标目录深度的路径深度共同后缀与目标目录的完整目录路径序列的连接序列作为筛选目标序列并生成子树探针,以在同一批次中获取不同深度后代的元数据链。
20、优选地,目录列举时,利用所述直接子项探针获取各直接子项的元数据链,根据数字校验后的路径信息输出目录项;
21、目录重命名或迁移时,利用精确探针获取目标目录自身的元数据链,并利用子树探针获取后代对象的元数据链,基于更新后的路径并行生成新元数据链,并通过删除标识或墓碑标识使旧路径对应的元数据链失效。
22、优选地,所述数据dna链包括引物字段、链类型字段、时间戳字段、更新顺序标识字段、分片索引字段和内容字段;
23、所述元数据dna链包括引物字段、路径标识字段、链类型字段、时间戳字段、更新顺序标识字段、分片索引字段和对象属性字段,并在对应对象具有文件内容时包括数据地址字段,所述数据地址至少包括物理存储点标识与链集合标识。
24、优选地,所述数据dna链包括初始链和一个或多个增量链;所述初始链记录初始内容;每一增量链记录更新类型、时间戳、更新顺序标识和分片索引;
25、其中,覆盖增量链还记录作用位置、长度和替换内容,插入增量链还记录插入位置和内容,删除增量链还记录删除位置和长度;
26、读取时一次获取初始链及增量链,按时序确定更新顺序并依分片索引合并,以重建当前内容。
27、根据本发明提供的一种基于探针寻址的层次化dna文件系统,包括:文件系统控制器;所述文件系统控制器被配置为执行基于探针寻址的层次化dna文件访问方法的步骤。
28、根据本发明提供的一种用于所述基于探针寻址的层次化dna文件系统的dna探针生成方法,包括:
29、响应于文件操作的类型,文件系统控制器确定筛选目标序列并控制dna合成装置生成对应的dna探针;
30、其中,当所述文件操作用于访问单个对象时,生成与所述对象的完整路径标识互补的精确探针;
31、当所述文件操作用于列举目标目录的直接子项时,生成与所述直接子项共有的路径深度序列及所述目标目录的完整目录路径序列互补的直接子项探针;
32、当所述文件操作用于作用于目标目录的子树时,生成与所述目标目录的后代对象共有的路径深度共同后缀及所述目标目录的完整目录路径序列互补的子树探针。
33、所述精确探针记为pe,表达式为:
34、pe=comp(i(p))
35、其中,comp(·)表示沃森—克里克互补序列,i(p)表示非根对象p的路径标识。
36、与现有技术相比,本发明具有如下的有益效果:
37、1、本发明减少层次化路径解析所需的串行测序轮次和非目标链读取量,提高dna存储中的文件访问及目录操作效率;并且与逐级路径解析相比,本发明把目录层级编码成可由探针识别的路径标识,能够用一次生化筛选获得单个对象、同层直接子项或不同层级的整棵子树,减少依赖父目录结果的串行测序轮次。
38、2、本发明与仅依赖引物或物理位置的访问方式相比,探针在链级别过滤目标元数据,降低非目标链读取量和读放大;目录信息由路径标识隐式表达,无需把全部目录项作为独立目录文件反复改写。
39、3、本发明提供的目录列举、重命名和迁移可利用dna合成与杂交的并行性批量完成,并且追加式增量更新只合成变化部分,避免小修改触发整文件重合成;生化筛选与数字校验结合,在保持较高筛选效率的同时容忍探针非目标杂交和有界标识碰撞。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com