可定制的分隔文本压缩框架的制作方法

技术特征：
1.一种用于压缩数据的方法，包括：获得针对分隔文本文件的格式而定制的压缩模式；基于所述压缩模式将所述分隔文本文件解析成多个数据块；基于所述压缩模式将所述数据块中的每个数据块划分成多个数据单元；并且使用不同的压缩算法来压缩所述多个数据块中的所述多个数据单元，其中，基于所述模式中的区域定义将所述分隔文本文件解析成所述多个数据块；基于在所述模式中的所述多个数据块中的每个数据块的相应数据单元大小将所述多个数据块中的每个数据块划分成所述多个数据单元；并且使用由所述模式中的压缩指令指示的所述不同的压缩算法来压缩所述多个数据块中的每个数据块中的所述多个数据单元。2.根据权利要求1所述的方法，其中，获得所述压缩模式包括：基于由用户输入的信息或所述分隔文本文件的扩展名来创建新的压缩模式或者从多个压缩模式中确定最佳匹配的压缩模式，其中，所述多个压缩模式中的每个压缩模式都是针对分隔文本文件的多种不同格式中的相应一种格式而定制的。3.根据权利要求1所述的方法，其中，获得所述压缩模式包括：自动分析或检测所述分隔文本文件的所述格式；并且自动生成针对最优压缩性能的新的压缩模式或者从在模式储存库中存储的多个压缩模式中选择一个最佳匹配的压缩模式，其中，所述多个压缩模式中的每个压缩模式都是针对分隔文本文件的多种不同格式中的相应一种格式而定制的。4.根据权利要求3所述的方法，其中，与在所述模式储存库中存储的所述压缩模式相对应的文件具有预定的文件扩展名，所述预定的文件扩展名指示所述分隔文本文件的所述多种不同格式。5.根据权利要求1所述的方法，还包括：基于具有图形用户界面的工具来创建针对所述分隔文本文件的所述格式而定制的所述压缩模式，所述图形用户界面包括预定窗口以允许输入关于针对所述分隔文本文件的所述格式而定制所述压缩模式的信息。6.根据权利要求1所述的方法，还包括：生成压缩文件和压缩模式，所述压缩文件包括所述多个数据块中的所述多个压缩数据单元，所述压缩模式包括用于对所述多个压缩数据单元进行解压缩和对所述压缩文件进行文件重建的指令。7.根据权利要求6所述的方法，其中，所述压缩文件包括用于解压缩、文件重建和扩展功能的元数据信息。8.根据权利要求7所述的方法，其中，所述扩展功能包括数据安全和搜索查询。9.根据权利要求6所述的方法，其中，所述压缩文件包括用于所述压缩文件的可移植性和可访问性的专用压缩/解压缩算法的代码和使用定义。10.根据权利要求1所述的方法，其中，所述压缩指令指示所述不同的压缩算法及其对应参数，所述不同的压缩算法及其对应参数用于基于所述块的不同内容来压缩所述多个单元中的不同单元。11.根据权利要求10所述的方法，其中，压缩指令指示：要使用第一类型的压缩算法来压缩第一数据单元，所述第一数据单元包括包含以下各
项的组中的一个第一项目：值的类型、信息的类型、数据格式的类型，以及数据布置的类型；并且要使用第二类型的压缩算法来压缩第二数据单元，所述第二数据单元包括包含以下各项的组中的一个第二项目：值的类型、信息的类型、数据格式的类型，以及数据布置的类型，其中，所述组中的所述第一项目不同于所述组中的所述第二项目。12.根据权利要求2所述的方法，其中，确定所述压缩模式包括：从多个压缩模式中确定所述压缩模式，其中，所述多个压缩模式中的每个压缩模式被定制为包括用于与所述压缩文件相对应的多种不同格式中的相应一种格式的解压缩信息。13.根据权利要求12所述的方法，其中，确定所述压缩模式包括从在模式储存库中存储的所述多个压缩模式中选择所述压缩模式。14.一种用于选择性的数据访问的方法，包括：接收指示所述数据中的感兴趣区域的信息，例如，表中的横行和竖列的范围，所述感兴趣区域对应于在所述压缩文件中的至少一个数据块中包括的一个或多个数据单元；选择性地对与所述压缩文件中的所述感兴趣区域相关联的至少一个数据块的所述一个或多个数据单元进行解压缩，而不对所述压缩文件中的所述至少一个数据块或其他数据块中的其他数据单元进行解压缩，所述一个或多个数据单元是基于由所述压缩模式中的所述压缩指令指示的一个或多个解压缩算法而被选择性地解压缩的；根据经选择性地解压缩的一个或多个第一数据单元来重建所述感兴趣区域，所述感兴趣区域是基于所述压缩模式中的所述区域定义或任何用户定义的输出格式来重建的；并且输出指示所重建的感兴趣区域的信息。15.根据权利要求14所述的方法，还包括：基于对所述压缩文件的查询来选择性地访问所述一个或多个数据单元，所述查询是基于在被选择性地解压缩的一个或多个数据单元中找到的一个或多个项目或值的范围来执行的。16.根据权利要求14所述的方法，其中，所述分隔文本文件包括基因组信息，并且其中，所述感兴趣区域能够对应于基因组坐标或基因id的选定范围。17.一种用于压缩数据的系统，包括：模式管理器，其被配置为允许用户创建、选择或自动生成针对分隔文本文件的格式而定制的压缩模式；解析器，其被配置为基于所述压缩模式中的区域定义将所述分隔文本文件解析成多个块；划分器，其被配置为基于在所述压缩模式中指定的所述多个块中的每个块的相应数据单元大小将所述多个块中的每个块划分成多个数据单元；以及压缩管理器，其被配置为使用由所述压缩模式中的压缩指令指示的不同的压缩算法来压缩所述多个数据块中的所述多个数据单元。18.根据权利要求17所述的系统，其中，所述模式管理器基于由用户输入的信息或所述分隔文本文件的扩展名来创建新的压缩模式或者从多个压缩模式中确定最佳匹配的压缩模式，其中，所述多个压缩模式中的每个压缩模式都是针对分隔文本文件的多种不同格式
中的相应一种格式而定制的。19.根据权利要求17所述的系统，其中，所述模式管理器自动分析或检测所述分隔文本文件的所述格式；并且自动生成针对最优压缩性能的新的压缩模式或者从在模式储存库中存储的多个压缩模式中选择最佳匹配的压缩模式，其中，所述多个压缩模式中的每个压缩模式都是针对分隔文本文件的多种不同格式中的相应一种格式而定制的。20.根据权利要求17所述的系统，其中，所述压缩管理器从所述用户或所述压缩器储存库获得所述压缩算法的所述代码，通过分配计算资源和存储器对用于每个数据块的所述压缩器进行实例化，并且运行和监控对所述数据单元的所述压缩。

技术总结
一种用于压缩数据的方法包括：获得针对分隔文本文件的格式而定制的压缩模式；并且使用所述压缩模式将所述分隔文本文件解析成多个数据块，将所述数据块中的每个数据块划分成多个数据单元以用于有效的选择性访问，并且使用不同的压缩算法来压缩所述多个数据块中的所述多个数据单元以提高压缩率。基于所述模式中的区域定义将分隔文件划分成多个数据块。基于在所述模式中指定的所述多个数据块中的每个数据块的相应数据单元大小将所述多个块中的每个数据块划分成所述多个数据单元。使用由所述模式中的压缩指令指示的所述不同的压缩算法来压缩所述多个数据块中的每个数据块中的所述多个数据单元。所述压缩文件包括压缩数据块、压缩模式以及用于数据解压缩、文件重建和诸如数据安全和搜索查询之类的功能的各种元数据。所述分隔文本文件可以包括基因组信息或另一类型的信息。另一类型的信息。另一类型的信息。


技术研发人员：张贻谦
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2020.10.15
技术公布日：2022/5/31