视频数据存储方法、装置、计算机设备及存储介质与流程

技术特征：
1.一种视频数据存储方法，其特征在于，包括下述步骤：获取待上传文件；根据所述待上传文件生成对应的文件数据；根据所述文件数据判断所述待上传文件是否为可追加对象；若判断所述待上传文件是可追加对象，则获取所述文件数据的存储协议以及所述待上传的文件的追加模式；根据文件数据的存储协议分割所述待上传的文件，并生成至少一个存储空间不超过阈值的数据块以及对应的数据块标识；创建文件数据存储池以及数据块存储池；通过ceph分布式存储系统将所述文件数据存储到所述文件数据存储池；根据所述数据标识为所述存储空间不超过阈值的数据块分配相应的所述数据块存储池。2.根据权利要求1所述的视频数据存储方法，其特征在于，所述根据所述文件数据判断所述待上传文件是否为可追加对象的步骤具体包括：读取所述文件数据；将所述文件数据中的文件标识与预置标识进行匹配，所述文件标识用于指示文件类型，所述预置标识包括可追加标识以及不可追加标识；当所述文件标识与所述预置可追加标识匹配时，则确定待上传文件为可追加对象；当文件标识与所述预置不可追加标识匹配时，则确定待上传文件为不可追加对象。3.根据权利要求1所述的视频数据存储方法，其特征在于，所述文件数据至少包括文件数据标识号，所述根据文件数据的存储协议分割所述待上传的文件，并生成至少一个存储空间不超过阈值的数据块以及对应的数据标识的步骤具体包括：若所述文件数据的存储协议为多副本协议，则将所述待上传的文件分割生成至少一个存储空间不超过阈值的数据块；根据所述文件数据标识号以及与所述数据块对应的分片号为每一个所述数据块生成数据块标识；或者，若所述文件数据的存储协议为纠删码ec协议，则补齐所述待上传的文件的末尾至ec对齐，得到目标待上传文件；将所述目标待上传文件分割生成至少一个存储空间不超过阈值的数据块；根据所述文件数据标识号以及与所述数据块对应的分片号为每一个所述数据块生成数据块标识。4.根据权利要求1所述的视频数据存储方法，其特征在于，所述根据所述数据标识为所述存储空间不超过阈值的数据块分配相应的所述数据块存储池的步骤具体包括：获取所述数据块存储池的标识号；通过ceph分布式存储系统对所述数据块标识号做哈希运算并取模，得到对象标识object_id；通过ceph分布式存储系统对所述数据块存储池的标识号做哈希运算，以得到存储池标识pool_id；合并所述pool_id以及所述object_id，得到pg_id；
通过所述pg_id为每个所述不超过阈值的数据块以及文件数据分配存储池。5.根据权利要求1所述的视频数据存储方法，其特征在于，所述获取待上传文件的步骤之后，还包括：在存储池中定义cgroup层级规则；判断所述ceph分布式存储系统进程是否启动，若所述ceph分布式存储系统进程启动，则加载所述cgroup层级规则，并启动所述ceph分布式存储系统进程的所述cgroup层级规则；判断所述ceph分布式存储系统进程是否关闭，若所述ceph分布式存储系统进程已关闭，则清除所述cgroup层级规则；通过将存储池挂载在所述cggroup中，通过所述cgroup进行系统资源的调控，以分配资源给所述ceph分布式存储系统。6.根据权利要求1所述的视频数据存储方法，其特征在于，所述创建文件数据存储池以及数据块存储池的步骤之后，还包括：当接收到重启指令时，通过所述重启指令停止接收所述待上传的文件并生成卸载信息；通过所述卸载信息卸载所述ceph分式存储系统的radosgw挂载点；当所有所述fuse挂载点被卸载后，停止所述ceph分布式存储系统的文件系统服务并生成重定向信息；将所述重启指令重定向至重启服务，以重启所述ceph分布式存储系统。7.根据权利要求1所述的视频数据存储方法，其特征在于，所述获取待上传文件的步骤之前，还包括：获取ceph分布式存储系统组件的默认部署参数，所述默认参数至少包括对象存储网关参数、接口类参数、鉴权类参数、数据切分参数、对象存储单元参数、以及监控服务参数；获取所述ceph分布式存储系统的部署指令；获取所述部署指令和所述部署参数，通过将所述部署指令以及所述部署参数通过固定格式组合生成相应的所述ceph分布式存储系统资源的调度指令；通过所述调度指令调取所述ceph分布式存储系统的软件包资源和函数库资源；通过选择所述ceph分布式存储系统二进制模式传输，所述ceph分布式存储系统调取ceph分布式存储系统的软件包资源和函数库资源传送至目标k
‑
ux操作系统；设置所述ceph分布式存储系统环境配置参数，通过所述ceph分布式存储系统读取所述环境配置参数；将所述环境配置参数部署至所述ceph分布式存储系统；实时监控并判断所述ceph分布式存储系统资源和所述ceph分布式存储系统资源的安装状态是否故障；若所述ceph分布式存储系统资源或所述ceph分布式存储系统资源出现故障，则重置所述ceph分布式存储系统资源的安装，以重新对所述ceph分布式存储系统的安装部署。8.一种视频数据存储装置，其特征在于，包括：文件获取模块，用于获取待上传文件；文件数据生成模块，用于根据所述待上传文件生成对应的文件数据；
追加判断模块，用于根据所述文件数据判断所述待上传文件是否为可追加对象；协议获取模块，用于若判断所述待上传文件是可追加对象，则获取所述文件数据的存储协议以及所述待上传的文件的追加模式；文件分割模块，用于根据文件数据的存储协议分割所述待上传的文件，并生成至少一个存储空间不超过阈值的数据块以及对应的数据块标识；存储池创建模块，用于创建文件数据存储池以及数据块存储池；文件数据存储模块，用于通过ceph分布式存储系统将所述文件数据存储到所述文件数据存储池；数据块存储模块，用于根据所述数据标识为所述存储空间不超过阈值的数据块分配相应的所述数据块存储池。9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的视频数据存储方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的视频数据存储方法的步骤。

技术总结
本申请实施例属于智能存储领域，涉及一种视频数据存储方法，包括：获取待上传文件；根据待上传文件生成对应的文件数据；根据文件数据判断待上传文件是否为可追加对象；若判断待上传文件是可追加对象，则获取文件数据的存储协议以及待上传的文件的追加模式；根据文件数据的存储协议分割待上传的文件，并生成至少一个存储空间不超过阈值的数据块以及对应的数据块标识；创建文件数据存储池以及数据块存储池；通过Ceph分布式存储系统将文件数据存储到文件数据存储池；根据数据标识为存储空间不超过阈值的数据块分配相应的数据块存储池。本申请还提供一种视频数据存储装置、计算机设备及存储介质。减少了视频存储占用的资源。存储介质。减少了视频存储占用的资源。存储介质。减少了视频存储占用的资源。


技术研发人员：夏春秋
受保护的技术使用者：深圳市唯特视科技有限公司
技术研发日：2021.09.10
技术公布日：2021/12/13