一种基于大数据的计算机图像处理系统
本发明涉及计算机图像处理,更具体地说,本发明涉及一种基于大数据的计算机图像处理系统。
背景技术:
1、随着监控摄像头、遥感卫星、医学影像设备等图像采集终端的不断普及,图像数据呈现出爆发式增长态势。一张高分辨率医学病理全切片图像的文件大小可达数吉字节,一个遥感观测项目的影像数据总量可达数太字节。面对如此海量的图像数据,传统的单机存储与处理模式已难以满足实际应用对存储容量和计算效率的需求,分布式存储与并行处理因此成为领域的主流技术架构。
2、在现有的基于大数据的计算机图像处理系统中,图像数据通常被切分为多个数据块并分散存储于多个存储节点上,同时由独立的元数据管理模块维护文件目录结构、数据块位置映射以及数据版本信息等元数据,元数据的准确性与一致性直接决定了整个图像处理系统的可靠性与数据完整性。当元数据服务器集群发生异常状况时,具体而言,当集群因网络交换机故障或链路中断等原因发生网络分区时,不同分区的元数据服务器各自独立运行并分别接受客户端发起的写入请求,导致元数据版本在不同分区之间产生分支与冲突,现象在分布式系统领域被称为“脑裂”问题。“脑裂”恢复过程中,若过时的元数据版本被错误地用于覆盖正确的元数据记录,将直接引发元数据的不一致状态。
3、由于元数据是图像文件与数据块之间唯一的索引依据,不一致状态的直接后果表现为:一部分数据块失去文件节点的索引,成为无法被任何图像文件引用的孤立数据块,即孤儿节点;同时另一部分文件节点的引用指向已被删除或已丢失的数据块,即幽灵节点。上述孤儿节点与幽灵节点不仅造成存储资源的浪费,更严重的是,在恢复过程中,由于元数据服务器之间需要反复协商、回滚与重试,上述两类异常节点的数量可能在短时间内呈现指数级增长态势,迅速污染元数据索引体系,进而导致大量图像数据无法被正确读取,系统可用性受到严重威胁。本发明提出一种基于大数据的计算机图像处理系统,以期解决上述问题。
技术实现思路
1、为实现上述目的,本发明提供如下技术方案:
2、一种基于大数据的计算机图像处理系统,包括:
3、图像采集模块,配置为从多个图像源并行采集原始图像数据,并对原始图像数据执行格式统一化与噪声滤除的预处理操作,以生成标准化图像数据;
4、分布存储模块,与图像采集模块通信连接,配置为将标准化图像数据分散存储于多个存储节点中,并生成用于索引标准化图像数据的元数据,元数据包含文件目录结构、数据块位置映射及数据版本信息;
5、元数管理模块,与分布存储模块通信连接,配置为管理元数据,元数管理模块包含多个元数据服务器节点,多个元数据服务器节点之间通过一致性协议维护元数据的一致性;
6、熵值调控模块,与元数管理模块通信连接,配置为实时获取各元数据服务器节点的操作日志,根据操作日志中的元数据变更操作记录计算熵值,熵值用于表征元数据变更操作的混乱程度,元数据变更操作记录包含跨分区写入冲突次数和无效数据块增长率;
7、熵值调控模块还配置为将熵值与预设的第一阈值及第二阈值进行比较,第二阈值大于第一阈值,当熵值超过第二阈值时,熵值调控模块控制元数管理模块暂停全部非核心数据清理任务并集中执行元数据一致性恢复操作,当熵值低于第一阈值时,熵值调控模块控制元数管理模块按各数据块的熵值从高到低的顺序执行数据块清理操作;
8、图谱构建模块,与元数管理模块通信连接,配置为获取元数管理模块中存储的全部元数据,根据元数据中文件与数据块之间的关联关系构建元数据关系图谱,元数据关系图谱以文件节点、目录节点和数据块节点为顶点,以关联关系为边,目录节点包含目录路径字符串信息,文件节点包含文件大小值和文件创建时间戳信息,数据块节点包含数据块大小值和数据块生成时间戳信息;
9、孤儿领养模块,与图谱构建模块通信连接,配置为根据元数据关系图谱检测无对应文件节点引用的数据块节点作为孤儿节点,以及检测有文件节点引用但无对应数据块节点的文件节点作为幽灵节点;当检测到孤儿节点时,孤儿领养模块根据孤儿节点的数据块属性特征遍历元数据关系图谱中的所有文件节点,计算孤儿节点与各文件节点之间的匹配度,选择匹配度最高的文件节点作为领养节点,并将孤儿节点所对应的数据块关联至领养节点;孤儿领养模块还配置为删除幽灵节点对应的无效文件引用。
10、在一个优选的实施方式中,图像采集模块中对原始图像数据执行的预处理操作包括将原始图像数据统一调整为预设像素尺寸,以及对原始图像数据应用中值滤波算法消除脉冲噪声。
11、在一个优选的实施方式中,分布存储模块将标准化图像数据分散存储于多个存储节点时,采用副本存储策略为标准化图像数据的每一个数据块在物理位置不同的两个存储节点上各保存一份副本数据;
12、分布存储模块在存储每一个数据块时,将每一个数据块的位置信息记录于数据块位置映射中,并存储于元数据内。
13、在一个优选的实施方式中,多个元数据服务器节点之间通过一致性协议维护元数据的一致性,一致性协议基于多数派投票机制,任一元数据变更操作需获得超过半数的元数据服务器节点确认后方可生效;
14、一致性协议在确认元数据变更操作时,以数据版本信息作为判定元数据变更操作先后顺序的依据。
15、在一个优选的实施方式中,熵值调控模块根据操作日志中的元数据变更操作记录计算熵值,按照以下步骤执行:
16、第一步,设定单位统计时长,从操作日志中提取单位统计时长内发生的全部元数据变更操作记录;
17、第二步,统计全部元数据变更操作记录中因不同元数据服务器节点对同一数据块发出冲突写入指令而产生的跨分区写入冲突次数;
18、第三步,统计全部元数据变更操作记录中因删除操作未同步清理对应数据块而产生的无效数据块新增数量,以无效数据块新增数量除以单位统计时长得到无效数据块增长率;
19、第四步,按照熵值公式计算熵值,熵值公式为:熵值等于跨分区写入冲突次数乘以以二为底跨分区写入冲突次数加一的对数所得之积,加上无效数据块增长率乘以以二为底的无效数据块增长率加一的对数所得之积。
20、在一个优选的实施方式中,熵值调控模块配置为在熵值超过第二阈值时控制元数管理模块暂停全部非核心数据清理任务并集中执行元数据一致性恢复操作,元数据一致性恢复操作包括强制关闭所有元数据服务器节点上的待处理写入事务,以多数派元数据服务器节点所保存的元数据版本为基准回滚不一致的元数据记录,并在全部元数据服务器节点之间重新执行全量元数据同步。
21、在一个优选的实施方式中,图谱构建模块获取元数管理模块中存储的全部元数据后,以每一份文件作为一个文件节点,以每一层目录作为一个目录节点,以每一个数据块作为一个数据块节点,以文件目录结构中的文件归属目录关系建立目录节点与文件节点之间的边,以文件目录结构中的文件包含数据块关系建立文件节点与数据块节点之间的边,并以文件目录结构中的目录嵌套关系建立不同目录节点之间的边,构建得到元数据关系图谱。
22、在一个优选的实施方式中,孤儿领养模块计算孤儿节点与各文件节点之间的匹配度,按照以下步骤执行:
23、从元数据关系图谱中读取孤儿节点所对应数据块节点的数据块大小值和数据块生成时间戳,从元数据关系图谱中读取各文件节点的文件大小值和文件创建时间戳;
24、以孤儿节点的数据块大小值除以各文件节点的文件大小值,将得到的比值通过最小最大归一化方法映射到零到一区间内,得到第一相似度数值;
25、以孤儿节点的数据块生成时间戳与各文件节点的文件创建时间戳之间的差值绝对值除以预设时间归一化常数,将得到的商值通过最小最大归一化方法映射到零到一区间内,得到第二相似度数值,预设时间归一化常数为正数;
26、从元数据关系图谱中获取孤儿节点所在目录节点的目录路径字符串,以及各文件节点所在目录节点的目录路径字符串,以最长公共子序列长度除以两个目录路径字符串中的最大长度,将得到的比值作为第三相似度数值;
27、按照匹配度公式计算匹配度,匹配度公式为:匹配度等于第一相似度数值与预设的第一权重系数的乘积,加上第二相似度数值与预设的第二权重系数的乘积,加上第三相似度数值与预设的第三权重系数的乘积。
28、在一个优选的实施方式中,孤儿领养模块选择匹配度最高的文件节点作为领养节点并将孤儿节点所对应的数据块关联至领养节点后,在元数据关系图谱中将领养节点的文件包含数据块关系中新增一条指向孤儿节点所对应数据块节点的边,并将孤儿节点的状态标记为已领养以防止数据块节点被重复关联。
29、本发明的技术效果和优点:
30、本发明通过设置熵值调控模块,实现了对元数据变更操作混乱程度的实时量化监测与分级响应。具体而言,熵值调控模块根据操作日志中的元数据变更操作记录计算熵值,熵值能够综合反映跨分区写入冲突次数和无效数据块增长率两个维度的异常程度,从而准确刻画元数据“脑裂”引发的系统混乱状态。同时,通过将熵值与预设的第一阈值及第二阈值进行比较,实现了差异化的分级调控机制:当熵值超过第二阈值时,系统判定元数据处于高度混乱状态,此时控制元数管理模块暂停全部非核心数据清理任务并集中执行元数据一致性恢复操作,确保在紧急状况下优先解决核心一致性问题,遏制异常节点指数级增长的趋势;当熵值低于第一阈值时,系统判定元数据处于有序稳定状态,此时按各数据块的熵值从高到低的顺序执行数据块清理操作,实现了资源利用效率与系统稳定性的平衡。动态调控机制克服了现有技术中固定策略无法应对“脑裂”突发状况的缺陷。
31、本发明通过图谱构建模块与孤儿领养模块的协同配合,实现了异常节点的自动化、智能化检测与修复。具体而言,图谱构建模块根据元数据中文件与数据块之间的关联关系构建元数据关系图谱,图谱以文件节点、目录节点和数据块节点为顶点,以关联关系为边,将原本分散存储于元数据管理模块中的目录结构信息、文件属性信息和数据块位置信息整合为统一的关系网络结构,使孤儿节点与幽灵节点的检测具备了图遍历的基础。在此基础上,孤儿领养模块根据元数据关系图谱检测无对应文件节点引用的数据块节点作为孤儿节点,以及有文件节点引用但无对应数据块节点的文件节点作为幽灵节点,实现了异常节点的精确识别。当检测到孤儿节点时,孤儿领养模块进一步根据孤儿节点的数据块属性特征遍历所有文件节点,计算匹配度并选择匹配度最高的文件节点作为领养节点完成关联修复,同时删除幽灵节点的无效文件引用,从而以自动化的方式解决了现有技术依赖人工介入或定期全量扫描的效率低下问题。
32、本发明从元数据管理的系统层面解决了图像数据在分布式存储环境下的完整性问题,保障了图像数据可正确读取。由于元数据是图像文件与数据块之间唯一的索引依据,元数据的一致性直接决定了图像数据能否被正确定位和读取。本发明通过熵值调控模块在“脑裂”等异常场景下及时触发集中式元数据一致性恢复操作,避免了因元数据版本冲突导致的数据块索引丢失或错误引用,从源头上遏制了孤儿节点与幽灵节点的指数级增长。同时,通过图谱构建模块和孤儿领养模块对已产生的异常节点进行自动化修复,孤儿节点被重新关联至最匹配的文件节点,幽灵节点的无效引用被删除,元数据关系图谱恢复为完整一致的状态。最终,系统中的每一份图像数据均可通过文件节点、经文件包含数据块关系、到达对应的数据块节点,并由分布存储模块依据数据块位置映射完成数据块的物理读取,实现了图像数据的完整性保护和系统的持续可用。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com