一种基于车载边缘云的分布式文件处理方法、装置与流程

本发明涉及文件处理，尤其是云计算环境下的文件处理，具体涉及一种基于车载边缘云的分布式文件处理方法、装置。

背景技术：

1、车载边缘云是将云计算和边缘计算结合在车载网络中的一种计算架构，边缘计算指的是将数据处理和计算任务从中心化的云服务器迁移到网络的边缘节点上，以减少延迟，提高效率和节省带宽资源。

2、传统方法通常会将整个车载文件一次性传输到中心云或单一服务器进行处理，这样会受到大文件处理的限制，容易出现性能瓶颈，特别是在面对较大文件时，传统方法的处理效率较低，导致整体系统的响应速度和处理速度都受到影响；且传统方法通常依赖于中心云或某些特定的服务器进行处理，而这些服务器的负载可能不均衡，某些服务器可能面临过载，而其他服务器则处于空闲状态，导致资源浪费或处理延迟，传统方法缺乏灵活的调度机制，无法根据实时的资源情况智能地分配任务；并且传统方法通常没有足够的冗余机制，若某个节点出现故障，丢失的数据可能无法恢复，传统方法在节点失效时，往往需要依赖中心服务器或其他备份系统，导致恢复过程缓慢且带宽消耗大；而且在传统方法中，数据恢复往往需要从多个节点或中心服务器获取全部数据，这会占用大量带宽并增加传输压力，尤其在带宽有限的车载网络环境中，这种传输方式会严重影响整体性能。

技术实现思路

1、本发明的一个主要目的在于克服上述的至少一种缺陷，是要提供一种基于车载边缘云的分布式文件处理方法、装置，其能够有效提高文件传输机处理效率，节省网络带宽。

2、为达到上述目的，本发明采用的技术方案是：

3、本发明提供了一种基于车载边缘云的分布式文件处理方法，其包括如下工作步骤：

4、获取原始车载文件，根据自适应分块算法对所述原始车载文件进行动态分块，以得到所述原始车载文件所对应的文件块序列；

5、对所述文件块序列进行元数据生成，以得到所述文件块序列所对应的元数据矩阵；

6、根据所述元数据矩阵对车载边缘云中的边缘节点进行任务调度，以将所述文件块序列中的文件块分配给不同的边缘节点；

7、根据所述边缘节点中的文件块进行分层纠删编码存储，以得到所述边缘节点中的文件块所对应的全局校验块；

8、当所述车载边缘云中单个边缘节点失效或多个边缘节点失效时，根据所述全局校验块对所述文件块进行恢复。

9、根据本技术的其中一个实施方式，根据自适应分块算法对所述原始车载文件进行动态分块，以得到所述原始车载文件所对应的文件块序列的过程，包括：

10、实时监测车载边缘云的系统资源，其中，所述车载边缘云由多个边缘节点组成，所述系统资源包括网络带宽、边缘节点数和平均可用内存；

11、根据所述车载边缘云的系统资源对所述原始车载文件的文件块大小进行计算，以得到所述原始车载文件所对应的文件块序列中各个文件块大小，其中，所述文件块大小的计算公式如下：

12、；

13、其中，表示文件块序列中第个文件块大小，表示调节网络带宽与边缘节点数之间的比例系数，表示调节平均可用内存与文件块大小之间的比例系数，表示网络带宽，表示边缘节点数，表示平均可用内存。

14、根据本技术的其中一个实施方式，所述元数据矩阵包括文件块的哈希值、记录每个文件块生成的时间戳、边缘节点的gps坐标、标识存储所述文件块的边缘节点id和文件块的大小。

15、根据本技术的其中一个实施方式，根据所述元数据矩阵对车载边缘云中的边缘节点进行任务调度，以将所述文件块序列中的文件块分配给不同的边缘节点的过程，包括：

16、根据所述元数据矩阵获取任务序列；

17、实时监测所述边缘节点的基本性能指标，其中，所述基本性能指标包括计算能力、内存大小、带宽和延迟；

18、根据所述边缘节点的基本性能指标和所述任务序列构建任务调度权重的矩阵；

19、以所述任务调度权重最大为目标函数，根据所述车载边缘云中的边缘节点和所述任务序列构建约束条件；

20、根据匈牙利算法对所述目标函数进行求解，以将所述任务序列中的任务分配给不同的边缘节点。

21、根据本技术的其中一个实施方式，所述任务调度权重的计算公式如下：

22、；

23、其中，表示任务调度权重矩阵中第行第列的元素，、和表示计算能力、内存大小和延迟的预设重要系数，且，表示计算能力的衰减系数，表示车载边缘云中的第个边缘节点的计算能力，表示车载边缘云中的第个边缘节点的内存大小，表示任务序列中的第个任务和车载边缘云中的第个边缘节点之间的延迟，且

24、，表示任务序列中的第个任务的gps坐标，表示车载边缘云中的第个边缘节点的gps坐标，表示平均车速；

25、所述约束条件的表达式如下：

26、；

27、其中，表示车载边缘云中的边缘节点的总数，表示任务序列中任务的总数，表示第个任务是否被分配给第个边缘节点的指示变量。

28、根据本技术的其中一个实施方式，根据所述边缘节点中的文件块进行分层纠删编码存储，以得到所述边缘节点中的文件块所对应的全局校验块的过程，包括：

29、将所述边缘节点中的文件块划分为数据块序列，根据所述数据块序列中数据块的数量确定本地编码矩阵，其中，所述本地编码矩阵包括身份矩阵和范德蒙矩阵，其中，所述身份矩阵用于表示数据块的身份，所述范德蒙矩阵用于通过预设的校验块增加数据块的冗余；

30、根据所述边缘节点的内存大小和计算能力确定所述边缘节点的负载；

31、根据所述边缘节点的负载对本地校验块的数量进行调整；

32、根据所述数据块序列和所述本地编码矩阵进行矩阵乘法，以得到本地编码块集合；

33、对所述本地编码块集合进行伪随机线性组合，以得到全局校验块。

34、根据本技术的其中一个实施方式，所述本地编码矩阵的表达式如下：

35、；

36、其中，表示本地编码矩阵，表示大小的单位矩阵，用于表示数据块的身份矩阵，表示大小的范德蒙矩阵，其中，，，表示数据块序列中数据块的数量；

37、所述负载的计算公式如下：

38、；

39、其中，表示车载边缘云中的第个边缘节点的负载。

40、根据本技术的其中一个实施方式，所述本地校验块的数量的计算公式如下：

41、；

42、其中，表示调整后的本地校验块的数量，表示调节因子；

43、所述全局校验块的计算公式如下：

44、；

45、其中，表示第个边缘节点的全局校验块，表示伽罗华域乘法，表示第个边缘节点的伪随机系数，通过hmac-sha256算法动态生成，表示本地编码块集合中第个本地编码块。

46、根据本技术的其中一个实施方式，当所述车载边缘云中单个边缘节点失效或多个边缘节点失效时，根据所述全局校验块对所述文件块进行恢复的过程中，所述文件块的本地恢复公式如下：

47、；

48、其中，表示第个恢复的文件块；

49、当所述车载边缘云中多个边缘节点失效时，根据所述全局校验块对所述文件块进行恢复，其中，所述文件块的全局恢复公式如下：

50、；

51、其中，表示待恢复的文件块。

52、特别地，本发明提供了一种基于车载边缘云的分布式文件处理装置，其配置为用于执行如上所述的分布式文件处理方法，装置包括：

53、动态分块单元，所述动态分块单元用于获取原始车载文件，根据自适应分块算法对所述原始车载文件进行动态分块，以得到所述原始车载文件所对应的文件块序列；

54、元数据生成单元，所述元数据生成单元用于对所述文件块序列进行元数据生成，以得到所述文件块序列所对应的元数据矩阵；

55、任务调度单元，所述任务调度单元用于根据所述元数据矩阵对车载边缘云中的边缘节点进行任务调度，以将所述文件块序列中的文件块分配给不同的边缘节点；

56、编码存储单元，所述编码存储单元用于根据所述边缘节点中的文件块进行分层纠删编码存储，以得到所述边缘节点中的文件块所对应的全局校验块；

57、文件恢复单元，所述文件恢复单元用于当所述车载边缘云中单个边缘节点失效或多个边缘节点失效时，根据所述全局校验块对所述文件块进行恢复。

58、特别地，本发明还提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。

59、本发明还提供了一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。所述计算机可读存储介质优选为非易失性可读存储介质。

60、与现有技术相比较，本发明专利申请的一种基于车载边缘云的分布式文件处理方法、装置的优点及有益效果在于：

61、本技术的分布式文件处理方法，通过自适应分块算法将原始车载文件分割成合适大小的文件块，可以根据不同的文件类型和大小调整分块策略，从而在边缘节点之间进行更高效的分配和处理，这避免了大文件导致的处理瓶颈，提升了系统整体的处理速度和响应时间，且通过根据元数据矩阵对车载边缘云中的边缘节点进行任务调度，可以智能地将文件块分配给资源空闲的边缘节点，这样，可以均衡边缘节点的负载，避免某个节点过载或空闲，提高资源的使用率，降低延迟和计算负担。

62、另外，通过在边缘节点中进行分层纠删编码存储，文件不仅被分块处理，还被加上冗余信息（校验块），从而提高了系统的容错能力，当某个或多个边缘节点失效时，可以通过全局校验块恢复丢失的文件块，保证系统的高可用性和数据的可靠性，这对于车载边缘云系统尤其重要，因为车载环境中节点的失效（如节点离线、网络波动等）是常见的，且通过分层纠删编码和全局校验块的生成，冗余数据分布在多个边缘节点中，可以有效减少数据传输过程中的带宽占用，在数据恢复时，只需要从部分节点获取信息，避免了从中心服务器获取全部数据的巨大带宽压力。

63、综合而言，本发明通过动态分块和任务调度，可以根据实际情况进行灵活的处理，并根据车载边缘云节点的状态和负载情况进行相应的调整，确保系统在动态环境下仍能保持高效的性能和稳定性。