冷冻电镜数据快传方法及装置

本申请涉及数据传输，特别涉及一种冷冻电镜数据快传方法及装置。

背景技术：

1、冷冻电镜实验数据通常需要从采集工作站传输至高性能计算集群或存储服务器，以进行后续的三维重构、图像处理和分析。为提高大规模数据传输效率，相关技术通常采用固定数量的并行进程进行数据传输，以利用多连接并发机制提升链路吞吐能力。

2、然而，相关技术中，固定并行度的传输方式无法根据当前网络与系统资源状态进行自适应调整，导致在资源充裕时不能充分利用可用带宽，难以发挥传输链路的最大性能，从而从而延长海量冷冻电镜数据的传输时间，降低数据处理流程的整体效率。

技术实现思路

1、本申请提供一种冷冻电镜数据快传方法及装置，以解决相关技术中，固定并行度的传输方式无法根据当前网络与系统资源状态进行自适应调整，导致在资源充裕时不能充分利用可用带宽，难以发挥传输链路的最大性能的问题。

2、本申请第一方面实施例提供一种冷冻电镜数据快传方法，包括以下步骤：获取冷冻电子显微镜的冷冻电镜数据，并且采集多维系统的性能指标；根据性能指标和历史传输经验确定当前的最优并行进程数；根据最优并行进程数对冷冻电镜数据执行并行传输。

3、通过以上技术手段，根据多维系统的性能指标及历史传输经验确定当前的最优并行进程数，并基于该最优并行进程数对数据传输并行度进行调整，可以在系统资源受限或网络/存储出现瓶颈时降低并行进程数，以避免资源竞争加剧及系统性能下降，从而提升数据传输稳定性与效率。

4、可选地，在本申请的一个实施例中，采集多维系统的性能指标，包括：接收用户输入的源目录路径和目标目录路径；基于源目录路径和目标目录路径，分别确定文件分布特征、源存储介质的读取性能、目标存储介质的写入性能、源目录的存储介质类型、目标目录的存储介质类型；根据源目录的存储介质类型和目标目录的存储介质类型识别源端网络环境和目标端网络环境；确定多维系统的核心资源状态。

5、通过以上技术手段，确定文件分布特征、源存储介质的读取性能、目标存储介质的写入性能、源端网络环境、目标端网络环境以及多维系统的核心资源状态等信息，可以全面表征数据传输过程中源端、网络链路及目标端的综合资源状况，为后续并行传输策略的确定提供基础依据。

6、可选地，在本申请的一个实施例中，确定多维系统的核心资源状态，包括：采集多维系统的系统负载信息；获取多维系统的cpu（central processing unit，中央处理器）架构、核心数、频率中的至少之一；获取多维系统的内存总量、可用内存、缓存中的至少之一。

7、通过以上技术手段，根据系统负载信息以及cpu、内存总量与可用内存等相关参数确定多维系统的核心资源状态，可以反映当前计算资源的供给能力与资源竞争程度，从而支持数据传输并行策略的动态调整。

8、可选地，在本申请的一个实施例中，根据性能指标和历史传输经验确定当前的最优并行进程数，包括：将性能指标和历史传输经验输入至预先构建的分析模型，在源端为网络挂载存储且网络带宽受限时，以第一预设降低策略降低并行度，当目标端写性能成为瓶颈时，控制并行进程数晓宇或等于磁盘承载能力，当系统负载大于预设负载时，以第二预设降低策略降低并行度，结合历史记录场景下的最优配置，输出当前的最优并行进程数。

9、通过以上技术手段，根据分析模型对多维系统的性能指标及历史传输经验进行计算结果，对并行进程数进行动态调整，在系统负载升高或资源供给不足时降低并行度，以避免网络拥塞、磁盘i/o瓶颈及cpu或内存资源过载，从而提升数据传输的稳定性与整体效率。

10、可选地，在本申请的一个实施例中，冷冻电镜数据快传方法还包括：根据最优并行进程数和冷冻电镜数据生成完整上下文信息；基于完整上下文信息生成历史参考数据，以优化历史传输经验。

11、通过以上技术手段，基于完整上下文信息生成历史参考数据，对历史传输经验进行持续优化与迭代更新，进一步为后续数据传输任务中的资源状态评估、模型参数修正及并行度决策提供基础支撑，从而实现传输策略的自适应优化闭环。

12、本申请第二方面实施例提供一种冷冻电镜数据快传装置，包括：获取模块，用于获取冷冻电子显微镜的冷冻电镜数据，并且采集多维系统的性能指标；确定模块，用于根据性能指标和历史传输经验确定当前的最优并行进程数；快传模块，用于根据最优并行进程数对冷冻电镜数据执行并行传输。

13、可选地，在本申请的一个实施例中，获取模块，包括：接收单元，用于接收用户输入的源目录路径和目标目录路径；处理单元，用于基于源目录路径和目标目录路径，分别确定文件分布特征、源存储介质的读取性能、目标存储介质的写入性能、源目录的存储介质类型、目标目录的存储介质类型；识别单元，用于根据源目录的存储介质类型和目标目录的存储介质类型识别源端网络环境和目标端网络环境；确定单元，用于确定多维系统的核心资源状态。

14、可选地，在本申请的一个实施例中，确定单元，包括：采集子单元，用于采集多维系统的系统负载信息；第一获取子单元，用于获取多维系统的cpu架构、核心数、频率中的至少之一；第二获取子单元，用于获取多维系统的内存总量、可用内存、缓存中的至少之一。

15、可选地，在本申请的一个实施例中，确定模块，包括：执行单元，用于将性能指标和历史传输经验输入至预先构建的分析模型，在源端为网络挂载存储且网络带宽受限时，以第一预设降低策略降低并行度，当目标端写性能成为瓶颈时，控制并行进程数晓宇或等于磁盘承载能力，当系统负载大于预设负载时，以第二预设降低策略降低并行度，结合历史记录场景下的最优配置，输出当前的最优并行进程数。

16、可选地，在本申请的一个实施例中，冷冻电镜数据快传装置还包括：生成模块，用于根据最优并行进程数和冷冻电镜数据生成完整上下文信息；优化模块，用于基于完整上下文信息生成历史参考数据，以优化历史传输经验。

17、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序，以实现如上述实施例的冷冻电镜数据快传方法。

18、本申请第四方面实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的冷冻电镜数据快传方法。

19、本申请第五方面实施例提供一种计算机程序产品，包括计算机程序，计算机程序被执行时，以用于实现如上的冷冻电镜数据快传方法。

20、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

1.一种冷冻电镜数据快传方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述采集多维系统的性能指标，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定所述多维系统的核心资源状态，包括：

4.根据权利要求1或2所述的方法，其特征在于，所述根据所述性能指标和历史传输经验确定当前的最优并行进程数，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.一种冷冻电镜数据快传装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述获取模块，包括：

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的冷冻电镜数据快传方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的冷冻电镜数据快传方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被执行，以用于实现如权利要求1-5中任一项所述的冷冻电镜数据快传方法。