资源受限环境下的AI分块方法、系统、设备及存储介质与流程

本发明涉及工智能领域，特别涉及资源受限环境下的ai分块方法、系统、设备及存储介质。

背景技术：

1、随着人工智能（ai）技术的快速发展，大语言模型（llm）和检索增强生成（rag）系统等ai应用在多个领域中得到广泛应用。然而，在资源受限的环境中（如移动设备、边缘计算设备或物联网设备），ai模型的性能和效率面临显著挑战。分块（chunking）技术作为处理大型数据集的重要手段，在ai应用中至关重要。传统分块方法通常采用固定大小分块或基于句子的分割方式，这些方法无法适应设备资源可用性的动态变化，导致以下问题：

2、资源利用率低下：固定分块大小在资源紧张时可能导致内存溢出，在资源充足时未充分利用计算能力。

3、性能下降：在资源受限环境下，过大的分块可能造成处理延迟，而过小的分块则可能增加计算开销。

4、现有技术中，分块策略主要包括基于token、句子或语义的分块方法，但这些方法在资源受限场景下的适应性不足。研究表明，固定分块策略在内存和计算能力有限的设备上表现不佳。动态分块的概念在媒体流传输领域有所应用，但尚未见直接针对ai数据处理的专利技术。因此，亟需一种能够在资源受限环境下动态调整分块大小以优化ai性能的解决方案。

技术实现思路

1、本申请实施例提供了一种资源受限环境下的ai分块方法、系统、设备及存储介质，用于解决传统分块方法在资源受限环境下性能不足的问题。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、根据本申请实施例的第一方面，提供了一种资源受限环境下的ai分块方法，包括：

4、实时获取设备的内存使用率和cpu使用率；

5、根据所述内存使用率和cpu使用率计算最佳分块大小；

6、使用最佳分块大小处理输入数据，实现数据的最佳分块。

7、在本申请的一个实施例中，所述设备为移动ai设备、边缘计算设备或物联网设备。

8、在本申请的一个实施例中，所述综合资源评分计算方法为：综合资源评分=内存使用率×0.7+cpu使用率×0.3。

9、在本申请的一个实施例中，所述根据所述综合资源评分确定最佳分块大小具体包括：

10、当综合资源评分＞80%时，最佳分块大小设置为100个token；

11、当综合资源评分在50%~80%之间时，最佳分块大小设置为300个token；

12、当综合资源评分＜50%时，最佳分块大小设置为500个token。

13、在本申请的一个实施例中，采用预设固定时间间隔获取设备的内存使用率和cpu使用率。

14、根据本申请实施例的第二方面，提供了资源受限环境下的ai分块系统，包括：

15、资源监控模块，用于实时获取设备的内存使用率和cpu使用率，并计算综合资源评分；

16、分块计算模块，用于根据综合资源评分确定最佳分块大小；

17、ai处理单元，用于根据最佳分块大小处理输入数据，确保ai模型高效运行。

18、在本申请的一个实施例中，所述资源监控模块中，综合资源评分的计算方法为：综合资源评分=内存使用率×0.7+cpu使用率×0.3。

19、在本申请的一个实施例中，所述分块计算模块中，计算最佳分块大小的过程包括：

20、当综合资源评分＞80%时，最佳分块大小设置为100个token；

21、当综合资源评分在50%~80%之间时，最佳分块大小设置为300个token；

22、当综合资源评分＜50%时，最佳分块大小设置为500个token。

23、根据本申请实施例的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如第一方面所述的资源受限环境下的ai分块方法对应的计算机程序。

24、根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行时用于实现第一方面所述的资源受限环境下的ai分块方法对应的过程。

25、与现有技术相比，采用上述技术方案的有益效果为：

26、（1）资源自适应性，能够根据设备的实时资源状态动态调整分块大小，避免内存溢出和计算资源浪费。

27、（2）性能优化，通过权重分配（内存权重0.7、cpu权重0.3）充分考虑内存约束对ai推理任务的影响，确保分块大小的合理性。

28、（3）能耗降低，减少监控开销的同时保证资源状态的准确评估。

29、（4）泛适应性，适用于移动ai设备、边缘计算设备、物联网设备等多种资源受限场景。

30、即本发明在资源利用率、性能优化和能耗降低方面具有显著优势，展现了强大的技术价值和市场潜力。

1.资源受限环境下的ai分块方法，其特征在于，包括：

2.根据权利要求1所述的资源受限环境下的ai分块方法，其特征在于，所述设备为移动ai设备、边缘计算设备或物联网设备。

3.根据权利要求1或2所述的资源受限环境下的ai分块方法，其特征在于，所述综合资源评分计算方法为：综合资源评分=内存使用率×0.7+cpu使用率×0.3。

4.根据权利要求3所述的资源受限环境下的ai分块方法，其特征在于，所述根据所述综合资源评分确定最佳分块大小具体包括：

5.根据权利要求1所述的资源受限环境下的ai分块方法，其特征在于，采用预设固定时间间隔获取设备的内存使用率和cpu使用率。

6.资源受限环境下的ai分块系统，其特征在于，包括：

7.根据权利要求6所述的资源受限环境下的ai分块系统，其特征在于，所述资源监控模块中，综合资源评分的计算方法为：综合资源评分=内存使用率×0.7+cpu使用率×0.3。

8.根据权利要求6或7所述的资源受限环境下的ai分块系统，其特征在于，所述分块计算模块中，确定最佳分块大小的过程包括：

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1~8任一项所述的资源受限环境下的ai分块方法对应的计算机程序。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时用于实现权利要求1~8任一项所述的资源受限环境下的ai分块方法对应的过程。