基于元数据分离的Spark数据源到RayDataset跨引擎直读优化方法与流程
本发明涉及分布式ai计算框架ray、分布式数据处理、跨引擎数据访问优化、大数据与ai计算协同领域,尤其涉及基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法。
背景技术:
1、在分布式ai计算框架ray中,ray data模块提供了对接spark数据源的能力,对外提供ray.data.from_spark()接口实现spark dataframe向ray分布式数据集的转换(raydataset)。
2、ray.data.from_spark()接口的实现是以raydp作为桥梁完成的,接口的输入必须是由raydp创建的spark dataframe对象,然后由ray读取spark dataframe对象,转为raydataset。raydp是运行在ray集群内的spark任务,使用ray的计算资源,将spark的driver和executor作为ray actor启动,spark的工作机制保持不变。ray借助raydp将sparkdataframe转为ray dataset主要概括为三步:
3、spark计算数据:在ray上启动spark任务,读取spark数据源得到sparkdataframe,然后将dataframe转成arrow格式,缓存到executor的内存中;
4、ray读取数据:ray启动多个远程任务,每个任务找到对应的executor,通过(python-java)跨语言调用将数据集以arrow字节流的形式取回来,在python端还原成arrow表;
5、组装ray dataset:ray将读取的所有arrow表拼成一个ray dataset。
6、然而,上述现有方案存在以下关键瓶颈与不足:
7、当前开源ray data在读取spark数据源时存在以下关键瓶颈与不足:
8、数据冗余存储导致内存开销倍增:
9、现有流程需先通过spark计算生成dataframe,并在spark executor端完整物化数据。随后,ray任务通过跨语言机制从spark端拉取数据,而ray dataset本身也需独立加载并缓存数据。这一过程导致同一份数据在spark与ray两端分别驻留,造成双份内存占用,显著增加系统资源消耗,尤其在处理大规模数据时尤为突出。
10、缺乏流式数据读取能力,计算与i/o无法并行:
11、当前方案依赖spark完成全量计算(如调用rdd.count()等触发物化操作)后,才能启动ray端的数据读取任务。这意味着数据读取必须等待spark计算完成,无法实现“边计算、边读取”的流式pipeline处理模式,严重制约了整体数据处理效率与响应速度。
12、跨语言通信引入显著序列化开销:
13、ray任务运行在python进程中,而spark executor运行在jvm环境中,二者间的数据传输依赖跨语言通信机制(通过py4j)。该过程需对数据进行序列化与反序列化,带来可观的cpu开销与延迟,尤其在高频小数据量传输场景下性能损耗更为明显。
技术实现思路
1、本发明所要解决的技术问题是针对现有技术的不足提出一种基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法,通过jdbc接口下发sql获取表的元数据,由ray data原生能力直接从hdfs等存储系统读取数据,彻底规避spark executor的数据中转与内存驻留,实现零中转、低延迟、高吞吐的数据加载,有效解决内存冗余、无法pipeline读取、跨语言开销大等技术瓶颈,显著提升跨引擎数据接入效率与整体分析性能。
2、本发明为解决上述技术问题采用以下技术方案:
3、基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法,包括以下步骤:
4、步骤1,通过jdbc接口从元数据库中获取目标表的元数据信息,所述元数据信息包括数据存储路径、分区结构及schema;所述元数据获取过程不依赖spark dataframe的创建或物化操作;所述步骤1还包括:通过jdbc连接spark thrift server,下发describeextended table_name查询获取目标表的schema、hdfs根路径、数据文件格式以及分区列信息;通过show partitions table_name查询获取所有分区列表;步骤2,基于所述元数据信息构建分布式文件系统上实际数据文件的完整路径,并按照分区条件进行过滤;步骤3,在步骤1的元数据获取完成后立即启动ray data原生文件读取能力,无需等待spark作业完成,直接从分布式文件系统并行读取所述完整路径对应的数据文件,生成ray dataset。
5、作为本发明基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法的进一步优选方案,所述步骤1包括:根据权利要求1所述的基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法,其特征在于,所述步骤2中,用户通过partitions参数指定目标分区过滤条件,系统根据所述partitions参数与show partitions返回的完整分区列表进行精确匹配与过滤:
6、若partitions为none,则保留所有分区路径,生成完整路径列表;
7、若partitions为完整分区组合,则仅保留该组合对应的分区路径;
8、若partitions为部分分区列指定即仅指定分区列的子集,未指定全部分区列,则匹配所有符合该部分分区条件的分区并输出对应路径。
9、作为本发明基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法的进一步优选方案,所述步骤3中,根据元数据信息中的数据文件格式选择对应的ray data原生读取接口:
10、若为parquet格式,调用ray.data.read_parquet;
11、若为csv格式,调用ray.data.read_csv;
12、若为json格式,调用ray.data.read_json;
13、若为其他格式,调用对应的ray data原生读取接口。
14、作为本发明基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法的进一步优选方案,用户通过read_schema参数指定所需列,所述read_schema参数直接映射为ray data api的schema参数,实现列裁剪下推至存储层。
15、作为本发明基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法的进一步优选方案,用户传入的extra_params扩展参数直接传递给ray data api,以支持分布式文件系统认证、分片控制和性能调优配置。
16、作为本发明基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法的进一步优选方案,所述read_spark_table接口作为主入口函数,依次执行步骤1和步骤3对应步骤,将步骤1中获取的元数据信息及推导出的分区目录路径列表作为步骤3数据读取步骤的输入参数,完成全链路操作。
17、作为本发明基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法的进一步优选方案,所述read_spark_table接口的参数包括:
18、table_name,用于指定spark表名,格式为“database.table_name”;
19、read_schema,用于指定要读取的字段,为字符串、字符串列表或none;
20、partitions,用于指定分区过滤条件,为字符串、字符串列表或none;
21、extra_params,用于传递其他扩展参数。
22、作为本发明基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法的进一步优选方案,所述分布式文件系统为hdfs通过适配相应的路径协议与读取接口实现扩展。
23、作为本发明基于元数据分离的spark数据源到ray dataset跨引擎直读优化方法的进一步优选方案,整个数据读取过程中spark executor完全不参与数据中转,数据不经过spark executor的jvm堆内存,仅spark driver通过jdbc接口提供一次元数据查询服务;数据由ray data直接从分布式文件系统读取,消除了spark与ray之间的跨语言序列化开销和双份内存冗余,实现元数据获取与数据读取两条路径的完全分离。
24、本发明采用以上技术方案与现有技术相比,具有以下技术效果:
25、本发明通过“元数据分离 + 精确路径推导 + ray 直读”,实现跨引擎数据读取的“高性能、低资源、易用、高可靠、易实现”五位一体优化,是 spark 与 ray 混合计算架构下的高效数据访问范式。
26、1. 性能显著提升:吞吐提升 2–3 倍:数据从 hdfs 直接流入 ray 进程,跳过spark 中转与跨语言序列化;启动延迟接近零:无需创建 spark dataframe 或物化 rdd,元数据获取后立即读取;i/o 与内存开销大幅降低:列裁剪 + 分区裁剪,仅读取必要数据。
27、2. 资源效率极致优化:内存占用减少40%–50%:无需 spark executor 缓存副本,消除双份内存冗余;spark 资源释放:executor 可用于其他任务,降低集群负载;分区与列级裁剪:减少扫描范围与 i/o,提升整体资源利用率。
28、3. 接口简洁,易用性强:仅需表名即可读取:用户无需关心文件路径、分区结构或spark dataframe 构建;分区过滤语义一致:partitions 参数支持字符串/列表形式,与sql where 语义一致,学习成本低;与现有接口解耦:新增 read_spark_table() 接口,清晰独立,避免混淆。
29、4. 可靠性更高,容错更细粒度:故障恢复快:单 block 丢失仅切换 hdfs 副本,不触发全量 rdd 重算;无状态读取:不依赖 spark executor 缓存,避免因节点宕机导致数据丢失;双层容错保障:ray task 重试 + hdfs 副本自动恢复,无需应用层干预。
30、5. 实现简单,复用性强:零重复开发:复用 ray data 原生读取能力(hdfs、分片、本地性调度、列裁剪、谓词下推);仅需元数据获取与路径拼接:核心逻辑仅 100 行代码,无需实现读取逻辑;无跨语言交互:仅通过jdbc接口下发sql调用获取元数据,无跨语言通信开销。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com