一种零代码数据产品开发方法、设备及介质与流程
本技术涉及数据产品开发,尤其涉及一种零代码数据产品开发方法、设备及介质。
背景技术:
1、随着数字经济的快速发展,数据已成为企业最重要的生产要素之一。数据产品是指将原始数据经过采集、清洗、治理、分析和建模等标准化处理后,形成的能够直接服务于业务决策、流程优化或价值变现的可复用数据服务与应用形态,主要包括数据报表、分析仪表盘、预测模型、数据 api、行业数据集等多种形式,是实现数据从资源到资产再到价值转化的核心载体。
2、在数字经济时代,数据产品已成为企业实现数据价值变现的核心载体,但由于目前各行各业对数据产品的需求多种多样,且需求也不断发生变化,因此数据产品的开发需求量极大。然而,传统的数据产品开发模式高度依赖于专业技术人员的手工编码,开发人员需要掌握数据处理、算法建模、前端可视化等多领域的编程技能,并协同完成数据接入、清洗、分析、建模、可视化展示等一系列复杂工作。这种开发模式导致技术门槛极高,企业内部的业务人员难以直接参与数据产品的构建,使得业务需求与技术实现之间存在严重的沟通鸿沟。
3、近年来,市场上出现了一些辅助数据查询或通用低代码开发的工具,但要么仅能处理简单的结构化查询语句,无法覆盖数据清洗、特征工程、模型训练、产品组装等全流程开发环节;要么仍需用户具备一定的编程基础或手动拖拽配置大量参数,本质上并未实现真正的零代码开发。至于数据资产管理类平台,其侧重点在于数据的编目、治理和评估,缺乏将原始数据快速转化为可发布、可运营的数据产品的开发能力,无法形成从数据到资产的价值闭环。
4、因此,如何能够使非技术人员通过自然语言交互即可完成数据产品全流程敏捷开发的方法,大幅降低技术门槛、缩短开发周期,成为本领域技术人员急需解决的技术问题。
技术实现思路
1、本技术实施例提供了一种零代码数据产品开发方法、设备及介质,用以解决如下技术问题:如何能够使非技术人员通过自然语言交互即可完成数据产品全流程敏捷开发的方法,大幅降低技术门槛、缩短开发周期。
2、第一方面,本技术实施例提供了一种零代码数据产品开发方法,方法包括:基于用户上传的数据产品开发配置信息,自动创建数据产品开发项目实体,并对所述数据产品开发项目实体进行初始化加载;接收用户输入的自然语言需求文本,并通过所述数据产品开发项目实体中加载的智能体对所述自然语言需求文本进行需求解析,以生成数据产品开发方案;根据所述数据产品开发方案,调用所述数据产品开发项目实体中加载的对应组件生成模块生成需求组件,并对生成的各所述需求组件执行封装;根据所述数据产品开发方案中的数据处理流程,将封装后的各所述需求组件进行组装,生成待发布数据产品。
3、可选的,基于用户上传的数据产品开发配置信息,自动创建数据产品开发项目实体,具体包括:解析用户上传的数据产品开发配置信息,以提取项目创建参数;其中,所述项目创建参数包括项目名称标识符、项目基础描述文本以及项目类型标签;根据所述项目创建参数,在项目数据库中执行项目实体对象实例化操作,生成项目身份标识码;基于所述项目身份标识码,在持久化存储介质中分配与所述项目身份标识码关联的独立项目存储空间;将所述项目创建参数写入所述独立项目存储空间中的项目配置文件内,以完成所述数据产品开发项目实体的自动化创建。
4、可选的,对所述数据产品开发项目实体进行初始化加载,具体包括:提取所述数据产品开发配置信息中的数据源定位符,并根据所述数据源定位符的协议类型自动匹配对应的数据接入适配器;通过所述数据接入适配器向目标数据源发起连接认证请求,以在认证通过后读取所述目标数据源的元数据结构信息,并根据所述元数据结构信息将所述目标数据源中的数据表以逻辑映射方式接入所述数据产品开发项目实体;提取所述数据产品开发配置信息中的模型服务端点配置,以从预设的模型服务注册中心加载通用大语言模型的实例化对象,并基于所述模型服务端点配置对所述实例化对象进行参数初始化;分别实例化各类所述组件生成模块,并将各类所述组件生成模块的应用程序编程接口注册至所述数据产品开发项目实体的服务调用目录中。
5、可选的,通过所述数据产品开发项目实体中加载的智能体对所述自然语言需求文本进行需求解析,以生成结构化的数据产品开发方案,具体包括:将所述自然语言需求文本输入至预先部署的通用大语言模型中进行语义特征提取,获得需求语义向量;对所述需求语义向量进行意图分类,提取出所述自然语言需求文本中的关键信息实体;其中,所述关键信息实体包括分析目标类型、时间范围约束条件、业务维度字段集合以及待计算的指标字段集合;根据所述分析目标类型,从预设的开发路径模板库中匹配对应的开发路径模板;其中,所述开发路径模板包括数据清洗路径、特征工程路径、模型训练路径和可视化输出路径;将所述时间范围约束条件、所述业务维度字段集合和所述指标字段集合映射到所述开发路径模板的各个阶段中,生成包含阶段节点序列和阶段间依赖关系的数据处理流程;根据所述数据处理流程中各阶段节点的处理需求,从所述组件调度器中确定所需的组件需求清单,并将所述组件需求清单与所述数据处理流程进行关联绑定,以形成结构化的数据产品开发方案。
6、可选的,根据所述数据产品开发方案,调用所述数据产品开发项目实体中加载的对应组件生成模块生成需求组件,具体包括:解析所述数据产品开发方案中的所述组件需求清单,以确定各所述需求组件对应的组件生成模块标识和组件配置需求文本;根据所述组件生成模块标识,从所述服务调用目录中定位并激活对应的组件生成模块实例,并将所述组件配置需求文本输入至所述组件生成模块实例中;通过所述组件生成模块实例调用通用大语言模型的代码生成接口,将所述组件配置需求文本转换为初始组件代码文本,并对所述初始组件代码文本进行语法结构分析,以提取对应所述需求组件的数据输入接口定义、数据处理逻辑主体和数据输出接口定义;根据所述数据处理流程,识别与各所述需求组件关联的输入数据节点和输出数据节点,并基于所述输入数据接口定义和所述输出数据接口定义,将所述初始组件代码文本中的输入输出占位符替换为对应的数据节点引用路径,以生成可执行组件代码文本;将所述可执行组件代码文本与所述组件配置需求文本中的前端视图参数进行绑定,形成待封装的各需求组件实例。
7、可选的,对生成的各所述需求组件执行封装,具体包括:获取各所述需求组件实例中的所述可执行组件代码文本,并将所述可执行组件代码文本提交至隔离的代码沙箱环境中执行编译与静态语法校验,生成第一校验结果;若所述第一校验结果指示存在语法错误,则捕获所述语法错误并将错误描述文本反馈至所述通用大语言模型,以驱动所述通用大语言模型对所述初始组件代码文本进行修正,直至所述第一校验结果无语法错误;在所述第一校验结果无语法错误后,根据所述组件需求清单中的组件类型标识,从预设的测试数据池中提取对应的测试样本数据集,并将所述测试样本数据集输入至所述需求组件实例中执行功能测试,获取输出结果与预期结果的匹配度,生成第二校验结果;若所述第二校验结果指示匹配度低于预设阈值,则基于所述匹配度生成功能优化提示文本,并驱动所述通用大语言模型对所述可执行组件代码文本中的数据处理逻辑主体进行调整,生成优化后的需求组件实例;将优化后的需求组件实例的元数据信息、代码文本和前端视图参数打包为组件发布包,并将所述组件发布包存储至组件库中,以完成所述需求组件的自动化封装。
8、可选的,根据所述数据产品开发方案中的数据处理流程,将封装后的所述各类组件进行组装,生成待发布的数据产品,具体包括:解析所述数据处理流程,以提取所述阶段节点序列和所述阶段间依赖关系; 根据所述阶段节点序列,在所述数据产品开发项目实体中创建产品页面容器,并根据所述数据处理流程中的输出数据类型,在所述产品页面容器实例中划分各阶段节点的展示区域;遍历各阶段节点,以从组件库中调用对应的需求组件实例,并根据所述数据流向约束,将上游阶段节点的输出数据缓存地址绑定至所述需求组件实例的数据输入接口;将所述需求组件实例的执行结果写入对应阶段节点的输出数据缓存地址,并建立所述输出数据缓存地址与所述展示区域之间的映射关系;在所有阶段节点完成绑定后,根据所述映射关系生成页面渲染描述文件,并将所述页面渲染描述文件与各所述需求组件实例的引用路径打包为产品发布包,以生成待发布数据产品。
9、可选的,在生成待发布数据产品之后,所述方法还包括:解析所述待发布数据产品的产品发布包,提取页面渲染描述文件及各所述需求组件实例的引用路径,渲染生成可视化预览界面;其中,所述可视化预览界面中的每个展示区域均挂载有事件监听器;通过所述事件监听器捕获用户对展示区域的拖拽移动、属性修改或尺寸缩放操作,以实时更新所述页面渲染描述文件中对应的布局参数或配置参数,并驱动关联的需求组件实例重新执行数据绑定与渲染操作,以刷新显示效果;在接收到确认保存指令后,将更新后的页面渲染描述文件和配置参数合并回所述产品发布包,生成调整后的待发布数据产品。
10、第二方面,本技术实施例还提供了一种零代码数据产品开发设备,设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上述任一项的一种零代码数据产品开发方法。
11、第三方面,本技术实施例还提供了一种计算机存储介质,存储有计算机可执行指令,计算机可执行指令被执行时,实现如上述任一项的一种零代码数据产品开发方法。
12、本技术实施例提供的一种零代码数据产品开发方法、设备及介质,具有以下有益效果:通过构建基于大语言模型的智能体对自然语言需求进行语义解析并自动生成结构化的数据产品开发方案,首次实现了从需求理解到产品组装的全流程自动化,使非技术背景的业务人员无需编写任何代码即可独立完成数据产品的开发,极大地降低了数据产品开发的技术门槛,真正突破了传统开发模式对专业技术人员的刚性依赖。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com