一种基于公共数据重组与创新场景挖掘的产品开发方法与流程

摘要: 本发明涉及大数据处理与产品创新设计,具体为一种基于公共数据重组与创新场景挖掘的产品开发方法。背景技术:1、随着数字技术的推进,开放了大量的公共数据资源,涵盖交通...
一种基于公共数据重组与创新场景挖掘的产品开发方法与流程

本发明涉及大数据处理与产品创新设计,具体为一种基于公共数据重组与创新场景挖掘的产品开发方法。

背景技术:

1、随着数字技术的推进,开放了大量的公共数据资源,涵盖交通流数据、环境质量监测数据、人口统计数据、经济指标数据、地理信息数据等多个领域。

2、然而,公共数据规模的快速增长与数据价值的充分释放之间仍存在显著落差,现有技术中缺乏系统性的跨域数据利用机制,无法从海量公共数据中自动化挖掘跨领域实体之间的隐含关联,导致大量具有产品开发价值的跨域数据关联未被发现和利用,其次现有技术中的跨域关联挖掘仅停留在统计相关层面,无法识别关联的因果方向,导致挖掘结果难以支撑具有可操作性的产品功能设计。

技术实现思路

1、针对现有技术的不足,本发明提供了一种基于公共数据重组与创新场景挖掘的产品开发方法,解决了缺乏系统性的跨域数据利用机制,跨域关联挖掘停留在统计相关层面,无法识别因果方向的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现:一种基于公共数据重组与创新场景挖掘的产品开发方法,该方法具体包括以下步骤:

3、步骤s1:建立api接口采集多源异构数据,对采集的数据进行清洗、实体对齐及归一化处理,基于处理后的数据构建包含时间维度、空间维度、主题维度和领域维度的公共数据知识图谱;

4、步骤s2:利用改进的fp-growth关联规则算法在知识图谱中挖掘跨域隐含关联,筛选满足预设支持度、置信度和提升度阈值的关联规则作为初选关联规则,对初选关联规则进行时序因果检验,识别具有因果方向的跨域因果关联;

5、步骤s3:将跨域因果关联中不同实体的数据特征进行组合生成复合数据特征集,并以跨域因果关联为边、以实体为节点构建因果子图,在因果子图上执行因果路径增长,生成链式复合特征集;

6、步骤s4:将复合数据特征集输入大语言模型进行语义特征提取并生成候选场景标签,将候选场景标签与预构建的种子标签库进行语义相似度匹配,将标注后的综合特征向量进行自适应密度聚类,生成聚类场景簇;

7、步骤s5:计算各聚类场景簇的语义凝聚度,保留语义凝聚度高于自适应阈值的场景簇作为高凝聚度真空场景,提取高凝聚度真空场景的代表性特征集;

8、步骤s6:对代表性特征集执行并行多通道映射,融合各粒度映射结果生成产品功能需求列表,调用模块化技术组件库,按功能依赖关系将各技术组件拼接组装,生成产品技术原型。

9、作为本发明的进一步方案,所述初选关联规则的筛选方式为:

10、支持度:support(a→b)=p(a∪b)=count(a∪b)/n,置信度:confidence(a→b)=p(b|a)=count(a∪b)/count(a),提升度:lift(a→b)=confidence(a→b)/support(b);

11、将同时满足支持度≥0.05、置信度≥0.6、提升度≥1.2的关联规则予以保留,记作初选关联规则。

12、作为本发明的进一步方案,所述时序因果检验包括:

13、对初选关联规则的前件实体a和后件实体b提取时间序列数据,构建仅包含b自身滞后项的受限自回归模型和同时包含a与b滞后项的非受限自回归模型;

14、通过f检验比较两模型残差,当f统计量的p值小于预设阈值时判定a对b存在时序因果影响,交换a与b角色重复检验以确定因果方向。

15、作为本发明的进一步方案,所述受限自回归模型包括:,表示滞后项,表示截距项,表示自回归系数,为预测误差,p为最大滞后阶数;

16、非受限模型包括:,为新模型的截距项,为自回归系数,为预测误差,表示交叉系数,表示外部滞后项,q为外部变量的最大滞后阶数。

17、作为本发明的进一步方案,所述在因果子图上执行因果路径增长包括:

18、对于任意两条共享中间实体的因果关联a到c和c到b,自动拼接为因果路径a到c到b,形成链式复合特征集;

19、且因果路径的每条增长路径需满足:路径中至少包含来自三个不同一级业务领域的实体,且路径中任意相邻实体之间均通过了因果验证。

20、作为本发明的进一步方案,候选场景标签生成与匹配包括:

21、基于大语言模型提取的多维度语义特征生成k个候选场景标签,将各候选标签与种子标签库中各标签进行bert语义相似度计算,取最高相似度;

22、当最高相似度≥0.85时,将生成的标签归入匹配的种子标签类别下作为新增子标签,当0.60≤最高相似度<0.85时,标记为边缘场景,当最高相似度<0.60时,标记为新增场景。

23、作为本发明的进一步方案,所述聚类场景簇生成包括:

24、将完成语义标注后的复合数据特征集构成待聚类集合,对待聚类集合中每个样本点计算其到其他样本点的欧氏距离,取最近k0个样本记录第k0距离值,将所有样本点的第k0距离值按升序绘制k距离曲线,取曲线曲率最大值对应的距离值作为全局邻域半径;

25、从任一未被访问的样本点出发,找出其全局邻域半径邻域内所有样本点,若邻域内样本数≥时形成簇并递归扩展,且minpts≥3,其中d为特征向量维度数,n为样本总数。

26、作为本发明的进一步方案,所述高凝聚度真空场景筛选方式为:

27、对于聚类场景簇cm,计算簇语义中心,其中表示第i个样本的场景标签,为聚类场景簇c内的样本数量;

28、场景簇cm的语义凝聚度,将语义凝聚度按升序排序,取第60百分位数处的值作为阈值,保留语义凝聚度>阈值的场景簇,标记为高凝聚度真空场景。

29、作为本发明的进一步方案,所述提取高凝聚度真空场景的代表性特征集包括:

30、提取该场景簇内所有样本的复合数据特征集,并计算簇语义中心与每个复合数据特征集语义向量之间的相似度,选取与簇语义中心相似度最高的若干个复合数据特征集,标记为代表性特征集。

31、作为本发明的进一步方案,所述对代表性特征集执行并行多通道映射包括:

32、场景语义映射:接着以整个高凝聚度真空场景的簇语义中心为查询输入,在预设的数据特征-技术方案映射库中进行全局语义检索,检索若干个在宏观语义层面匹配的映射记录,且此处优选的为5个;

33、特征类型映射:同时以每个代表性特征集的特征类型标签为查询输入,在数据特征-技术方案映射库中筛选出feature_label字段与特征类型标签匹配的记录,按映射置信度降序排列,并选取若干个映射记录,且此处优选的为3个;

34、数据维度映射:并将每个代表性特征集拆解为单个数据特征维度,对所有单个数据维度独立在数据特征-技术方案映射库中进行精确匹配,具体的采用数据特征标签的精确id匹配或高相似度语义匹配,相似度阈值设为0.90;

35、三个通道并行执行后将各通道输出的映射候选集进行加权融合,生成功能需求列表。

36、本发明提供了一种基于公共数据重组与创新场景挖掘的产品开发方法。与现有技术相比具备以下有益效果:

37、本发明通过改进的fp-growth关联规则算法与跨域领域约束的结合,在频繁项集挖掘过程中强制要求仅保留包含至少两个来自不同一级业务领域实体的频繁项集,实现了对跨域隐含关联的针对性挖掘,在统计关联挖掘的基础上引入了时序因果验证机制,通过构建受限模型与非受限模型并进行f检验比较,将挖掘出的统计相关关联进一步筛选为具有明确因果方向的因果关联,使挖掘结果从数据现象提升为可干预、可优化的因果关系,为后续产品功能设计提供了坚实的因果逻辑基础。

38、本发明构建数据特征-技术方案结构化映射库,将数据特征标签与成熟技术组件标识、调用接口规范进行标准化关联,并采用场景语义级、特征类型级、数据维度级三粒度并行映射架构,实现了从复合数据特征集到产品功能需求列表的自动化转化,基于大语言模型的动态语义标注机制进一步克服了静态标签体系无法覆盖新兴场景的缺陷,使场景标签体系能够随数据特征分布自动演化。