基于语义分析的云店导购方法与流程

摘要: 本发明涉及语义分析,尤其涉及基于语义分析的云店导购方法。背景技术:1、语义分析技术是自然语言处理和人工智能领域的核心重要分支,其主要研究旨在让计算机系统能够像人...
基于语义分析的云店导购方法与流程

本发明涉及语义分析,尤其涉及基于语义分析的云店导购方法。

背景技术:

1、语义分析技术是自然语言处理和人工智能领域的核心重要分支,其主要研究旨在让计算机系统能够像人类一样深入理解和解释自然语言文本或语音的真实内在含义。

2、现有技术在致力于让计算机理解自然语言内在含义时,于特定应用场景下暴露出显著的局限性。其运作模式通常依赖于在通用的、标准化的语料库上进行一次性训练,这导致其对垂直领域内不断涌现的非标准俚语、网络新词缺乏识别能力与正确的语义解释能力。例如,在电商导购中,一个常规语义分析系统很可能无法理解用户查询“求推荐一款yyds的眼影盘”中的yyds代表着极高的赞誉,而可能将其视作无意义的字符或错别字,进而导致搜索失败或返回不相关的结果。此外,现有技术的模型本质上是静态的,其对词汇的语义权重一旦确立便难以更改,难以反映词汇在现实世界中的热度变化与生命周期。一个几年前非常流行但现在已经过时的网络词汇,在静态模型中可能依然保持着很高的重要性,这会持续性地干扰搜索结果,向用户推荐过时的商品。因此,需要进行改进。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点,而提出的基于语义分析的云店导购方法。

2、为了实现上述目的,本发明采用了如下技术方案,基于语义分析的云店导购方法,包括以下步骤:

3、获取电商网络平台产生的电商业务历史交互数据,提取所述电商业务历史交互数据中的俚语词汇集合以及标准评价特征集合,基于所述俚语词汇集合和所述标准评价特征集合构建电商俚语特征共现矩阵;

4、结合商品转化点击率数据,针对所述俚语词汇集合中的每个俚语词汇提取多维度生命周期波动率,基于所述多维度生命周期波动率获取自适应时间衰减因子,引入所述自适应时间衰减因子对所述电商俚语特征共现矩阵中的每个矩阵元素进行权重更新,得到目标时间衰减共现矩阵;

5、利用奇异值分解算法对所述目标时间衰减共现矩阵进行降维分解处理,建立潜在语义空间;

6、接收客户端发送的导购查询文本,提取所述导购查询文本中的文本特征,将所述文本特征映射至所述潜在语义空间内,生成导购查询特征向量;

7、获取预设意图向量集合,计算所述导购查询特征向量与所述预设意图向量集合中每个预设意图向量的向量内积参数,根据所述向量内积参数在云店数据库中检索目标导购商品记录;

8、采集网络数据流中的新增俚语词汇数据,利用增量奇异值分解技术结合伪逆矩阵对所述新增俚语词汇数据进行投影处理,结合语义漂移度量值与共现特征分布差异对所述潜在语义空间进行动态扩容与失效降维处理。

9、较佳地,提取所述电商业务历史交互数据中的俚语词汇集合以及标准评价特征集合,基于所述俚语词汇集合和所述标准评价特征集合构建电商俚语特征共现矩阵的步骤具体为:

10、对获取的所述电商业务历史交互数据进行数据清洗,去除所述电商业务历史交互数据中的特殊符号与网页标签代码,得到格式统一的纯文本电商业务数据;

11、加载预先训练的自然语言处理序列标注模型,利用所述自然语言处理序列标注模型对所述纯文本电商业务数据进行词性标注与实体识别,提取所述纯文本电商业务数据中的候选词汇序列;

12、获取标准现代汉语词典数据库,将所述候选词汇序列中的每个候选词汇与所述标准现代汉语词典数据库进行字符串比对匹配;

13、筛选出未收录于所述标准现代汉语词典数据库且在所述纯文本电商业务数据中出现频率超过预设频率阈值的目标词汇,将所有的所述目标词汇组合为所述俚语词汇集合;

14、获取标准商品类目属性映射表,基于所述标准商品类目属性映射表从所述纯文本电商业务数据中提取出与商品价格属性以及商品外观属性相关联的标准特征词,将所有的所述标准特征词组合为所述标准评价特征集合;

15、建立以所述俚语词汇集合中的每个俚语词汇为行特征,以所述标准评价特征集合中的每个标准评价特征为列特征的共现矩阵模型;

16、计算所述每个俚语词汇与所述每个标准评价特征在同一电商评论句段中共现的绝对频次数值;

17、利用词频逆文档频率统计算法对计算出的所述绝对频次数值进行归一化计算,生成初始特征权重数值;

18、将所有的所述初始特征权重数值分别填充至所述共现矩阵模型中对应的坐标位置,构建得到所述电商俚语特征共现矩阵。

19、较佳地,结合商品转化点击率数据,针对所述俚语词汇集合中的每个俚语词汇提取多维度生命周期波动率,基于所述多维度生命周期波动率获取自适应时间衰减因子,引入所述自适应时间衰减因子对所述电商俚语特征共现矩阵中的每个矩阵元素进行权重更新,得到目标时间衰减共现矩阵的步骤具体为:

20、从所述电商业务历史交互数据中提取出所述每个俚语词汇对应的历史产生时间戳;

21、获取当前云店导购系统运行所在服务器的当前系统基准时间戳;

22、计算所述每个俚语词汇在预设历史时间窗口内的词频变化方差、上下文共现特征离散度以及关联商品的商品转化点击率衰退梯度,基于所述词频变化方差、所述上下文共现特征离散度与所述商品转化点击率衰退梯度进行加权求和构建所述多维度生命周期波动率,将所述多维度生命周期波动率经过sigmoid函数映射后生成对应于俚语词汇的自适应衰减率参数;

23、将所述电商俚语特征共现矩阵中的矩阵元素原始数值、所述当前系统基准时间戳、所述历史产生时间戳以及所述自适应衰减率参数代入预设的时间衰减计算公式,计算出所述每个矩阵元素更新后的衰减特征权重;

24、公式为:,其中表示更新后的所述衰减特征权重,所述预设的时间衰减计算公式中包含所述自适应时间衰减因子,所述自适应时间衰减因子为,表示初始共现权重,即所述矩阵元素原始数值,表示所述自适应衰减率参数,表示所述当前系统基准时间戳,表示所述历史产生时间戳,表示自然对数的底数;

25、将计算出的所述衰减特征权重直接替换所述电商俚语特征共现矩阵中的对应矩阵元素数值,完成对所述每个矩阵元素的权重更新;

26、更新完所述电商俚语特征共现矩阵后,输出所述目标时间衰减共现矩阵。

27、较佳地,利用奇异值分解算法对所述目标时间衰减共现矩阵进行降维分解处理,建立潜在语义空间的步骤具体为:

28、对所述目标时间衰减共现矩阵执行奇异值分解,将所述目标时间衰减共现矩阵分解为三个基础特征矩阵的乘积形式,得到左奇异向量矩阵、对角奇异值矩阵以及右奇异向量矩阵;

29、提取所述对角奇异值矩阵对角线上排列的所有奇异值数值;

30、按照数值从大到小的降序排列规则对所述所有奇异值数值进行排序,生成降序奇异值序列;

31、计算所述降序奇异值序列中所有奇异值数值的平方和数值,得到代表矩阵整体信息量的全局能量基准值;

32、计算每个奇异值对应的能量占比,基于香农熵原理计算所述降序奇异值序列的奇异值信息熵;

33、将所述奇异值信息熵与所述多维度生命周期波动率的全局均值输入预设的动态阈值调节函数计算出联合系数,以所述联合系数作为动态调节因子修正预设的信息保留比例阈值,得到目标保留比例,从所述降序奇异值序列的首位开始逐个累加奇异值数值的平方,直至当前累加的奇异值平方和与所述全局能量基准值的比值首次超过所述目标保留比例;

34、记录触发条件时累加的奇异值个数总数,将所述奇异值个数总数确定为目标降维维度常数;

35、根据所述目标降维维度常数对所述左奇异向量矩阵进行列裁剪处理,保留前述目标降维维度常数个列向量,得到降维左奇异向量矩阵;

36、根据所述目标降维维度常数对所述对角奇异值矩阵进行行列同时裁剪处理,保留左上角区域的子矩阵数据,得到降维对角奇异值矩阵;

37、根据所述目标降维维度常数对所述右奇异向量矩阵进行行裁剪处理,得到降维右奇异向量矩阵;

38、将所述降维左奇异向量矩阵、所述降维对角奇异值矩阵和所述降维右奇异向量矩阵共同组合确定为所述潜在语义空间。

39、较佳地,提取所述导购查询文本中的文本特征,将所述文本特征映射至所述潜在语义空间内,生成导购查询特征向量的步骤具体为:

40、启动网络监听服务采集客户端发送的所述导购查询文本;

41、利用行业专属分词器组件对所述导购查询文本进行字符切分,得到查询文本词序列;

42、对比预设停用词表剔除所述查询文本词序列中属于无意义特征的虚词,得到核心查询词序列;

43、根据所述核心查询词序列中的每个核心查询词在所述标准评价特征集合中的匹配情况与出现词频数值,构建与所述电商俚语特征共现矩阵列维度对应的初始查询向量;

44、获取所述潜在语义空间中的所述降维对角奇异值矩阵,计算所述降维对角奇异值矩阵的逆矩阵,得到逆对角奇异值矩阵;

45、将所述初始查询向量与所述潜在语义空间中的所述降维右奇异向量矩阵进行矩阵乘法运算,得到中间过渡特征向量;

46、将所述中间过渡特征向量与所述逆对角奇异值矩阵进行矩阵乘法运算,计算出映射至低维空间内的最终坐标特征数据;

47、将所述最终坐标特征数据进行标准化封装处理,生成所述导购查询特征向量。

48、较佳地,计算所述导购查询特征向量与所述预设意图向量集合中每个预设意图向量的向量内积参数,根据所述向量内积参数在云店数据库中检索目标导购商品记录的步骤具体为:

49、从系统存储区读取初始化好的所述预设意图向量集合,所述预设意图向量集合包括具备正向购买倾向的正面购买意图向量以及具备负向拒绝倾向的负面拒绝意图向量;

50、提取所述导购查询特征向量中的所有第一特征元素数值;

51、提取所述正面购买意图向量中的所有第二特征元素数值;

52、将处于相同维度坐标的所述第一特征元素数值与所述第二特征元素数值依次相乘,并将所有乘积结果进行加和运算,得到第一向量内积参数;

53、采用相同的坐标乘积加和运算规则计算所述导购查询特征向量与所述负面拒绝意图向量之间的第二向量内积参数;

54、比较所述第一向量内积参数与所述第二向量内积参数的绝对数值大小;

55、在所述第一向量内积参数大于所述第二向量内积参数,且所述第一向量内积参数大于预设意图激活阈值时,判定所述导购查询文本包含正向购买意图;

56、在判定包含正向购买意图的情形下,提取所述导购查询特征向量中数值大于预设特征活跃阈值的若干个关键语义特征维度对应的坐标数值,组成局部查询特征向量;

57、通过查询预先建立的特征映射索引表,计算所述局部查询特征向量与所述降维右奇异向量矩阵中各列向量在所述关键语义特征维度下的局部列向量的空间余弦相似度,提取相似度最高的前n个列向量对应的标准评价特征作为目标标准评价特征;

58、利用所述目标标准评价特征按照固定语法结构拼接生成结构化查询语言指令;

59、根据所述结构化查询语言指令在所述云店数据库中执行匹配搜索任务;

60、提取所述云店数据库执行完毕后返回的满足所述结构化查询语言指令的商品明细数据,将所述商品明细数据确定为所述目标导购商品记录。

61、较佳地,利用增量奇异值分解技术结合伪逆矩阵对所述新增俚语词汇数据进行投影处理,结合语义漂移度量值与共现特征分布差异对所述潜在语义空间进行动态扩容与失效降维处理的步骤具体为:

62、实时监控流经服务端业务网关的网络数据流;

63、利用新词发现算法模型从所述网络数据流中识别出未包含在所述俚语词汇集合中的所述新增俚语词汇数据;

64、统计所述新增俚语词汇数据与所述标准评价特征集合中各个标准评价特征在新增语料中的新增共现频次,构建得到新增特征行向量;

65、获取所述潜在语义空间中的所述降维对角奇异值矩阵以及所述降维右奇异向量矩阵;

66、计算所述降维对角奇异值矩阵与所述降维右奇异向量矩阵乘积结果的广义伪逆矩阵参数;

67、将所述新增特征行向量与所述广义伪逆矩阵参数进行矩阵乘法运算,执行向内折叠投影逻辑,计算出所述新增俚语词汇数据在所述潜在语义空间中的增量投影坐标向量;

68、将所述增量投影坐标向量作为新的一行特征数据追加合并至所述潜在语义空间中所述降维左奇异向量矩阵的末尾尾部位置,形成扩容降维左奇异向量矩阵;

69、对所述新增特征行向量执行l1范数归一化处理生成当前概率分布,计算所述当前概率分布与所述电商俚语特征共现矩阵中列特征对应的历史概率分布之间的相对熵信息散度作为所述共现特征分布差异,将新追加的所述增量投影坐标向量与原有行向量特征中心点的距离偏差作为所述语义漂移度量值;

70、实时检测所述语义漂移度量值与所述共现特征分布差异的加权总和是否达到预先设定的微调更新阈值;

71、在所述加权总和达到所述微调更新阈值时,提取当前的所述扩容降维左奇异向量矩阵;

72、对所述扩容降维左奇异向量矩阵强制执行正交化更新微调算法,通过施加正交约束消除新追加的行向量与原有行向量之间产生的非正交累积误差参数,得到微调左奇异向量矩阵;

73、从所述微调左奇异向量矩阵中,检索出对应的所述自适应衰减率参数大于预设失效阈值的冗余俚语行向量,对所述冗余俚语行向量执行行剔除,得到最终左奇异向量矩阵;

74、利用所述最终左奇异向量矩阵直接替换原有的所述降维左奇异向量矩阵数据,完成所述潜在语义空间的所述动态扩容与失效降维处理。

75、与现有技术相比,本发明的优点和积极效果在于:

76、本发明通过从电商业务历史交互数据中深度挖掘俚语词汇并构建与标准评价特征的共现矩阵,能够直接捕获并量化电商垂直领域内非标准用语的真实语义关联,增强了对口语化、个性化查询的初始理解精度。在此基础上结合商品转化点击率数据去计算俚语词汇的多维度生命周期波动率,并以此生成自适应时间衰减因子来更新共现矩阵权重,此举使语义模型具备了商业价值感知与时间敏感性,确保了热度高、转化效果好的新词汇获得更高权重,而过时词汇的影响则自然衰减,从而让构建出的潜在语义空间不仅反映词汇关联,更体现出动态的商业价值与时效性。将用户查询映射至该空间后,通过与预设的正负向购买意图向量进行内积计算,实现了对用户真实意图的精准判别,区分了咨询与投诉。更为关键的是,借助增量奇异值分解技术对网络数据流中的新增俚语进行实时投影扩容,并结合语义漂移度量值对失效词汇进行降维剔除,建立了一种轻量级、自适应的语义空间动态维护机制,保证了模型在无需大规模重训练的前提下,能够持续跟进网络语言的演变,始终维持导购推荐的高准确率。

77、依托算法实现云店铺产权线上流转交易;依托全链路沉淀的店铺交易、用户、客户等多维数据,通过核心算法核算出具店铺估值,将店铺全域数据转化为具备实际经济价值的数字资产。