多模态意图识别与行为感知的社交推荐破冰方法及系统与流程

本发明属于人工智能与社交网络，尤其涉及一种多模态意图识别与行为感知的社交推荐破冰方法及系统。

背景技术：

1、现有社交应用中的用户匹配与交友推荐主要依赖用户手动填写年龄区间、地域、身高等标签化筛选条件，用户的表达能力受限于平台预设的筛选维度，难以传达“温柔的长发女生”、“像某张照片里的类型”这类模糊、感性的细腻偏好，标签式筛选无法覆盖自然语言与图片所承载的审美倾向。

2、在触发机制方面，现有推荐系统大多为被动模式，仅在用户主动进入推荐页面时展示结果；当用户活跃度下降，例如长时间不查看私信、不发起对话时，平台缺少识别用户“需要帮助”时刻的有效手段，简单定时推送策略粗糙，还容易引起用户反感。

3、在匹配后的交互环节，大量用户即使匹配到合适对象，也因不知道第一句说什么而放弃发起对话，匹配到对话之间缺少针对具体推荐对象生成个性化开场白的系统支持，匹配向有效会话的转化受限。

4、在偏好学习方面，现有推荐系统通常基于用户静态画像或单次会话进行计算，每次推荐彼此独立，无法跨会话积累用户交友偏好的变化，推荐结果难以随交互过程持续优化。

5、综上所述，现有社交推荐依赖标签化静态筛选与被动触发，缺少从用户自然偏好表达、需求时机感知、候选对象匹配到破冰文案生成的贯通处理链路，且用户偏好无法跨会话积累演化。与之相应，存在偏好表达门槛较高、主动触达时机粗糙且易打扰用户、匹配后缺少破冰支持、推荐结果无法随历史交互进化等问题，是本领域当前所要解决的技术问题。

技术实现思路

1、为解决上述技术问题，本发明的目的在于提供一种多模态意图识别与行为感知的社交推荐破冰方法及系统，该方法在触发侧并行设置主动输入与行为感知两条路径，主动路径以是否收到有效输入作为触发条件，行为感知被动触发路径在埋点采集的行为命中预设触发行为后，还需依次通过三级频率控制、冷却约束与前置准入的互锁校验生成被动触发信号，两路信号按逻辑或关系合并为全局触发判据，使系统能够在用户活跃度下降的时机主动发起引导，同时以多重约束减少对用户的打扰。

2、为实现上述目的，本发明的技术方案如下：

3、第一方面，本发明提供了一种多模态意图识别与行为感知的社交推荐破冰方法，包括以下步骤：

4、通过主动输入路径生成主动触发信号，通过行为感知被动触发路径生成原始被动触发信号；所述原始被动触发信号经多级频率控制、冷却窗口约束与前置准入校验三重互锁过滤后，与主动触发信号整合输出全局触发判据，触发后续交互流程；

5、对输入的多模态数据进行模态分流处理，差异化提取各模态对应的偏好特征；加载带时间衰减权重的短期对话记忆进行融合消歧，输出意图类别、偏好特征向量与意图置信度；

6、根据识别的意图类别进行分流处理；若意图类别为聊天意图，则融合用户行为数据、偏好分析结果、对话记忆上下文与用户画像信息，生成符合场景约束的聊天回复文案，并在对话过程中持续监测交友诉求信号，按置信度分级引导自然转入推荐流程，之后执行对话记忆更新步骤；若意图类别为推荐意图，则执行如下推荐匹配流程：

7、并行加载对话记忆数据、用户自身画像数据与当前偏好特征三路异构数据，经维度对齐与标准化、优先级加权融合、冲突检测与消解三个阶段处理，构建包含硬约束条件、强偏好条件、弱偏好条件与排除条件的增强查询条件；

8、对全量候选用户池依次执行硬约束粗筛、多维度加权精排与多样性重排三级处理；其中精排阶段采用加权乘法综合评分模型，将双向匹配度评分作为乘法因子参与最终评分计算，输出最终候选目标对象列表；

9、基于增强查询条件与候选对象特征进行维度级匹配度关联分析，选取最优匹配维度，生成聊天引导文案、推荐理由文案与破冰文案三组差异化文案，经内容安全校验后组装为推荐卡片序列发送给用户；

10、推荐匹配流程完成后，执行对话记忆更新步骤：异步将本次交互的用户输入、系统响应、实体标签与用户反馈信号写入记忆模块，分别更新短期对话记忆与长期偏好记忆，形成推荐精度持续进化的闭环。

11、作为本发明的进一步方案，所述主动输入路径接收文本、图片、语音三类多模态输入：文本承载模糊交友偏好，图片传递外貌审美倾向，语音经asr引擎转写为文本后并入统一处理管线；监测到任意有效用户输入即生成主动触发信号。

12、作为本发明的进一步方案，所述行为感知被动触发路径通过客户端埋点采集用户应用行为，满足以下六类触发行为中任意一类时生成原始被动触发信号：首页浏览停滞时长超过8秒；前台30秒未查看私信；连续30秒未主动发起聊天；新建会话120秒未发送开场白；连续查看3个用户私信且已读不回；进入助手页面10秒无输入。

13、作为本发明的进一步方案，所述多级频率控制采用自上而下的三级频控机制，高优先级规则直接否决低优先级触发请求，包括：

14、全局日级频控：单日被动触发次数上限为10次；

15、会话周期频控：单次应用生命周期内触发次数上限为5次；

16、事件粒度频控：逐类行为统计小时级与日级触发频次，超出对应阈值则拦截；

17、总频控因子取三级频控因子的最小值。

18、作为本发明的进一步方案，所述冷却窗口约束设置统一冷却周期为2分钟，采用指数衰减公式计算冷却因子：

19、

20、式中，为衰减系数，取值为0.5；为统一冷却周期；为当前时刻；为上一次触发时刻；距离上次触发间隔充足则放行，间隔不足则指数衰减拦截。

21、作为本发明的进一步方案，所述前置准入校验同时满足以下三项条件时放行被动触发：

22、用户至助手的消息间隔大于等于冷却周期；

23、助手至用户的消息间隔大于等于冷却周期；

24、用户为存量交互用户，非功能新用户；

25、全局触发判据取主动触发信号与过滤后被动触发信号的最大值，判据为1则启动意图识别流程，反之维持系统静默。

26、作为本发明的进一步方案，对输入的多模态数据进行模态分流处理，包括以下步骤：

27、文本输入送入llm意图识别模型，通过提示工程与少样本学习拆分意图类别；

28、图片输入送入vlm视觉模型，分层提取形体穿搭、场景氛围、气质风格三类视觉特征，默认判定为推荐意图；

29、语音输入转写为文本后复用文本处理链路；

30、各模态特征统一映射至相同语义向量空间。

31、作为本发明的进一步方案，加载最近5～10轮短期对话记忆进行融合消歧，记忆权重采用指数时间衰减公式计算：

32、

33、式中，为衰减速率因子，取值为0.1d-1；为当前系统时刻；为第轮对话的发生时刻；远期对话权重衰减、近期诉求权重更高；加权聚合历史记忆向量后叠加当前输入语义特征，从话题延续性、情感波动、偏好累积三个维度消解语义歧义。

34、作为本发明的进一步方案，融合四个维度信息构建大语言模型生成的输入上下文：

35、用户行为数据：包括触发方式、触发事件类型、距上次交互时间间隔、当日交互累计次数；

36、偏好分析结果：意图识别提取的各维度偏好关键词及对应置信度；

37、对话记忆上下文：最近k条对话记录，每条记录附带时间衰减权重；

38、用户画像：基础人口属性、社交风格标签、兴趣标签与社交行为标签；

39、采用动态注意力机制计算各维度权重，权重随场景动态调整：被动触发场景下行为数据权重增大，情绪倾诉场景下对话记忆权重增大，明确偏好表达场景下偏好分析权重增大。

40、作为本发明的进一步方案，所述持续监测交友诉求信号具体为：

41、从当前消息与对话上下文中提取孤独感、交友意向、陪伴需求、显式推荐请求四类信号特征，计算交友诉求置信度；

42、按置信度阈值划分为三级引导策略：

43、置信度低于低阈值：纯陪伴式聊天，无推荐引导；

44、置信度介于低阈值与高阈值之间：在回复中植入社交话题进行暗示引导；

45、置信度高于等于高阈值：明确提出推荐建议进行直接引导；

46、当直接引导后用户回复确认时，正式切入推荐匹配流程。

47、作为本发明的进一步方案，所述三路异构数据具体为：

48、对话记忆数据：分为短期记忆层与长期记忆层；短期记忆存储最近5～10轮对话完整上下文与推荐反馈信号；长期记忆存储跨会话偏好频次统计、正向反馈归纳特征与负向反馈归纳特征，采用指数时间衰减加权；

49、用户自身画像数据：包括基础人口统计学属性、认证信息、社交行为画像与系统行为标签，用于提供自我认知上下文；

50、当前偏好特征：从意图识别输出中获取的显式偏好与隐式偏好，在融合中优先级最高。

51、作为本发明的进一步方案，所述优先级加权融合按照当前偏好＞短期记忆＞长期记忆＞用户画像推断的优先级进行，对应权重系数分别为 0.5、0.25、0.15、0.10；所述冲突检测与消解采用时间近度优先原则：当前偏好覆盖短期记忆，短期记忆覆盖长期记忆；用户明确负反馈的特征标记为排除条件。

52、作为本发明的进一步方案，所述增强查询条件还附带偏好确信度元数据，标注每个维度的条件来源与确信度评级，供推荐排序阶段差异化加权使用；

53、当有效维度过少时，启动主动补全策略，基于同群体用户统计偏好生成推测偏好，以最低确信度标注填充空白维度。

54、作为本发明的进一步方案，所述硬约束粗筛具体执行四级过滤：

55、硬约束条件精确匹配过滤；

56、排除规则过滤已明确拒绝的特征类型；

57、基础合规过滤：排除封禁、注销、非活跃及存在屏蔽/拉黑关系的账户；

58、72小时历史去重过滤：排除最近72小时内已推荐过的对象；

59、粗筛后候选集从全量百万至千万量级缩减至数千至数万量级。

60、作为本发明的进一步方案，所述多维度加权精排融合四个维度评分：

61、偏好匹配度评分：连续型维度采用高斯衰减函数计算，离散型维度采用层级匹配，标签型维度采用jaccard系数计算；按偏好确信度差异化加权；

62、对象质量评分：综合资料完整度、认证等级、近期活跃度、历史社交表现计算；

63、双向匹配度评分：基于候选对象历史接受与拒绝的用户集合，计算当前用户与历史偏好人群的余弦相似度，表征对方接纳概率；

64、时效性与新鲜度评分：新注册用户、新更新资料用户获得加分，长尾未接触对象获得发现加分。

65、作为本发明的进一步方案，所述综合评分模型公式为：

66、

67、式中，为候选对象的偏好匹配度评分；为候选对象的对象质量评分；为候选对象的时效性与新鲜度评分；为候选对象的双向匹配度评分；、、为权重系数，分别取值0.6、0.25、0.15；按综合评分降序排列后取前50～100个候选对象进入重排阶段。

68、作为本发明的进一步方案，所述多样性重排执行三类约束：

69、地域多样性约束：同一城市候选对象占比不超过60%；

70、风格多样性约束：至少包含两种视觉风格类型；

71、互动状态多样性约束：同时包含全新未接触对象与有过轻度互动对象；

72、重排后截取最终3～5个候选目标对象输出。

73、作为本发明的进一步方案，所述三组差异化文案的生成约束分别为：

74、聊天引导文案：承接对话记忆最近话题，体现陪伴感，自然引出推荐结果；

75、推荐理由文案：基于top-k最优匹配维度展开，突出双方共同点或互补点，包含具体细节；

76、破冰文案：围绕候选对象兴趣点展开，匹配用户社交风格，结合双方共同点制造话题钩子。

77、作为本发明的进一步方案，所述破冰文案的质量评分综合三个维度加权计算：

78、

79、式中，为破冰文案与对象特征的关联度；为破冰文案与用户沟通风格的匹配度；为破冰文案的可回复性；、、为对应维度的权重系数。

80、作为本发明的进一步方案，设置兜底降级机制：当生成文案为空时，从预配置的兜底池中选取兜底文案；兜底池采用fisher-yates洗牌后按序分配，确保多候选对象场景下文案不重复；内容安全校验不通过时，主动触发场景发送兜底文案，被动触发场景静默不发送。

81、作为本发明的进一步方案，所述推荐卡片序列编排规则为：

82、第1张：聊天引导文案、推荐卡片信息和关键词高亮，显示助手头像；

83、第2至第n-1张：纯推荐卡片信息，隐藏助手头像；

84、第n张：推荐卡片信息和交互操作按钮，隐藏助手头像；

85、多张卡片按固定间隔递增时间戳发送，每条破冰文案分配唯一标识持久化存储。

86、作为本发明的进一步方案，所述长期偏好记忆更新包括统计偏好维度出现频次、归纳正向反馈特征与归纳负向反馈特征，更新后的记忆数据供意图识别、特征融合与推荐匹配步骤调用。

87、第二方面，本发明提供了一种多模态意图识别与行为感知的社交推荐破冰系统，包括：

88、智能触发模块：用于通过主动输入路径与行为感知被动触发路径生成触发信号，被动触发信号经多级频率控制、冷却窗口约束与前置准入校验三重过滤后，与主动触发信号整合输出全局触发判据；

89、多模态意图识别模块：用于对多模态输入进行分流处理，提取各模态偏好特征，结合带时间衰减的短期对话记忆进行融合消歧，输出意图类别、偏好特征向量与置信度；

90、意图分流与聊天交互模块：用于根据意图类别分流处理，聊天意图下融合多维度信息生成聊天回复文案，并持续监测交友诉求信号，分级引导自然转入推荐流程；

91、记忆加载与特征融合模块：用于在推荐意图下并行加载对话记忆、用户画像与当前偏好三路异构数据，经维度对齐、加权融合与冲突消解，构建增强查询条件；

92、多级漏斗推荐模块：用于在推荐意图下对候选用户池依次执行硬约束粗筛、多维度加权精排与多样性重排，采用加权乘法模型将双向匹配度作为乘法因子计算综合评分，输出候选目标对象列表；

93、推荐文案生成模块：用于在推荐意图下基于偏好与特征关联分析生成聊天引导文案、推荐理由文案与破冰文案，经安全校验后组装为推荐卡片序列发送；

94、对话记忆模块：用于异步存储交互数据，分别更新短期对话记忆与长期偏好记忆，形成偏好进化闭环。

95、作为本发明的进一步方案，所述智能触发模块中，行为感知被动触发路径监测六类用户行为：首页浏览停滞超8秒、前台30秒未查看私信、连续30秒未发起聊天、新建会话120秒未发开场白、连续3个已读不回私信、助手页面10秒无输入；多级频率控制包含全局日级、会话周期、事件粒度三级频控，高优先级规则直接否决低优先级请求。

96、作为本发明的进一步方案，所述多模态意图识别模块包含文本意图识别单元、视觉意图识别单元与记忆融合消歧单元；视觉意图识别单元输入图片，分层提取形体穿搭、场景氛围、气质风格三类视觉特征，默认判定为推荐意图；记忆融合消歧单元加载5～10轮短期对话记忆，采用指数时间衰减权重加权聚合，消解单轮语义歧义

97、作为本发明的进一步方案，所述意图分流与聊天交互模块包含多维度上下文融合单元、聊天文案生成单元与交友诉求监测引导单元；交友诉求监测引导单元提取孤独感、交友意向、陪伴需求、显式请求四类信号，计算置信度后执行纯聊天、话题暗示、直接推荐三级引导策略。

98、作为本发明的进一步方案，所述多级漏斗推荐模块包含粗筛单元、精排单元与多样性重排单元；精排单元计算偏好匹配度、对象质量、双向匹配度、时效性与新鲜度四个维度评分，通过加权乘法模型计算综合评分，双向匹配度评分作为乘法因子参与计算。

99、作为本发明的进一步方案，所述推荐文案生成模块包含匹配度关联分析单元、三组文案生成单元、安全校验单元与卡片组装单元；卡片组装单元按照首卡带引导语与高亮、中间纯卡片、末卡带操作按钮的规则编排推荐卡片序列。

100、与现有技术相比，本技术所提供的多模态意图识别与行为感知的社交推荐破冰方法及系统，具有以下有益效果：

101、本发明通过文本、图片、语音三类模态分流提取并结合时间衰减的对话记忆联合识别意图，用户可以用自然语言或图片直接表达细腻偏好，有利于降低偏好表达门槛、减少因标签维度不足造成的偏好丢失；通过行为感知被动触发路径识别六类隐性诉求行为，并以全局日级、应用会话级、细分事件级三级频控、指数衰减冷却与存量用户前置准入互锁后才触发，能够在识别用户需要帮助时机的同时约束触达频次，有利于在提升活跃度与避免打扰之间取得平衡；通过用户与候选对象的逐维度关联分析生成带有具体匹配细节的推荐理由与围绕对象兴趣点、兼顾用户社交风格和可回复性的破冰文案，并预填入输入框，有利于减少用户组织开场白的负担、为匹配对象之间提供可接续的话题；通过短期与长期两级记忆的指数衰减加权、按时间近度覆盖的冲突消解以及交互后的异步记忆更新，使近期偏好获得更高权重、负反馈特征及时排除，有利于推荐结果与文案角度随用户偏好演化持续调整；本发明在精排中引入基于候选对象历史接受与拒绝人群的双向匹配度并以乘法因子参与综合评分，同时以地域、风格、互动状态三类多样性约束重排，有利于兼顾相互接纳的可能性与推荐列表的探索空间。