基于多模态信息融合与位置感知的门店新线索智能挖掘方法及系统与流程

本发明涉及数据处理与人工智能，尤其涉及一种基于多模态信息融合与位置感知的门店新线索智能挖掘方法及系统。

背景技术：

1、在快消、零售、餐饮等高度依赖线下渠道的行业中，拓展新门店（拓店）是提升市场占有率、实现销量增长的核心手段。然而，面对庞大且时刻变动的线下实体商业环境，当前业务人员挖掘新店线索的主要方式依然较为传统，主要依赖地图app人工搜索或耗时费力的实地勘察。

2、现有方法及系统在实际业务应用中暴露出明显的缺陷与技术瓶颈：

3、首先，信息获取严重滞后且被动。传统系统多依赖静态地图数据或人工上报，无法实时捕捉实体门店更换门头、店铺迁址、新开业等动态变化，导致业务人员经常“扑空”。

4、其次，线索识别准确性差，缺乏深度辨识能力。现有系统通常仅通过简单的名称或坐标进行字符串匹配来去重，难以有效区分“新开门店”与“已有门店就近迁址”，极易将已存在于系统中的门店误判为新店，造成数据冗余、重复录入和线下拜访资源的严重浪费。

5、再次，孤立的数据处理模式导致鲁棒性低。地图名称、门头图片、地址文本等信息往往被孤立使用，缺乏跨模态（文本、视觉、空间）的融合判断机制，极易受现实环境中的信息噪声（如门头字迹模糊、地图数据标注错误）干扰。

6、最后，缺乏业务场景深度的智能化推送机制。即使发现了新店，现有系统也无法结合业务人员当前的实时位置、当日待办行程与成本限制，进行就近的智能推荐计算，导致拓店人员行动路线迂回，整体拓店效率低下。

7、因此，如何打破信息孤岛，实现新门店的自动化实时捕捉，并利用多模态人工智能技术精准排重（特别是迁址识别），进而结合时空路线进行高价值智能推送并持续自学习，是当前行业急需攻克的技术难题。

技术实现思路

1、为了解决上述现有技术存在的不足，本发明的目的在于提供一种基于多模态信息融合与位置感知的门店新线索智能挖掘方法及系统，实现新店线索的自动化发现、精准比对去重、高价值就近推荐以及系统能力的持续进化。

2、本发明第一方面公开了一种基于多模态信息融合与位置感知的门店新线索智能挖掘方法，所述方法包括：

3、步骤s1，采用基于动态网格密度的增量扫描策略，从多源数据渠道实时获取潜在的新店线索；

4、步骤s2，对获取的新店线索进行结构化预处理与信息增强，并提取文本特征向量与视觉特征向量，构建标准化门店多模态特征向量库；

5、步骤s3，基于包含多个阶段的级联式过滤机制，将所述新店线索的多模态特征向量与标准化门店多模态特征向量库中已有门店的多模态特征向量进行比对；其中，在最终的高级别过滤阶段（或第三阶段），融合图像文本互证机制与时空视觉迁址判定算法，判断所述新店线索为新开门店、已有门店或迁址门店；

6、步骤s4，获取业务人员的实时位置与行程路线，计算被判定为新开门店的新店线索的投入产出比得分，基于动态设定的机会成本阈值对新店线索进行排序并智能推送；

7、步骤s5，收集业务人员针对推送新店线索的人工反馈数据，基于所述反馈数据分别构建排序损失函数与特征提取损失函数，驱动各级模块进行增量学习与阈值自适应调整。

8、优选地，在所述步骤s1中，所述采用基于动态网格密度的增量扫描策略，具体包括：

9、将地图区域划分为多个动态网格，根据历史兴趣点poi的变更密度动态调整各个网格的扫描频率；所述扫描频率的调整公式为：

10、f=f_base×(1+α×change_density)；

11、其中，f_base为基础频率，α为调节系数，change_density为目标网格内历史poi的变更密度；

12、针对每个网格，将当前扫描获取的poi哈希列表与历史快照中的哈希列表进行全量对比，识别并提取新增或属性发生变化的poi点作为初始线索。

13、优选地，在所述步骤s2中，所述对获取的新店线索进行结构化预处理与信息增强，并提取文本特征向量与视觉特征向量，构建标准化门店多模态特征向量库，具体包括：

14、通过正则表达式与自然语言处理模型将地址信息转化为结构化文本，并对偏移坐标进行纠偏；

15、通过光学字符识别ocr提取门头图像中的文本信息，并通过预训练的视觉网络提取门头图像深层特征得到所述视觉特征向量；

16、当同一新店线索在不同数据源的信息存在冲突时，根据各数据源的历史准确率赋予动态权重，采用加权投票机制解决冲突并融合对齐，最后将文本、图像、坐标及元数据构成的多模态特征向量存入向量数据库中进行索引。

17、优选地，在所述步骤s3中，所述级联式过滤机制在所述高级别过滤阶段之前，还包含前置的第一阶段过滤与第二阶段过滤，具体为：

18、第一阶段过滤：将新店线索坐标与系统库中已有门店的坐标进行距离计算，筛选出距离在预设候选半径内的候选门店，并采用编辑距离或jaccard相似度计算其与新店线索名称和地址的浅层文本相似度得分；

19、第二阶段过滤：针对通过第一阶段的候选门店，采用预置少样本示例提示词的轻量化文本大语言模型，输出门店名称语义相似度概率，结合距离因子得到第二阶段综合得分，并与第二阶段过滤的通过阈值进行比对。

20、优选地，在所述步骤s3中，所述图像文本互证机制具体包括：

21、计算新店线索的视觉特征向量与候选门店视觉特征向量的余弦相似度；

22、提取新店线索门头图像中的ocr文本，并与系统库中候选门店的名称文本进行交叉验证；

23、若视觉余弦相似度高于预设值，但ocr文本与候选门店名称文本完全不匹配，则对视觉余弦相似度进行降权惩罚；若候选门店名称文本属于预设通用词词典且提取特征置信度低于预设值，且利用预训练的目标检测模型在新店线索图像中检测到概率大于设定标识识别阈值的品牌标识，则提高视觉特征相似度的权重并触发名称自动纠错。

24、优选地，在所述步骤s3中，所述时空视觉迁址判定算法具体包括：

25、当满足以下全部条件时，判定所述新店线索为已有门店迁址门店，并更新已有门店的门店信息而非将其作为新门店入库：

26、条件一：新店线索的视觉特征向量与某已有门店的历史视觉特征向量的余弦相似度大于第一预设视觉特征相似度阈值；

27、条件二：所述已有门店在距当前时间第一预设天数的时间窗口内的营业状态变更为关闭；

28、条件三：所述新店线索坐标与所述已有门店坐标的实际地理距离小于预设的迁址判定半径。

29、优选地，在所述步骤s4中，所述计算被判定为新开门店线索的投入产出比得分，其中投入产出比得分roi_score的计算逻辑综合考量了以下参数：

30、线索的识别置信度；目标品牌在当前业务员业务范围内的品牌权重加成；

31、基于线索距离当前行程路线最近插入点的空间距离衰减因子；以及基于线索发现时间的时间新鲜度衰减因子；

32、系统计算各线索的所述投入产出比得分，过滤掉得分低于所述机会成本阈值的线索，将剩余线索按照得分降序排列并推荐插入当前行程路线；

33、所述投入产出比得分roi_score的计算公式具体为：

34、；

35、其中，confidence为线索的识别置信度；为品牌权重；为线索到路线的最近距离；α为距离衰减因子，控制距离对得分的惩罚力度；为线索新鲜度；为时间衰减函数。

36、优选地，在所述步骤s5中，所述基于所述反馈数据分别构建排序损失函数与特征提取损失函数，具体包括：

37、对于线索推送的排序模型，采用pairwise ranking loss成对排序损失函数，将确认为真实的线索作为正样本，误报线索作为负样本，优化目标为扩大正负样本的得分边界；

38、对于文本和视觉特征比对模型，采用triplet loss三元组损失函数，以确认线索为锚点，以同实体门店为正样本，误报相似门店为负样本，优化特征空间中的向量距离；

39、并通过贝叶斯优化方法，结合反馈统计的误报率与漏报率，动态自适应调整级联式过滤机制中的各级判定阈值。

40、本发明第二方面公开了一种基于多模态信息融合与位置感知的门店新线索智能挖掘系统，所述系统包括：

41、多源线索自动获取模块，用于采用基于动态网格密度的增量扫描策略，从多源数据渠道实时获取潜在的新店线索；

42、智能预处理与信息增强模块，用于对获取的新店线索进行结构化预处理与信息增强，并提取文本特征向量与视觉特征向量；

43、多模态门店比对与识别引擎模块，用于基于级联式过滤机制，结合图文互证逻辑与时空视觉迁址判定算法，对新线索店与已有门店进行多模态比对与分类识别；

44、位置感知的线索推送模块，用于获取业务人员的实时位置与行程路线，计算线索投入产出比得分，基于动态机会成本阈值对新店线索进行排序推送；

45、持续学习与反馈优化模块，用于收集人工反馈数据，分别构建排序损失函数与特征提取损失函数驱动系统增量学习。

46、本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本公开第一方面中任一项的一种基于多模态信息融合与位置感知的门店新线索智能挖掘方法中的步骤。

47、本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本公开第一方面中任一项的一种基于多模态信息融合与位置感知的门店新线索智能挖掘方法中的步骤。

48、本发明的有益效果：

49、线索发现自动化与实时化：摒弃传统静态搜索，首创基于动态网格密度的自适应扫描机制，将计算资源集中倾斜于商业活跃区，在控制api调用成本的同时，实现了对全网多源数据的秒级捕捉与动态增量发现，大幅节省人工探店成本。

50、多模态融合与排重准确率呈指数级提升：打破单一文本比对局限，创新性地提出“图文互证”与“时空-视觉指纹迁址判定”算法。系统能够像人眼一样交叉比对招牌图像、ocr文字与地理坐标，完美解决了实体零售行业中极具挑战的“已有门店近距离迁址误判为新店”的行业痛点，使得线索的精准度达到极高水平。

51、基于机会成本的智能派单，极大提升人效：传统系统仅提供静态列表，本发明引入运筹学中的机会成本概念，结合业务员实时gps轨迹与品牌业务需求偏好，动态计算每一条线索的“投入产出比（roi）”，实现了新线索的“顺路无缝插入”，最大化单日拓店产出。

52、具备类生命体的持续进化能力：建立了一套隐式的闭环反馈框架，将前线业务员的每一次点击确认或驳回，自动转化为机器理解的成对排序损失和三元组损失。系统在运行过程中“越用越聪明”，能够自动适应不同城市、不同业态的细微差异，实现阈值的自我调优。