一种制造企业客户需求识别与画像生成方法及系统

本发明属于智能制造、自然语言处理、计算机视觉及客户关系管理，尤其涉及一种基于多模态数据与大语言模型的制造企业客户需求识别与画像生成方法及系统。

背景技术：

1、准确识别客户需求并形成可供销售、设计、生产和服务环节复用的客户画像，是制造企业快速响应市场和开展柔性生产的重要基础。随着客户交互渠道数字化，需求信息通常以询价文本、即时通信内容、邮件说明、产品照片、样件图片或图纸截图等多模态形式进入企业。同一需求往往同时包含产品外观、材料、规格、工艺、质量、交付和服务等信息，文本表达具有口语化、省略化和行业术语混用的特点，图像又可能包含文本未明确说明的结构、表面状态和应用场景。

2、针对多模态意图识别问题，现有研究尝试通过不同编码器和融合结构联合利用文本与视觉信息。kiela等人提出监督式多模态双向transformer，将文本编码器与图像编码器的表示进行融合，用于图文分类。kruk等人面向图像与配文构成的多模态文档建立意图分类数据，并验证联合使用图像和文本能够改善意图识别。zhang等人提出mintrec多模态意图识别数据集及基线，用于验证文本、视觉与语音线索在开放场景意图识别中的互补作用。

3、为提升视觉与语言之间的交互能力，lu等人提出vilbert双流结构，使视觉流和文本流通过协同注意力层交互；tan等人提出lxmert，分别设置对象关系编码器、语言编码器和跨模态编码器，以学习模态内关系及图文对齐关系。在大语言模型与外部工具协同方面，schick等人提出toolformer，使语言模型学习何时调用外部接口、传递何种参数以及如何利用工具结果；yao等人提出react，通过交替生成推理轨迹和任务动作，使语言模型能够与外部知识源或环境交互。

4、上述研究为图文分类、跨模态表示和大语言模型工具调用提供了基础，但其任务多面向通用内容理解、社交媒体或数字助理意图，尚未针对制造企业客户需求建立兼顾产品、材料、规格、工艺、质量、交付和服务的统一类别体系。现有多模态方法采用特征拼接或通用预训练结构时，难以保持制造场景图文样本的业务绑定关系并显式利用双向互补证据；直接使用大语言模型生成客户画像时，又存在类别口径不稳定、字段遗漏和处理过程难以审计的问题。因此，需要一种面向制造企业客户需求、能够执行双向跨模态识别，并以受控方式联合本地分类工具和大语言模型生成结构化画像的技术方案。

技术实现思路

1、本发明的目的在于提供一种基于多模态数据与大语言模型的制造企业客户需求识别与画像生成方法及系统，以解决制造企业客户需求来源多样、图文证据利用不足、类别定义不一致、画像字段不完整以及生成过程难以审计的问题。

2、为实现上述目的，本发明采用如下技术方案：

3、一种制造企业客户需求识别与画像生成方法，包括如下步骤：

4、步骤s1：获取客户需求的文本和对应产品图像，进行预处理并保持图文之间的绑定关系；

5、步骤s2：建立产品选型、材料性能、规格定制、工艺及表面处理、质量改进、交付周期、售后及技术服务七项需求类别，利用视觉语言模型辅助获取候选类别并经人工确认；

6、步骤s3：将标注后的有效样本按类别分层划分为训练集、验证集和测试集，并生成图像块序列和字符序列作为模型输入；

7、步骤s4：通过图像编码器和文本编码器分别对图像序列和文本序列进行编码，经双向跨模态注意力模块交互，以图像特征查询文本特征、以文本特征查询图像特征，融合两种模态的类别标记表示后输出七项需求类别的概率分布；

8、步骤s5：采用加权交叉熵损失训练模型，根据各类别样本量计算类别权重，并通过自适应坐标搜索依次优化模型超参数；

9、步骤s6：将训练后的需求识别模型封装为本地工具，供大语言模型调用以获取主类别、置信度及候选类别；控制器对工具调用进行校验，并在大语言模型未形成有效调用时主动补充调用；大语言模型在工具输出类别约束下生成结构化客户需求画像，控制器对画像进行字段校验。

10、进一步的，步骤s1中所述预处理包括对产品图像执行可解码性校验、色彩模式转换、尺寸检查、内容有效性检查和近重复检测；对于近重复图像保留主样本并记录关联样本，对于损坏、过小、通道异常或明显无关的图像标记为无效，清洗后保持图像与文本的对应关系不变。

11、进一步的，步骤s2中当同一样本包含多项需求诉求时，选择对当前销售或生产决策具有主导作用的需求作为主类别，将其他诉求记录为画像属性或候选类别保留。

12、进一步的，步骤s3中所述生成图像块序列的方式为：将标准化后的图像切分为多个图像块，每个图像块展平后经线性映射投影到嵌入空间，并与图像类别标记和位置编码组合成初始图像序列；生成字符序列的方式为：将客户文本转换为字符索引序列，经字符嵌入函数映射后与文本类别标记和位置编码组合成初始文本序列。

13、进一步的，步骤s4中所述双向跨模态注意力模块包含视觉查询分支和文本查询分支；视觉查询分支以图像特征作为查询向量，以文本特征作为键向量和值向量，用于从文本中选取与图像区域相关的描述信息；文本查询分支以文本特征作为查询向量，以图像特征作为键向量和值向量，用于从图像中选取与文本诉求相关的视觉证据；两个分支的跨模态输出分别经残差连接、层归一化和前馈网络更新后，得到更新后的图像类别标记表示和文本类别标记表示。

14、进一步的，步骤s5中所述类别权重根据训练集中各类别样本数量确定，各类别权重与该类别的样本数量成反比；所述加权交叉熵损失为各样本的负对数似然乘以对应类别权重后的平均值；所述自适应坐标搜索在验证集上按顺序调整各超参数，每次仅改变一个参数的值，选取使评价指标最优的取值并固定后继续优化下一个参数。

15、进一步的，步骤s5中所述模型超参数包括目标图像尺寸、图像块划分尺寸、文本序列最大长度、嵌入维度、注意力头数、编码器层数、跨模态交互层数、训练批量大小和学习率中的一项或多项。

16、进一步的，步骤s6中所述结构化客户需求画像包含客户标识、需求类别、原始文本、规范化需求、关键属性、意图描述、显式约束、隐式约束、待补充信息、视觉证据摘要、文本证据摘要、置信度、候选类别列表、知识实体、下游检索问题以及审计信息中的多项；当控制器对画像进行字段校验失败时，执行限定次数的重试，若仍失败则采用预设的回退模板生成可用画像。

17、一种制造企业客户需求识别与画像生成系统，用于执行所述的制造企业客户需求识别与画像生成方法，包括：多模态数据接入模块，用于从企业信息系统获取客户需求文本和对应产品图像；数据清洗与标注模块，用于对产品图像进行有效性校验和清洗，并基于七项需求类别体系对样本进行标注；数据集构建模块，用于按类别分层将有效样本划分为训练集、验证集和测试集，并生成模型输入序列；多模态需求识别模块，包含图像编码器、文本编码器和双向跨模态注意力模块，用于对图像和文本进行编码及跨模态交互，输出七项需求类别的概率分布；训练与参数搜索模块，用于采用加权交叉熵损失训练模型，并通过自适应坐标搜索确定模型超参数；受控工具调用与画像生成模块，用于将训练后的需求识别模型封装为本地工具，通过控制器验证大语言模型的工具调用并主动补充调用，使大语言模型在工具输出约束下生成结构化客户需求画像；结果输出与审计模块，用于将结构化画像写入目标系统，并保存处理记录。

18、进一步的，所述多模态数据接入模块通过接口或批量文件接入企业的询报价系统、客户关系管理系统、即时通信记录或电子邮件系统；所述多模态需求识别模块和大语言模型部署于企业内网或受控远程推理服务环境中；所述结果输出与审计模块还将业务人员对画像字段的修改记录反馈至数据清洗与标注模块，作为后续模型更新和复核标注的数据来源，形成数据接入、需求识别、画像应用与反馈更新的闭环流程。

19、本发明的一种制造企业客户需求识别与画像生成方法及系统具有以下优点：

20、本发明面向制造企业图文混合客户需求，保持图像、文本与样本标识的一一对应，以统一的七项类别体系组织业务标签，通过视觉查询文本和文本查询视觉的双向跨模态注意力提高需求识别的一致性，并以本地分类工具约束大语言模型生成可校验、可回退和可追溯的结构化客户画像，从而提升客户需求处理的自动化程度，并为销售分派、工艺评审、知识检索和售后服务提供可直接复用的数据。