文本处理方法、电子设备及计算机程序产品与流程

本公开涉及数据处理等，本公开尤其涉及一种文本处理方法、电子设备及计算机程序产品。

背景技术：

1、企业从各种渠道积累海量的文本、语音等非结构化数据，例如用户评价、客服对话、工作记录、调研报告等。这些数据中蕴藏着关于产品特征、客户需求、市场变化等丰富的细节信息，是企业洞察业务、优化决策的数据基础。然而，这些信息通常是零散、口语化且形式各异的，关键内容往往淹没在长篇叙述中，或者同一件事有几十种不同的说法，导致它们虽然体量庞大，却无法被直接使用。

2、面对这种海量、零散的数据，若人工逐条整理，成本高昂、效率低下。而设定固定关键词或模板的规则式提取，又因人类语言的灵活多变而显得机械僵化，对有效信息的提取会出现错误或者遗漏等问题。这就形成了一个普遍困境，即企业拥有海量数据，却无法将这些杂乱的非结构化文本快速、精准地转化为规整可用的结构化知识，严重制约了数据驱动决策的能力。

技术实现思路

1、本公开提供了一种文本处理方法、电子设备及计算机程序产品。

2、根据本公开的一个方面，提供了一种文本处理方法，包括：响应于接收到关于待处理文本的文本处理任务，确定所述待处理文本中关于感兴趣实体的感兴趣属性的描述值；确定所述描述值的效力；以及当所述描述值有效时，生成包含所述感兴趣实体与所述描述值的知识项。

3、根据本公开的一个方面，通过“提取—效力判定—知识项生成”三个连续步骤，构建了一套从非结构化文本中自动化提取结构化知识的完整处理逻辑。首先从待处理文本中获取描述值，再对该描述值进行效力判定，以确认其可信度，最后仅将判定为有效的描述值生成知识项。这一闭环机制使得系统具备了对提取结果进行自我甄别和筛选的能力，有效避免了不可信或低质量信息进入最终输出环节，在减少人工干预的同时保障了所生成知识项的准确性和可用性，为海量文本数据的自动化知识构建提供了可靠的技术基础。

4、在一些实施方式中，确定所述待处理文本中关于感兴趣实体的感兴趣属性的描述值，包括：调用多个知识提取模型分别处理所述待处理文本，获得各所述知识提取模型输出的关于所述感兴趣属性的初始识别信息、以及置信度，所述置信度是所述知识提取模型对所输出的初始识别信息的准确程度的量化值；以输出频次最高的初始识别信息作为所述感兴趣属性的候选描述值；对所述候选描述值所对应的置信度进行加权计算，获得所述候选描述值的综合置信度；以及当所述综合置信度大于置信度阈值时，以所述候选描述值作为所述感兴趣实体的感兴趣属性的描述值。

5、在一些实施方式中，确定所述待处理文本中关于感兴趣实体的感兴趣属性的描述值，包括：确定所述待处理文本是否为第一类型文本；当所述待处理文本为所述第一类型文本时，识别所述待处理文本中的感兴趣实体，并确定所述待处理文本中关于所述感兴趣实体的实体边界；按照所述实体边界对所述待处理文本进行切分，获得用于描述所述感兴趣实体的文本片段；以及在所述文本片段中，确定所述感兴趣实体的感兴趣属性的描述值。

6、在一些实施方式中，确定所述待处理文本是否为第一类型文本，包括：确定所述待处理文本的文本特征，所述文本特征包括所述待处理文本的字符数量、实体密度和句法复杂度中的至少之一；根据所述文本特征，确定在待处理文本中获得所述描述值的预估时长；以及当所述预估时长超过时长阈值时，确定所述待处理文本为所述第一类型文本。

7、在一些实施方式中，确定所述描述值的效力，包括：当所述待处理文本所对应的处理模式为全量模式时，对所述描述值进行一致性校验，获得第一校验结果；当所述第一校验结果为通过时，对所述描述值进行质量校验，获得第二校验结果；以及当所述第二校验结果为通过时，确定所述描述值的效力为有效。

8、在一些实施方式中，对所述描述值进行一致性校验，获得第一校验结果，包括：确定所述描述值是否符合所述感兴趣实体的描述规则；当所述描述值符合所述描述规则时，确定所述描述值与所述感兴趣属性所对应的其他描述值是否一致；以及当所述描述值与所述其他描述值一致时，确定所述第一校验结果为通过；或者，当所述描述值与所述其他描述值不一致、且所述描述值对应的待处理文本的描述权重大于所述其他描述值所对应文本的描述权重时，确定所述第一校验结果为通过。

9、在一些实施方式中，对所述描述值进行质量校验，获得第二校验结果，包括：按照评估维度，对所述待处理文本进行多维度评估，确定所述待处理文本的质量分数，所述评估维度包括准确性、完整性和自洽性中的至少之一；以及当所述质量分数大于分数阈值时，确定所述第二校验结果为通过。

10、在一些实施方式中，确定所述描述值的效力，包括：当所述待处理文本所对应的处理模式为增量模式时，对所述描述值进行质量校验，确定所述描述值的质量分数；以及当所述质量分数大于所述感兴趣实体关于所述感兴趣属性的已有描述值的质量分数时，确定所述描述值的效力为有效。

11、在一些实施方式中，在响应于接收到关于待处理文本的文本处理任务之前，包括：在文本数据中筛选出所描述实体为目标实体类型的多个待处理文本，其中所述感兴趣实体为所述目标实体类型；将多个所述待处理文本划分为多个文本集合，各所述文本集合包含预设数量的待处理文本；生成对应于所述文本集合的文本处理任务；将各所述文本处理任务分别分配至不同的处理节点，各所述处理节点并行执行相应文本处理任务。

12、在一些实施方式中，在确定所述待处理文本中关于感兴趣实体的感兴趣属性的描述值之后，还包括：生成关于所述待处理文本所属文本集合的第一快照表，所述第一快照表记录了所述文本集合中所有待处理文本关于所述感兴趣实体的感兴趣属性的描述值；以及当确定所述描述值的效力的过程中出现错误时，从所述第一快照表中确定所述待处理文本相应的描述值，并重新确定所述描述值的效力。

13、根据本公开的另一个方面，提供了一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本公开任一实施方式所述的文本处理方法。

14、根据本公开的又一个方面，提供了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本公开任一实施方式的文本处理方法。

15、根据本公开的再一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开任一实施方式所述的文本处理方法。

1.一种文本处理方法，其特征在于，包括：

2.根据权利要求1所述的文本处理方法，其特征在于，确定所述待处理文本中关于感兴趣实体的感兴趣属性的描述值，包括：

3.根据权利要求1所述的文本处理方法，其特征在于，确定所述待处理文本中关于感兴趣实体的感兴趣属性的描述值，包括：

4.根据权利要求3所述的文本处理方法，其特征在于，确定所述待处理文本是否为第一类型文本，包括：

5.根据权利要求1所述的文本处理方法，其特征在于，确定所述描述值的效力，包括：

6.根据权利要求5所述的文本处理方法，其特征在于，对所述描述值进行一致性校验，获得第一校验结果，包括：

7.根据权利要求5所述的文本处理方法，其特征在于，对所述描述值进行质量校验，获得第二校验结果，包括：

8.根据权利要求1所述的文本处理方法，其特征在于，确定所述描述值的效力，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的文本处理方法。