一种序列切分方法、设备及计算机可读存储介质与流程

技术特征：
1.一种序列切分方法，其特征在于，包括：获取包括n个切分单元的待切分序列，其中，n为大于1的整数；对所述n个切分单元进行序列切分，获得与所述待切分序列对应的候选切分序列得分集合；其中，所述候选切分序列得分集合为每个候选切分序列对应的候选切分序列得分构成的集合，所述每个候选切分序列中的各个切片组成所述待切分序列，所述候选切分序列得分为所述各个切片对应的各个切片得分的组合；获取所述候选切分序列得分集合中的最高候选切分序列得分；将所述最高候选切分序列得分对应的候选切分序列，确定为所述待切分序列的序列切分结果。2.根据权利要求1所述的方法，其特征在于，所述对所述n个切分单元进行序列切分，获得与所述待切分序列对应的候选切分序列得分集合，包括：遍历所述n个切分单元，基于第1个切分序列得分集合至第i
‑
1个切分序列得分集合，对遍历到的前i个切分单元进行序列切分，获得第i个切分序列得分集合，其中，i为大于1且小于等于n的整数，所述第i个切分序列得分集合为所述前i个切分单元对应的各个切分序列得分；基于所述第1个切分序列得分集合至所述第i个切分序列得分集合，继续对遍历到的前i 1个切分单元进行序列切分，直到遍历完所述n个切分单元时，获得第n个切分序列得分集合，其中，所述第n个切分序列得分集合为与所述待切分序列对应的所述候选切分序列得分集合。3.根据权利要求2所述的方法，其特征在于，所述基于第1个切分序列得分集合至第i
‑
1个切分序列得分集合，对遍历到的前i个切分单元进行序列切分，获得第i个切分序列得分集合，包括：对遍历到的所述前i个切分单元再次进行遍历，针对遍历到的后j个切分单元，获取对应的第j个切分前缀和第j个最后切片，其中，j为大于0且小于i
‑
1的整数，所述第j个切分前缀为前i
‑
j个切分单元对应的切分序列，所述第j个最后切片为所述后j个切分单元组成的切片；基于所述第1个切分序列得分集合至所述第i
‑
1个切分序列得分集合，确定所述第j个切分前缀和所述第j个最后切片共同对应的第i个切分序列得分；继续遍历后j 1个切分单元，直到遍历完所述前i个切分单元中的后i
‑
1个切分单元时，获得与所述前i个切分单元对应的i
‑
1个第i个切分序列得分，其中，所述第i个切分序列得分集合包括所述i
‑
1个第i个切分序列得分。4.根据权利要求3所述的方法，其特征在于，所述基于所述第1个切分序列得分集合至所述第i
‑
1个切分序列得分集合，确定所述第j个切分前缀和所述第j个最后切片共同对应的第i个切分序列得分，包括：获取所述第j个最后切片对应的第j个最后切片得分；从所述第1个切分序列得分集合至所述第i
‑
1个切分序列得分集合中，获取所述第j个切分前缀对应的第j个最高切分序列得分，其中，所述第j个最高切分序列得分为所述第j个
切分前缀对应的最高的切分序列得分；组合所述第j个最高切分序列得分和所述第j个最后切片得分，获得所述第i个切分序列得分。5.根据权利要求4所述的方法，其特征在于，所述获取所述第j个最后切片对应的第j个最后切片得分，包括：获取所述第j个最后切片对应的第j个最后切片特征；基于所述第j个最后切片特征，预测所述第j个最后切片中的至少一个切分单元为一个切片的可行性，获得第j个切片合并得分；基于所述第j个切片合并得分，获得所述第j个最后切片得分。6.根据权利要求5所述的方法，其特征在于，所述获取所述第j个最后切片对应的第j个最后切片特征之后，以及所述基于所述第j个切片合并得分，获得所述第j个最后切片得分之前，所述方法还包括：基于所述第j个最后切片特征，预测所述第j个最后切片对应于各个标签的各个第j个切片标签值；从所述各个第j个切片标签值中，获取第j个最高切片标签值；所述基于所述第j个切片合并得分，获得所述第j个最后切片得分，包括：组合所述第j个切片合并得分和所述第j个最高切片标签值，获得所述第j个最后切片得分。7.根据权利要求5或6所述的方法，其特征在于，所述获取所述第j个最后切片对应的第j个最后切片特征，包括：获取所述n个切分单元对应的n个切分单元特征；从所述n个切分单元特征中，获取所述第j个最后切片对应的首切分单元特征和尾切分单元特征；结合所述首切分单元特征和所述尾切分单元特征，确定所述第j个最后切片特征。8.根据权利要求6所述的方法，其特征在于，所述从所述第1个切分序列得分集合至所述第i
‑
1个切分序列得分集合中，获取所述第j个切分前缀对应的第j个最高切分序列得分，包括：获取所述第j个最高切片标签值对应的目标切片标签，其中，所述第j个最后切片与所述目标切片标签为所述序列切分结果中的一个元素；获取所述各个标签分别与所述目标切片标签之间的标签依赖值；从所述第1个切分序列得分集合至所述第i
‑
1个切分序列得分集合中，获取第i
‑
j个最后切片对应于所述各个标签中的每个标签的最高切分序列得分，其中，所述第i
‑
j个最后切片为所述前i
‑
j个切分单元对应的最后切片；将所述第i
‑
j个最后切片对应于所述每个标签的最高切分序列得分，分别与所述标签依赖值组合，获得第i
‑
j个切分序列得分集合；从所述第i
‑
j个切分序列得分集合中，获得所述第j个最高切分序列得分。9.根据权利要求2至6、8任一项所述的方法，其特征在于，所述遍历所述n个切分单元之前，所述方法还包括：获取所述n个切分单元中的第1个切分单元对应的切分序列得分，得到第1个切分序列
得分集合。10.根据权利要求2至6、8任一项所述的方法，其特征在于，所述遍历所述n个切分单元，包括：采用序列切分模型，遍历所述n个切分单元，其中，所述序列切分模型用于获取所述n个切分单元对应的所述序列切分结果。11.根据权利要求10所述的方法，其特征在于，所述采用序列切分模型，遍历所述n个切分单元之前，所述方法还包括：获取序列样本，其中，所述序列样本包括待预测序列和序列标注信息；采用待训练序列切分模型，预测所述待预测序列，获得最高分预测切分序列，其中，所述待训练序列切分模型为待训练的用于获取所述n个切分单元对应的所述序列切分结果的模型；基于所述最高分预测切分序列与所述序列标注信息之间的差异，迭代训练所述待训练序列切分模型；直到满足训练结束条件时，结束训练，获得所述序列切分模型。12.根据权利要求11所述的方法，其特征在于，所述获得所述序列切分模型之后，所述方法还包括：获取新的序列样本，其中，所述新的序列样本为所述序列样本之后获得的样本；基于所述新的序列样本，优化所述序列切分模型；所述采用序列切分模型，遍历所述n个切分单元，包括：采用优化后的序列切分模型，遍历所述n个切分单元。13.根据权利要求1至6、8任一项所述的方法，其特征在于，所述获取包括n个切分单元的待切分序列，包括：响应于序列切分请求，获取待切分文本；遍历所述待切分文本中的每个待切分句子，将遍历到的待切分句子，确定为包括所述n个切分单元的所述待切分序列；所述将所述最高候选切分序列得分对应的候选切分序列，确定为所述待切分序列的序列切分结果之后，所述方法包括：当遍历完所述待切分文本时，获得所述每个待切分句子对应的所述序列切分结果构成的文本切分序列。14.一种序列切分设备，其特征在于，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至13任一项所述的方法。15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至13任一项所述的方法。

技术总结
本申请提供了一种序列切分方法、设备及计算机可读存储介质；方法包括：获取包括n个切分单元的待切分序列，其中，n为大于1的整数；对n个切分单元进行序列切分，获得与待切分序列对应的候选切分序列得分集合；其中，候选切分序列得分集合为每个候选切分序列对应的候选切分序列得分构成的集合，每个候选切分序列中的各个切片组成待切分序列，候选切分序列得分为各个切片对应的各个切片得分的组合；获取候选切分序列得分集合中的最高候选切分序列得分；将最高候选切分序列得分对应的候选切分序列，确定为待切分序列的序列切分结果。通过本申请，能够提升自然语言处理中序列切分的有效性。性。性。


技术研发人员：李扬名
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.02.24
技术公布日：2021/10/28