一种语料获取方法、装置及设备与流程

1.本发明实施例涉及计算机技术，尤其涉及一种语料获取方法、装置及设备。


背景技术：

2.随着计算机技术的迅猛发展，人们对计算机智能化的需求越来越高，如何使计算机能够准确理解人类语言成为一个热门研究方向，其中，nlu(natural language understanding，自然语言理解)技术使计算机能够提取人类语言中的信息并进行理解，在各领域得到广泛应用。
3.现有技术中，nlu模型的训练需要大量多样性的语料，如果语料表达不符合设定场景或者表达不够多样化，则nlu模型在理解不同表达方式的文本时，会出现理解能力下降的情况，现在常用的语料富集手段是给出语料的样例，根据样例生成与样例语义相同的语料，但使用这种语料富集手段得到的语料形式较为单一，一旦输入的文本形式发生变化，nlu模型就不能实现准确的理解。


技术实现要素：

4.本发明实施例提供一种语料获取方法、装置及设备，根据语料提供方的个人属性信息筛选语料启发问题，以获取语料提供方根据语料启发问题反馈的语料，提高了获取语料的多样性和可靠性。
5.第一方面，本发明实施例提供了一种语料获取方法，所述方法包括：
6.获取语料提供方的至少一项个人属性信息；
7.筛选与所述个人属性信息对应的设定数量的语料启发问题；
8.将各所述语料启发问题向所述语料提供方进行展示，并获取所述语料提供方针对所述语料启发问题反馈的语料。
9.第二方面，本发明实施例还提供了一种语料获取装置，所述装置包括：
10.属性信息获取模块，用于获取语料提供方的至少一项个人属性信息；
11.启发问题筛选模块，用于筛选与所述个人属性信息对应的设定数量的语料启发问题；
12.反馈语料获取模块，用于将各所述语料启发问题向所述语料提供方进行展示，并获取所述语料提供方针对所述语料启发问题反馈的语料。
13.第三方面，本发明实施例还提供了一种电子设备，包括：
14.一个或多个处理器；
15.存储器，用于存储一个或多个程序；
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的语料获取方法。
17.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的语料获取方法。
18.本发明实施例的技术方案，首先获取语料提供方的至少一项个人属性信息，并筛选与个人属性信息对应的设定数量的语料启发问题，最终将各语料启发问题向语料提供方进行展示，并获取语料提供方针对语料启发问题反馈的语料，解决了现有语料富集手段得到语料形式单一的问题，可以根据个人属性信息进行差异化的问题推送，提高语料多样性和可靠性。
附图说明
19.图1是本发明实施例一中的一种语料获取方法的流程图；
20.图2是本发明实施例二中的一种语料获取方法的流程图；
21.图3是本发明实施例三中的一种语料获取方法的流程图；
22.图4是本发明实施例四中的一种语料获取装置示意图；
23.图5是本发明实施例五提供的一种设备的结构示意图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
25.实施例一
26.图1为本发明实施例一中的一种语料获取方法的流程图，本实施例的技术方案适用于根据个人属性信息进行差异化语料启发问题推送的情况，该方法可以由语料获取装置执行，该装置可以由软件和/或硬件来实现，并可以集成在各种通用计算机设备中，具体包括如下步骤：
27.步骤110、获取语料提供方的至少一项个人属性信息。
28.本实施例中，为了实现向不同语料提供方差异化推送语料启发问题，在向语料提供方提供语料启发问题之前，首先获取语料提供方的至少一项属性信息，具体性的，可以向语料提供方按照顺序展示各项属性信息的属性信息提示文本以及待填写文本框，并获取语料提供方在待填写文本框中填写的与各项属性信息提示文本对应的个人属性信息。
29.其中，个人属性信息包括语料提供方的个人基本信息以及与驾驶场景相关的驾驶信息，个人属性信息可以作为筛选与当前语料提供方匹配的语料启发问题的筛选条件。示例性的，个人属性问题包括语料提供方的国籍、年龄、生活常居地、喜好车型、上下班的通勤时长、是否加入车队以及是否在驾驶过程中听歌等驾驶习惯信息。
30.步骤120、筛选与个人属性信息对应的设定数量的语料启发问题。
31.其中，语料启发问题是用于启发语料提供方提供语料的问题，语料启发问题可以是文字形式也可以是视频动画等形式，本实施例中不做具体限定。示例性的，语料启发问题可以是“在车速120km/h的行车状态下状态下，你感觉有点不适，想打开空调，会怎么和你的车载助手沟通？”，也可以是展示相关驾驶场景的动画，以引导语料提供者提供对应驾驶场景下的语料。
32.本实施例中，为了向语料提供方提供其熟悉场景的语料启发问题，实现语料启发问题的差异化推送，提高获取语料的质量，可以根据语料提供方的各项个人属性信息，从语
料启发问题库中筛选与当前语料提供方匹配的语料启发问题。
33.示例性的，可以针对个人属性信息对应的驾驶场景，提高相关驾驶场景下语料启发问题在所有向语料提供方展示的语料启发问题中所占的比例，例如，其中一项个人属性信息为“职业：司机”，与该项个人属性信息匹配的驾驶场景为在车辆中拨打电话，以及在驾驶过程中使用导航功能，则提高向当前语料提供方的语料启发问题中，拨打电话和使用导航功能的语料启发问题所占比例。采用这种方式可以向语料提供方展示与其熟悉的驾驶场景相关的语料启发问题，可以提高获取到的语料的质量。
34.步骤130、将各语料启发问题向语料提供方进行展示，并获取语料提供方针对语料启发问题反馈的语料。
35.本实施例中，在筛选出与个人属性信息对应的设定数量的语料启发问题后，将各项语料启发问题向语料提供方进行展示，并提示语料提供方提供指定数量且各不相同的语料，最终获取语料提供方针对语料启发问题反馈的语料，其中，用户反馈的语料可以是语音形式也可以是文字形式。
36.示例性的，向语料提供方展示文字形式的语料启发问题“女朋友今天情绪不太高，你想带她去她非常喜欢的那家咖啡店放松一下，你会怎么和车载助手交流？”，从而获取语料提供方反馈的设定数量的语料，例如，“带我们去常去的那家咖啡店”，“去xx喜欢的那家咖啡店”，以及“我们去咖啡店放松一下吧”等。采用向语料提供方展示语料启发问题的形式，并限定反馈语料数量，可以提高采集到的语料的多样性。
37.本发明实施例的技术方案，首先获取语料提供方的至少一项个人属性信息，并筛选与个人属性信息对应的设定数量的语料启发问题，最终将各语料启发问题向语料提供方进行展示，并获取语料提供方针对语料启发问题反馈的语料，解决了现有语料富集手段得到语料形式单一的问题，可以根据个人属性信息进行差异化的问题推送，提高语料多样性和可靠性。
38.实施例二
39.图2为本发明实施例二中的一种语料获取方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了筛选与个人属性信息对应的设定数量的语料启发问题，以及在获取语料提供方的至少一项个人属性信息之前的具体步骤。下面结合图2对本发明实施例二提供的一种语料获取方法进行说明，包括以下步骤：
40.步骤210、接收用户输入的用户筛选信息。
41.本实施例中，考虑到对驾驶过程中使用车载助手场景越熟悉的用户，其针对语料启发问题反馈的语料可用性越高，为了提高收集语料的质量，可以先从参与语料收集的用户中进行筛选，将了解驾驶场景以及车载助手的用户作为语料提供方，因此，在收集语料之前，首先获取用户输入的用户筛选信息，以便于从参与语料收集的用户中，根据用户筛选信息，选择出符合条件的语料提供方。示例性的，用户筛选信息可以是用户的驾龄，或者用户是否使用过车载助手或对车载助手有一定了解。
42.步骤220、当用户筛选信息符合设定筛选条件时，将用户筛选信息对应的用户作为语料提供方。
43.本实施例中，在获取到用户输入的用户筛选信息后，判断用户筛选信息是否符合预先设定的筛选条件，若是，则将用户筛选信息对应的用户作为语料提供方。示例性的，筛
选条件为用户驾龄不为0且使用过车载助手，若当前用户输入的驾龄为2年，且使用过车载助手，则将该用户作为语料提供者；若用户的驾龄为0，则无论是否使用过车载助手，均不符合筛选条件，即当前用户不能作为语料提供方。
44.步骤230、获取语料提供方的至少一项个人属性信息。
45.可选的，在获取语料提供方的至少一项个人属性信息之前，还包括：
46.接收语料收集者输入的多项语料启发问题，并对语料启发问题进行分析，确定语料启发问题所属领域；
47.将各项语料启发问题所属领域作为问题属性标签，加入至相应语料启发问题中。
48.本可选的实施例中，提供了在获取语料提供方的至少一项个人属性信息之前的具体操作，包括接收语料收集者输入至语料启发问题库的多项语料启发问题，并对这些语料启发问题进行分析，确定语料启发问题所属领域，最终根据语料启发问题所属领域，为各语料启发问题增加标签，以表征各项语料启发问题所属领域。
49.具体的，当语料启发问题是文字形式时，可以对语料启发问题进行语义识别，确定语料启发问题所属领域，也可以预先设置关键字和领域的对应关系，然后提取语料启发问题中的关键字，并根据关键字确定当前语料启发问题所属领域；当语料启发问题是视频动画形式时，可以采用图像识别技术识别视频中的信息，从而确定语料启发问题所属领域。
50.示例性的，语料启发问题为“最近天气比较热，你要打开车载空调，你会怎么跟车载助手沟通？”，可以提取该语料启发问题中的关键字，例如“天气”，则可以将该语料启发问题确定为天气领域。
51.可选的，语料启发问题涉及多个领域。
52.本可选的实施例中，语料启发问题涉及多个领域，例如电话领域、导航领域、天气领域、休闲娱乐领域等。
53.步骤240、根据个人属性信息，确定向语料提供方展示的语料启发问题中各领域的语料启发问题的比例。
54.本实施例中，为了实现语料启发问题的差异化推送，根据语料提供方的个人属性信息，确定向语料提供方展示的语料启发问题中各领域的语料启发问题的比例。示例性的，向每个语料提供方提供的语料启发问题的总数是一定的，并且预先设置了每个领域的语料启发问题在向语料提供方提供的全部语料启发问题中的默认比例，例如，向用户提供200个语料启发问题，其中包含20个领域，每个领域默认比例为5％，可以根据语料提供方的个人属性问题，对默认比例进行调整，例如，当用户加入车队，则调高车队领域的语料启发问题所占的比例，例如调高为10％。
55.可选的，根据个人属性信息，确定向语料提供方展示的语料启发问题中各领域的语料启发问题的比例，包括：
56.获取目标个人属性信息与语料启发问题所属领域的映射关系；
57.当目标个人属性信息满足问题比例调整条件时，对目标个人属性信息对应领域的语料启发问题的默认分配比例进行调整；
58.当目标个人属性信息不满足问题比例调整条件时，各领域的语料启发问题保持默认分配比例。
59.本可选的实施例中，提供了一种根据个人属性信息，确定向语料提供方展示的语
料启发问题中各领域的语料启发问题的比例的具体方式，首先获取目标个人属性信息与语料启发问题所属领域的映射关系，当目标个人属性满足问题比例调整条件时，对目标个人属性信息对应领域的语料启发问题的默认分配比例进行调整，当目标个人属性信息不满足问题比例调整条件时，保持各领域的语料启发问题的默认分配比例。其中，个人属性信息与语料启发问题所属领域的映射关系是预先设定的，例如，职业是司机，对应的语料启发问题所属领域为电话领域和导航领域；生活常居地经常下雨，对应的语料启发问题所属领域为天气领域；上班通勤时间较长，对应的语料启发问题所属领域为休闲娱乐领域；当语料提供方加入车队时，对应的语料启发问题所属领域为车队领域；当语料提供方有驾车听歌习惯时，对应的语料启发问题所属领域为音乐领域。根据上述映射关系，可以实现根据个人属性信息，调整各领域语料启发问题所占的比例，例如，可以根据表1所示示例，调整语料启发问题所占比例：
60.表1
[0061][0062]
步骤250、根据各领域的语料启发问题的比例和预设展示问题数量，确定各领域的语料启发问题的数量，并从语料启发问题库中按照各领域的语料启发问题的数量提取设定数量的语料启发问题。
[0063]
本实施例中，在确定向语料提供方展示的语料启发问题中各领域的语料启发问题的比例后，根据各领域的语料启发问题的比例和预设展示问题的数量，确定各领域的语料启发问题的数量，例如，向语料提供方展示的语料启发问题共200个，分为20个领域，每个领域的语料启发问题所占比例为5％，则每个领域的语料启发问题为10个，若其中一个领域的
语料启发问题所占比例调高至10％，则剩余19个领域平分剩余的语料启发问题数量。在确定各领域的语料启发问题的数量后，从语料启发问题库中按照上述数量提取设定数量的语料启发问题，语料启发问题库中存储的语料启发问题均对应一个领域标签，可以根据领域标签按照领域提取设定数量的语料启发问题。
[0064]
步骤260、将各语料启发问题向语料提供方进行展示，并获取语料提供方针对语料启发问题反馈的语料。
[0065]
本发明实施例的技术方案，首先根据用户筛选信息，选择符合设定筛选条件的用户作为语料提供方，然后根据语料提供方的个人属性信息，确定向语料提供方展示的语料启发问题中各领域的语料启发问题的比例，最终根据各领域的语料启发问题的比例和预设展示问题数量，从语料启发问题库中提取设定数量的语料启发问题，可以根据设定筛选条件筛选语料提供方，保证采集语料可靠性，进一步的，根据个人属性信息差异化推送语料启发问题，在提高语料多样性同时，保障语料质量。
[0066]
实施例三
[0067]
图3为本发明实施例三中的一种语料获取方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了筛选与个人属性信息对应的设定数量的语料启发问题，以及在获取语料提供方输入的至少一项个人属性信息之前的具体步骤。下面结合图3对本发明实施例三提供的一种语料获取方法进行说明，包括以下步骤：
[0068]
步骤310、获取语料提供方的至少一项个人属性信息。
[0069]
步骤320、筛选与个人属性信息对应的设定数量的语料启发问题。
[0070]
步骤330、将各语料启发问题向语料提供方进行展示，并获取语料提供方针对语料启发问题反馈的语料。
[0071]
步骤340、判断当前输入的目标语料是否存在于语料库中，若是，则执行步骤341，否则，执行步骤342。
[0072]
本实施例中，为了保持获取到的语料的多样性，在获取到语料提供方针对语料启发问题反馈的语料后，首先判断当前输入的目标语料是否存在与语料库中，以便于在语料获取过程中完成语料去重操作，减少了后续信息处理的计算量。其中，语料库用于存储语料提供方针对语料启发问题提供的语料。
[0073]
步骤341、向语料提供方发起语料重复提示信息，以提示语料提供方当前输入的目标语料为无效语料，并返回执行步骤330。
[0074]
本实施例中，当目标语料存在于语料库中，表明该语料已经被之前提供语料的语料提供方提供，则向当前语料提供方发起语料重复提示信息，以提示当前语料提供方输入的目标语料为无效语料，需要重新输入。
[0075]
步骤342、将目标语料作为有效语料存储至语料库。
[0076]
本实施例中，当目标语料不在语料库中，则说明当前目标语料为全新的语料，则将当前目标语料作为有效语料存储至语料库中。
[0077]
步骤350、当语料提供方针对当前语料启发问题输入的有效语料数量达到设定数量时，向语料提供方展示下一语料启发问题，直至完成针对全部语料启发问题反馈设定数量语料。
[0078]
本实施例中，对语料提供方针对一个语料启发问题输入的有效语料进行累加，语
料提供方每输入一个有效，数值加1，直至输入的有效语料达到设定数量，则认为当前语料启发问题回答完毕，并向语料提供方展示一下语料启发问题，直至完成针对全部语料启发问题反馈设定数量的语料。示例性的，当语料提供方针对一个语料启发问题反馈的有效语料达到5个，则展示下一语料启发问题。当然，为了尽可能多的获取语料，也可以在语料提供方针对一个语料启发问题输入的有效语料达到设定数量后，向语料提供方反馈提示信息，以提示语料提供方输入的有效语料数量符合要求，可以选择继续输入语料也可以进入下一语料启发问题，示例性的，提示信息可以是“当前已经输入3项有效语料，您可以选择继续输入语料，或进入下一语料启发问题”，这种方式可以使语料提供方能够提供更多语料，提高语料多样性。
[0079]
本发明实施例的技术方案，根据获取的语料提供方的至少一项个人属性信息，筛选相应的语料启发问题，并判断语料提供方针对语料启发问题反馈的语料是否存在于语料库中，若是，则提示语料提供方重新输入语料，直至输入语料达到设定数量，展示下一语料启发问题，可以在语料获取过程中完成语料去重操作，并提示语料提供方重新输入语料，提高语料多样性，减少后期信息处理的工作量。
[0080]
实施例四
[0081]
图4为本发明实施例四提供的一种语料获取装置的结构示意图，该语料获取装置，包括：属性信息获取模块410、启发问题筛选模块420和反馈语料获取模块430。
[0082]
属性信息获取模块410，用于获取语料提供方的至少一项个人属性信息；
[0083]
启发问题筛选模块420，用于筛选与所述个人属性信息对应的设定数量的语料启发问题；
[0084]
反馈语料获取模块430，用于将各所述语料启发问题向所述语料提供方进行展示，并获取所述语料提供方针对所述语料启发问题反馈的语料。
[0085]
本发明实施例的技术方案，首先获取语料提供方的至少一项个人属性信息，并筛选与个人属性信息对应的设定数量的语料启发问题，最终将各语料启发问题向语料提供方进行展示，并获取语料提供方针对语料启发问题反馈的语料，解决了现有语料富集手段得到语料形式单一的问题，可以根据个人属性信息进行差异化的问题推送，提高语料多样性和可靠性。
[0086]
可选的，所述语料启发问题涉及多个领域；
[0087]
启发问题筛选模块420，包括：
[0088]
问题比例确定单元，用于根据所述个人属性信息，确定向所述语料提供方展示的语料启发问题中各领域的语料启发问题的比例；
[0089]
启发问题提取单元，用于根据各领域的语料启发问题的比例和预设展示问题数量，确定各领域的语料启发问题的数量，并从语料启发问题库中按照各领域的语料启发问题的数量提取设定数量的语料启发问题。
[0090]
可选的，所述问题比例确定单元，具体用于：
[0091]
获取目标个人属性信息与所述语料启发问题所属领域的映射关系；
[0092]
当所述目标个人属性信息满足问题比例调整条件时，对所述目标个人属性信息对应领域的语料启发问题的默认分配比例进行调整；
[0093]
当所述目标个人属性信息不满足问题比例调整条件时，各领域的语料启发问题保
持默认分配比例。
[0094]
可选的，所述语料获取装置，还包括：
[0095]
语料判断模块，用于判断当前输入的目标语料是否存在于语料库中；
[0096]
提示信息发起模块，用于当前输入的目标语料存在于语料库中时，向所述语料提供方发起语料重复提示信息，以提示所述语料提供方当前输入的目标语料为无效语料，并返回执行获取所述语料提供方针对所述语料启发问题反馈的语料的操作；
[0097]
语料存储模块，用于当前输入的目标语料不在语料库中时，将所述目标语料作为有效语料存储至所述语料库。
[0098]
可选的，所述语料获取装置，还用于：
[0099]
当所述语料提供方针对当前语料启发问题输入的有效语料数量达到设定数量时，向所述语料提供方展示下一语料启发问题。
[0100]
可选的，所述语料获取装置，还包括：
[0101]
筛选信息接收模块，用于在获取语料提供方的至少一项个人属性信息之前接收用户输入的用户筛选信息；
[0102]
语料提供方确定模块，用于当所述用户筛选信息符合设定筛选条件时，将所述用户筛选信息对应的用户作为语料提供方。
[0103]
可选的，所述语料获取装置，还包括：
[0104]
问题分类模块，用于在获取语料提供方的至少一项个人属性信息之前接收语料收集者输入的多项语料启发问题，并对所述语料启发问题进行分析，确定所述语料启发问题所属领域；
[0105]
属性标签加入模块，用于将各项语料启发问题所属领域作为问题属性标签，加入至相应语料启发问题中。
[0106]
本发明实施例所提供的语料获取装置可执行本发明任意实施例所提供的语料获取方法，具备执行方法相应的功能模块和有益效果。
[0107]
实施例五
[0108]
图5为本发明实施例五提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器50和存储器51；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50和存储器51可以通过总线或其它方式连接，图5中以通过总线连接为例。
[0109]
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种语料获取方法对应的程序指令/模块(例如，语料获取装置中属性信息获取模块410、启发问题筛选模块420和反馈语料获取模块430)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的语料获取方法。
[0110]
该方法包括：
[0111]
获取语料提供方的至少一项个人属性信息；
[0112]
筛选与所述个人属性信息对应的设定数量的语料启发问题；
[0113]
将各所述语料启发问题向所述语料提供方进行展示，并获取所述语料提供方针对所述语料启发问题反馈的语料。
[0114]
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其它非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0115]
实施例六
[0116]
本发明实施例六还提供一种其上存储有计算机程序的计算机可读存储介质，所述计算机程序在由计算机处理器执行时用于执行一种语料获取方法，该方法包括：
[0117]
获取语料提供方的至少一项个人属性信息；
[0118]
筛选与所述个人属性信息对应的设定数量的语料启发问题；
[0119]
将各所述语料启发问题向所述语料提供方进行展示，并获取所述语料提供方针对所述语料启发问题反馈的语料。
[0120]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0121]
值得注意的是，上述一种语料获取装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0122]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其它等效实施例，而本发明的范围由所附的权利要求范围决定。