一种人员结构识别方法及相关设备与流程

1.本发明涉及物联网技术领域，尤其涉及一种人员结构识别方法及相关设备。


背景技术：

2.随着物联网技术的发展，智能设备广泛进入人们的日常生活，智能设备(如音视频设备、照明系统、空调控制、安防系统、数字影院系统、影音服务器、影柜系统、互联网电器等)通过物联网技术进行互联，通过智能设备对设备使用范围内(例如，家庭、办公室等)的人员进行数据采集，能够分析特定范围内人员之间的人员结构，从而针对不同结构人员的生活、工作需求，实现智能化控制和合理资源配置。
3.现有的人员结构分析方法，通常基于某种智能设备采集的数据对设备使用范围内的人员进行粗分类(例如，划分为老年人、中年人、儿童等不同年龄段的人)，无法准确确定人员之间的身份关系，对人员结构识别精度较低。


技术实现要素：

4.本发明实施例提供一种人员结构识别方法及相关设备，以解决现有人员结构分析方法识别精度较低的问题。
5.为解决上述技术问题，本发明是这样实现的：
6.第一方面，本发明实施例提供了一种人员结构识别方法，所述方法包括：
7.采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据；
8.将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构；其中，所述人员结构包括人员关系。
9.可选的，所述将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构，包括：
10.将第一特征数据输入第一分类器，输出人员人数；其中，所述第一特征数据通过对所述第一人员数据进行特征提取得到；
11.将第一特征数据和第二特征数据输入第二分类器，输出所述人员关系；其中，所述第二特征数据通过对第二人员数据进行特征提取得到，所述第二人员数据通过将所述第一人员数据与所述人员人数进行融合得到。
12.可选的，所述第二分类器包括第一子分类器和第二子分类器，所述将第一特征数据和第二特征数据输入第二分类器，输出人员关系，包括：
13.将第一特征数据和第二特征数据输入第一子分类器，输出人员类别；
14.将第一特征数据，第二特征数据和第三特征数据输入第二子分类器，输出人员关系；
15.其中，所述第三特征数据通过对第三人员数据进行特征提取得到；所述第三人员数据由所述第二人员数据与所述人员类别进行融合得到。
16.可选的，所述第一特征数据包括人员位置特征，所述人员位置特征通过对人员图像数据、人员语音数据以及人员使用设备数据中的至少一项进行特征提取得到。
17.可选的，所述将所述第一人员数据输入人员结构关系识别模型进行识别步骤之前，所述方法包括：
18.对于所述第一人员数据进行脱敏处理；
19.其中所述脱敏处理，包括如下处理中的至少一项：
20.删除人员隐私数据；
21.删除目标数据，所述目标数据为所述第一人员数据中除符合标准库要求的数据之外的数据；
22.响应用户对所述第一人员数据的删除操作。
23.可选的，所述标准库包括：预设动作和预设触发词中的至少一项；
24.所述符合标准库要求的数据，包括如下至少一项：
25.具备预设动作的图像数据；
26.具备预设触发词的语音数据。
27.第二方面，本发明实施例提供了一种人员结构识别设备，所述设备包括：
28.采集模块，用于采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据；
29.识别模块，用于将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构；其中，所述人员结构包括人员关系。
30.可选的，所述识别模块包括：
31.第一分类模块，用于将第一特征数据输入第一分类器，输出人员人数；其中，所述第一特征数据通过对所述第一人员数据进行特征提取得到；
32.第二分类模块，用于将第一特征数据和第二特征数据输入第二分类器，输出所述人员关系；其中，所述第二特征数据通过对第二人员数据进行特征提取得到，所述第二人员数据通过将所述第一人员数据与所述人员人数进行融合得到。
33.可选的，所述第二分类器包括第一子分类器和第二子分类器，所述第二分类模块，包括：
34.第一分类子模块，用于将第一特征数据和第二特征数据输入第一子分类器，输出人员类别；
35.第二分类子模块，用于将第一特征数据，第二特征数据和第三特征数据输入第二子分类器，输出人员关系；
36.其中，所述第三特征数据通过对第三人员数据进行特征提取得到；所述第三人员数据由所述第二人员数据与所述人员类别进行融合得到。
37.可选的，所述第一特征数据包括人员位置特征，所述人员位置特征通过对人员图像数据、人员语音数据以及人员使用设备数据中的至少一项进行特征提取得到。
38.可选的，所述设备，还包括：
39.数据脱敏模块，用于对于所述第一人员数据进行脱敏处理；
40.其中所述脱敏处理，包括如下处理中的至少一项：
41.删除人员隐私数据；
42.删除目标数据，所述目标数据为所述第一人员数据中除符合标准库要求的数据之外的数据；
43.响应用户对所述第一人员数据的删除操作。
44.可选的，所述标准库包括：预设动作和预设触发词中的至少一项；
45.所述符合标准库要求的数据，包括如下至少一项：
46.具备预设动作的图像数据；
47.具备预设触发词的语音数据。
48.第三方面，本发明实施例提供一种电子设备，包括处理器，
49.所述处理器，用于采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据；
50.将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构；其中，所述人员结构包括人员关系。
51.可选的，所述将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构，包括：
52.将第一特征数据输入第一分类器，输出人员人数；其中，所述第一特征数据通过对所述第一人员数据进行特征提取得到；
53.将第一特征数据和第二特征数据输入第二分类器，输出所述人员关系；其中，所述第二特征数据通过对第二人员数据进行特征提取得到，所述第二人员数据通过将所述第一人员数据与所述人员人数进行融合得到。
54.可选的，所述第二分类器包括第一子分类器和第二子分类器，所述将第一特征数据和第二特征数据输入第二分类器，输出人员关系，包括：
55.将第一特征数据和第二特征数据输入第一子分类器，输出人员类别；
56.将第一特征数据，第二特征数据和第三特征数据输入第二子分类器，输出人员关系；
57.其中，所述第三特征数据通过对第三人员数据进行特征提取得到；所述第三人员数据由所述第二人员数据与所述人员类别进行融合得到。
58.可选的，所述第一特征数据包括人员位置特征，所述人员位置特征通过对人员图像数据、人员语音数据以及人员使用设备数据中的至少一项进行特征提取得到。
59.可选的，所述处理器，还用于在所述将所述第一人员数据输入人员结构关系识别模型进行识别步骤之前，对于所述第一人员数据进行脱敏处理；
60.其中所述脱敏处理，包括如下处理中的至少一项：
61.删除人员隐私数据；
62.删除目标数据，所述目标数据为所述第一人员数据中除符合标准库要求的数据之外的数据；
63.响应用户对所述第一人员数据的删除操作。
64.可选的，所述标准库包括：预设动作和预设触发词中的至少一项；
65.所述符合标准库要求的数据，包括如下至少一项：
66.具备预设动作的图像数据；
67.具备预设触发词的语音数据。
68.第四方面，本发明实施例提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现上述第一方面所述的方法的步骤。
69.第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
70.本发明实施例中，采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据；将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构；其中，所述人员结构包括人员关系，从而能够在人员结构分析中获取人员之间的身份关系，即能够获取更精确的人员结构。
附图说明
71.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
72.图1是本发明实施例提供的一种人员结构识别方法的流程图；
73.图2是本发明实施例提供的另一种人员结构识别方法的流程图；
74.图3是本发明实施例提供的另一种人员结构识别方法的流程图；
75.图4是本发明实施例提供的另一种人员结构识别方法的流程图；
76.图5是本发明实施例提供的另一种人员结构识别方法的流程图；
77.图6是本发明实施例提供的人员结构识别结果示意图；
78.图7是本发明实施例提供的另一种人员结构识别方法的流程图；
79.图8是本发明实施例提供的一种人员结构识别设备示意图；
80.图9是本发明实施例提供的一种电子设备示意图。
具体实施方式
81.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
82.本发明实施例中，提出了一种人员结构识别方法，以解决现有的人员结构分析方法识别精度较低的问题。
83.参见图1，图1是本发明实施例提供的一种人员结构识别方法的流程图，如图1所示，所述方法包括以下步骤：
84.步骤101、采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据。
85.本发明实施例中，上述采集第一人员数据可以利用人员活动范围内的智能设备进行采集，例如，音视频设备、照明系统、空调控制、安防系统、数字影院系统、影音服务器、影
柜系统、网络家电等。
86.上述采集可以是在用户允许的时间段内执行，也可以是基于用户的特定动作或语音触发开始执行采集。上述采集是在用户签署相关知情协议后执行的。
87.以家居人员为例，在智能家居场景下，家庭成员在日常生活中，智能家居设备通过自身搭载的摄像头采集人员图像数据、麦克风采集人员语音数据及通过智能设备的使用记录采集用户对智能家居设备的使用数据，即人员使用设备数据。
88.上述人员结构识别方法，并不限于智能家居场景下，也可以是办公场景、会场场景等人员活动场景。
89.可选的，所述人员图像数据可以包括静态图片、动态图片和视频数据中的至少一项。
90.可选的，所述人员图像数据可以包括但不限于人员的肢体动作、面部信息等。
91.可选的，所述人员使用设备数据包括但不限于用户对设备使用的时间、时长、频次、内容等信息。其中，用户对设备使用是指用户有意识地主动操作设备；例如，观看影音设备。
92.可选的，所述第一人员数据包括如下数据中的至少两项：人员图像数据、人员语音数据以及人员使用设备数据。现有的人员结构分析方法，通常基于单一的多媒体数据或通讯数据作为数据源，数据量小且种类单一，难以全面准确的识别人员结构。本发明实施例中，采用多种数据源，即通过智能设备多维度的采集人员图像数据、语音数据、使用数据，从而能够获取更精确的人员结构。
93.可选的，所述采集第一人员数据，包括对采集的原始数据d
原
进行去重处理，得到所述第一人员数据d1。其中，所述去重处理可以是对相似度大于一定阈值的数据进行去重。
94.步骤102、将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构；其中，所述人员结构包括人员关系。
95.本发明实施例中，上述人员结构关系识别模型包括特征选择器和分类器。
96.所述特征选择器可以使用包括但不限于：深度神经网络、过滤式选择算法、包裹式选择算法、嵌入式选择算法等；所述特征选择器用于从人员数据中提取特征数据。可选的，所述特征数据包括人员的个人特征和/或人员之间的互动特征。所述个人特征包括但不限于：性别、年龄、声音、使用智能家居的种类、使用时长、时间段、惯用参数、单人观看的电视节目、参与的游戏种类、阅读的书籍种类、典型动作等；
97.所述互动特征包括但不限于：
98.基本互动特征：两人性别是否相同、面部相似度值、年龄差值、平均每日相处时间、表情相似度等；
99.行为互动特征：是否存在共同睡觉、玩游戏、看电视等行为，或者是否存在牵手、拥抱、抚摸等动作等；
100.语言互动特征：对话时是否使用昵称、是否使用身份称呼、语气亲密度等；
101.使用互动特征：相处时使用的智能家居种类、时间段及时长、惯用参数等；
102.内容互动特征：共同游戏内容、共同观看的电视节目、共同阅读的书籍等。
103.所述分类器可以使用包括但不限于：svm、决策树、神经网络等算法。预先对分类器进行训练，然后将特征选择器得到的特征输入训练好的分类器，得到分类结果。以svm算法
进行举例，首先对svm模型进行有监督训练，将特征选择器得到的特征f＝[x1，x2，x3，
…
，xi]输入训练好的svm模型，得到分类结果y。
[0104]
本实施例中的人员结构识别方法，采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据；将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构；其中，所述人员结构包括人员关系，从而能够在人员结构分析中获取人员之间的身份关系，即能够获取更精确的人员结构。
[0105]
参见图2，图2是本发明实施例提供的另一种人员结构识别方法的流程图，如图2所示，所述方法包括以下步骤：
[0106]
步骤201、采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据。
[0107]
该步骤的相关说明可以参见图1所示的实施例中的相关说明，为避免重复说明，本实施例不再赘述。
[0108]
步骤202、将第一特征数据输入第一分类器，输出人员人数；其中，所述第一特征数据通过对所述第一人员数据进行特征提取得到。
[0109]
基于人员人数的确定需求，可以利用第一特征选择器选择合理的第一特征数据。可选的，所述第一特征数据包括：面部特征、语音特征和人员位置特征中的至少一项。
[0110]
可选的，所述人员位置特征通过对人员图像数据、人员语音数据以及人员使用设备数据中的至少一项进行特征提取得到。可选的，可以基于人员图像数据、人员语音数据采集设备的位置，或者人员使用设备所在的位置确定人员位置特征，或者基于图像环境特征、人物特征提取确定人员位置特征。
[0111]
可选的，可以利用面部特征和/或语音特征可以区分不同人员，从而确定人员人数。利用同时出现的在不同位置的人员位置特征，确定人员人数。举例而言，对一张图片进行目标检测，得到图像中人物的位置，如果一张图片中出现两个相貌一致(例如，双胞胎)但位置不同的女孩，则可以判定为人数实际上为2。基于人员位置特征的识别，能够提高人员人数识别的准确性。
[0112]
步骤203、将第一特征数据和第二特征数据输入第二分类器，输出所述人员关系；其中，所述第二特征数据通过对第二人员数据进行特征提取得到，所述第二人员数据通过将所述第一人员数据与所述人员人数进行融合得到。
[0113]
其中，基于人员关系确定需求，可以利用第二特征选择器选择合理的第二特征数据。可选的，所述第二特征数据：包括上述个人特征和互动特征中的至少一项。
[0114]
可选的，所述第一分类器和第二分类器为不同类型的分类器。
[0115]
现有的人员结构识别方法，通常直接基于特征进行聚类，进而粗识别出不同的人员类别。本实施例中，计算中间参数人员人数，能够作为人员结构识别的基础参数，即先辨别数据中涉及的总人数，进而确定人员关系，能够提高人员结构的识别的准确性。
[0116]
本发明实施例所提供的人员结构识别方法还可以参考图3。
[0117]
可选的，参考图4，所述第二分类器包括第一子分类器和第二子分类器，所述将第一特征数据和第二特征数据输入第二分类器，输出人员关系，包括：
[0118]
将第一特征数据和第二特征数据输入第一子分类器，输出人员类别；
[0119]
将第一特征数据，第二特征数据和第三特征数据输入第二子分类器，输出人员关系；
[0120]
其中，所述第三特征数据通过对第三人员数据进行特征提取得到；所述第三人员数据由所述第二人员数据与所述人员类别进行融合得到。
[0121]
可选的，其中，所述第一人员类别基于以下类别中的至少一项进行分类：性别、年龄、体貌特征和活动范围。其中，所述体貌特征包括但不限于：胖、瘦、残疾和行动障碍中的至少一项。关于以活动范围划分的人员类别，可以理解的是，在特定环境下，不同人员可能存在特殊的活动范围。以家居环境进行举例，除去客厅、餐厅、客用卫生间等公共区域，家庭成员每个人特殊的活动范围能够反映身份和彼此之间的关系，以特殊的活动范围可以对人员进行分类。
[0122]
可选的，当人员类别包括多个类别时，不同类别之间的识别可以采用串行方式或并行方式进行识别。以人员类别包括性别和年龄段进行举例，参考图5所示：
[0123]
实现方式1：串行方式，首先识别家庭成员性别，然后识别家庭成员年龄段；
[0124]
具体而言，以数据集提取特征进入分类器2a识别性别，以性别的识别结果更新数据集，以更新后的数据集提取特征结合性别特征，进入分类器2b识别年龄。
[0125]
实现方式2：串行方式，首先识别家庭成员年龄段，然后识别家庭成员性别；
[0126]
类似实现方式1，以数据集提取特征进入分类器2a识别年龄段，以年龄段的识别结果更新数据集，以更新后的数据集提取特征结合年龄段特征，进入分类器2b识别性别。
[0127]
实现方式3：并行方式，同时识别家庭成员年龄段和家庭成员性别；
[0128]
具体而言，以数据集提取特征进入分类器2直接识别性别和年龄段。
[0129]
上述人员类别性别和年龄段可以替换为其他两种或者的多于两种的分类类别，当涉及的人员类别多于两种类别时，可以采用上述串行方式以任意排列顺序进行类似的迭代，也可以采用并行方式同时识别多个类别，在此不再赘述。
[0130]
本发明实施例所提供的人员结构识别方法，三个步骤的迭代过程依次得到家庭成员人数、人员类别和人员关系的识别结果。在迭代过程中，将上一个步骤的识别结果加入原始数据集，得到更新后的数据集，用于下一步骤的特征提取，并且将下一步骤的特征与上一步骤的特征进行融合，以总体特征进行分类，能够提高人员结构识别的准确度。
[0131]
以智能家居场景举例而言，首先计算出家庭成员人数，此时家庭成员人数将作为确定的依据，用于进一步判定家庭成员类别(例如，不同的年龄段和性别)，在确定人员人数和类别进一步确定人员关系，能够提高人员关系确定的准确性。比如一个家庭中存在双胞胎姐妹或行为习惯类似的人，如果不首先确定人数则可能会将多人判定为同一个人，则无法准确判定人员关系。本发明实施例首先进行人数的判断，并在第二次迭代获取的人员类别(年龄、性别等)信息作为依据进行关系判断，能够提升关系判断的准确度。
[0132]
可选的，所述人员结构还包括所述人员人数和/或所述人员类别，综合人员关系识别的中间结果所述人员人数和/或所述人员类别作为人员结构，能够构建出更全面的家庭成员结构关系。
[0133]
上述各分类器均经过预先训练得到，上述各数据的特征提取利用特征提取器执行，可选的，上述各步骤涉及的分类器与特征提取器不同。
[0134]
人员结构的识别结果，以智能家居场景举例而言，识别示例得到相应的家庭成员
结构关系，如图6所示(其中，实线圆圈表示男性，虚线圆圈表示女性)，包括：家庭成员的人数、性别、年龄段、身份关系信息。家庭成员结构结果示例如下：该家庭包含4位家庭成员，分别为老年人a，性别男；中年人b，性别男；中年人c，性别女；儿童d，性别男。其中，a与b为父子关系，a与c为父女关系，a与d为爷孙关系，b与d为父子关系，c与d为母女关系。
[0135]
可选的，所述将所述第一人员数据输入人员结构关系识别模型进行识别步骤之前，所述方法包括：
[0136]
对于所述第一人员数据进行脱敏处理；
[0137]
其中所述脱敏处理，包括如下处理中的至少一项：
[0138]
删除人员隐私数据；
[0139]
删除目标数据，所述目标数据为所述第一人员数据中除符合标准库要求的数据之外的数据；
[0140]
响应用户对所述第一人员数据的删除操作。
[0141]
上述脱敏处理删除人员隐私数据，或响应用户对所述第一人员数据的删除操作，用于设备自动或用户手动去除数据中的敏感信息，例如，家庭成员衣着、室内装修细节、用户指定的浏览记录等，保障用户隐私安全；
[0142]
上述脱敏处理删除目标数据，用于提取关键信息，提高数据处理效率；可选的，所述标准库包括：预设动作和预设触发词中的至少一项；
[0143]
所述符合标准库要求的数据，包括如下至少一项：
[0144]
具备预设动作的图像数据；
[0145]
具备预设触发词的语音数据。
[0146]
通过构建常见动作、触发词标准库，使用动作识别、语义识别等算法对采集到的数据进行处理和匹配，删除不符合标准库要求的数据，保留符合标准库要求的数据。举例而言，符合标准库要求的数据包括：带有特殊含义动作(例如，拥抱)的图像数据、检测到触发词(例如，旅行，购买等相关词汇)前后特定时长内的语音数据等。
[0147]
上述脱敏处理响应用户对所述第一人员数据的删除操作，用户可以自主选择异常使用数据或可能涉及隐私的智能家居使用数据等进行删除，例如，电视的观看记录。
[0148]
可选的，基于上述人员结构，可进行智能内容推荐和精准营销等业务应用，实现智能化控制和合理资源配置。例如，基于关系数据确定给谁做内容推荐，基于不同的关系推荐不同的内容等。仍以智能家居场景为例，基于母子关系，可以向母亲推荐育儿知识、育儿产品，向孩子推荐益智视频等。
[0149]
以智能家居场景为例，本实施例中的的整体流程可以参考图7。
[0150]
上述人员结构识别方法，并不限于智能家居场景下，也可以是办公场景、会场场景等人员活动场景。举例而言，通过办公室区域的智能终端设备采集员工图像数据、语音数据、智能设备使用数据，经过数据脱敏和模型识别，得出办公室中的员工人数、年龄分布、性别比例、职级关系等结构信息；或者，通过会场中的智能终端设备采集参会人员的图像数据、语音数据、设备使用数据，经过数据脱敏和模型识别，得出会场中的参会人数、年龄分布、性别比例、身份关系等结构信息。
[0151]
需要说明的是，本实施例作为与图1所示的实施例中对应的人员结构识别方法的实施方式，其具体的实施方式可以参见图1所示的实施例中的相关说明，为避免重复说明，
本实施例不再赘述。
[0152]
本实施例中的人员结构识别方法，采集第一人员数据，将第一特征数据输入第一分类器，输出人员人数；其中，所述第一特征数据通过对所述第一人员数据进行特征提取得到；将第一特征数据和第二特征数据输入第二分类器，输出所述人员关系；其中，所述第二特征数据通过对第二人员数据进行特征提取得到，所述第二人员数据通过将所述第一人员数据与所述人员人数进行融合得到；在人员结构识别过程中计算包括人员人数在内的中间结果，以迭代的方式更新人员数据和特征数据，能够提升人员结构识别结果的准确度。
[0153]
参见图8，图8是本发明实施例提供的一种人员结构识别设备的结构示意图，如图8所示，人员结构识别设备800包括：
[0154]
采集模块801，用于采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据；
[0155]
识别模块802，用于将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构；其中，所述人员结构包括人员关系。
[0156]
需要说明的是，本实施例作为与图1所示的实施例中对应的人员结构识别方法的实施方式，其具体的实施方式可以参见图1所示的实施例中的相关说明，为避免重复说明，本实施例不再赘述。
[0157]
可选的，所述识别模块包括：
[0158]
第一分类模块，用于将第一特征数据输入第一分类器，输出人员人数；其中，所述第一特征数据通过对所述第一人员数据进行特征提取得到；
[0159]
第二分类模块，用于将第一特征数据和第二特征数据输入第二分类器，输出所述人员关系；其中，所述第二特征数据通过对第二人员数据进行特征提取得到，所述第二人员数据通过将所述第一人员数据与所述人员人数进行融合得到。
[0160]
可选的，所述第二分类器包括第一子分类器和第二子分类器，所述第二分类模块，包括：
[0161]
第一分类子模块，用于将第一特征数据和第二特征数据输入第一子分类器，输出人员类别；
[0162]
第二分类子模块，用于将第一特征数据，第二特征数据和第三特征数据输入第二子分类器，输出人员关系；
[0163]
其中，所述第三特征数据通过对第三人员数据进行特征提取得到；所述第三人员数据由所述第二人员数据与所述人员类别进行融合得到。
[0164]
可选的，所述第一特征数据包括人员位置特征，所述人员位置特征通过对人员图像数据、人员语音数据以及人员使用设备数据中的至少一项进行特征提取得到。
[0165]
可选的，所述设备，还包括：
[0166]
数据脱敏模块，用于对于所述第一人员数据进行脱敏处理；
[0167]
其中所述脱敏处理，包括如下处理中的至少一项：
[0168]
删除人员隐私数据；
[0169]
删除目标数据，所述目标数据为所述第一人员数据中除符合标准库要求的数据之外的数据；
[0170]
响应用户对所述第一人员数据的删除操作。
[0171]
可选的，所述标准库包括：预设动作和预设触发词中的至少一项；
[0172]
所述符合标准库要求的数据，包括如下至少一项：
[0173]
具备预设动作的图像数据；
[0174]
具备预设触发词的语音数据。
[0175]
可选的，所述设备还包括：业务应用模块；家庭成员人数、性别、年龄段、身份关系等，构建出精准的家庭成员结构关系；业务应用模块根据上述结构关系进行合理的业务推荐。
[0176]
可选的，所述设备还包括：成员结构识别平台。所述成员结构识别平台包含多目标检测模块、动作识别模块、行为识别模块、触发词检测模块、情感识别模块、人脸识别模块，对经过脱敏处理的数据进行深入挖掘分析，实现人员结构的识别。
[0177]
上述可选的实施方式可以参见图1-2所示的实施例中的相关说明，为避免重复说明，本实施例不再赘述。
[0178]
本发明实施例还提供了一种接收端设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现上述指示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0179]
具体的，参见图9所示，本发明实施例还提供了一种电子设备，包括总线901、收发机902、天线903、总线接口904、处理器905和存储器906。
[0180]
处理器905，用于用于采集第一人员数据；所述第一人员数据包括如下数据中的至少一项：人员图像数据、人员语音数据以及人员使用设备数据；
[0181]
将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构；其中，所述人员结构包括人员关系。
[0182]
需要说明的是，本实施例作为与图1所示的实施例中对应的人员结构识别方法的实施方式，其具体的实施方式可以参见图1所示的实施例中的相关说明，为避免重复说明，本实施例不再赘述。
[0183]
可选的，所述将所述第一人员数据输入人员结构关系识别模型进行识别，得到人员结构，包括：
[0184]
将第一特征数据输入第一分类器，输出人员人数；其中，所述第一特征数据通过对所述第一人员数据进行特征提取得到；
[0185]
将第一特征数据和第二特征数据输入第二分类器，输出所述人员关系；其中，所述第二特征数据通过对第二人员数据进行特征提取得到，所述第二人员数据通过将所述第一人员数据与所述人员人数进行融合得到。
[0186]
可选的，所述第二分类器包括第一子分类器和第二子分类器，所述将第一特征数据和第二特征数据输入第二分类器，输出人员关系，包括：
[0187]
将第一特征数据和第二特征数据输入第一子分类器，输出人员类别；
[0188]
将第一特征数据，第二特征数据和第三特征数据输入第二子分类器，输出人员关系；
[0189]
其中，所述第三特征数据通过对第三人员数据进行特征提取得到；所述第三人员数据由所述第二人员数据与所述人员类别进行融合得到。
[0190]
可选的，所述第一特征数据包括人员位置特征，所述人员位置特征通过对人员图
像数据、人员语音数据以及人员使用设备数据中的至少一项进行特征提取得到。
[0191]
可选的，所述处理器，还用于在所述将所述第一人员数据输入人员结构关系识别模型进行识别步骤之前，对于所述第一人员数据进行脱敏处理；
[0192]
其中所述脱敏处理，包括如下处理中的至少一项：
[0193]
删除人员隐私数据；
[0194]
删除目标数据，所述目标数据为所述第一人员数据中除符合标准库要求的数据之外的数据；
[0195]
响应用户对所述第一人员数据的删除操作。
[0196]
可选的，所述标准库包括：预设动作和预设触发词中的至少一项；
[0197]
所述符合标准库要求的数据，包括如下至少一项：
[0198]
具备预设动作的图像数据；
[0199]
具备预设触发词的语音数据。
[0200]
上述可选的实施方式可以参见图1-2所示的实施例中的相关说明，为避免重复说明，本实施例不再赘述。
[0201]
在图9中，总线架构(用总线901来代表)，总线901可以包括任意数量的互联的总线和桥，总线901将包括由处理器905代表的一个或多个处理器和存储器906代表的存储器的各种电路链接在一起。总线901还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口904在总线901和收发机902之间提供接口。收发机902可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器905处理的数据通过天线903在无线介质上进行传输，进一步，天线903还接收数据并将数据传送给处理器905。
[0202]
处理器905负责管理总线901和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器906可以被用于存储处理器905在执行操作时所使用的数据。
[0203]
可选的，处理器905可以是cpu、asic、fpga或cpld。
[0204]
一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现上述人员结构识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0205]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述人员结构识别方法各实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
[0206]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0207]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0208]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。