一种特征关联方法及电子设备与流程

本技术涉及计算机视觉，尤其涉及一种特征关联方法及电子设备。

背景技术：

1、随着电子设备(比如智能手机)的快速发展，电子设备上安装的应用越来越多样化。以电子设备上安装的图库应用为例，图库应用可以保存用户通过相机或摄像头等部件采集的用户媒体类数据。其中，用户媒体类数据中人像部分占比接近一半甚至更多。在这种情况下，人像识别技术也成为电子设备的一个标配功能。人像识别技术是通过计算机视觉技术对用户媒体类数据进行相应地处理(比如人脸检测、特征提取、聚类等处理)，得到人像相册。

2、然而，人像相册中的人像到底是谁并不知道，需要用户主动进行人像标注，可是目前很少有用户主动进行人像标注，使得图库应用中的人像数据无法对外关联，从而导致不同模态数据(比如视觉模态的人像数据和音频模态的声音数据)也就无法有效关联。

3、如何实现不同模态数据的关联有待进一步研究。

技术实现思路

1、本技术提供一种特征关联方法及电子设备，用以实现不同模态数据的关联，使得位于不同应用中多个模态特征分别对应的信息能够准确连接，便于不同应用之间进行有效地信息互用。

2、第一方面，本技术提供一种特征关联方法，该方法可以由电子设备或电子设备中的部件(比如处理器、处理单元或芯片等)执行。示例性地，下面以电子设备执行特征关联方法为例。该方法可以包括以下步骤：电子设备对第一文件中针对第一说话对象的第一子文件进行特征提取，得到第一说话对象的第一模态特征和第一说话对象的第二模态特征，之后，电子设备可以根据第一模态特征和第二模态特征，确定第一特征连接器，其中，第一特征连接器用于描述第一模态特征与第二模态特征之间的关联关系，第一特征连接器还用于第一模态特征对应的信息和第二模态特征对应的信息之间的连接，第一模态特征对应的信息和第二模态特征对应的信息位于电子设备的不同应用中，第一模态特征与第二模态特征不同，且可以是人像特征、声音特征、语义特征和行为特征中任意两个。

3、在本方法中，通过对第一文件中第一子文件的多模态特征(第一子文件的多模态特征是处于同一时间、空间的多模态特征)进行提取，进而建立多个模态特征之间的关联关系，形成特征连接器。可以理解，处于同一时间、空间的多个模态特征之间有极大相关性。这样，通过特征连接器可以实现不同模态数据的关联，使得位于不同应用中多个模态特征分别对应的信息能够准确连接，便于不同应用之间进行有效地信息互用(或信息联动)，也即是打通不同应用之间的信息联系(或数据联系)，有助于为未来更好的进行数据理解和数据挖掘形成基础支撑，并可以给用户带来更加智能化的体验。

4、在一种可能的实现方式中，第一文件包括音频文件和图像文件；所述方法还包括：电子设备获取音频文件中有声音信息的m个子音频文件，m为大于或等于1的整数，m个子音频文件对应第一说话对象，之后，电子设备可以获取图像文件中与m个子音频文件对应的m个子图像文件，然后，电子设备可以获取m个子图像文件中的n个子图像文件，其中，n个子图像文件中有人像信息且人像的嘴唇有动作变化，第一子文件可以包括n个子图像文件和m个子音频文件中与n个子图像文件对应的n个子音频文件。

5、上述实现方式中，基于处于同一时间空间的模态特征之间有极大相关性，通过将富含多模态信息的第一文件拆解为(或划分为)至少一个子文件，该至少一个子文件中每个子文件包括处于同一时间空间的模态信息(比如图像信息、音频信息等)，这样可以便于电子设备及时有效地从子文件中提取处于同一时间空间的模态特征，进而可以便于电子设备为处于同一时间空间的模态特征建立关联关系，对处于同一时间空间的模态特征进行关联，形成数据联动。

6、在一种可能的实现方式中，第一模态特征为人像特征，第二模态特征为声音特征；电子设备对第一文件中针对第一说话对象的第一子文件进行特征提取，得到第一说话对象的第一模态特征和第一说话对象的第二模态特征，包括：电子设备可以使用人像识别模型，对第一子文件进行人像特征提取，得到第一说话对象的人像特征，以及，电子设备可以使用声音识别模型，对第一子文件进行声音特征提取，得到第一说话对象的声音特征。

7、上述实现方式中，对于提取不同的模态特征，通过使用不同的模型，可以使得模态特征提取更加精准，也更加符合实际特征提取需求，从而使得电子设备对于不同模态特征提取相对独立，每个模态特征对应一种独立的特征提取能力，也即是每个模态特征对应一种相匹配的特征提取模型。比如，对于人像特征使用人像识别模型，对于声音特征使用人声识别模型，等等。

8、在一种可能的实现方式中，第一模态特征为人像特征，第二模态特征为行为特征；电子设备对第一文件中针对第一说话对象的第一子文件进行特征提取，得到第一说话对象的第一模态特征和所述第一说话对象的第二模态特征，包括：电子设备可以使用人像识别模型，对第一子文件进行人像特征提取，得到第一说话对象的人像特征，以及，电子设备可以使用行为识别模型，对第一子文件进行行为特征提取，得到第一说话对象的行为特征。

9、上述实现方式中，对于提取不同的模态特征，通过使用不同的模型，可以使得模态特征提取更加精准，也更加符合实际特征提取需求，从而使得电子设备对于不同模态特征提取相对独立，每个模态特征对应一种独立的特征提取能力，也即是每个模态特征对应一种相匹配的特征提取模型。比如，对于人像特征使用人像识别模型，对于行为特征使用行为识别模型，等等。

10、在一种可能的实现方式中，第一模态特征为人像特征，第二模态特征为语义特征；电子设备对第一文件中针对第一说话对象的第一子文件进行特征提取，得到第一说话对象的第一模态特征和第一说话对象的第二模态特征，包括：电子设备可以使用人像识别模型，对第一子文件进行人像特征提取，得到第一说话对象的人像特征，以及，电子设备可以使用语义识别模型，对第一子文件进行语义特征提取，得到第一说话对象的语义特征。

11、上述实现方式中，对于提取不同的模态特征，通过使用不同的模型，可以使得模态特征提取更加精准，也更加符合实际特征提取需求，从而使得电子设备对于不同模态特征提取相对独立，每个模态特征对应一种独立的特征提取能力，也即是每个模态特征对应一种相匹配的特征提取模型。比如，对于人像特征使用人像识别模型，对于语义特征使用语义识别模型，等等。

12、在一种可能的实现方式中，第一模态特征为声音特征，第二模态特征为语义特征；电子设备对第一文件中针对第一说话对象的第一子文件进行特征提取，得到第一说话对象的第一模态特征和第一说话对象的第二模态特征，包括：电子设备可以使用声音识别模型，对第一子文件进行声音特征提取，得到第一说话对象的声音特征，以及，电子设备可以使用语义识别模型，对第一子文件进行语义特征提取，得到第一说话对象的语义特征。

13、上述实现方式中，对于提取不同的模态特征，通过使用不同的模型，可以使得模态特征提取更加精准，也更加符合实际特征提取需求，从而使得电子设备对于不同模态特征提取相对独立，每个模态特征对应一种独立的特征提取能力，也即是每个模态特征对应一种相匹配的特征提取模型。比如，对于声音特征使用声音识别模型，对于语义特征使用语义识别模型，等等。

14、在一种可能的实现方式中，第一模态特征为声音特征，第二模态特征为行为特征；电子设备对第一文件中针对第一说话对象的第一子文件进行特征提取，得到第一说话对象的第一模态特征和第一说话对象的第二模态特征，包括：电子设备可以使用声音识别模型，对第一子文件进行声音特征提取，得到第一说话对象的声音特征，以及，电子设备可以使用行为识别模型，对第一子文件进行行为特征提取，得到第一说话对象的行为特征。

15、上述实现方式中，对于提取不同的模态特征，通过使用不同的模型，可以使得模态特征提取更加精准，也更加符合实际特征提取需求，从而使得电子设备对于不同模态特征提取相对独立，每个模态特征对应一种独立的特征提取能力，也即是每个模态特征对应一种相匹配的特征提取模型。比如，对于声音特征使用声音识别模型，对于行为特征使用行为识别模型，等等。

16、在一种可能的实现方式中，第一模态特征为语义特征，第二模态特征为行为特征；电子设备对第一文件中针对第一说话对象的第一子文件进行特征提取，得到第一说话对象的第一模态特征和第一说话对象的第二模态特征，包括：电子设备可以使用语义识别模型，对第一子文件进行语义特征提取，得到第一说话对象的语义特征，以及，电子设备可以使用行为识别模型，对第一子文件进行行为特征提取，得到第一说话对象的行为特征。

17、上述实现方式中，对于提取不同的模态特征，通过使用不同的模型，可以使得模态特征提取更加精准，也更加符合实际特征提取需求，从而使得电子设备对于不同模态特征提取相对独立，每个模态特征对应一种独立的特征提取能力，也即是每个模态特征对应一种相匹配的特征提取模型。比如，对于语义特征使用语义识别模型，对于行为特征使用行为识别模型，等等。

18、在一种可能的实现方式中，所述方法还包括：电子设备从电子设备的第一应用获取与第一说话对象对应的第一信息，之后，电子设备对第一信息进行特征提取，得到第三模态特征，在第三模态特征与第一特征连接器指示的第一模态特征匹配的情况下，电子设备可以从电子设备的第二应用获取与第二模态特征对应的第二信息，然后，电子设备可以在第一应用中显示提示信息，其中，提示信息用于提示用户在第一应用中设置第二信息。

19、上述实现方式中，在得到一个或多个特征连接器后，电子设备可以进行跨模态特征匹配，进而实现打通不同应用之间的数据联系。例如，电子设备可以从第一应用获取第一信息，将对第一信息提取的第三模态特征与一个或多个特征连接器进行匹配，确定第三模态特征与哪一个特征连接器指示的模态特征相匹配。在第三模态特征与第一特征连接器指示的第一模态特征匹配的情况下，电子设备可以从第二应用获取第二模态特征对应的第二信息，并在第一应用中显示提示信息，以便提示用户在第一应用中为第一信息设置对应的第二信息。例如，以第一应用为图库应用，第二应用为通话应用为例。提示信息可以用于提示用户在图库应用中为第一说话对象对应的人像图片设置联系人信息。这样，该实现方式可以实现建立第一应用与第二应用之间的关联关系，也即是在不同结构化数据中建立关联关系，进而实现打通这两个不同应用之间的数据联系，以便这两个不同应用之间进行信息联动，使得这两个应用之间可以互用对方信息。此外，通过特征连接器可以实现将原本两个不相关的模态特征或模态信息联系在一起，有助于不同应用之间进行信息联动。

20、在一种可能的实现方式中，第一应用为具有音频采集功能的应用，第一信息为音频数据；电子设备对第一信息进行特征提取，得到第三模态特征，包括：电子设备对音频数据进行分割聚类，得到k个聚类信息，其中，k个聚类信息中的每个聚类信息可以用于指示音频数据中与一个说话对象对应的数据，或者k个聚类信息中每个聚类信息可以用于描述一个说话对象在音频数据中的时间信息，k为大于或等于1的整数，之后，电子设备可以根据k个聚类信息，对音频数据进行分片截取，得到k个音频片段，然后，电子设备可以对k个音频片段进行特征提取，得到k个模态特征，其中，k个模态特征中包括第三模态特征。

21、上述实现方式中，通过对具有音频采集功能的应用(比如通话应用)中的音频数据进行特征提取，将提取的特征(比如声音特征或语义特征)与一个或多个特征连接器进行匹配，确定该特征与哪一个特征连接器指示的特征(比如声音特征或语义特征)相匹配。在该特征与某一个特征连接器指示的特征匹配的情况下，电子设备可以从第二应用(比如图库应用)获取第二模态特征(比如人像特征)对应的第二信息(比如人像图片)，并在具有音频采集功能的应用中显示提示信息，以便提示用户在具有音频采集功能的应用中为该该声音特征对应的联系人设置头像，这样可以使得具有音频采集功能的应用与图库应用之间建立关联，有助于打通这两个不同应用之间的数据联系，以便这两个不同应用之间进行信息联动，使得这两个应用之间可以互用对方信息。

22、在一种可能的实现方式中，电子设备对k个音频片段进行特征提取，得到k个模态特征，包括：电子设备对k个音频片段进行声音特征提取，得到k个声音特征，其中，k个模态特征为k个声音特征；或者，电子设备对k个音频片段进行语义特征提取，得到k个语义特征，其中，k个模态特征为k个语义特征。

23、上述实现方式中，根据实际需求，可以对k个音频片段进行声音特征提取或语义特征提取，这样可以使得k个音频片段的特征提取比较灵活，可以满足用户的不同需求。

24、在一种可能的实现方式中，第一应用为图库应用，第一信息为图像数据；电子设备对第一信息进行特征提取，得到第三模态特征，包括：电子设备使用人像识别模型，对图像数据进行人像特征提取，得到第一说话对象的人像特征，其中，第三模态特征为人像特征；或者，电子设备使用行为识别模型，对图像数据进行行为特征提取，得到第一说话对象的行为特征，其中，第三模态特征为行为特征。

25、上述实现方式中，通过对图库应用中的图像数据进行人像特征提取，将提取的人像特征与一个或多个特征连接器进行匹配，确定该人像特征与哪一个特征连接器指示的人像特征相匹配。在该人像特征与第一特征连接器指示的人像特征匹配的情况下，电子设备可以从第二应用(比如通话应用)获取第二模态特征(比如声音特征)对应的第二信息(比如联系人信息)，并在图库应用中显示提示信息，以便提示用户在图库应用中为该人像特征对应的人像图片设置联系人信息，这样可以使得图库应用与第二应用之间建立关联，有助于打通这两个不同应用之间的数据联系，以便这两个不同应用之间进行信息联动，使得这两个应用之间可以互用对方信息。

26、第二方面，本技术提供一种电子设备，电子设备具备实现上述第一方面涉及的功能，比如，电子设备包括执行上述第一方面涉及操作所对应的模块或单元或手段，所述功能或单元或手段可以通过软件实现，或者可以通过硬件实现，也可以通过硬件执行相应的软件实现。

27、第三方面，本技术实施例提供一种电子设备，包括至少一个处理器，至少一个处理器可以用于与存储器耦合。

28、存储器可以保存实现上述第一方面涉及的功能的必要计算机程序或指令。该至少一个处理器可执行所述存储器存储的计算机程序或指令，当该计算机程序或指令被执行时，使得该电子设备实现上述第一方面以及第一方面的任一种可能的实现方式中的方法。

29、在一种可能的实现方式中，电子设备还可以包括显示屏。该显示屏，用于显示用户界面。

30、在一种可能的实现方式中，电子设备还包括上述存储器。

31、在一种可能的实现方式中，上述电子设备也可以包括接口电路(或通信接口或收发器)。接口电路用于实现该电子设备与其他设备进行通信，例如，用于接收来自其它设备的信号并传输至所述至少一个处理器或将来自该电子设备的至少一个处理器的信号发送给其它设备，例如数据和/或信号的发送或接收。示例性地，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。

32、第四方面，本技术提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当该计算机程序或指令在计算机上运行时，使得该计算机执行上述第一方面或第一方面的任意可能的实现方式中的方法。

33、第五方面，本技术提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序或指令，当该计算机程序或指令被计算机执行时，使得该计算机执行上述第一方面或第一方面的任意可能的实现方式中的方法。

34、第六方面，本技术提供了一种芯片，该芯片可以包括处理器，该芯片与储存器耦合，该芯片执行储存器中的程序指令，以执行上述第一方面或第一方面的任意可能的实现方式中的方法。其中，“耦合”是指两个部件彼此直接或间接地结合，如耦合可以是指两个部件之间电连接。

35、在一种可能的实现方式中，该芯片中包括该存储器。

36、第七方面，本技术还提供了一种芯片系统，该芯片系统包括处理器，用于支持计算机装置实现上述第一方面或第一方面的任意可能的实现方式中的方法。在一种可能的实现方式中，该芯片系统还包括存储器，该存储器用于保存该计算机装置必要的程序和数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

37、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。