一种通话氛围提升方法、装置、智能设备及存储介质与流程

1.本技术涉及计算机技术领域，具体涉及一种通话氛围提升方法、装置、智能设备及存储介质。


背景技术：

2.随着智能设备的快速发展，视频通话已经是电视不可或缺的社交，市面上常见的视频通话功能主要是画面和语音传输、多人会议、人脸识别以及人脸贴纸等功能。视频通话的场景很多，例如家庭视频通话、同学或朋友视频通话以及情侣视频通话等，有时候一些通话过程中会出现聊天尬住，暂时找不到话题等问题，然而智能设备缺乏一些通话氛围提升的功能，不能为用户带来更好的体验。


技术实现要素：

3.本技术实施例提供一种通话氛围提升方法、装置、智能设备及存储介质，可以丰富智能设备的通话功能。
4.为解决上述技术问题，本技术实施例提供以下技术方案：
5.本技术实施例提供了一种通话氛围提升方法，包括：
6.获取通话成员的语音信息、人脸信息以及历史通话记录；
7.根据所述语音信息、人脸信息以及所述历史通话记录识别通话成员当前的通话氛围；
8.根据所述通话氛围输出与所述通话氛围对应的显示内容，以提升通话氛围。
9.在一实施方式中，所述根据所述语音信息、人脸信息以及所述历史通话记录识别通话成员当前的通话氛围，包括：
10.根据所述语音信息与所述人脸信息识别通话成员当前的心情；
11.根据每个所述通话成员当前的心情以及所述历史通话记录确定当前的通话氛围。
12.在一实施方式中，所述根据所述语音信息与所述人脸信息识别通话成员当前的心情，包括：
13.将所述语音信息转化为文本信息；
14.将所述文本信息与预存的文本库匹配，以得到与所述文本信息匹配的关键词；
15.读取人脸信息中的人脸关键点以及所述关键点对应的坐标信息；
16.将所述人脸关键点以及所述坐标信息与预存的表情库进行匹配，以得到与所述人脸信息匹配的表情信息；
17.根据所述关键词和所述表情信息确定通话成员当前的心情。
18.在一实施方式中，所述根据每个所述通话成员当前的心情以及所述历史通话记录确定当前的通话氛围，还包括：
19.根据所述历史通话记录获取通话成员的属性信息，其中，所述属性信息包括通话成员的数量、性别、年龄以及通话成员之间的关系；
20.根据所述通话属性信息确定当前的通话场景；
21.根据所述通话成员当前的心情以及所述通话场景确定当前的通话氛围。
22.在一实施方式中，所述根据所述语音信息、人脸信息以及所述历史通话记录识别通话成员当前的通话氛围之前，包括：
23.根据所述历史通话记录获取通话时间信息；
24.获取通话成员的位置信息；
25.根据所述通话时间信息以及所述位置信息中的至少一种确定当前的通话类型。
26.在一实施方式中，所述根据所述语音信息、人脸信息以及所述历史通话记录识别通话成员当前的通话氛围，还包括：
27.在所述通话类型为非正式通话时，根据所述语音信息、人脸信息以及所述历史通话记录识别通话成员当前的通话氛围。
28.在一实施方式中，所述根据所述通话氛围输出与所述通话氛围对应的显示内容，以提升通话氛围，包括：
29.根据所述通话氛围确定与所述通话氛围匹配的目标显示内容；
30.将所述目标显示内容输出到每个通话成员关联的终端。
31.根据本技术的一个方面，还提供了一种通话氛围提升装置，包括：
32.获取模块，用于获取通话成员的语音信息、人脸信息以及历史通话记录；
33.识别模块，用于根据所述语音信息、人脸信息以及所述历史通话记录识别通话成员当前的通话氛围；
34.输出模块，用于根据所述通话氛围输出与所述通话氛围对应的显示内容，以提升通话氛围。
35.根据本技术的一个方面，还提供了一种智能设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本技术实施例提供的任一种通话氛围提升方法。
36.根据本技术的一个方面，还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行本技术实施例提供的任一种通话氛围提升方法。
37.本技术实施例提供了通话氛围提升方法、装置、智能设备及存储介质，智能设备可以获取通话成员的语音信息、人脸信息以及历史通话记录；根据所述语音信息、人脸信息以及所述历史通话记录识别通话成员当前的通话氛围；根据所述通话氛围输出与所述通话氛围对应的显示内容，以提升通话氛围。这样智能设备可以根据通话过程中的通话氛围输出对应的显示内容，从而可以丰富智能设备的通话功能，提升通话成员在使用智能设备进行通话时的通话氛围。
附图说明
38.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本技术实施例提供的通话氛围提升方法的一流程示意图；
40.图2是本技术实施例提供的通话氛围提升方法的另一流程示意图；
41.图3是本技术实施例提供的通话氛围提升方法的另一流程示意图；
42.图4是本技术实施例提供的通话氛围提升装置的示意图；
43.图5是本技术实施例提供的智能设备的结构示意图。
具体实施方式
44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.本技术实施例提供一种通话氛围提升方法、装置、智能设备及存储介质(即计算机可读存储介质)。其中，通话氛围提升方法可以应用于通话氛围提升装置，该通话氛围提升装置具体可以集成在智能设备中，该智能设备可以与服务器或终端等进行通信连接，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。智能设备与终端之间可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。该终端可以是手机、平板、电脑、智能家电设备或者可穿戴设备等。
46.以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
47.在本实施例中，将从智能设备的角度进行描述，请参阅图1，图1是本技术一实施例提供的通话氛围提升方法的流程示意图。该通话氛围提升方法可以包括：
48.s10、获取通话成员的语音信息、人脸信息以及历史通话记录；
49.在本实施例中通话氛围提升方法的执行主体可以是智能设备，该智能设备可以包括智能电视、手机、平板、电脑或者可穿戴设备等。通话可以是视频通话也可以是语音通话，语音信息可以包括每个通话成员的语言数据，人脸信息可以包括每个通话成员的面部图像信息，历史通话记录包括本次通话过程中通话成员聊天的语音数据、语音数据的时间信息以及通话成员的身份信息等。
50.智能设备中包括语音识别模块、图像识别模块以及智能分析模块，其中语音识别模块用于获取通话成员的语音信息，并分析语音信息以识别语音信息中的语言数据，图像识别模块用于获取通话成员的面部图像信息，并分析面部图像信息以识别通话成员的表情。
51.需要说明的是，在本实施例中，获取通话成员的语音信息、人脸信息以及历史通话记录运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
52.s20、根据语音信息、人脸信息以及历史通话记录识别通话成员当前的通话氛围；
53.可选地，智能设备获取通话成员的语音信息可以分析检测聊天语言数据中是否有
不文明或粗俗脏话等关键词，并获取通话成员人脸信息以识别通话成员的表情，以及本次通话过程中的历史通话记录，从而综合分析通话成员是否生气，或者检测到聊天时语音的间隔时间长短，单次语音数据的时间长短，从而分析通话氛围为尴尬、开心或者沮丧等。
54.s30、根据通话氛围输出与通话氛围对应的显示内容，以提升通话氛围。
55.智能设备根据识别到的通话氛围展示符合当前场景的动态表情、图片、音效或文案等。可选地，步骤s30可以包括：
56.根据通话氛围确定与通话氛围匹配的目标显示内容；
57.将目标显示内容输出到每个通话成员关联的终端。
58.例如若通话成员吐槽最近工作不顺心、心情烦躁压力大，智能设备识别到通话氛围很低沉，可以展示文案“要多散散心，适当给自己放放假”并展示安慰类型的动态图片。若通话成员表示自己参加比赛获得了奖状，智能设备识别到通话氛围较为开心，可以展示文案“你真棒，继续加油”并展示恭喜得奖的动态图片以及欢呼的音效。
59.在本实施例提供的技术方案中，智能设备获取通话成员的语音信息、人脸信息以及历史通话记录；根据语音信息、人脸信息以及历史通话记录识别通话成员当前的通话氛围；根据通话氛围输出与通话氛围对应的显示内容，以提升通话氛围。这样智能设备根据通话成员的语音信息、人脸信息以及历史通话记录来识别通话成员当前的通话氛围，并根据通话氛围输出对应的显示内容，从而可以丰富智能设备的通话功能，提升通话成员在使用智能设备进行通话时的通话氛围。
60.参照图2，图2为本技术实施例提供的通话氛围提升方法的另一流程示意图。步骤s20可以包括：
61.s21、根据语音信息与人脸信息识别通话成员当前的心情；
62.s22、根据每个通话成员当前的心情以及历史通话记录确定当前的通话氛围。
63.通话成员当前的心情可以包括开心、难过、愤怒、悔恨、委屈或者尴尬等，通话氛围可以包括快乐、低沉或者尴尬等。
64.可选地，步骤s21包括：
65.将语音信息转化为文本信息；
66.将文本信息与预存的文本库匹配，以得到与文本信息匹配的关键词。
67.需要说明的是，预设的文本库可以是由厂商在开发通话氛围提升装置时，定义的文本库，预设的文本库中存储有与心情关联的关键词。在本实施例中可以将获取到的语音信息输入到以训练的音频识别模型以将语音信息转化为文本信息，并将转化后的文本信息与预存的文本库进行匹配，确定与文本信息匹配的关键词。
68.可选地，在一实施例中，智能设备可以根据该关键词确定与关键词匹配的参考心情。语音信息对应的关键词匹配的心情可以为多种参考心情。
69.读取人脸信息中的人脸关键点以及关键点对应的坐标信息；
70.将人脸关键点以及坐标信息与预存的表情库进行匹配，以得到与人脸信息匹配的表情信息；
71.根据关键词和表情信息确定通话成员当前的心情。
72.需要说明的是，预存的表情库可以是由厂商在开发通话氛围提升装置时，定义的表情库，该表情库中存储有与心情关联的人脸关键点以及关键点对应的坐标信息。为了更
准确地识别通话成员的心情，在本实施例中可以综合分析通话成员的语音信息与人脸信息从而识别通话成员的心情。
73.可选地，读取人脸信息中的人脸关键点以及关键点对应的坐标信息，并将人脸关键点以及对应的坐标信息与预存的表情库进行匹配，从而得到与通话成员的人脸关键点以及坐标信息匹配的表情，根据语音信息对应关键词以及人脸信息对应的表情确定通话成员的心情。可选地，在一实施例中，根据通话成员的表情从参考心情中确定目标心情。
74.可选地，步骤s22包括：
75.根据历史通话记录获取通话成员的属性信息，其中，属性信息包括通话成员的数量、性别、年龄以及通话成员之间的关系；
76.根据通话属性信息确定当前的通话场景；
77.根据通话成员当前的心情以及通话场景确定当前的通话氛围。
78.可选地，通话场景可以包括家庭、情侣、朋友、同事或者同学等。根据历史通话记录中的聊天的语音数据、语音数据的时间信息以及通话成员的身份信息等获取通话成员属性信息，如数量、性别、年龄以及通话成员之间的关系，从而根据上述属性信息判断当前的通话场景，从而根据通话场景以及通话成员当前的心情更准确地确定当前的通话氛围。
79.在本实施例提供的技术方案中，智能设备根据语音信息与人脸信息识别通话成员当前的心情；根据历史通话记录获取通话成员的属性信息，其中，属性信息包括通话成员的数量、性别、年龄以及通话成员之间的关系；根据通话属性信息确定当前的通话场景；根据通话成员当前的心情以及通话场景确定当前的通话氛围。这样智能设备综合判断通话成员的心情以及当前的通话场景从而更准确地判断当前的通话氛围，提高了通话氛围判断的准确性。
80.参照图3，图3为本技术实施例提供的通话氛围提升方法的另一流程示意图。可选地，步骤s20之前可以包括：
81.s11、根据历史通话记录获取通话时间信息；
82.s12、获取通话成员的位置信息；
83.s13、根据通话时间信息以及位置信息中的至少一种确定当前的通话类型。
84.可选地，历史通话记录中的通话时间信息可以包括每个通话成员发出语音信息的时间点、每个语音信息的持续时长以及每个语音信息之间的间隔时长等。位置信息可以通过智能设备中的定位模块获取，位置信息的获取方式可以是gps定位也可以是北斗定位或者无线定位等方式，在此不做具体限定。通话类型可以包括正式会议通话以及非正式通话等。
85.可以理解的是，通话成员目前可能正在进行的通话是公司会议通话，也就是正式会议通话，此时一般不能出现不严肃的提升通话氛围的显示内容，因此智能设备需要获取每个通话成员的位置信息以判断是否正在公司位置，根据历史通话记录获取通话时间信息，以便判断当前是否处于上班时间。如果通话时间信息显示当前处于日常上班时间，或者通话成员的位置信息中有至少一个处于公司所在位置，则判定当前的通话类型为正式会议通话，此时智能设备自动关闭通话氛围提升装置。如果通话时间信息显示当前处于休闲时间，且通话成员的位置信息中均没有处于公司所在位置的，则判定当前的通话类型为非正式通话。
86.可选地，在本实施例中步骤s20可以包括：
87.s23、在通话类型为非正式通话时，根据语音信息、人脸信息以及历史通话记录识别通话成员当前的通话氛围。
88.在判定通话类型为非正式通话时，智能设备可以根据语音信息、人脸信息以及历史通话记录识别通话成员当前的通话氛围。并根据通话氛围输出对应的显示内容，以提升通话氛围。
89.在本实施例提供的技术方案中，智能设备根据历史通话记录获取通话时间信息；获取通话成员的位置信息；根据通话时间信息以及位置信息中的至少一种确定当前的通话类型，在通话类型为非正式通话时，根据语音信息、人脸信息以及历史通话记录识别通话成员当前的通话氛围。在通话氛类型为正式会议通话时，关闭通话氛围提升装置。这样智能设备可以智能判断当前的通话类型，以避免在正式会议通话时用户忘记关掉通话氛围提升装置而引起失误，提高了智能设备通话氛围提升的智能性。
90.为便于更好的实施本技术实施例提供的通话氛围提升方法，本技术实施例还提供一种基于上述通话氛围提升方法的装置。其中名词的含义与上述通话氛围提升方法中相同，具体实现细节可以参考方法实施例中的说明。
91.请参阅图4，图4为本技术实施例提供的通话氛围提升装置的结构示意图，其中该通话氛围提升装置300可以包括获取模块301、识别模块302以及输出模块303等。
92.其中，获取模块301，用于获取通话成员的语音信息、人脸信息以及历史通话记录；
93.识别模块302，用于根据语音信息、人脸信息以及历史通话记录识别通话成员当前的通话氛围；
94.输出模块303，用于根据通话氛围输出与通话氛围对应的显示内容，以提升通话氛围。
95.可选地，通话氛围提升装置还可以包括图中未示出的下列模块：
96.第一识别模块，用于根据语音信息与人脸信息识别通话成员当前的心情；
97.第一确定模块，用于根据每个通话成员当前的心情以及历史通话记录确定当前的通话氛围。
98.转化模块，用于将语音信息转化为文本信息；
99.第一匹配模块，用于将文本信息与预存的文本库匹配，以得到与文本信息匹配的关键词；
100.读取模块，用于读取人脸信息中的人脸关键点以及关键点对应的坐标信息；
101.第二匹配模块，用于将人脸关键点以及坐标信息与预存的表情库进行匹配，以得到与人脸信息匹配的表情信息；
102.第二确定模块，用于根据关键词和表情信息确定通话成员当前的心情。
103.第一获取模块，用于根据历史通话记录获取通话成员的属性信息，其中，属性信息包括通话成员的数量、性别、年龄以及通话成员之间的关系；
104.第三确定模块，用于根据通话属性信息确定当前的通话场景；
105.第四确定模块，用于根据通话成员当前的心情以及通话场景确定当前的通话氛围。
106.第二获取模块，用于根据历史通话记录获取通话时间信息；
107.第三获取模块，用于获取通话成员的位置信息；
108.第五确定模块，用于根据通话时间信息以及位置信息中的至少一种确定当前的通话类型。
109.第二识别模块，用于在通话类型为非正式通话时，根据语音信息、人脸信息以及历史通话记录识别通话成员当前的通话氛围。
110.第六确定模块，用于根据通话氛围确定与通话氛围匹配的目标显示内容；
111.输出模块，用于将目标显示内容输出到每个通话成员关联的终端。
112.本技术实施例还提供一种智能设备，该智能设备可以是智能电视、手机、平板、电脑或者可穿戴设备等终端，如图5所示，其示出了本技术实施例所涉及的智能设备的结构示意图，具体来讲：
113.该智能设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图5中示出的智能设备结构并不构成对智能设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
114.处理器401是该智能设备的控制中心，利用各种接口和线路连接整个智能设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行智能设备的各种功能和处理数据，从而对智能设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
115.存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据智能设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
116.智能设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
117.该智能设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
118.尽管未示出，智能设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，智能设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
119.获取通话成员的语音信息、人脸信息以及历史通话记录；
120.根据语音信息、人脸信息以及历史通话记录识别通话成员当前的通话氛围；
121.根据通话氛围输出与通话氛围对应的显示内容，以提升通话氛围。
122.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对通话氛围提升方法的详细描述，此处不再赘述。
123.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。智能设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该智能设备执行上述实施例中各种可选实现方式中提供的方法。
124.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机指令来完成，或通过计算机指令控制相关的硬件来完成，该计算机指令可以存储于一存储介质中并由处理器进行加载和执行，该存储介质为计算机可读存储介质。为此，本技术实施例提供一种存储介质，其中存储有计算机程序，计算机程序可以包括计算机指令，该计算机程序能够被处理器进行加载，以执行本技术实施例所提供的任一种通话氛围提升方法。
125.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
126.其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
127.由于该存储介质中所存储的计算机指令，可以执行本技术实施例所提供的任一种通话氛围提升方法，因此，可以实现本技术实施例所提供的任一种通话氛围提升方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
128.以上对本技术实施例所提供的一种通话氛围提升方法、装置、智能设备及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。