基于影像的多媒体文件展示方法、装置、设备及存储介质与流程

1.本发明涉及影像处理技术领域，尤其涉及一种基于影像的多媒体文件展示方法、装置、设备及存储介质。


背景技术：

2.在日常生活中用户会拍摄较多影像，现有技术中仅仅将拍摄的影像进行存储，以便用户浏览或搜索，并不会对影像进行处理，导致用户在查看影像时回忆不起当时拍摄时光，因此，如何在唤起用户对影像时光追忆的同时，增加对终端设备的使用粘性是亟待解决的技术问题。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供了一种基于影像的多媒体文件展示方法、装置、设备及存储介质，旨在如何解决在唤起用户对影像时光追忆的同时，增加对终端设备的使用粘性的技术问题。
5.为实现上述目的，本发明提供了一种基于影像的多媒体文件展示方法，所述基于影像的多媒体文件展示方法，包括以下步骤：
6.根据目标影像确定影像类别信息；
7.根据所述影像类别信息对所述目标影像进行特征提取，获得影像特征信息；
8.根据所述影像特征信息确定对应的情境信息；
9.根据所述情境信息确定当前用户的情感画像；
10.基于所述情感画像查找对应的待展示多媒体文件，并将所述待展示多媒体文件进行展示。
11.可选地，所述根据目标影像确定影像类别信息的步骤之前，还包括：
12.确定预设显示区域内待处理图像的展示时长；
13.判断所述展示时长是否大于预设展示阈值；
14.在所述展示时长大于所述预设展示阈值时，将所述待处理图像作为目标影像。
15.可选地，所述根据目标影像确定影像类别信息的步骤之前，还包括：
16.确定预设显示区域内待处理视频的展示时长；
17.在所述展示时长大于预设展示阈值时，从所述待处理视频中提取多帧图像；
18.根据所述多帧图像确定目标影像。
19.可选地，所述从所述待处理视频中提取多帧图像的步骤，包括：
20.在接收到当前用户的滑动操作行为时，根据所述滑动操作行为确定预设提取规则；
21.按照所述预设提取规则对所述待处理视频进行处理，获得多帧图像。
22.可选地，所述根据目标影像确定影像类别信息的步骤，包括：
23.对所述目标影像进行灰度处理，获得目标灰度影像；
24.确定所述目标灰度影像的影像主体信息；
25.根据所述影像主体信息确定影像类别信息。
26.可选地，所述确定所述目标灰度影像的影像主体信息的步骤，包括：
27.确定所述目标灰度影像中多个对象位置信息；
28.根据所述多个对象位置信息确定对应的对象面积占比；
29.根据所述对象面积占比确定影像主体信息。
30.可选地，所述根据所述影像类别信息对所述目标影像进行特征提取，获得影像特征信息的步骤，包括：
31.获取所述目标影像的像素点信息；
32.根据所述影像类别信息和所述像素点信息对所述目标影像进行划分，获得多个影像区域；
33.根据所述多个影像区域对所述目标影像进行特征提取，获得影像特征信息。
34.可选地，所述根据所述影像特征信息确定对应的情境信息的步骤，包括：
35.对所述影像特征信息进行分析，获得多个影像标签；
36.将所述多个影像标签进行拼合，获得所述目标影像的情境信息。
37.可选地，所述根据所述情境信息确定当前用户的情感画像的步骤，包括：
38.判断所述待处理视频中是否存在音频信号；
39.在所述待处理视频中存在音频信号时，根据所述音频信号提取音频信息；
40.将所述音频信息转换为文字信息；
41.对所述文字信息进行分析，获得音频关键词；
42.根据所述情境信息和所述音频关键词确定当前用户的情感画像。
43.可选地，所述基于所述情感画像查找对应的待展示多媒体文件，并将所述待展示多媒体文件进行展示的步骤，包括：
44.根据所述情感画像确定对应的多媒体文件类型；
45.根据所述多媒体文件类型确定待展示多媒体文件，并将所述待展示多媒体文件进行展示。
46.可选地，所述根据所述多媒体文件类型确定待展示多媒体文件的步骤，包括：
47.根据所述多媒体文件类型从预设多媒体文件映射关系表中匹配对应的多个多媒体文件，所述预设多媒体文件映射关系表中存在多个多媒体文件类型和多个多媒体文件；
48.分别获取所述多个多媒体文件对应的作品评分；
49.根据所述作品评分从所述多个多媒体文件中选取待展示多媒体文件。
50.可选地，所述根据所述作品评分从所述多个多媒体文件中选取待展示多媒体文件的步骤，包括：
51.判断所述作品评分是否大于预设阈值；
52.在所述作品评分大于所述预设阈值时，从所述多个多媒体文件中选取所述作品评分对应的多媒体文件，并将所述多媒体文件作为待展示多媒体文件。
53.此外，为实现上述目的，本发明还提出一种基于影像的多媒体文件展示装置，所述
基于影像的多媒体文件展示装置包括：
54.确定模块，用于根据目标影像确定影像类别信息；
55.提取模块，用于根据所述影像类别信息对所述目标影像进行特征提取，获得影像特征信息；
56.所述确定模块，还用于根据所述影像特征信息确定对应的情境信息；
57.所述确定模块，还用于根据所述情境信息确定当前用户的情感画像；
58.展示模块，用于基于所述情感画像查找对应的待展示多媒体文件，并将所述待展示多媒体文件进行展示。
59.可选地，所述确定模块，还用于确定预设显示区域内待处理图像的展示时长；
60.所述确定模块，还用于判断所述展示时长是否大于预设展示阈值；
61.所述确定模块，还用于在所述展示时长大于所述预设展示阈值时，将所述待处理图像作为目标影像。
62.可选地，所述确定模块，还用于确定预设显示区域内待处理视频的展示时长；
63.所述确定模块，还用于在所述展示时长大于预设展示阈值时，从所述待处理视频中提取多帧图像；
64.所述确定模块，还用于根据所述多帧图像确定目标影像。
65.可选地，所述确定模块，还用于在接收到当前用户的滑动操作行为时，根据所述滑动操作行为确定预设提取规则；
66.所述确定模块，还用于按照所述预设提取规则对所述待处理视频进行处理，获得多帧图像。
67.可选地，所述确定模块，还用于对所述目标影像进行灰度处理，获得目标灰度影像；
68.所述确定模块，还用于确定所述目标灰度影像的影像主体信息；
69.所述确定模块，还用于根据所述影像主体信息确定影像类别信息。
70.可选地，所述确定模块，还用于确定所述目标灰度影像中多个对象位置信息；
71.所述确定模块，还用于根据所述多个对象位置信息确定对应的对象面积占比；
72.所述确定模块，还用于根据所述对象面积占比确定影像主体信息。
73.此外，为实现上述目的，本发明还提出一种基于影像的多媒体文件展示设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于影像的多媒体文件展示程序，所述基于影像的多媒体文件展示程序配置为实现如上文所述的基于影像的多媒体文件展示方法的步骤。
74.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于影像的多媒体文件展示程序，所述基于影像的多媒体文件展示程序被处理器执行时实现如上文所述的基于影像的多媒体文件展示方法的步骤。
75.本发明首先根据目标影像确定影像类别信息，并根据影像类别信息对目标影像进行特征提取，获得影像特征信息，然后根据影像特征信息确定对应的情境信息，之后根据情境信息确定当前用户的情感画像，最后基于情感画像查找对应的待展示多媒体文件，并将待展示多媒体文件进行展示。相较于现有技术，仅仅将影像进行存储，并不会对影像进行处理，而本发明中根据目标影像的影像特征信息确定对应的情境信息，之后根据情境信息确
定当前用户的情感画像，最后根据当前用户的情感画像推荐对应的多媒体文件，从而在唤起用户对影像时光追忆的同时，提高了用户体验，进而增加了对终端设备的使用粘性。
附图说明
76.图1是本发明实施例方案涉及的硬件运行环境的基于影像的多媒体文件展示设备的结构示意图；
77.图2为本发明基于影像的多媒体文件展示方法第一实施例的流程示意图；
78.图3为本发明基于影像的多媒体文件展示方法第二实施例的流程示意图；
79.图4为本发明基于影像的多媒体文件展示方法第三实施例的流程示意图；
80.图5为本发明基于影像的多媒体文件展示装置第一实施例的结构框图。
81.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
82.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
83.参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于影像的多媒体文件展示设备结构示意图。
84.如图1所示，该基于影像的多媒体文件展示设备可以包括：处理器1001，例如，中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如，磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
85.本领域技术人员可以理解，图1中示出的结构并不构成对基于影像的多媒体文件展示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
86.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于影像的多媒体文件展示程序。
87.在图1所示的基于影像的多媒体文件展示设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于影像的多媒体文件展示设备中的处理器1001、存储器1005可以设置在基于影像的多媒体文件展示设备中，所述基于影像的多媒体文件展示设备通过处理器1001调用存储器1005中存储的基于影像的多媒体文件展示程序，并执行本发明实施例提供的基于影像的多媒体文件展示方法。
88.本发明实施例提供了一种基于影像的多媒体文件展示方法，参照图2，图2为本发明基于影像的多媒体文件展示方法第一实施例的流程示意图。
89.本实施例中，所述基于影像的多媒体文件展示方法包括以下步骤：
90.步骤s10：根据目标影像确定影像类别信息。
91.易于理解的是，本实施例的执行主体可以是具有图像处理、数据处理、网络通讯和程序运行等功能的通讯设备，该设备还能够对多媒体文件进行展示，也可以为其他具有相似功能的计算机设备等，本实施例并不加以限制。
92.目标影像可以理解为终端设备的相册中用户拍摄的某张需要处理的图像，还可以为从终端设备的相册中用户拍摄的某段需要处理的视频中提取多帧图像拼合的图像。
93.为了能够从多张图像中获取精准的目标影像，根据目标影像确定影像类别信息的步骤之前，还包括：确定预设显示区域内待处理图像的展示时长；判断展示时长是否大于预设展示阈值；在展示时长大于预设展示阈值时，将待处理图像作为目标影像。
94.预设显示区域为展示影像的界面区域，待处理图像为当前用户浏览或查看的单张图像，展示时长为图像展示在界面区域的时长，预设展示阈值可以为用户自定义设置，可以为40s，还可以为1min等，本实施例并不加以限制。
95.需要说明的是，为了能够从多个视频中获取精准的目标影像，根据目标影像确定影像类别信息的步骤之前，还包括：确定预设显示区域内待处理视频的展示时长；在展示时长大于预设展示阈值时，从待处理视频中提取多帧图像；根据多帧图像确定目标影像。
96.待处理视频为当前用户浏览或查看的单个视频，视频中存在多帧图像。
97.例如，当前用户浏览的视频b展示在界面区域的时长为10s，预设展示阈值为8s，则视频b展示时长大于预设展示阈值，从视频b中提取多帧图像，根据多帧图像确定目标影像。
98.从待处理视频中提取多帧图像的步骤，包括：在接收到当前用户的滑动操作行为时，根据滑动操作行为确定预设提取规则；按照预设提取规则对待处理视频进行处理，获得多帧图像。
99.滑动操作行为可以为理解为用户在观看视频时滑动进度条的操作，预设提取规则为根据用户滑动进度条的终点处提取预设帧数的图像，预设帧数可以为用户自定义设置，可以为3帧，还可以为5帧等。
100.例如，待处理视频b的总时长为20s，用户在观看视频时滑动进度条至10s处，则从待处理视频b的10s处提取预设帧数的图像，并根据预设帧数的图像确定目标影像。
101.在本实施例中，在未接受到当前用户的滑动操作行为时，需要从待处理视频的起点处获取预设帧数的图像，还需要从待处理视频的中间位置处获取预设帧数的图像，还需要从待处理视频的终点处获取预设帧数的图像，之后根据获取的预设帧数图像确定目标影像。
102.根据多帧图像确定目标影像的处理方式可以为将多帧图像进行拼合处理，以获得目标影像。
103.为了能够精准获取目标影像的影像类别信息，根据目标影像确定影像类别信息的步骤，包括：对目标影像进行灰度处理，获得目标灰度影像；确定目标灰度影像的影像主体信息；根据影像主体信息确定影像类别信息。
104.应理解的是，灰度影像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度。影像主体信息为影像中主要组成部分，影像类别信息包括人景类别、景物类别及人物类别。
105.确定目标灰度影像的影像主体信息的步骤，包括：确定目标灰度影像中多个对象位置信息；根据多个对象位置信息确定对应的对象面积占比；根据对象面积占比确定影像
主体信息。
106.对象位置信息为图像中对象所处的位置信息，可以为中心、左下、右上等；对象面积占比为对象占图像面积的比例，可以为三分之一，还可以为四分之一等。
107.例如，图像中存在三个对象，分别为天空、建筑物及人物，将图像划分为十等份，天空面积占比为十分之二，建筑物面积占比为十分之四，人物面积占比为十分之四，预设面积占比阈值为十分之一，则天空面积占比、建筑物面积占比和人物面积占比均大于预设面积占比阈值，天空、建筑物和人物为影像主体，对应的影像类别信息为人景类别。
108.步骤s20：根据所述影像类别信息对所述目标影像进行特征提取，获得影像特征信息。
109.获取目标影像的像素点信息，根据影像类别信息和像素点信息对目标影像进行划分，获得多个影像区域，根据多个影像区域对目标影像进行特征提取，获得影像特征信息。
110.例如，影像类别信息为人景类别，目标影像中存在人物、建筑物和天空，则获取人物对应的人物像素点信息、建筑物对应的建筑物像素点信息及天空对应的天空像素点信息，之后根据人物像素点信息、建筑物像素点信息及天空像素点信息对目标影像进行划分，获得人物区域、建筑物区域及天空区域，最后从人物区域中提取人物特征信息、从建筑物区域中提取建筑物特征信息及从天空区域中提取天空特征信息，其中人物特征信息包括人物对应的面部特征信息，建筑物特征信息包括建筑物形状信息和建筑物颜色信息，天空特征信息包括天空颜色信息等。
111.步骤s30：根据所述影像特征信息确定对应的情境信息。
112.例如，影像特征信息包括人物特征信息、建筑物特征信息及天空特征信息，其中人物特征信息包括人物对应的面部特征信息，建筑物特征信息包括建筑物形状信息和建筑物颜色信息，天空特征信息包括天空颜色信息，可以根据面部特征信息确定人物表情信息，可以根据建筑物形状信息和建筑物颜色信息确定建筑物名称及位置信息，可以根据天空颜色信息确定天气状况信息，最后根据人物对应的表情信息、建筑物名称及位置信息、天气状况信息生成目标影像对应的情境信息。
113.根据影像特征信息确定对应的情境信息的步骤，包括：对影像特征信息进行分析，获得多个影像标签；将多个影像标签进行拼合，获得目标影像的情境信息。
114.例如，人物特征信息为人物面部特征信息，对人物面部特征信息进行分析，获得人物面部表情信息，该人物面部表情信息为惊讶，则影像标签为游客表现出惊讶的表情；例如，建筑物特征信息为建筑物形状信息和建筑物颜色信息，对建筑物形状信息和建筑物颜色信息进行分析，获得建筑物名称及位置信息，则影像标签为在某位置处存在某某建筑物，该建筑物名称为某某；例如，天空特征信息为天空颜色信息，对天空颜色信息进行分析，获得天气状况信息，则影像标签为天气状况为阴天或晴天等。
115.例如，影像标签为游客表现出惊讶的表情、在a市中心存在c建筑物，天气状况为阴天，目标影像的拍摄时间为2019年6月11日下午18:00，则目标影像的情境信息为在2019年6月11日下午18:00，天气状况为阴天，在a市中心c建筑物前游客表现出惊讶的表情。
116.步骤s40：根据所述情境信息确定当前用户的情感画像。
117.用户的情感画像可以为用户的表情状态图像，根据情境信息可以确定用户的心理状态信息，之后可以根据心理状态信息确定当前用户的情感画像，该情感画像可以为用户
惊恐画像，还可以为用户欢喜画像等。
118.根据情境信息确定当前用户的情感画像的步骤，包括：判断待处理视频中是否存在音频信号；在待处理视频中存在音频信号时，根据音频信号提取音频信息；将音频信息转换为文字信息；对文字信息进行分析，获得音频关键词；根据情境信息和音频关键词确定当前用户的情感画像。
119.例如，待处理视频c中存在音频信号，则根据音频信号提取音频信息，若音频信息为我此时非常害怕，则文字信息为“我此时非常害怕”，之后对“我此时非常害怕”进行分析，获得音频关键词为“害怕”，若情境信息为在2020年8月20日下午13:00，天气状况为雨天，在b商场门口游客表现出惊恐的表情，则根据情境信息“2020年8月20日下午13:00，天气状况为雨天，在b商场门口游客表现出惊恐的表情”和音频关键词“害怕”确定当前用户的情感画像，该情感画像为惊恐画像。
120.步骤s50：基于所述情感画像查找对应的待展示多媒体文件，并将所述待展示多媒体文件进行展示。
121.待展示多媒体文件可以为多个多媒体文件，还可以为单个多媒体文件，该多媒体文件可以为影视作品，还可以为音乐，还可以为景点宣传片等，其中可以将多媒体文件进行类别区分，可以划分为记录片、战争片、历史片、传记片、体育片、科幻片、魔幻片、奇幻片、文艺片、音乐片、歌舞片、动漫片、西部片、武侠片、古装片、动作片、爱情片、剧情片、喜剧片、家庭片、伦理片、恐怖片、惊悚片、冒险片、犯罪片、悬疑片等。
122.例如，情感画像为惊恐画像，则获取目标影像拍摄时间，根据目标影像拍摄时间确定院线上映时间区间，并获取院线上映时间区间对应的多个多媒体文件，之后根据惊恐画像从多个多媒体文件中查找对应的恐怖片或惊悚片，并将恐怖片或惊悚片推送至用户。
123.基于情感画像查找对应的待展示多媒体文件，并将待展示多媒体文件进行展示的步骤，包括：根据情感画像确定对应的多媒体文件类型；根据多媒体文件类型确定待展示多媒体文件，并将待展示多媒体文件进行展示。
124.在本实施例中，首先根据目标影像确定影像类别信息，并根据影像类别信息对目标影像进行特征提取，获得影像特征信息，然后根据影像特征信息确定对应的情境信息，之后根据情境信息确定当前用户的情感画像，最后基于情感画像查找对应的待展示多媒体文件，并将待展示多媒体文件进行展示。相较于现有技术，仅仅将影像进行存储，并不会对影像进行处理，而本发明中根据目标影像的影像特征信息确定对应的情境信息，之后根据情境信息确定当前用户的情感画像，最后根据当前用户的情感画像推荐对应的多媒体文件，从而在唤起用户对影像时光追忆的同时，提高了用户体验，进而增加了对终端设备的使用粘性。
125.参考图3，图3为本发明基于影像的多媒体文件展示方法第二实施例的流程示意图。
126.基于上述第一实施例，在本实施例中，所述步骤s10之前，还包括：
127.步骤s01：确定预设显示区域内待处理图像的展示时长。
128.预设显示区域为展示影像的界面区域，待处理图像为当前用户浏览或查看的单张图像，展示时长为图像展示在界面区域的时长，展示时长可以为3s，还可以为2s等。
129.步骤s02：判断所述展示时长是否大于预设展示阈值。
130.预设展示阈值可以为用户自定义设置，可以为40s，还可以为1min等，本实施例并不加以限制。
131.步骤s03：在所述展示时长大于所述预设展示阈值时，将所述待处理图像作为目标影像。
132.在具体实现中，例如，当前用户浏览的图像a展示在界面区域的时长为41s，预设展示阈值为40s，则图像a展示时长大于预设展示阈值，将图像a作为目标影像。
133.还应理解的是，在预设显示区域内待处理图像的展示时长大于预设展示时长时，需要获取用户针对图像的观看操作行为，避免用户仅仅将图像展示在界面区域内并未观看，若观看操作行为满足预设观看条件，则将待处理图像作为目标影像，预设观看条件为对图像进行放大或缩小处理。
134.例如，当前用户浏览的图像a展示在界面区域的时长为41s，预设展示阈值为40s，则图像a展示时长大于预设展示阈值，获取用户的观看操作行为，在未检测到用户观看操作行为时，不能将该图像a作为目标影像；若图像b展示时长大于预设展示阈值，则获取用户的观看操作行为，在检测到用户观看操作行为时，将该图像b作为目标影像等。
135.在本实施例中，首先确定预设显示区域内待处理图像的展示时长，然后判断展示时长是否大于预设展示阈值，在展示时长大于预设展示阈值时，将待处理图像作为目标影像，相较于现有技术中直接将查看图像作为目标影像进行处理，而本实施例中需要获取待处理图像的展示时长，之后根据展示时长确定目标影像，从而精准获取目标影像，提高用户体验。
136.参考图4，图4为本发明基于影像的多媒体文件展示方法第三实施例的流程示意图。
137.基于上述第一实施例，在本实施例中，所述步骤s50，还包括：
138.步骤s501：根据所述情感画像确定对应的多媒体文件类型。
139.根据情感画像确定对应的多媒体文件类型的处理方式可以为根据情感画像确定情感信息，之后根据情感信息从预设类型映射关系表中查找对应的多媒体文件类型，其中预设类型映射关系表中存在多个情感信息和多个多媒体文件类型。
140.例如，情感信息为开心，则情感信息对应的多媒体文件类型为喜剧类型；例如，情感信息为惊恐，则情感信息毒药的多媒体文件类型为惊悚类型等。
141.步骤s502：根据所述多媒体文件类型确定待展示多媒体文件，并将所述待展示多媒体文件进行展示。
142.根据多媒体文件类型从预设多媒体文件映射关系表中匹配对应的多个多媒体文件，预设多媒体文件映射关系表中存在多个多媒体文件类型和多个多媒体文件，分别获取多个多媒体文件对应的作品评分，根据作品评分从多个多媒体文件中选取待展示多媒体。
143.根据作品评分从多个多媒体文件中选取待展示多媒体文件的步骤，包括：判断作品评分是否大于预设阈值；在作品评分大于预设阈值时，从多个多媒体文件中选取作品评分对应的多媒体文件，并将多媒体文件作为待展示多媒体文件。
144.预设阈值可以为用户自定义设置，可以为9.0，还可以为8.5等。
145.例如，多个多媒体文件为a、b和c，多媒体文件a对应的作品评分为9.2，多媒体文件b对应的作品评分为8.9，对媒体文件c对应的作品评分为9.4，则多媒体文件a和多媒体文件
c大于预设阈值，可以将多媒体文件a和多媒体文件c进行推送，还可以将多媒体文件c进行推送等。
146.在本实施例中，首先根据情感画像确定对应的多媒体文件类型，然后根据多媒体文件类型确定待展示多媒体文件，并将待展示多媒体文件进行展示，相较于现有技术中，并不会基于影像推送多媒体文件，而本实施例中需要根据影像确定情感画像，之后根据情感画像确定多媒体文件类型，最后根据多媒体文件类型推送待展示多媒体文件，从而在唤起用户对影像时光追忆的同时，精准推送多媒体文件。
147.参照图5，图5为本发明基于影像的多媒体文件展示装置第一实施例的结构框图。
148.如图5所示，本发明实施例提出的基于影像的多媒体文件展示装置包括：
149.确定模块5001，用于根据目标影像确定影像类别信息。
150.目标影像可以理解为终端设备的相册中用户拍摄的某张需要处理的图像，还可以为从终端设备的相册中用户拍摄的某段需要处理的视频中提取多帧图像拼合的图像。
151.为了能够从多张图像中获取精准的目标影像，根据目标影像确定影像类别信息的步骤之前，还包括：确定预设显示区域内待处理图像的展示时长；判断展示时长是否大于预设展示阈值；在展示时长大于预设展示阈值时，将待处理图像作为目标影像。
152.预设显示区域为展示影像的界面区域，待处理图像为当前用户浏览或查看的单张图像，展示时长为图像展示在界面区域的时长，预设展示阈值可以为用户自定义设置，可以为40s，还可以为1min等，本实施例并不加以限制。
153.在具体实现中，例如，当前用户浏览的图像a展示在界面区域的时长为41s，预设展示阈值为40s，则图像a展示时长大于预设展示阈值，将图像a作为目标影像。
154.还应理解的是，在预设显示区域内待处理图像的展示时长大于预设展示时长时，需要获取用户针对图像的观看操作行为，避免用户仅仅将图像展示在界面区域内并未观看，若观看操作行为满足预设观看条件，则将待处理图像作为目标影像，预设观看条件为对图像进行放大或缩小处理。
155.需要说明的是，为了能够从多个视频中获取精准的目标影像，根据目标影像确定影像类别信息的步骤之前，还包括：确定预设显示区域内待处理视频的展示时长；在展示时长大于预设展示阈值时，从待处理视频中提取多帧图像；根据多帧图像确定目标影像。
156.待处理视频为当前用户浏览或查看的单个视频，视频中存在多帧图像。
157.例如，当前用户浏览的视频b展示在界面区域的时长为10s，预设展示阈值为8s，则视频b展示时长大于预设展示阈值，从视频b中提取多帧图像，根据多帧图像确定目标影像。
158.从待处理视频中提取多帧图像的步骤，包括：在接收到当前用户的滑动操作行为时，根据滑动操作行为确定预设提取规则；按照预设提取规则对待处理视频进行处理，获得多帧图像。
159.滑动操作行为可以为理解为用户在观看视频时滑动进度条的操作，预设提取规则为根据用户滑动进度条的终点处提取预设帧数的图像，预设帧数可以为用户自定义设置，可以为3帧，还可以为5帧等。
160.例如，待处理视频b的总时长为20s，用户在观看视频时滑动进度条至10s处，则从待处理视频b的10s处提取预设帧数的图像，并根据预设帧数的图像确定目标影像。
161.在本实施例中，在未接受到当前用户的滑动操作行为时，需要从待处理视频的起
点处获取预设帧数的图像，还需要从待处理视频的中间位置处获取预设帧数的图像，还需要从待处理视频的终点处获取预设帧数的图像，之后根据获取的预设帧数图像确定目标影像。
162.根据多帧图像确定目标影像的处理方式可以为将多帧图像进行拼合处理，以获得目标影像。
163.为了能够精准获取目标影像的影像类别信息，根据目标影像确定影像类别信息的步骤，包括：对目标影像进行灰度处理，获得目标灰度影像；确定目标灰度影像的影像主体信息；根据影像主体信息确定影像类别信息。
164.应理解的是，灰度影像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度。影像主体信息为影像中主要组成部分，影像类别信息包括人景类别、景物类别及人物类别。
165.确定目标灰度影像的影像主体信息的步骤，包括：确定目标灰度影像中多个对象位置信息；根据多个对象位置信息确定对应的对象面积占比；根据对象面积占比确定影像主体信息。
166.对象位置信息为图像中对象所处的位置信息，可以为中心、左下、右上等；对象面积占比为对象占图像面积的比例，可以为三分之一，还可以为四分之一等。
167.例如，图像中存在三个对象，分别为天空、建筑物及人物，将图像划分为十等份，天空面积占比为十分之二，建筑物面积占比为十分之四，人物面积占比为十分之四，预设面积占比阈值为十分之一，则天空面积占比、建筑物面积占比和人物面积占比均大于预设面积占比阈值，天空、建筑物和人物为影像主体，对应的影像类别信息为人景类别。
168.提取模块5002，用于根据所述影像类别信息对所述目标影像进行特征提取，获得影像特征信息。
169.获取目标影像的像素点信息，根据影像类别信息和像素点信息对目标影像进行划分，获得多个影像区域，根据多个影像区域对目标影像进行特征提取，获得影像特征信息。
170.例如，影像类别信息为人景类别，目标影像中存在人物、建筑物和天空，则获取人物对应的人物像素点信息、建筑物对应的建筑物像素点信息及天空对应的天空像素点信息，之后根据人物像素点信息、建筑物像素点信息及天空像素点信息对目标影像进行划分，获得人物区域、建筑物区域及天空区域，最后从人物区域中提取人物特征信息、从建筑物区域中提取建筑物特征信息及从天空区域中提取天空特征信息，其中人物特征信息包括人物对应的面部特征信息，建筑物特征信息包括建筑物形状信息和建筑物颜色信息，天空特征信息包括天空颜色信息等。
171.所述确定模块5001，还用于根据所述影像特征信息确定对应的情境信息。
172.例如，影像特征信息包括人物特征信息、建筑物特征信息及天空特征信息，其中人物特征信息包括人物对应的面部特征信息，建筑物特征信息包括建筑物形状信息和建筑物颜色信息，天空特征信息包括天空颜色信息，可以根据面部特征信息确定人物表情信息，可以根据建筑物形状信息和建筑物颜色信息确定建筑物名称及位置信息，可以根据天空颜色信息确定天气状况信息，最后根据人物对应的表情信息、建筑物名称及位置信息、天气状况信息生成目标影像对应的情境信息。
173.根据影像特征信息确定对应的情境信息的步骤，包括：对影像特征信息进行分析，
获得多个影像标签；将多个影像标签进行拼合，获得目标影像的情境信息。
174.例如，人物特征信息为人物面部特征信息，对人物面部特征信息进行分析，获得人物面部表情信息，该人物面部表情信息为惊讶，则影像标签为游客表现出惊讶的表情；例如，建筑物特征信息为建筑物形状信息和建筑物颜色信息，对建筑物形状信息和建筑物颜色信息进行分析，获得建筑物名称及位置信息，则影像标签为在某位置处存在某某建筑物，该建筑物名称为某某；例如，天空特征信息为天空颜色信息，对天空颜色信息进行分析，获得天气状况信息，则影像标签为天气状况为阴天或晴天等。
175.例如，影像标签为游客表现出惊讶的表情、在a市中心存在c建筑物，天气状况为阴天，目标影像的拍摄时间为2019年6月11日下午18:00，则目标影像的情境信息为在2019年6月11日下午18:00，天气状况为阴天，在a市中心c建筑物前游客表现出惊讶的表情。
176.所述确定模块5001，还用于根据所述情境信息确定当前用户的情感画像。
177.用户的情感画像可以为用户的表情状态图像，根据情境信息可以确定用户的心理状态信息，之后可以根据心理状态信息确定当前用户的情感画像，该情感画像可以为用户惊恐画像，还可以为用户欢喜画像等。
178.展示模块5003，用于基于所述情感画像查找对应的待展示多媒体文件，并将所述待展示多媒体文件进行展示。
179.待展示多媒体文件可以为多个多媒体文件，还可以为单个多媒体文件，该多媒体文件可以为影视作品，还可以为音乐，还可以为景点宣传片等，其中可以将多媒体文件进行类别区分，可以划分为记录片、战争片、历史片、传记片、体育片、科幻片、魔幻片、奇幻片、文艺片、音乐片、歌舞片、动漫片、西部片、武侠片、古装片、动作片、爱情片、剧情片、喜剧片、家庭片、伦理片、恐怖片、惊悚片、冒险片、犯罪片、悬疑片等。
180.例如，情感画像为惊恐画像，则获取目标影像拍摄时间，根据目标影像拍摄时间确定院线上映时间区间，并获取院线上映时间区间对应的多个多媒体文件，之后根据惊恐画像从多个多媒体文件中查找对应的恐怖片或惊悚片，并将恐怖片或惊悚片推送至用户。
181.基于情感画像查找对应的待展示多媒体文件，并将待展示多媒体文件进行展示的步骤，包括：根据情感画像确定对应的多媒体文件类型；根据多媒体文件类型确定待展示多媒体文件，并将待展示多媒体文件进行展示。
182.根据情感画像确定对应的多媒体文件类型的处理方式可以为根据情感画像确定情感信息，之后根据情感信息从预设类型映射关系表中查找对应的多媒体文件类型，其中预设类型映射关系表中存在多个情感信息和多个多媒体文件类型。
183.例如，情感信息为开心，则情感信息对应的多媒体文件类型为喜剧类型；例如，情感信息为惊恐，则情感信息毒药的多媒体文件类型为惊悚类型等。
184.根据多媒体文件类型确定待展示多媒体文件的步骤，包括：
185.根据多媒体文件类型从预设多媒体文件映射关系表中匹配对应的多个多媒体文件，预设多媒体文件映射关系表中存在多个多媒体文件类型和多个多媒体文件；分别获取多个多媒体文件对应的作品评分；根据作品评分从多个多媒体文件中选取待展示多媒体。
186.根据作品评分从多个多媒体文件中选取待展示多媒体文件的步骤，包括：判断作品评分是否大于预设阈值；在作品评分大于预设阈值时，从多个多媒体文件中选取作品评分对应的多媒体文件，并将多媒体文件作为待展示多媒体文件。
187.预设阈值可以为用户自定义设置，可以为9.0，还可以为8.5等。
188.例如，多个多媒体文件为a、b和c，多媒体文件a对应的作品评分为9.2，多媒体文件b对应的作品评分为8.9，对媒体文件c对应的作品评分为9.4，则多媒体文件a和多媒体文件c大于预设阈值，可以将多媒体文件a和多媒体文件c进行推送，还可以将多媒体文件c进行推送等。
189.在本实施例中，首先根据目标影像确定影像类别信息，并根据影像类别信息对目标影像进行特征提取，获得影像特征信息，然后根据影像特征信息确定对应的情境信息，之后根据情境信息确定当前用户的情感画像，最后基于情感画像查找对应的待展示多媒体文件，并将待展示多媒体文件进行展示。相较于现有技术，仅仅将影像进行存储，并不会对影像进行处理，而本发明中根据目标影像的影像特征信息确定对应的情境信息，之后根据情境信息确定当前用户的情感画像，最后根据当前用户的情感画像推荐对应的多媒体文件，从而在唤起用户对影像时光追忆的同时，提高了用户体验，进而增加了对终端设备的使用粘性。
190.进一步地，所述确定模块5001，还用于确定预设显示区域内待处理图像的展示时长；
191.所述确定模块5001，还用于判断所述展示时长是否大于预设展示阈值；
192.所述确定模块5001，还用于在所述展示时长大于所述预设展示阈值时，将所述待处理图像作为目标影像。
193.进一步地，所述确定模块5001，还用于确定预设显示区域内待处理视频的展示时长；
194.所述确定模块5001，还用于在所述展示时长大于预设展示阈值时，从所述待处理视频中提取多帧图像；
195.所述确定模块5001，还用于根据所述多帧图像确定目标影像。
196.进一步地，所述确定模块5001，还用于在接收到当前用户的滑动操作行为时，根据所述滑动操作行为确定预设提取规则；
197.所述确定模块5001，还用于按照所述预设提取规则对所述待处理视频进行处理，获得多帧图像。
198.进一步地，所述确定模块5001，还用于对所述目标影像进行灰度处理，获得目标灰度影像；
199.所述确定模块5001，还用于确定所述目标灰度影像的影像主体信息；
200.所述确定模块5001，还用于根据所述影像主体信息确定影像类别信息。
201.进一步地，所述确定模块5001，还用于确定所述目标灰度影像中多个对象位置信息；
202.所述确定模块5001，还用于根据所述多个对象位置信息确定对应的对象面积占比；
203.所述确定模块5001，还用于根据所述对象面积占比确定影像主体信息。
204.进一步地，所述提取模块5002，还用于获取所述目标影像的像素点信息；
205.所述提取模块5002，还用于根据所述影像类别信息和所述像素点信息对所述目标影像进行划分，获得多个影像区域；
206.所述提取模块5002，还用于根据所述多个影像区域对所述目标影像进行特征提取，获得影像特征信息。
207.进一步地，所述确定模块5001，还用于对所述影像特征信息进行分析，获得多个影像标签；
208.所述确定模块5001，还用于将所述多个影像标签进行拼合，获得所述目标影像的情境信息。
209.进一步地，所述确定模块5001，还用于判断所述待处理视频中是否存在音频信号；
210.所述确定模块5001，还用于在所述待处理视频中存在音频信号时，根据所述音频信号提取音频信息；
211.所述确定模块5001，还用于将所述音频信息转换为文字信息；
212.所述确定模块5001，还用于对所述文字信息进行分析，获得音频关键词；
213.所述确定模块5001，还用于根据所述情境信息和所述音频关键词确定当前用户的情感画像。
214.进一步地，根据所述情感画像确定对应的多媒体文件类型；
215.根据所述多媒体文件类型确定待展示多媒体文件，并将所述待展示多媒体文件进行展示。
216.进一步地，所述展示模块5003，还用于根据所述情感画像确定对应的多媒体文件类型；
217.所述展示模块5003，还用于根据所述多媒体文件类型确定待展示多媒体文件，并将所述待展示多媒体文件进行展示。
218.进一步地，所述展示模块5003，还用于根据所述多媒体文件类型从预设多媒体文件映射关系表中匹配对应的多个多媒体文件，所述预设多媒体文件映射关系表中存在多个多媒体文件类型和多个多媒体文件；
219.所述展示模块5003，还用于分别获取所述多个多媒体文件对应的作品评分；
220.所述展示模块5003，还用于根据所述作品评分从所述多个多媒体文件中选取待展示多媒体文件。
221.进一步地，所述展示模块5003，还用于判断所述作品评分是否大于预设阈值；
222.所述展示模块5003，还用于在所述作品评分大于所述预设阈值时，从所述多个多媒体文件中选取所述作品评分对应的多媒体文件，并将所述多媒体文件作为待展示多媒体文件。
223.本发明基于影像的多媒体文件展示装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
224.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
225.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
226.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方
法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
227.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
228.本发明还公开了a1、一种基于影像的多媒体文件展示方法，所述基于影像的多媒体文件展示方法，包括以下步骤：
229.根据目标影像确定影像类别信息；
230.根据所述影像类别信息对所述目标影像进行特征提取，获得影像特征信息；
231.根据所述影像特征信息确定对应的情境信息；
232.根据所述情境信息确定当前用户的情感画像；
233.基于所述情感画像查找对应的待展示多媒体文件，并将所述待展示多媒体文件进行展示。
234.a2、如a1的方法，所述根据目标影像确定影像类别信息的步骤之前，还包括：
235.确定预设显示区域内待处理图像的展示时长；
236.判断所述展示时长是否大于预设展示阈值；
237.在所述展示时长大于所述预设展示阈值时，将所述待处理图像作为目标影像。
238.a3、如a1的方法，所述根据目标影像确定影像类别信息的步骤之前，还包括：
239.确定预设显示区域内待处理视频的展示时长；
240.在所述展示时长大于预设展示阈值时，从所述待处理视频中提取多帧图像；
241.根据所述多帧图像确定目标影像。
242.a4、如a3的方法，所述从所述待处理视频中提取多帧图像的步骤，包括：
243.在接收到当前用户的滑动操作行为时，根据所述滑动操作行为确定预设提取规则；
244.按照所述预设提取规则对所述待处理视频进行处理，获得多帧图像。
245.a5、如a1-a4任一项的方法，所述根据目标影像确定影像类别信息的步骤，包括：
246.对所述目标影像进行灰度处理，获得目标灰度影像；
247.确定所述目标灰度影像的影像主体信息；
248.根据所述影像主体信息确定影像类别信息。
249.a6、如a5的方法，所述确定所述目标灰度影像的影像主体信息的步骤，包括：
250.确定所述目标灰度影像中多个对象位置信息；
251.根据所述多个对象位置信息确定对应的对象面积占比；
252.根据所述对象面积占比确定影像主体信息。
253.a7、如a1-a4任一项的方法，所述根据所述影像类别信息对所述目标影像进行特征提取，获得影像特征信息的步骤，包括：
254.获取所述目标影像的像素点信息；
255.根据所述影像类别信息和所述像素点信息对所述目标影像进行划分，获得多个影像区域；
256.根据所述多个影像区域对所述目标影像进行特征提取，获得影像特征信息。
257.a8、如a1-a4任一项的方法，所述根据所述影像特征信息确定对应的情境信息的步骤，包括：
258.对所述影像特征信息进行分析，获得多个影像标签；
259.将所述多个影像标签进行拼合，获得所述目标影像的情境信息。
260.a9、如a3或a4的方法，所述根据所述情境信息确定当前用户的情感画像的步骤，包括：
261.判断所述待处理视频中是否存在音频信号；
262.在所述待处理视频中存在音频信号时，根据所述音频信号提取音频信息；
263.将所述音频信息转换为文字信息；
264.对所述文字信息进行分析，获得音频关键词；
265.根据所述情境信息和所述音频关键词确定当前用户的情感画像。
266.a10、如a1-a4任一项的方法，所述基于所述情感画像查找对应的待展示多媒体文件，并将所述待展示多媒体文件进行展示的步骤，包括：
267.根据所述情感画像确定对应的多媒体文件类型；
268.根据所述多媒体文件类型确定待展示多媒体文件，并将所述待展示多媒体文件进行展示。
269.a11、如a10的方法，所述根据所述多媒体文件类型确定待展示多媒体文件的步骤，包括：
270.根据所述多媒体文件类型从预设多媒体文件映射关系表中匹配对应的多个多媒体文件，所述预设多媒体文件映射关系表中存在多个多媒体文件类型和多个多媒体文件；
271.分别获取所述多个多媒体文件对应的作品评分；
272.根据所述作品评分从所述多个多媒体文件中选取待展示多媒体文件。
273.a12、如a11的方法，所述根据所述作品评分从所述多个多媒体文件中选取待展示多媒体文件的步骤，包括：
274.判断所述作品评分是否大于预设阈值；
275.在所述作品评分大于所述预设阈值时，从所述多个多媒体文件中选取所述作品评分对应的多媒体文件，并将所述多媒体文件作为待展示多媒体文件。
276.本发明还公开了b13、一种基于影像的多媒体文件展示装置，所述基于影像的多媒体文件展示装置包括：
277.确定模块，用于根据目标影像确定影像类别信息；
278.提取模块，用于根据所述影像类别信息对所述目标影像进行特征提取，获得影像特征信息；
279.所述确定模块，还用于根据所述影像特征信息确定对应的情境信息；
280.所述确定模块，还用于根据所述情境信息确定当前用户的情感画像；
281.展示模块，用于基于所述情感画像查找对应的待展示多媒体文件，并将所述待展示多媒体文件进行展示。
282.b14、如b13的装置，所述确定模块，还用于确定预设显示区域内待处理图像的展示时长；
283.所述确定模块，还用于判断所述展示时长是否大于预设展示阈值；
284.所述确定模块，还用于在所述展示时长大于所述预设展示阈值时，将所述待处理图像作为目标影像。
285.b15、如b13的装置，所述确定模块，还用于确定预设显示区域内待处理视频的展示时长；
286.所述确定模块，还用于在所述展示时长大于预设展示阈值时，从所述待处理视频中提取多帧图像；
287.所述确定模块，还用于根据所述多帧图像确定目标影像。
288.b16、如b15的装置，所述确定模块，还用于在接收到当前用户的滑动操作行为时，根据所述滑动操作行为确定预设提取规则；
289.所述确定模块，还用于按照所述预设提取规则对所述待处理视频进行处理，获得多帧图像。
290.b17、如b13-b16的装置，所述确定模块，还用于对所述目标影像进行灰度处理，获得目标灰度影像；
291.所述确定模块，还用于确定所述目标灰度影像的影像主体信息；
292.所述确定模块，还用于根据所述影像主体信息确定影像类别信息。
293.b18、如b17的装置，所述确定模块，还用于确定所述目标灰度影像中多个对象位置信息；
294.所述确定模块，还用于根据所述多个对象位置信息确定对应的对象面积占比；
295.所述确定模块，还用于根据所述对象面积占比确定影像主体信息。
296.本发明还公开了c19、一种基于影像的多媒体文件展示设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于影像的多媒体文件展示程序，所述基于影像的多媒体文件展示程序配置为实现如上文所述的基于影像的多媒体文件展示方法的步骤。
297.本发明还公开了d20、一种存储介质，所述存储介质上存储有基于影像的多媒体文件展示程序，所述基于影像的多媒体文件展示程序被处理器执行时实现如上文所述的基于影像的多媒体文件展示方法的步骤。