基于媒体数据库进行媒体内容推荐的方法和系统及介质与流程

1.本发明涉及数字媒体技术领域，尤其涉及一种基于媒体数据库进行媒体内容推荐的方法和系统及介质。


背景技术：

2.数字媒体内容分发系统通常包括媒体数据库、内容播放器和将媒体数据库连接到内容播放器的通信网络。媒体数据库被配置为存储数字内容文件，该数字内容文件可从媒体数据库下载到内容播放器即用户终端上。媒体数据库到用户终端之间目前通过应用服务器连接，应用服务器作为用户终端与媒体数据库之间的桥梁导致应用服务器不能承载大量的数据处理能力，比如用户上传音视频文件到应用服务器进行相似度匹配时会导致应用服务器耗时过长而不能满足其对互联网应用接口的快速响应，使得应用服务接口对用户终端造成响应延时和阻塞，其需要各种不同的功能实体承载不同的服务功能以满足用户终端和应用服务器之间的接口响应。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，本发明提供了一种基于媒体数据库进行媒体内容推荐的方法和系统及介质，通过解决应用服务器、用户端和媒体数据库等低延时无阻塞的对接难题，使得针对上传音频文件并对音频文件的解析和推送能够满足用户终端和应用服务器之间的接口响应。
4.为了解决上述问题，本发明提出了一种基于媒体数据库进行媒体内容推荐的方法，所述方法包括：基于媒体服务器接收用户终端上传的媒体分析文件；媒体服务器存储所述媒体分析文件，并基于媒体分析文件生成媒体对象存储地址反馈到用户终端；应用服务器接收用户终端发起的媒体资源匹配请求，所述媒体资源匹配请求包括上传媒体信息，所述上传媒体信息包含用户行为信息和媒体对象存储地址；所述应用服务器将所述媒体资源匹配请求基于消息队列交互到资源服务器；所述资源服务器基于所述媒体资源匹配请求从所述媒体服务器中获取媒体分析文件，并对所述媒体分析文件进行相似度匹配，并基于媒体数据库中匹配出若干个媒体资源文件；所述资源服务器将若干个媒体资源文件基于用户行为信息生成用户节目列表信息，所述用户节目列表信息中包含若干个媒体资源文件的相似度匹配数据，并将用户节目列表信息所对应的若干个媒体资源文件缓存到redis服务器；所述应用服务器接收用户节目列表信息，并将所述用户节目列表信息推送至用户终端；所述应用服务器基于用户终端的相似度匹配结果请求到redis服务器获取所对应
的媒体内容返回给用户终端。
5.所述基于媒体服务器接收用户终端上传的媒体分析文件包括：媒体服务器基于http/https协议的web服务接口接收用户终端所上传的媒体分析文件。
6.所述基于媒体服务器接收用户终端上传的媒体分析文件还包括：所述媒体服务器在面对不同用户终端的媒体分析文件存储过程中，采用自授权管理方法存储用户终端发送的媒体分析文件。
7.所述对所述媒体分析文件进行相似度匹配包括：获取媒体分析文件中的视频片段，从视频片段中提取包含索引信息的视频关键帧，所述索引信息为对视频进行索引依据的参考信息，所述索引信息至少包括类型信息，所述类型信息用于识别所述视频片段的视频帧所属的视频类型；提取所述视频关键帧的图像特征和索引特征，所述图像特征为用于表示所述视频关键帧的图像内容的特征，所述索引特征为用于表示所述索引信息在所述视频关键帧中的特征；基于所述图像特征和所述索引特征在媒体数据库中匹配出若干个媒体资源文件。
8.所述基于所述图像特征和所述索引特征在媒体数据库中匹配出若干个媒体资源文件包括：基于所述索引特征从媒体数据库中获取一个以上的候选媒体资源文件，所述媒体数据库中存储了多个待索引的媒体资源文件；基于所述图像特征从所述一个以上的候选媒体资源文件中获取目标媒体资源文件，所述目标媒体资源文件对应的图像内容的特征与所述图像特征之间的特征相似度达到第一阈值，所述若干个媒体资源文件包括所述目标媒体资源文件。
9.所述资源服务器将若干个媒体资源文件基于用户行为信息生成用户节目列表信息包括：获取若干个媒体资源文件中的视频标签；基于视频标签和用户行为信息采用机器学习算法生成用户节目列表信息。
10.所述应用服务器接收用户节目列表信息，并将所述用户节目列表信息推送至用户终端包括：所述应用服务器通过websocket向用户终端推送用户节目列表信息。
11.相应的，本发明还提供了一种基于媒体数据库进行媒体内容推荐的系统，所述系统包括：媒体服务器，用于接收用户终端上传的媒体分析文件，在存储媒体分析文件之后，基于媒体分析文件生成一个媒体对象存储地址，并将所述媒体对象存储地址发送到用户终端上；应用服务器，用于接收用户终端发起的媒体资源匹配请求，所述媒体资源匹配请求包括上传媒体信息，所述上传媒体信息包含用户行为信息和媒体对象存储地址；以及将所述媒体资源匹配请求基于消息队列交互到资源服务器；接收资源服务器所反馈的用户节目列表信息，并将所述用户节目列表信息推送至用户终端；接收用户节目列表信息，并将所述用户节目列表信息推送至用户终端；基于用户终端的相似度匹配结果请求到redis服务
器获取所对应的媒体内容返回给用户终端；资源服务器，用于基于所述媒体资源匹配请求从所述媒体服务器中获取媒体分析文件，并对所述媒体分析文件进行相似度匹配，并基于媒体数据库中匹配出若干个媒体资源文件；以及将若干个媒体资源文件基于用户行为信息生成用户节目列表信息，所述用户节目列表信息中包含若干个媒体资源文件的相似度匹配数据，并将用户节目列表信息所对应的若干个媒体资源文件缓存到redis服务器；redis服务器，用于接收资源服务器所反馈的若干个媒体资源文件，并缓存所述若干个媒体资源文件；媒体数据库，用于存储各种媒体资源文件。
12.所述媒体服务器采用对象存储服务形式存储媒体分析文件。
13.相应的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行以上所述的方法。
14.本发明实施例通过媒体服务器存储媒体分析文件，并使得应用服务器触发媒体资源服务器从媒体服务器上下载媒体分析文件并进行相似度匹配处理，使得应用服务器不用进行大量数据的处理行为，从而保障了用户终端和应用服务器之间的数据交互满足了快速响应需求，不会在用户终端和应用服务器之间造成响应延时和阻塞；在进行相似度匹配处理之后，所关联的若干个媒体资源文件被存储在redis服务器中，以使得应用服务器可以快速响应用户终端的视频内容的需求，不会在用户终端和应用服务器之间造成响应延时和阻塞。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
16.图1是本发明实施例中的基于媒体数据库进行媒体内容推荐的系统结构示意图；图2是本发明实施例中的基于媒体数据库进行媒体内容推荐的方法流程图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
18.图1示出了本发明实施例中的基于媒体数据库进行媒体内容推荐的系统结构示意图，该系统包括：用户终端，用于向媒体服务器上传媒体分析文件，在媒体分析文件上传成功后，接收媒体服务器反馈的媒体对象存储地址，该媒体对象存储地址为媒体分析文件在媒体服务器上的存储地址，用户终端解析该存储地址之后，基于该存储地址调用应用服务器的http
接口，并在http接口的交互数据中生成上传媒体信息，该上传媒体信息包含用户行为信息和媒体对象存储地址，基于上传媒体信息触发媒体解析按钮在用户终端的界面上进行显示，表示可以进行下一步操作，通知资源服务器可以对该媒体分析文件进行相似度匹配处理；用户终端在识别出用户点击相似度匹配按钮后，则向应用服务器发起http请求，该http请求中携带有上传媒体信息，该hppt请求要求系统端对该媒体分析文件进行相似度匹配处理；在收到应用服务器所发送的反馈处理状态后，对该媒体分析文件的处理状态进行显示，即在用户状态上该媒体分析文件记录状态栏显示正在进行相似度处理，这个流程没有等待资源服务器处理完再返回，满足了低于相关阈值要求的互联网应用接口延时，避免了阻塞用户终端；媒体服务器，用于接收用户终端上传的媒体分析文件，媒体服务器一般采用对象存储服务形式存储媒体分析文件，媒体服务器提供了基于http/https协议的web服务接口，用户可以基于用户终端随时随地连接到internet的电脑上，通过对象存储服务管理控制台或各种对象存储服务工具访问和管理存储在媒体服务器中的数据，即用户终端基于web服务接口向媒体服务器上传媒体分析文件，媒体服务器基于媒体分析文件生成一个媒体对象存储地址，并将该媒体对象存储地址发送到用户终端上；应用服务器，用于接收用户终端发起的媒体资源匹配请求，所述媒体资源匹配请求包括上传媒体信息，所述上传媒体信息包含用户行为信息和媒体对象存储地址；以及将所述媒体资源匹配请求基于消息队列交互到资源服务器；接收资源服务器所反馈的用户节目列表信息，并将所述用户节目列表信息推送至用户终端；资源服务器，用于基于所述媒体资源匹配请求从所述媒体服务器中获取媒体分析文件，并对所述媒体分析文件进行相似度匹配，并基于媒体数据库中匹配出若干个媒体资源文件；以及将若干个媒体资源文件基于用户行为信息生成用户节目列表信息，所述用户节目列表信息中包含若干个媒体资源文件的相似度匹配数据，并将用户节目列表信息所对应的若干个媒体资源文件缓存到redis服务器；redis服务器，用于接收资源服务器所反馈的若干个媒体资源文件，并缓存所述若干个媒体资源文件；redis缓存服务器是通过计算机的内存存储数据，若干个媒体资源文件为大容量的数据，如果全部返回会影响用户终端和应用服务器之间的带宽和响应速度，以及会把用户终端的浏览器内存塞满，redis服务器只需要一次返回部分，让用户终端本地缓存，保证用户能够持续阅读即可；媒体数据库，用于存储各种媒体资源文件，其为大媒体数据中心，其可以为用户提供若干个媒体资源文件，并基于资源服务器的相似度匹配结果将将用户节目列表信息所对应的若干个媒体资源文件缓存到redis服务器。
19.具体实施过程中，用户终端可以接收应用服务器通过websocket所推送的用户节目列表信息，用户终端基于该用户节目列表信息显示该媒体分析文件变成已处理，即此时用户终端点上的状态栏显示变成已处理模式；在点击查看按钮后，会基于用户行为在用户终端上显示用户节目列表信息，用户终端可以基于用户节目列表信息向应用服务器发起http请求，即所述应用服务器基于用户终端的相似度匹配结果请求到redis服务器获取所对应的媒体内容返回给用户终端。
20.本发明实施例通过媒体服务器存储媒体分析文件，并使得应用服务器触发媒体资
源服务器从媒体服务器上下载媒体分析文件并进行相似度匹配处理，使得应用服务器不用进行大量数据的处理行为，从而保障了用户终端和应用服务器之间的数据交互满足了快速响应需求，不会在用户终端和应用服务器之间造成响应延时和阻塞；在进行相似度匹配处理之后，所关联的若干个媒体资源文件被存储在redis服务器中，以使得应用服务器可以快速响应用户终端的视频内容的需求，不会在用户终端和应用服务器之间造成响应延时和阻塞。
21.具体的，图2示出了本发明实施例中的基于媒体数据库进行媒体内容推荐的方法流程图，该方法包括以下步骤：s201、用户终端向媒体服务器上传媒体分析文件；用户终端向媒体服务器上传媒体分析文件，该媒体分析文件是以视频文件形式上传至媒体服务器中。
22.s202、媒体服务器基于媒体分析文件生成一个媒体对象存储地址，并将该媒体对象存储地址发送到用户终端上；具体的，媒体服务器接收用户终端上传的媒体分析文件，媒体服务器一般采用对象存储服务形式存储媒体分析文件，媒体服务器提供了基于http/https协议的web服务接口，用户可以基于用户终端随时随地连接到internet的电脑上，通过对象存储服务管理控制台或各种对象存储服务工具访问和管理存储在媒体服务器中的数据，即用户终端基于web服务接口向媒体服务器上传媒体分析文件，媒体服务器基于http/https协议的web服务接口接收用户终端所上传的媒体分析文件，并基于媒体分析文件生成一个媒体对象存储地址，并将该媒体对象存储地址发送到用户终端上。
23.这里的媒体服务器可以为媒体分析文件提供存储地址，并向用户终端反馈一个媒体对象存储地址，以触发用户终端进行下一步的处理，由于采用对象存储服务模式，使得其满足对媒体分析文件的存储管理。
24.媒体服务器在面对不同用户终端的媒体分析文件存储过程中，可以采用自授权管理方法存储用户终端发送的媒体分析文件，并生成媒体对象存储地址。
25.具体实施过程中，该媒体服务器对已标记为可自动授权存储的媒体分析文件实行自动授权处理，所述媒体服务器中设置有先进先出堆栈和一个外接存贮的结构；该媒体服务器先将不同用户终端所发送的媒体分析文件压入先进先出堆栈；入栈成功后，所述媒体服务器对存储的媒体分析文件做出自授权和执行相关的行为并将完成标志压入所述先进先出堆栈；在判断所述先进先出堆栈溢出时，按照先进先出原则将溢出的媒体分析文件拷贝到外接存贮，并生成溢出已拷贝信息压入所述先进先出堆栈。所述媒体服务器对所述先进先出堆栈中的媒体分析文件按照先进先出原则进行存储处理；所述媒体服务器在存储处理完一个媒体分析文件之后将所对应的媒体分析文件从所述先进先出堆栈中自动删除；所述媒体服务器在发现溢出已拷贝信息时，将外接存贮中溢出的媒体分析文件按照先进先出原则发送回所述先进先出堆栈中进行存储处理。
26.媒体服务器基于自授权管理方法接收用户端发送的媒体分析文件，其可以对用户端上的媒体分析文件作出实时响应，避免媒体分析文件堆积在媒体服务器中无法实现下一步的存储处理和基于存储处理而产生的媒体对象存储地址，也避免了存储过程中的媒体分析文件的丢失，使得整个存储过程有序管控。
27.s203、用户终端解析该存储地址之后，基于该存储地址调用应用服务器的http接口；在媒体分析文件上传成功后，媒体服务器会向用户终端反馈媒体对象存储地址，用户终端接收媒体服务器反馈的媒体对象存储地址，该媒体对象存储地址为媒体分析文件在媒体服务器上的存储地址，用户终端解析该媒体对象存储地址之后，基于该媒体对象存储地址调用应用服务器的http接口，并在http接口的交互数据中生成上传媒体信息，该上传媒体信息包含用户行为信息和媒体对象存储地址，基于上传媒体信息触发媒体解析按钮在用户终端的界面上进行显示，表示可以进行下一步操作，通知资源服务器可以对该媒体分析文件进行相似度匹配处理；用户终端在识别出用户点击相似度匹配按钮后，则向应用服务器发起http请求，该http请求中携带有上传媒体信息，该hppt请求要求系统端对该媒体分析文件进行相似度匹配处理；在收到应用服务器所发送的反馈处理状态后，对该媒体分析文件的处理状态进行显示，即在用户状态上该媒体分析文件记录状态栏显示正在进行相似度处理，这个流程没有等待资源服务器处理完再返回，满足了低于相关阈值要求的互联网应用接口延时，避免了阻塞用户终端和应用服务器之间的通信。
28.s204、应用服务器接收用户终端发起的媒体资源匹配请求；具体的，应用服务器接收用户终端发起的媒体资源匹配请求，所述媒体资源匹配请求包括上传媒体信息，所述上传媒体信息包含用户行为信息和媒体对象存储地址；应用服务器在收到媒体资源匹配请求之后，解析媒体资源匹配请求中的信息，并将所述媒体资源匹配请求基于消息队列交互到资源服务器。
29.应用服务器和资源服务器之间采用消息队列的方式进行信息交互，应用服务器基于消息队列将资源匹配请求交互到资源服务器中，资源服务器将相关处理结果交互到应用服务器中，使得应用服务器了解整个处理行为过程。
30.s205、资源服务器对所述媒体分析文件进行相似度匹配；在所述应用服务器将所述媒体资源匹配请求基于消息队列交互到资源服务器后，所述资源服务器基于所述媒体资源匹配请求从所述媒体服务器中获取媒体分析文件，并对所述媒体分析文件进行相似度匹配，并基于媒体数据库中匹配出若干个媒体资源文件，并将用户节目列表信息所对应的若干个媒体资源文件缓存到redis服务器。
31.需要说明的是，这里对所述媒体分析文件进行相似度匹配包括：获取媒体分析文件中的视频片段，从视频片段中提取包含索引信息的视频关键帧，所述索引信息为对视频进行索引依据的参考信息，所述索引信息至少包括类型信息，所述类型信息用于识别所述视频片段的视频帧所属的视频类型；提取所述视频关键帧的图像特征和索引特征，所述图像特征为用于表示所述视频关键帧的图像内容的特征，所述索引特征为用于表示所述索引信息在所述视频关键帧中的特征；基于所述图像特征和所述索引特征在媒体数据库中匹配出若干个媒体资源文件。这里通过基于图像特征和索引特征获取若干个媒体资源文件可以提高整个匹配的效率。
32.需要说明的是，所述基于所述图像特征和所述索引特征在媒体数据库中匹配出若干个媒体资源文件包括：基于所述索引特征从媒体数据库中获取一个以上的候选媒体资源文件，所述媒体数据库中存储了多个待索引的媒体资源文件；基于所述图像特征从所述一个以上的候选媒体资源文件中获取目标媒体资源文件，所述目标媒体资源文件对应的图像
内容的特征与所述图像特征之间的特征相似度达到第一阈值，所述若干个媒体资源文件包括所述目标媒体资源文件，该第一阈值根据实际应用来设置。
33.需要说明的是，从视频片段中提取包含索引信息的视频关键帧包括：获取视频片段对应的n个视频帧，该n为自然数；基于所述n个视频帧中相邻的每个视频帧之间的差异信息对所述n个视频帧进行分割处理得到m个视频子片段，所述m为自然数；对所述m个视频子片段中的每个视频子片段进行索引信息识别，获取p个所述视频关键帧，p为小于等于m的自然数。
34.s206、所述资源服务器将若干个媒体资源文件基于用户行为信息生成用户节目列表信息；具体的，所述资源服务器将若干个媒体资源文件基于用户行为信息生成用户节目列表信息，所述用户节目列表信息中包含若干个媒体资源文件的相似度匹配数据，并将用户节目列表信息所对应的若干个媒体资源文件缓存到redis服务器。
35.具体的，所述资源服务器将若干个媒体资源文件基于用户行为信息生成用户节目列表信息包括：获取若干个媒体资源文件中的视频标签；基于视频标签和用户行为信息采用机器学习算法生成用户节目列表信息。
36.具体实施过程中，可以采用个性化视频排序算法生成用户节目列表信息，即基于若干个媒体资源文件为每个用户量身推荐不同的类别，并针对用户行为信息对用户节目列表信息中的目录进行排序，即个性化视频排序算法擅长对媒体资源文件进行相对的排序，使得用户体验性好。
37.s207、所述应用服务器接收用户节目列表信息，并将所述用户节目列表信息推送至用户终端；具体实施过程中，应用服务器通过websocket向用户终端推送用户节目列表信息，用户终端基于该用户节目列表信息显示该媒体分析文件变成已处理，即此时用户终端点上的状态栏显示变成已处理模式；在点击查看按钮后，会基于用户行为在用户终端上显示用户节目列表信息，用户终端可以基于用户节目列表信息向应用服务器发起http请求，即所述应用服务器基于用户终端的相似度匹配结果请求到redis服务器获取所对应的媒体内容返回给用户终端。
38.s208、用户终端基于用户节目列表信息向应用服务器发起http请求；s209、所述应用服务器基于用户终端的相似度匹配结果请求到redis服务器获取所对应的媒体内容返回给用户终端。
39.本发明实施例所涉及的方法通过媒体服务器存储媒体分析文件，并使得应用服务器触发媒体资源服务器从媒体服务器上下载媒体分析文件并进行相似度匹配处理，使得应用服务器不用进行大量数据的处理行为，从而保障了用户终端和应用服务器之间的数据交互满足了快速响应需求，不会在用户终端和应用服务器之间造成响应延时和阻塞；在进行相似度匹配处理之后，所关联的若干个媒体资源文件被存储在redis服务器中，以使得应用服务器可以快速响应用户终端的视频内容的需求，不会在用户终端和应用服务器之间造成响应延时和阻塞。
40.本技术实施例还提供了一种计算机存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个实施例所述方
法中的一个或多个步骤。上述装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中，基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机产品存储在计算机可读存储介质中。
41.上述计算机可读存储介质可以是前述实施例所述的设备的内部存储单元，例如硬盘或内存。上述计算机可读存储介质也可以是上述设备的外部存储设备，例如配备的插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。进一步地，上述计算机可读存储介质还可以既包括上述设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
42.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可通过计算机程序来指令相关的硬件来完成，该计算机的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可存储程序代码的介质。
43.以上对本发明实施例进行了详细介绍，本文中采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。