视频主观测评数据的获取方法、装置、电子设备及介质与流程

1.本技术涉及测评技术领域，具体而言，本技术涉及一种视频主观测评数据的获取方法、装置、电子设备及介质。


背景技术：

2.随着视频业务的发展，人们对视频图像质量的要求越来越高，由于视频图像数据在采集、压缩、传输、处理过程中不可避免地会影响图像质量，因此，视频图像质量的准确评价称为视频图像研究领域的关键技术之一，视频图像质量的评价方法可分为主观评测和客观评测。主观评测方法较为直接，结果准确可靠，且准确可靠的主观评价结果也可用于指导客观评价算法的研究。
3.现有的主观评测方法是指选择一批非专业的受测者，通过观看一组测试序列，对这组序列中的视频质量进行评分，最后求得平均意见分(mos：mean opinion score)。目前业内的主观评测工具主要遵循国际电信联盟(itu：international telecommunication union)标准测试方法，该标准主要提出了四种主观评价方法：1)测试人员先观看原始视频后观看视频失真视频，对失真视频评分；2)原始视频与失真视频的播放顺序随机，对原始视频和失真视频均评分；3)只播放失真视频，对失真视频评分；4)只播放失真视频，且序列持续时间较长，分值不仅考虑大小，也考虑打分时间。但该种评测方法最终给出的分值只能给出总体结论，评测结果不够细致，无法根据得出的评测结果确定视频质量细节。


技术实现要素：

4.本技术的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
5.本技术的一个方面，提供了一种视频主观测评数据的获取方法，包括：
6.获取待测评视频播放过程中用户对所述待测评视频中至少一帧视频帧的标记数据；标记数据包括：标记时刻、标记类型、标记次数、标记位置、视频帧从展示起始时刻到用户执行标记操作的标记时刻的标记时长中的至少一种；
7.根据所述至少一帧视频帧的所述标记数据确定对应待测评视频的主观测评数据。
8.本技术的另一个方面，提供了一种视频主观测评数据的获取装置，该装置包括：
9.获取标记数据模块，用于获取待测评视频播放过程中用户对所述待测评视频中至少一帧视频帧的标记数据；标记数据包括：标记时刻、标记类型、标记次数、标记位置、视频帧从展示起始时刻到用户执行标记操作的标记时刻的标记时长中的至少一种；
10.确定主观测评数据，用于根据所述至少一帧视频帧的所述标记数据确定对应待测评视频的主观测评数据。
11.本技术的再一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本技术第一方面所示的视频主观测评数据的获取方法。
12.本技术的又一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质
上存储有计算机程序，该计算机程序被处理器执行时实现本技术第一方面所示的视频主观测评数据的获取方法。
13.本技术提供的技术方案带来的有益效果是：
14.本技术提供的视频主观测评数据的获取方法，在待测评视频播放过程中接收用户对待测评视频中视频帧的标记数据，根据标记数据获得该待测评视频的主观测评数据，由于主观测评数据为视频帧级别的数据，而非现有技术中对视频整体层面的测评数据，因此，获得的主观测评数据更加细致，获得的主观测评数据能够更加准确、细致地表征待测评视频的特点，获得的主观测评数据更加精准可靠。
15.本技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
16.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
17.图1为本技术一个实施例提供的视频主观测评数据的获取方法的流程图；
18.图2为本技术一个实施例提供的用户执行不同的标记操作对应不同的标记类型的示意图；
19.图3为本技术另一个实施例提供的采用单视频播放的形式进行待测评视频的测评的示意图；
20.图4为本技术一个实施例提供的采用双视频播放的形式进行待测评视频的评测的示意图；
21.图5为本技术另一实施例提供的对视频帧执行不同标记次数时对应的视频帧图像的展示界面图；
22.图6为本技术一个实施例提供的将待测评视频的测评结果展示在相应的展示界面上的界面示意图；
23.图7为本技术一个实施例提供的用户交互界面示意图；
24.图8为本技术一个实施例提供的视频主观测评数据的获取方法的逻辑示意图；
25.图9为本技术一实施例提供的视频主观测评数据的获取方法的服务架构图；
26.图10为本技术实施例提供的一种视频主观测评数据的获取装置的结构示意图；
27.图11为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
28.下面详细描述本技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
29.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
30.本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
31.用户“态度”：用户通过执行标记操作来表达对当前视频帧是否认可的态度。
32.微服务：以责任单一与功能小型的服务为基础模块的软件架构，各模块间使用与语言无关的api相互通信。
33.小程序：一种无需下载安装即可使用的应用。
34.对于现有技术中所存在的技术问题，本技术提供的视频主观测评数据的获取方法、装置、电子设备及介质，旨在解决现有技术的如上技术问题中的至少一项。
35.下面以具体实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
36.本技术一个实施例提供的视频主观测评数据的获取方法的应用场景中包括：后台处理器、人机交互界面，人机交互界面在客户端，后台处理器可以是客户端的处理器，也可以是服务器端的处理器，客户端接收到待测评视频的测评任务，响应于该测评任务，在人机交互界面上播放待测评视频，并在人机交互界面上接收用户对待测评视频的标记操作，客户端将通过人机交互界面接收到的标记操作转换为标记数据，并将至少一帧视频帧的标记数据发送到后台处理器，后台处理器基于至少一帧视频帧的标记数据确定待测评视频的主观测评数据。
37.本技术实施例提供了一种可能的实现方式，如图1所示，提供了一种视频主观测评数据的获取方法的流程图，该方案可以在后台处理器上执行，该后台处理器可以设在服务器端，包括以下步骤：
38.步骤s110，获取待测评视频播放过程中用户对待测评视频中至少一帧视频帧的标记数据；其中，标记数据包括：标记时刻、标记类型、标记次数、标记位置、视频帧从展示起始时刻到用户执行标记操作的标记时刻的标记时长中的至少一种；
39.步骤s120，根据至少一帧视频帧的标记数据确定对应待测评视频的主观测评数据。
40.在人机交互界面上播放待测评视频，待测评视频中包括至少一个目标视频帧，在这个过程中，待测评视频的每一帧视频帧都能接收用户对该视频帧执行的标记操作，即从待测评视频播放的第一帧至最后一帧均为用户开放测评入口。在用户对某一视频帧执行标记操作时，无需关闭当前播放界面，可以在当前待测评视频的展示界面上执行标记操作，人机交互界面上接收到用户对该视频帧的标记操作，基于标记操作确定该视频帧的标记数据。
41.用户可以对待测评视频中每一视频帧执行标记操作，也可以针对待测评视频中某
几帧视频帧执行标记操作，如：可以针对待测评视频中发生视频质量明显转变的视频帧执行标记操作，也可以针对其中质量好或坏的视频帧执行标记操作，在获得对待测评视频的精准测评数据的同时，减少主观测评数据的数据量。
42.在客户端播放待测评视频之前，还包括：在当前展示界面上展示标记规则，标记规则包括：标记操作对应的标记类型、标记次数的意义等，如：点击目标视频帧，表示用户对目标视频帧的认可，对目标视频帧划线表征用户不认可该目标视频帧，即标记操作表征用户对目标视频帧的态度，也就是通过展示界面告知用户在观看舒适、视频清晰等情况下点击目标视频帧以表达对目标视频帧的认可，其中点击包括单击、双击等操作。标记次数表征用户对目标视频帧的态度的强烈程度，用户在执行标记操作之前，根据展示界面上展示的标记规则明确标记操作的意义，有利于对待测评视频进行准确标注。
43.结合图2所示，用户执行不同的标记操作对应不同的标记类型，图中所示的视频帧图像，接收用户对该视频帧图像的标记操作以表达用户对该视频帧图像的态度，图2-1中，用户执行标记操作之后展现心形图案，可以表征用户对该视频帧持认可态度，图2-2中，用户执行标记操作之后展现惊叹号，表征用户对该视频帧持不认可的态度。
44.可选地，用户对视频帧执行的标记操作可以在当前界面上展示标记位置、标记类型等，以让用户明确标记操作的对象及类型，避免标记错误。
45.获取待测评视频中被执行标记操作的视频帧对应的标记数据，并根据该至少一帧视频帧的标记数据确定该待测评视频的主观测评数据。
46.本技术提供的视频主观测评数据的获取方法，在待测评视频播放过程中接收用户对待测评视频中任一视频帧的标记数据，根据标记数据获得该待测评视频的主观测评数据，由于该主观测评数据为视频帧级别的数据，而非现有技术中对视频整体层面的测评数据，因此，获得的主观测评数据更加细致，获得的主观测评数据能够更加准确、细致地表征待测评视频的特点，获得的主观测评数据更加精准可靠。
47.为了更清楚本技术提供的视频主观测评数据的获取方案及其技术效果，接下来以多个实施例对其具体实施方案进行详细阐述。
48.一种实施例中，步骤s120的获取待测评视频播放过程中用户对待测评视频中至少一帧视频帧的标记数据，包括：
49.在待测评视频播放过程中，依次获取用户对待测评视频中至少一帧视频帧的标记数据，其中，标记数据包括：标记时刻、标记类型、标记次数、标识位置、视频帧从展示起始时刻到用户执行标记操作的标记时刻的标记时长中的至少一种。
50.接收用户对视频帧进行标记的标记时刻，该标记时刻是从待测评视频的第一帧开始播放起算，根据标记数据中的标记时刻能够确定视频质量，如视频质量发生改变的时间点。
51.根据预先设置的标记操作与标记类型之间的对应关系，根据当前用户执行的标记操作确定标记类型，如：点击目标视频帧，表示用户对目标视频帧的认可，对目标视频帧划线表征用户不认可该目标视频帧，即标记操作表征用户对目标视频帧的态度；标记次数表征用户对目标视频帧的态度的强烈程度，用户在执行标记操作之前，根据展示界面上展示的标记规则明确标记操作的意义，有利于对待测评视频进行准确标注。
52.标记次数，表征标记类型的强烈程度，如：标记类型为认可时，在目标视频帧播放
过程中，接收到对该目标视频帧相同标记类型的多次点击，则表明用户对该目标视频帧的质量的认可程度高，标记次数越多，强烈程度越高。
53.其中，标记类型的强烈程度也可以通过标记强度表征，标记强度可以通过人机交互界面上触点面积的大小来确定，触点面积大表征标记类型的强烈程度高。
54.标记位置，表征目标视频帧中标记操作的产生位置，进一步细化待测评视频的主观测评数据，根据标记位置，可以明确视频质量好的具体位置，或者视频质量不好的具体位置，根据标记位置能够进一步细化待测评视频的主观测评数据，提升主观测评数据的表征的全面性和精细程度。
55.标记时长为视频帧从展示起始时刻到用户执行标记操作的标记时刻的时长，也就是，从该视频帧开始展示至该视频帧接收到用户的标记所用时长，该标记时长，可以表征该视频帧的图像质量是否容易辨别，如：标记时长越短，表征视频帧质量的品质越容易辨别，该视频帧质量包括质量好及质量不好，标记时长越长，表明视频帧质量越不容易区分。
56.用户对待测评视频的测评，可以通过单视频播放的形式，即按照视频帧的顺序在当前展示界面上依次展示视频帧；也可以通过双视频或多视频播放的形式，即当前展示界面上同时展示至少两个同步的视频帧，但每个视频帧的视频质量不同。
57.图3为采用单视频播放的形式进行待测评视频的测评，图3-1为第t秒的图像，图3-2为第(t 1)秒的图像，两个图像属于同一待测评视频，通过不同时间的视频帧图像的对比，可知：3-1中手部和物品的条纹清晰，但3-2中的手部细节丢失，两个视频帧图像的质量发生了明显改变，用户可以针对该种情况，进行标记，标记第(t 1)秒的视频帧在图像质量上发生了明显改变，还可以通过相应的标记操作，标记待测评视频在第(t 1)秒的视频帧在图像质量上发生了明显变差，通过单视频进行视频的对比和标记，即通过纵向的方式对比后来播放的视频帧与前面播放的视频帧，在视频质量上的改变。
58.还可以采用多视频播放的形式进行待测评视频的测评，如图4所示，采用双视频播放的形式进行待测评视频的评测，在当前展示界面上，展示了两种不同视频质量的待测评视频，两种待测评视频在播放时，由于视频质量不同，在静态图像的显示质量及动态图像的显示质量上存在差别，如，清晰度较高的视频在展示静态物品时，显示质量较好，但当展示动态物品时，由于动态物体的动作幅度大或运动频率高时会产生抖动，导致用户观感差，根据这种情况，用户在同一展示界面中的两个展示画面出现视频质量差异较大时进行标记，标记观感好的待测评视频，和/或，标记观感差的待测评视频，如图4所示，本技术标记了视频质量较好的左侧图像，并在当前展示界面上显示心形图案，心形图案的数量可以与标记次数呈正比，图4中的两幅图像对比，显示有心形图案的左侧图像的视频质量较好。
59.在单视频播放的形式进行待测评视频的测评时，可以通过点击当前展示界面的方式进行标记，在多视频播放的形式进行待测评视频的测评时，其中，多视频包括双视频，也可以通过对比不同展示区域内的视频帧进行视频帧的标记。
60.图5为对视频帧执行不同标记次数时对应的视频帧图像的展示界面图，若每标记一次出现一个对应的标识，如图5所示，标记一次，在当前显示界面上展示一个心形图案，用户对图5-1的视频帧图像进行了一次标记，用户对图5-2的视频帧图像进行了多次标记，标记次数表征用户对该视频帧的态度的强烈程度，若当前用户执行的标记操作表征对视频帧的认可，则标记次数越多，表明用户对该视频帧的认可程度越高。
61.结合图2至图5中的任一图例所示，用户对目标视频帧的标记，还可以记录标记位置，根据标记位置明确目标视频帧认可或不认可的具体位置，进一步提升主观测评数据的精细程度。
62.一种可选实施例中，步骤s130之后，还包括：根据待测评视频的主观测评数据确定待测评视频的测评结果，并将测评结果展示在该待测评视频相应的展示界面中。
63.根据待测评视频的主观测评数据确定待测评视频的测评结果，根据标记时刻可以确定标记的目标视频帧，根据标记位置可以确定标记的目标位置，根据标记次数、标记时长可以确定被认可/不认可的程度，测评结果如：被认可的目标视频帧、不被认可的目标视频帧、被认可的目标位置、不被认可的目标位置等。
64.获得待测评视频的测评结果之后，将测评结果展示在相应的展示界面中，以直观地、自动地展示测评结果。如：将被认可的目标视频帧及目标位置展示在一个展示区域中，将不被认可的目标视频帧及目标位置展示在另一个展示区域中。或者将被认可的目标视频帧及目标位置与不被认可的目标视频帧及目标位置均展示于一个展示区域中，对目标视频帧及目标位置进行文字标注，标注其是否被认可，及认可/不认可的目标位置。
65.一种可选实施例中，将待测评视频的测评结果展示在相应的展示界面上的界面示意图如图6所示，包括3个待测评视频，分别为：评测视频1、评测视频2、评测视频3，在评测视频1相对应的展示界面上，将待测评视频中标记的目标视频帧及目标位置展示在相应的展示界面上，并将目标位置以文字的形式标注在图片上，如图6所示，展示界面上展示了3个目标位置，将目标位置以文字的形式展示在图片上，目标位置包括图片中的文字、房屋结构。
66.本技术根据主观测评数据确定测评结果，实现自动获得测评结果，通过展示界面展示测评结果，能够直观地展示测评结果，实现测评结果的可视化展示。
67.可选地，将测评结果展示在该待测评视频相应的展示界面中，包括：
68.将包含标记时刻的预设时长的待展示图片展示在展示界面上，和/或，将包括标记位置的预设范围内的待展示图片展示在展示界面上。
69.获得标记时刻对应的视频帧图像，将包含标记时刻的预设时长的待展示图片展示在展示界面上。其中，该标记时刻为预设时长内的任一时刻。
70.可选地，标记时刻可以为该预设时长的中心时刻，即以标记时刻为中心时刻，获取该标记时刻前后第二预设时长的视频帧图像，该第二预设时长为上述预设时长的一半。预设时长、第二预设时长可以根据实际情况确定、调整。
71.本技术获取的待展示图片为包含标记时刻的预设时长的图片，若预设时长较小，则包含标记时刻的预设时长对应的图片可以是一帧视频帧图像，若预设时长较长，则包含标记时刻的预设时长对应的图片可以是多帧视频帧图像，采用该种方式能够验证标记时刻对应的目标视频帧是否存在标记错误。
72.将包括标记位置的预设范围内的待展示图片展示在展示界面上。在展示时，扩大了展示范围，将包含标记位置在内的预设范围内的待展示图片展示在展示界面上，以明确标记位置，预设范围可以根据实际情况确认、调整。如：可以将目标位置与其周围的位置进行对比明确标记类型；当目标视频中存在多个相同目标物，扩大展示范围后能够明确目标物的标记位置，实现标记类型及标记位置的确认。
73.一种可选实施例中，当待测评视频中包括多个待展示图片时，将测评结果展示在
该待测评视频相应的展示界面中，可以通过如下方式实现，包括：
74.a1，获取用户对所述待展示图片执行标记操作的密集程度，根据密集程度确定各待展示图片的展示权重；
75.a2，根据展示权重确定待展示图片的展示信息，其中，展示信息包括展示位置、展示面积中的至少一种；
76.a3，按照展示信息将多个待展示图片展示在相应的展示界面上。
77.待展示图片存在多个时，待展示图片的展示位置、展示面积等需要展示策略来确定，一种可选展示策略中，获取用户对待展示图片执行标记操作的密集程度，待展示图片中包括标记时刻的目标视频帧，或者包括标记位置的目标视频帧，对待展示图片执行标记操作的密集程度，也是对标记时刻对应的目标视频帧或者包括标记位置的目标视频帧的标记密集程度。
78.标记操作的密集程度可以通过单位时间内接收到的标记操作的次数来计算，标记操作的密集程度越高，则表明被认可/不认可的强烈程度，若当前标记操作为认可，则标记操作的密集程度越高，则表明用户对该待展示图片的认可程度越高。
79.根据标记操作的密集程度确定各待展示图片的展示权重，可以设置为：密集程度越高，待展示图片的展示权重越大，展示权重越大可以对应于展示资源越好。
80.根据待展示图片的展示权重确定待展示图片的展示信息，展示信息包括展示位置、展示面积中的至少一种。展示权重越大，则待展示图片的展示位置可以更加靠近展示中心，也可以对应的展示面积越大，以提升该待展示图片的醒目程度。
81.按照上述方式确定各待展示图片的展示信息，并按照展示信息将待展示图片展示在相应的展示界面上。
82.本技术提供的方案，按照待展示图片接收到的标注操作的密集程度确定待展示图片的展示位置、展示面积等，能够实现将用户最认可或最不认可的待展示图片以最醒目的方式展示在对应的展示界面上，直观地体现出待测评视频的关键质量体现点。
83.一种可选实施例中，上述展示信息还包括展示形式，根据展示权重确定待展示图片的展示信息，包括：
84.a21，当待展示图片接收到多次标记操作时，获取该待展示图片从第一次标记至最后一次标记的时长；
85.a22，根据该时长确定待展示图片的展示形式，所述展示形式包括：动态图片或静态图片。
86.当任一待展示图片接收到多次标记操作时，针对该待展示图片进行如下操作：获取该待展示图片接收到第一标记的第一标记时刻，及该待展示图片接收到最后一次标记的第二标记时刻，获得第一标记时刻与第二标记时刻的时长。
87.将该时长与预设时长进行对比，该预设时长可以为一个静态图像所能表征的最大时长，若超出该预设时长，则将该待展示图片采用动态图片进行展示，若未超出该预设时长，则将该待展示图片采用静态图片进行展示。
88.一种可选实施例中，根据待测评视频的主观测评数据确定待测评视频的测评结果，包括：
89.根据主观测评数据确定该待测评视频的质量关键点，其中，质量关键点包括质量
关键时间点、质量关键位置中的至少一个。
90.获得主观测评数据之后，根据主观测评数据确定待测评视频的质量关键点，可以通过如下方式进行：根据标记的目标视频帧对应的标记时刻可以确定待测评视频的质量关键时间点，根据标记的目标位置确定质量关键位置，如图7所示的用户交互界面示意图，图7中的3个视频帧均被执行了标记操作，因此，这3个视频帧对应的标记时刻为待测评视频的质量关键时间点，每个视频帧被标记的位置均不同，从左至又，标记位置依次为：“腾讯”、房屋结构、“tencent”，因此，包含该3个视频帧的待测评视频的质量关键点为“腾讯”、房屋结构、“tencent”所对应的位置。
91.结合图8所示的逻辑示意图阐述本技术的实现逻辑：手机、存储用户对待测评视频的视频帧的标记数据，标记数据包括：标记时刻、标记次数、标记密集程度、标记强度、标记类型及标记位置，基于标记数据确定待测评视频的主观测评数据，并展示在该待测评视频对应的展示界面中。其中，标记位置可以通过其在坐标系中的横纵坐标确定。
92.本技术对应的服务架构如图9所示，该架构中包括手机小程序端、后台微服务端、pc网页端，pc网页端通过建立测评任务，并将该测评任务经由后台服务端下发到手机小程序端，手机小程序端响应于该任务，通过手机小程序端的人机交互界面获取用户对待测评视频的标记数据，并上传至后台微服务端，后台微服务端通过任务服务、视频服务、报告服务、用户管理服务、通知服务、网关管理服务等服务获得待测评视频的测评结果，并下发到pc网页上展示。
93.其中，前端及后台的配置可以采用如下配置信息，以快速且准确地获得待测评视频的主观测评数据。
94.后台：tafgo、trpc-go为微服务架构；
95.前端：node，react，webpack，tea ui；
96.小程序端：微信小程序。
97.本技术通过上述视频主观测评数据的获取方法获得待测评视频的主观测评数据，在此基础上，可以构建主观测评数据库，几乎主观测评数据库中的主观测评数据训练基于深度学习的视频质量评估算法，最后把训练好的视频质量评估算法部署到业务线中，闭环监控可能存在的质量问题。
98.本技术提供的视频主观测评数据的获取方法，实现随时记录用户主观“态度”的自动化全面评测服务，可以快速直观定位某视频转码方式或某视频算法对于视频质量提升的核心能力，如：根据主观测评数据确定某一视频转码对人物可以实现无损压缩，但对其他物体的转码损失率较高，则表明该视频转码的核心能力在于对人物的处理。可以明确某类视频的图像质量的特点，可以将对应的特点量化到具体的时间点和位置上，可以更快更全面更自动的完成视频评测，并用以增强视频算法的开发。
99.除此之外，本技术提供的视频主观测评数据的获取方法可以记录在传统评测方案中被忽略的实时用户的态度数据，达到视频“逐帧有数据”的效果，用以支撑视频评测结论和快速定位问题。同样依据逐帧视频数据，可以制定视频转码档位及视频算法的评测标准为视频做评测，逐帧数据规范化挖掘后则可以作为自动化视频清晰度算法的输入，以构建更好更新的逐帧评测模型。
100.基于与本技术实施例所提供的方法相同的原理，本技术实施例还提供了一种视频
主观测评数据的获取装置100，如图10所示，该装置可以包括：获取标记数据模块110、确定主观测评数据120，其中：
101.获取标记数据模块110，用于获取待测评视频播放过程中用户对待测评视频中至少一帧视频帧的标记数据；其中，标记数据包括：标记时刻、标记类型、标记次数、标记位置、视频帧从展示起始时刻到用户执行标记操作的标记时刻的标记时长中的至少一种；
102.确定主观测评数据120，用于根据至少一帧视频帧的标记数据确定对应待测评视频的主观测评数据。
103.本技术提供的视频主观测评数据的获取装置，在待测评视频播放过程中接收用户对待测评视频中视频帧的标记数据，根据标记数据获得该待测评视频的主观测评数据，由于主观测评数据为视频帧级别的数据，而非现有技术中对视频整体层面的测评数据，因此，获得的主观测评数据更加细致，获得的主观测评数据能够更加准确、细致地表征待测评视频的特点，获得的主观测评数据更加精准可靠。
104.可选地，视频主观测评数据的获取装置100，还包括：
105.展示模块，用于根据待测评视频的所述主观测评数据确定所述待测评视频的测评结果，并将所述测评结果展示在该待测评视频相应的展示界面中。
106.可选地，展示模块，还用于：
107.将包含所述标记时刻的预设时长的待展示图片展示在所述展示界面上，和/或，将包括所述标记位置的预设范围内的待展示图片展示在所述展示界面上。
108.可选地，待测评视频中包括多个待展示图片时，展示模块用于：
109.获取用户对多个所述待展示图片执行标记操作的密集程度，根据所述密集程度确定各待展示图片的展示权重；
110.根据所述展示权重确定所述待展示图片的展示信息，所述展示信息包括展示位置、展示面积中的至少一种；
111.按照所述展示信息将多个所述待展示图片展示在相应的展示界面上。
112.可选地，展示信息还包括展示形式，展示模块用于：
113.当所述待展示图片接收到多次标记操作时，获取该待展示图片从第一次标记至最后一次标记的时长；
114.根据所述时长确定展示所述待展示图片的展示形式，所述展示形式包括：动态图片或静态图片。
115.可选地，展示模块还用于：
116.根据所述主观测评数据确定该待测评视频的质量关键点；所述质量关键点包括质量关键时间点、质量关键位置中的至少一个。
117.本技术实施例的视频主观测评数据的获取装置可执行本技术实施例所提供的视频主观测评数据的获取方法，其实现原理相类似，本技术各实施例中的视频主观测评数据的获取装置中的各模块、单元所执行的动作是与本技术各实施例中的视频主观测评数据的获取方法中的步骤相对应的，对于视频主观测评数据的获取装置的各模块的详细功能描述具体可以参见前文中所示的对应的视频主观测评数据的获取方法中的描述，此处不再赘述。
118.基于与本技术的实施例中所示的方法相同的原理，本技术的实施例中还提供了一
种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本技术任一可选实施例所示的视频主观测评数据的获取方法。与现有技术相比，本技术在待测评视频播放过程中接收用户对待测评视频中视频帧的标记数据，根据标记数据获得该待测评视频的主观测评数据，由于主观测评数据为视频帧级别的数据，因此，获得的主观测评数据更加细致，获得的主观测评数据能够更加准确、细致地表征待测评视频的特点，获得的主观测评数据更加精准可靠。
119.在一个可选实施例中提供了一种电子设备，如图11所示，图11所示的电子设备4000可以为服务器，包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本技术实施例的限定。
120.处理器4001可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
121.总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
122.存储器4003可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
123.存储器4003用于存储执行本技术方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
124.其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
125.本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
126.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
127.需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
128.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
129.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
130.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
131.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注
意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
132.描述于本技术实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取标记数据模块还可以被描述为“获取待测评视频中至少一帧视频帧的标记数据模块”。
133.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。