一种针对视频数据中的物品信息的推送方法和装置与流程

1.本发明涉及针对视频数据中的物品信息的推送技术领域，特别是涉及一种针对视频数据中的物品信息的推送方法、一种针对视频数据中的物品信息的推送装置、一种电子设备以及一种计算机可读介质。


背景技术：

2.随着科技的发展，例如手机、平板电脑等移动终端已经与人们的生活密不可分，通过移动终端观看视频更已经是当前最常见的娱乐方式之一，在用户观看视频时，往往会对视频中的物品感兴趣，例如，女性用户会对女主人公所持的手提包、化妆品等物品感兴趣，但如果用户期望能够后买该物品，或是查询该物品的详细信息，则需要退出视频应用程序，再进入到购物应用程序，并通过输入与该物品相应的关键词条才能检索到该物品，以实现对其进行购买，或是，查询到该物品的详细信息。


技术实现要素：

3.本发明实施例是提供一种针对视频数据中的物品信息的推送方法、装置、电子设备以及计算机可读存储介质，以解决用户在观看视频且对视频中的物品感兴趣时，需要通过其他应用程序对其进行检索才能查询到该物品的相关信息的问题。
4.本发明实施例公开了一种针对视频数据中的物品信息的推送方法，所述方法应用于客户端，所述方法包括：
5.接收由服务器发送的视频数据；所述视频数据包括视频流和图片附加信息；所述图片附加信息包括目标物品、物品位置、目标人物、人物位置、针对所述目标物品与所述目标人物之间的关联关系的关联信息；
6.当检测到用户的点击操作时，确定所述点击操作在所述视频流中对应的播放时间节点，和，与所述点击操作对应的点击位置；
7.根据所述播放时间节点、所述点击位置和所述图片附加信息在所述视频数据中确定需要被推送的目标物品；
8.将所述需要被推送的目标物品的物品信息推送给所述用户。
9.可选地，所述根据所述播放时间节点、所述点击位置和所述图片附加信息在所述视频数据中确定需要被推送的目标物品的步骤可以包括：
10.在所述播放时间节点前的预设时间段内，从所述视频流中提取待检测图片；
11.遍历所述待检测图片，并当检测到包含所述图片附加信息的待检测图片时，判断所述点击位置是否与所述物品位置重合；
12.若否，则判断所述点击位置是否与所述人物位置重合；
13.若是，则采用所述关联信息确定与所述人物位置对应的所述目标人物具有所述关联关系的目标物品，并将与所述人物位置对应的所述目标人物具有所述关联关系的目标物品作为需要被推送的目标物品。
14.可选地，还可以包括：
15.当所述点击位置与所述物品位置重合时，将与所述物品位置对应的目标物品作为需要被推送的目标物品。
16.可选地，还可以包括：
17.当播放所述视频流时，检测所述视频流中的图片是否包含所述图片附加信息；
18.当检测到包含所述图片附加信息的图片时，生成并展示提示信息。
19.可选地，所述客户端具有对应的购物应用程序，所述购物应用程序包括购物列表，还可以包括：
20.将所述物品信息储存至所述购物列表。
21.本发明实施例还公开了一种针对视频数据中的物品信息的推送方法，所述方法应用于服务器，所述方法可以包括：
22.按预设的帧数间隔提取视频流中的目标图片；
23.检测所述目标图片中是否存在目标物品；
24.若是，则确定与所述目标物品对应的物品位置；
25.检测所述目标图片中是否存在目标人物；
26.若是，则确定与所述目标人物对应的人物位置；
27.确定所述目标物品与所述目标人物之间的关联关系，并生成针对所述关联关系的关联信息；
28.采用所述目标物品、所述物品位置、所述目标人物、所述人物位置、所述关联信息生成针对所述目标图片的图片附加信息；
29.采用所述图片附加信息与所述视频流生成视频数据，并将所述视频数据发送至客户端。
30.本发明实施例还公开了一种针对视频数据中的物品信息的推送装置，所述装置应用于客户端，所述装置可以包括：
31.视频数据接收模块，用于接收由服务器发送的视频数据；所述视频数据包括视频流和图片附加信息；所述图片附加信息包括目标物品、物品位置、目标人物、人物位置、针对所述目标物品与所述目标人物之间的关联关系的关联信息；
32.播放时间节点和点击位置确定模块，用于在检测到用户的点击操作时，确定所述点击操作在所述视频流中对应的播放时间节点，和，与所述点击操作对应的点击位置；
33.目标物品确定模块，用于根据所述播放时间节点、所述点击位置和所述图片附加信息在所述视频数据中确定需要被推送的目标物品；
34.物品信息推送模块，用于将所述需要被推送的目标物品的物品信息推送给所述用户。
35.可选地，所述根据所述播放时间节点、所述目标物品确定模块可以包括：
36.待检测图片提取子模块，用于在所述播放时间节点前的预设时间段内，从所述视频流中提取待检测图片；
37.图片附加信息检测子模块，用于遍历所述待检测图片，并当检测到包含所述图片附加信息的待检测图片时，判断所述点击位置是否与所述物品位置重合；若否，则调用位置重合判断子模块；
38.位置重合判断子模块，用于判断所述点击位置是否与所述人物位置重合；若是，则调用；
39.第一目标物品确定子模块，用于采用所述关联信息确定与所述人物位置对应的所述目标人物具有所述关联关系的目标物品，并将与所述人物位置对应的所述目标人物具有所述关联关系的目标物品作为需要被推送的目标物品。
40.可选地，还可以包括：
41.第二目标物品确定子模块，用于在所述点击位置与所述物品位置重合时，将与所述物品位置对应的目标物品作为需要被推送的目标物品。
42.可选地，还可以包括：
43.图片附加信息检测模块，用于在播放所述视频流时，检测所述视频流中的图片是否包含所述图片附加信息；
44.提示信息生成模块，用于在检测到包含所述图片附加信息的图片时，生成并展示提示信息。
45.可选地，所述客户端具有对应的购物应用程序，所述购物应用程序包括购物列表，还可以包括：
46.物品信息储存模块，用于将所述物品信息储存至所述购物列表。
47.本发明实施例还公开了一种针对视频数据中的物品信息的推送装置，所述装置应用于服务器，所述装置可以包括：
48.目标图片提取模块，用于按预设的帧数间隔提取视频流中的目标图片；
49.目标物品检测模块，用于检测所述目标图片中是否存在目标物品；若是，则调用物品位置确定模块；
50.物品位置确定模块，用于确定与所述目标物品对应的物品位置；
51.目标人物检测模块，用于检测所述目标图片中是否存在目标人物；若是，则调用人物位置确定模块；
52.人物位置确定模块，用于确定与所述目标人物对应的人物位置；
53.关联信息生成模块，用于确定所述目标物品与所述目标人物之间的关联关系，并生成针对所述关联关系的关联信息；
54.图片附加信息生成模块，用于采用所述目标物品、所述物品位置、所述目标人物、所述人物位置、所述关联信息生成针对所述目标图片的图片附加信息；
55.视频数据生成模块，用于采用所述图片附加信息与所述视频流生成视频数据，并将所述视频数据发送至客户端。
56.本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；
57.所述存储器，用于存放计算机程序；
58.所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。
59.本发明实施例还公开了一个或多个计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。
60.本发明实施例包括以下优点：
61.本发明实施例通过按预设的帧数间隔提取视频流中的目标图片，并对目标图片进行预处理，从而生成并向客户端发送视频数据，以使客户端在播放视频流且检测到用户的点击操作时，可以通过目标物品、物品位置、目标人物、人物位置、目标物品与目标人物之间的关联关系、点击操作对应的播放时间节点和点击位置确定需要被推送的目标物品，并将确定需要被推送的目标物品对应的物品信息推荐给用户，从而解决了了用户在观看视频且对视频中的物品感兴趣时，需要通过其他应用程序对其进行检索才能查询到该物品的相关信息的问题，从而提升了用户体验，也避免了在预处理过程中针对每一张图片进行处理，从而减小了运算压力。
附图说明
62.图1是本发明实施例一中提供的一种针对视频数据中的物品信息的推送方法的步骤流程图；
63.图2是本发明实施例提供的一种数据流示意图；
64.图3是本发明实施例提供的另一个针对客户端播放视频流时确定目标物品的方法步骤流程图；
65.图4是本发明实施例二中提供的一种针对视频数据中的物品信息的推送方法的步骤流程图；
66.图5是本发明实施例三中提供的一种针对视频数据中的物品信息的推送装置的结构框图；
67.图6是本发明实施例四中提供的一种针对视频数据中的物品信息的推送装置的结构框图；
68.图7是本发明实施例中提供的一种电子设备的框图；
69.图8是本发明实施例中提供的一种计算机可读介质的示意图。
具体实施方式
70.实施例一
71.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
72.参照图1，示出了本发明实施例一中提供的一种针对视频数据中的物品信息的推送方法的步骤流程图，具体可以包括如下步骤：
73.步骤101，接收由服务器发送的视频数据；
74.步骤102，当检测到用户的点击操作时，确定所述点击操作在所述视频流中对应的播放时间节点，和，与所述点击操作对应的点击位置；
75.步骤103，根据所述播放时间节点、所述点击位置和所述图片附加信息在所述视频数据中确定需要被推送的目标物品；
76.步骤104，将所述需要被推送的目标物品的物品信息推送给所述用户。
77.在具体实现中，本发明实施例可以应用于客户端，客户端可以安装于终端设备中，例如，个人计算机pc(personal computer)、平板电脑、手机等等；客户端可以具有对应的服
务器，客户端可以通过终端设备与服务器进行数据交互。
78.在实际应用中，为了在用户播放视频时，能够对视频中的物品的物品信息进行调取，需要在视频播放前对视频数据进行预处理，例如，需要对视频数据中的物品的物品位置进行标记，以使用户在观看视频时可以通过点击该物品从而调取该物品的物品信息，而在一般情况下，针对视频数据的预处理过程，其计算量是巨大的，如若将针对视频数据的预处理过程放在终端设备中执行，无疑增加了终端设备的数据运算压力，另外，若为了实现用户能够对视频中的物品的物品信息进行调取，而对视频流中的所有图片都进行处理，则会更进一步的增大运算压力。
79.本发明实施例的服务器可以用于对视频数据进行预处理，具体地，可以按预设的帧数间隔提取视频流中的目标图片；检测所述目标图片中是否存在目标物品；若是，则确定与所述目标物品对应的物品位置；检测所述目标图片中是否存在目标人物；若是，则确定与所述目标人物对应的人物位置；确定所述目标物品与所述目标人物之间的关联关系，并生成针对所述关联关系的关联信息；采用所述目标物品、所述物品位置、所述目标人物、所述人物位置、所述关联信息生成针对所述目标图片的图片附加信息；采用所述图片附加信息与所述视频流生成视频数据，并将所述视频数据发送至客户端。
80.在具体实现中，视频流是视频数据中最重要的组成数据，其可以是由多张有序的图片所组成的数据，通常情况下，帧可以是视频流中的图片的数量单位，一副图片可以称作一帧，本发明实施例可以按预设的帧数间隔提取视频流中的目标图片，例如，每30帧抽取一副图像作为目标图片。
81.本发明的发明人经过仔细研究发现，在视频流播放时，每一秒通常对应这30-60帧的图片，而在视频流中展示的目标物品，其展示时间通常不会低于1秒，因此，在本发明的可选实施例中，可以将30-60帧作为抽取间隔，从视频流中抽取目标图片。
82.本发明实施例的服务器还可以在提取出目标图片后，分别监测目标图片中是否存在目标物品和目标人物，并在目标图片中检测出目标物品时，确定目标物品对应的物品位置，以及，在目标图片中检测出目标人物时，确定目标人物对应的人物位置。
83.在具体实现中，本发明实施例可以通过对计算机视觉算法mask rcnn进行训练，从而生成针对目标物品的目标物品检测模型，例如，将在视频截图中或是剧照作为训练样本，将训练样本中希望被推送的物品(如口红、女士皮包、手机等)标记为目标物品，以此训练出能够自行检测出目标图片中是否存在目标物品的目标物品检测模型，然后通过目标物品检测模型检测目标图片中是否存在目标物品，并在检测到目标图片中存在目标物品时，确定目标物品对应的物品位置，例如，在检测到目标图片中出现希望被推送的口红时，可以计算出该口红在目标图片中的坐标数据。
84.本发明实施例还可以通过对计算机视觉算法mask rcnn进行训练，从而生成针对目标人物的目标人物检测模型，例如，将在影视剧中的剧照和演员宣传片中的截图作为训练样本，将训练样本中的人物(例如女主演、男主演等)标记为目标人物，以此训练出能够自行检测出目标图片中是否存在目标人物的目标人物检测模型，然后通过目标人物检测模型检测目标图片中是否存在目标人物，并在检测到目标图片中存在目标人物时，确定目标人物对应的人物位置，例如，在检测到目标图片中出现某女演员时，可以计算出该女演员在目标图片中的坐标数据。
85.当然，可以理解的是，物品位置和人物位置可以是一个点，也可以是一个能够完全覆盖或部分覆盖目标物品和目标人物的区域。
86.本发明实施例的服务器还可以在目标图片存在目标物品和目标人物时，确定并建立目标人物和目标物品之间的关联关系，并可以生成针对该关联关系的关联信息。
87.例如，当手提包、口红、加湿器等目标物品属于女一号时，则可以建立手提包、口红、加湿器等目标物品与女一号之间的关联关系；又如，当手表、扫地机器人等目标物品属于男一号时，则可以建立手表、扫地机器人等目标物品与男一号之间的关联关系，然后基于确定出的关联关系可以生成针对该关联关系的关联信息。
88.本发明实施例的服务器可以在获取到目标物品、物品位置、目标人物、人物位置、关联信息后，可以采用目标物品、物品位置、目标人物、人物位置、关联信息生成针对目标图片的图片附加信息，即，图片附加信息可以包括目标物品、物品位置、目标人物、人物位置、关联信息。
89.在生成图片附加信息后，本发明实施例的服务器还可以采用图片附加信息与视频流生成完整的视频数据，并可以将视频数据发送至客户端，从而实现了客户端接收到的视频数据中除了包含用于提供给用户播放的视频流，还可以包括目标物品、物品位置、目标人物、人物位置、关联信息。
90.也可以理解为，视频数据包括了视频流中的每一帧图片，还可以包括目标物品、物品位置、目标人物、人物位置、能够表达目标人物和目标物品之间关联关系的关联信息，客户端在接收到了由服务器发送的视频数据后，可以逐帧播放图片，以使用户能通过终端设备观看视频，同时，客户端除了每一帧图片外，也接收到了目标物品、物品位置、目标人物、人物位置和关联信息。
91.本发明实施例的客户端在接收到由服务器发送的视频数据后，可以播放视频数据的视频流，在播放过程中，当检测到用户的点击操作时，则可以确定用户的点击操作在视频流中对应的播放时间节点，和，与该点击操作对应的点击位置。
92.例如，当用户通过手机播放网络视频时，可以点击手机的屏幕，而客户端则可以在检测到用户的点击操作时，确定视频当前的播放时间节点(又如，视频当前的播放时间节点为32分15秒)和点击位置的坐标数据。
93.由上可知，本发明实施例的视频数据中除了包含用于提供给用户播放的视频流，还可以包括目标物品、物品位置、目标人物、人物位置、针对所述目标物品与所述目标人物之间的关联关系的关联信息，所以，本发明实施例可以在检测到用户的点击操作后，根据播放时间节点、点击位置、目标物品、物品位置、目标人物、人物位置、关联信息自动确定出需要被推送的目标物品，并将需要被推送的目标物品的物品信息推荐给所述用户。
94.本发明实施例通过按预设的帧数间隔提取视频流中的目标图片，并对目标图片进行预处理，再通过获取到目标图片中的目标物品、物品位置、目标人物、人物位置、目标物品与目标人物之间的关联关系，和数据流生成视频数据，并将视频数据发送给客户端，以使客户端在播放视频流且检测到用户的点击操作时，可以通过目标物品、物品位置、目标人物、人物位置、目标物品与目标人物之间的关联关系、点击操作对应的播放时间节点和点击位置确定需要被推送的目标物品，并将确定需要被推送的目标物品对应的物品信息推荐给用户，从而解决了用户在观看视频且对视频中的物品感兴趣时，需要通过其他应用程序对其
进行检索才能查询到该物品的相关信息的问题，进而提升了用户体验，另一方面，也避免了在预处理过程中针对每一张图片进行处理，从而减小了终端设备的运算压力。
95.在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
96.在本发明的一个可选地实施例中，所述根据所述播放时间节点、所述点击位置和所述图片附加信息在所述视频数据中确定需要被推送的目标物品的步骤包括：
97.在所述播放时间节点前的预设时间段内，从所述视频流中提取待检测图片；
98.遍历所述待检测图片，并当检测到包含所述图片附加信息的待检测图片时，判断所述点击位置是否与所述物品位置重合；
99.若否，则判断所述点击位置是否与所述人物位置重合；
100.若是，则采用所述关联信息确定与所述人物位置对应的所述目标人物具有所述关联关系的目标物品，并将与所述人物位置对应的所述目标人物具有所述关联关系的目标物品作为需要被推送的目标物品。
101.在实际应用中，用户经常会通过屏幕都比较小的终端设备观看视频，若要用户只能点击视频中的物品才能确定有关该物品的物品信息，会导致用户经常遇到无法准确点击物品的情况，例如，当用户通过手机观看视频时，如果要通过手机屏幕点击视频中某个角色使用的小物品，如口红、手表等，则很难准确点击到该小物品，所以，本发明实施例可以在播放时间节点前的预设时间段内，从视频流中提取待检测图片，然后遍历所有提取出来的待检测图片，当检测到包含图片附加信息的待检测图片时，可以判断与用户点击操作对应的点击位置是否与图片附加信息中的物品位置重合，如果点击位置未与物品位置重合，则可以判断点击位置是否与图片附加信息中的人物位置重合，若点击位置与人物位置重合，则可以采用图片附加信息中的关联信息，确定出与该人物位置对应的目标人物具有关联关系的目标物品，并将与该人物位置对应的目标人物具有关联关系的目标物品标记为需要被推送的目标物品。
102.进一步地，当检测到未包含所述图片附加信息的待检测图片，或，检测到所述点击位置未与所述人物位置重合，或，检测到未遍历所有待检测图片时，按序检测下一张待检测图片。
103.在本发明的另一个可选地实施例中，当所述点击位置与所述物品位置重合时，将与所述物品位置对应的目标物品作为需要被推送的目标物品。
104.例如，在客户端播放数据流时，检测到用户在视频播放到10:28:21:087时执行了点击操作，预设时间段可以为2秒，则可以获取10:28:21:087至10:28:19:087期间，即，过去2秒中包含的每一帧图片提取出来作为待检测图片，然后，可以按播放顺序逆向逐帧对待检测图片执行以下操作，判断10:28:21:087对应的待检测图片是否携带有图片附加信息，如果没有携带，则说明该帧待检测图片中没有目标物品，则继续检测前一帧待检测图片是否携带有图片附加信息，如果该帧待检测图片携带有图片附加信息，则根据图片附加信息中的物品位置，判断与点击操作对应的点击位置是否与该帧待检测图片中的物品位置重合，如果点击位置与物品位置重合，则记录与点击位置重合的物品，并将其作为需要被推送的目标物品，如果点击位置与物品位置不重合，则进一步根据图片附加信息中的人物位置，判断点击位置是否与该帧图像中的人物位置重合，如果点击位置与人物位置不重合，则继续
检测前一帧待检测图片是否携带有图片附加信息，点击位置与人物位置重合，则表示用户想点击目标人物正在使用的目标物品，但是却因为目标物品体积过小，而错误地点击到目标人物，所以，可以根据目标人物和目标物品之间的关联关系，从当前帧图像存在的若干目标物品中，选择出与被点击的目标人物具有关联关系的目标物品，作为需要被推送的目标物品。
105.本发明实施例通过在所述播放时间节点前的预设时间段内，从所述视频流中提取待检测图片；遍历所述待检测图片，并当检测到包含所述图片附加信息的待检测图片时，判断所述点击位置是否与所述物品位置重合；若否，则判断所述点击位置是否与所述人物位置重合；若是，则采用所述关联信息确定与所述人物位置对应的所述目标人物具有所述关联关系的目标物品，并将与所述人物位置对应的所述目标人物具有所述关联关系的目标物品作为需要被推送的目标物品，实现了在目标物品太小时，用户可以通过点击目标人物，从而将与目标人物具有关联关系的目标物品作为需要被推送的目标物品，进一步地提升了用户选定目标物品时的效率。
106.进一步地，本发明实施例还可以通过在所述点击位置与所述物品位置重合时，将与所述物品位置对应的目标物品作为需要被推送的目标物品，实现了使用户在成功点击目标物品时，即，点击位置与物品位置重合时，直接将用户点击的目标物品作为需要被推送的目标物品，更进一步地提升了用户选定目标物品时的效率。
107.在本发明的一个可选地实施例中，所述方法还可以包括：
108.当播放所述视频流时，检测所述视频流中的图片是否包含所述图片附加信息；
109.当检测到包含所述图片附加信息的图片时，生成并展示提示信息。
110.在实际应用中，若要将视频中的所有物品作为目标物品显然是不现实的，一般来说，目标物品都是有针对性的，例如，视频制作者有意的向观众推荐某一样物品时，可以将其作为需要被推送的目标物品，但是，用户在观看视频的过程中往往不清楚哪样物品是需要被推荐的目标物品，所以，本发明实施例可以在客户端播放视频流过的同时，检测视频流中的所有图片是否包含图片附加信息，并在检测到包含图片附加信息的图片时，生成针对目标物品的提示信息，并将提示信息显示在终端设备的屏幕中，以使用户知晓当前的播放的视频内容中，包括了需要被推送的目标物品的物品信息，可选地，提示信息可以通过可高亮图标展示。
111.在具体实现中，本发明实施例可以在用户通过手机播放视频时，可以在屏幕中生成一个可高亮图标，客户端可以检测当前播放的这一帧图像是否携带附加信息，如果未携带图片附加信息，则该可高亮图标处于低亮状态，如果携带有图片附加信息，则在手机屏幕上向用户给出提示信息，即，该可高亮图标处于高亮状态，且提示信息的持续时间可以按预设时间长度设置，从而提示用户当前时段播放的画面中存在需要被推送的目标物品的物品信息，可以通过点击目标物品以了解目标物品的物品信息。
112.例如，如图2所示，图2示出了本发明实施例提供的一种数据流示意图；图中每个矩形方框表示视频流中的每一帧图像，图片201为携带有图片附加信息的一帧图像，假设图片201对应的是数据流中的第10950帧图像，在终端设备播放第10950帧图像时，播放时间为第365秒，检测到该第10950帧图像携带有图片附加信息，则此时终端设备屏幕右下角的购物车图标会被点亮，以表示当前播放的画面中存在需要被推送的目标物品的物品信息，提示
信息出现的时长可以为2秒，即，购物车图标可以持续点亮至367秒，图片202也为携带有图片附加信息的一帧图像，假设图片202对应的是数据流中的第10980帧图像，在终端设备播放到第10980帧图像时，播放时间为第366秒，检测到第10980帧图像也携带有图片附加信息，因此终端设备屏幕右下角的购物车图标会保持点亮状态，并将持续点亮至368秒。
113.在实际应用中，为了降低终端设备在播放视频流过程中的计算量，也为了避免用户的误触碰，可选地，本发明示例可以在显示提示信息时，才会检测用户是否执行点击操作，进一步地，本发明示例还可以当展示所述提示信息，且检测到用户的点击操作时，确定所述点击操作在所述视频流中对应的播放时间节点，和，与所述点击操作对应的点击位置。
114.本发明实施例通过当播放所述视频流时，检测所述视频流中的图片是否包含所述图片附加信息；当检测到包含所述图片附加信息的图片时，生成并展示提示信息，实现了当视频中出现目标物品时，可以向用户生成针对目标物品的提示信息，以使用户知晓当前播放的画面中存在目标物品，从而提升了用户在选择目标物品时的效率。
115.在本发明的一个可选地实施例中，所述客户端具有对应的购物应用程序，所述购物应用程序包括购物列表，还包括：
116.将所述物品信息储存至所述购物列表。
117.在实际应用中，用户除了有需要了解针对目标物品的目标信息的需求，也可能存在需要购买目标物品的需求，所以，本发明实施例的客户端可以直接将物品信息储存至与客户端对应的购物应用程序的购物列表中，进一步地，本发明实施例的客户端所对应的购物应用程序，可以是集成在客户端中的小程序，也可以是与第三方平台捆绑的购物应用程序。
118.例如，可以将物品信息直接添加至购物应用程序的购物车中，用户可以在打开购物应用程序后，直接点击购物车以查看物品信息，并可以直接购买与物品信息对应的目标物品。
119.本发明实施例通过将所述物品信息储存至所述购物列表，实现了用户可以在打开购物应用程序时，直接从购物应用程序的购物列表中购买与物品信息对应的目标物品，从而提升了用户体验。
120.为使本领域技术人员更好的理解本发明实施例，以下用一完整示例对本发明实施例进行说明。
121.由服务器执行对影视剧的预处理：
122.以希望推送的物品(例如手提包a、手提包b、手提包c、口红a、口红b、手表a、手表b、手表c、加湿器m、扫地机器人n等)作为目标物，利用影视剧中的剧照和物品宣传片中的截图等，作为训练样本，对目标检测模型maskrcnn进行训练，训练出可以检测这些物品的目标检测模型a；
123.以剧中人物(例如女一号、女二号、男一号、男二号等)作为目标物，利用影视剧中的剧照和演员宣传片中的截图等，作为训练样本，对另一个目标检测模型maskrcnn进行训练，训练出可以检测这些人物的目标检测模型b；
124.考虑到线上播放的影视剧，每一秒通常有30-60帧，而在剧中展示的用品，尤其是希望用户点击的用品，其展示时间通常不会低于1秒，因此，将30帧作为抽取间隔，从影视剧中抽取出若干帧图像，作为待检测图像。换言之，每隔30帧，抽取出一张图像作为待检测图
像，然后针对每一张待检测图像，利用预先训练的目标检测模型a，检测出该待检测图像中是否存在目标物，以及各个目标物在图像中的位置；利用预先训练的目标检测模型b，识别该待检测图像中是否存在剧中人物(如女一号、女二号等)以及各个剧中人物在图像的位置。
125.建立每件物品与每个剧中人物之间的附属关系，如手提包a、手提包b、口红a、加湿器m等物品属于女一号；手提包c、口红b、手表a等物品属于女二号；手表b、手表c、扫地机器人n等物品属于男一号。
126.最后，针对每张图像，将该张图像中的：物品名称、物品在图像中的位置、剧中人物身份、剧中人物在图像中的位置、每件物品与每个剧中人物之间的附属关系等信息打包作为该张图像的附加信息。
127.由客户端执行对影视剧的播放：
128.服务器将影视剧的视频数据发送给手机，视频数据包括影视剧的每一帧图像和部分图像的附加信息，附加信息包括物品名称、物品在图像中的位置、剧中人物身份、剧中人物在图像中的位置，和物品与剧中人物之间的附属关系，手机接收到视频数据后，逐帧播放各图像，从而在手机屏幕上播放影视剧。
129.手机在播放影视剧期间，会检测当前播放的这一帧图像是否携带附加信息，如果携带，则在屏幕上给出提示，且提示的持续时间等于预设时间t(例如预设时间t等于2秒)，如果检测到当前播放的这一帧图像携带有附加信息，则屏幕中的购物车图标会被点亮，点亮时间持续预设时间t，从而提示用户：当前时段播放的画面中存在可以通过点击操作以了解详情的物品。
130.如图3所示，图3是本发明实施例提供的另一个针对客户端播放视频流时确定目标物品的方法步骤流程图，在用户通过手机在播放影视剧，且购物车图标处于高亮期间执行步骤301，检测用户对手机屏幕的点击操作；当检测到用户对手机屏幕的点击操作后，执行步骤302，以当前时间为时间起点，向前获取预设时间段内的全部图像，例如，假设在10:28:21:087检测到用户对手机屏幕的点击操作，则获取10:28:21:087至10:28:19:087期间的(即过去2秒内的)全部图像，并从当前时刻向前，即，按播放时间逆序，逐一针对每一帧图像执行以下操作：步骤303判断该帧图像是否携带有附加信息，如果没有携带，则说明该帧图像中没有物品信息，则继续针对下一帧图像做处理，如果该帧图像携带有附加信息，则根据附加信息中的物品位置信息，执行步骤304，判断用户点击位置是否与该帧图像中的物品位置重合，如果重合，则执行步骤305，记录与点击位置重合的物品，该物品可能是用户希望详细了解的物品，如果用户点击位置与物品位置不重合，则进一步根据附加信息中的人物位置信息，执行步骤306，判断户点击位置是否与该帧图像中的人物位置重合，如果不重合，则继续针对下一帧图像做处理，如果重合，则说明很可能是用户本来想点击人物正在使用的物品，但是却因为物品体积过小，而错误地点击到人物身上，在此情况下，执行步骤307，根据被点击到的人物以及附属关系，从当前帧中存在的若干物品中，选择出被点击人物的对应的物品，并记录这些物品信息，例如，假设当前帧携带的附加信息中包括女二号的位置信息，还包括手提包a和手提包c等物品的位置信息，当检测到用户点击位置与女二号的位置重合时，根据女二号和手提包c之间的附属关系，可以从当前帧中存在的手提包a和手提包c等物品中，选择出女二号对应的物品，即手提包c，并记录手提包c；执行步骤308，判断是否
已经遍历处理完所有帧，在遍历完全部图像后，执行步骤309，将已经记录的全部物品显示给用户，让用户对这些物品进行选择，并将用户选择出的物品加入购物车。
131.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
132.实施例二
133.参照图4，示出了本发明实施例二中提供的一种针对视频数据中的物品信息的推送方法的步骤流程图，具体可以包括如下步骤：
134.步骤401，按预设的帧数间隔提取视频流中的目标图片；
135.步骤402，检测所述目标图片中是否存在目标物品；若是，则执行步骤403；
136.步骤403，确定与所述目标物品对应的物品位置；
137.步骤404，检测所述目标图片中是否存在目标人物；若是，则执行步骤405；
138.步骤405，确定与所述目标人物对应的人物位置；
139.步骤406，确定所述目标物品与所述目标人物之间的关联关系，并生成针对所述关联关系的关联信息；
140.步骤407，采用所述目标物品、所述物品位置、所述目标人物、所述人物位置、所述关联信息生成针对所述目标图片的图片附加信息；
141.步骤408，采用所述图片附加信息与所述视频流生成视频数据，并将所述视频数据发送至客户端。
142.在实际应用中，本发明实施例可以应用于服务器中。
143.本发明实施例通过按预设的帧数间隔提取视频流中的目标图片，并对目标图片进行预处理，再通过获取到目标图片中的目标物品、物品位置、目标人物、人物位置、目标物品与目标人物之间的关联关系，和数据流生成视频数据，并将视频数据发送给客户端，以使客户端在播放视频流且检测到用户的点击操作时，可以通过目标物品、物品位置、目标人物、人物位置、目标物品与目标人物之间的关联关系、点击操作对应的播放时间节点和点击位置确定需要被推送的目标物品，并将确定需要被推送的目标物品对应的物品信息推荐给用户，从而解决了用户在观看视频且对视频中的物品感兴趣时，需要通过其他应用程序对其进行检索才能查询到该物品的相关信息的问题，进而提升了用户体验，另一方面，也避免了在预处理过程中针对每一张图片进行处理，从而减小了终端设备的运算压力。
144.对于实施例二而言，由于其实现过程与实施例一基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
145.实施例三
146.参照图5，示出了本发明实施例三中提供的一种针对视频数据中的物品信息的推送装置的结构框图，具体可以包括如下模块：
147.视频数据接收模块501，用于接收由服务器发送的视频数据；所述视频数据包括视频流和图片附加信息；所述图片附加信息包括目标物品、物品位置、目标人物、人物位置、针对所述目标物品与所述目标人物之间的关联关系的关联信息；
148.播放时间节点和点击位置确定模块502，用于在检测到用户的点击操作时，确定所述点击操作在所述视频流中对应的播放时间节点，和，与所述点击操作对应的点击位置；
149.目标物品确定模块503，用于根据所述播放时间节点、所述点击位置和所述图片附加信息在所述视频数据中确定需要被推送的目标物品；
150.物品信息推送模块504，用于将所述需要被推送的目标物品的物品信息推送给所述用户。
151.可选地，所述根据所述播放时间节点、所述目标物品确定模块可以包括：
152.待检测图片提取子模块，用于在所述播放时间节点前的预设时间段内，从所述视频流中提取待检测图片；
153.图片附加信息检测子模块，用于遍历所述待检测图片，并当检测到包含所述图片附加信息的待检测图片时，判断所述点击位置是否与所述物品位置重合；若否，则调用位置重合判断子模块；
154.位置重合判断子模块，用于判断所述点击位置是否与所述人物位置重合；若是，则调用；
155.第一目标物品确定子模块，用于采用所述关联信息确定与所述人物位置对应的所述目标人物具有所述关联关系的目标物品，并将与所述人物位置对应的所述目标人物具有所述关联关系的目标物品作为需要被推送的目标物品。
156.可选地，所述装置还可以包括：
157.第二目标物品确定子模块，用于在所述点击位置与所述物品位置重合时，将与所述物品位置对应的目标物品作为需要被推送的目标物品。
158.可选地，所述装置还可以包括：
159.图片附加信息检测模块，用于在播放所述视频流时，检测所述视频流中的图片是否包含所述图片附加信息；
160.提示信息生成模块，用于在检测到包含所述图片附加信息的图片时，生成并展示提示信息。
161.可选地，所述客户端具有对应的购物应用程序，所述购物应用程序包括购物列表，所述装置还可以包括：
162.物品信息储存模块，用于将所述物品信息储存至所述购物列表。
163.实施例四
164.参照图6，示出了本发明实施例四中提供的一种针对视频数据中的物品信息的推送装置的结构框图，具体可以包括如下模块：
165.目标图片提取模块601，用于按预设的帧数间隔提取视频流中的目标图片；
166.目标物品检测模块602，用于检测所述目标图片中是否存在目标物品；若是，则调用物品位置确定模块603；
167.物品位置确定模块603，用于确定与所述目标物品对应的物品位置；
168.目标人物检测模块604，用于检测所述目标图片中是否存在目标人物；若是，则调用人物位置确定模块605；
169.人物位置确定模块605，用于确定与所述目标人物对应的人物位置；
170.关联信息生成模块606，用于确定所述目标物品与所述目标人物之间的关联关系，
并生成针对所述关联关系的关联信息；
171.图片附加信息生成模块607，用于采用所述目标物品、所述物品位置、所述目标人物、所述人物位置、所述关联信息生成针对所述目标图片的图片附加信息；
172.视频数据生成模块608，用于采用所述图片附加信息与所述视频流生成视频数据，并将所述视频数据发送至客户端。
173.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
174.另外，本发明实施例还提供一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
175.存储器703，用于存放计算机程序；
176.处理器701，用于执行存储器703上所存放的程序时，实现如上述实施例中所述的针对视频数据中的物品信息的推送方法。
177.上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
178.通信接口用于上述终端与其他设备之间的通信。
179.存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
180.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
181.如图8所示，在本发明提供的又一实施例中，还提供了一种计算机可读存储介质801，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的针对视频数据中的物品信息的推送方法。
182.在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中所述的针对视频数据中的物品信息的推送方法。
183.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字
用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
184.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
185.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
186.以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。