使用增强现实的视频中产品植入和视频中购买能力的系统和方法与流程

使用增强现实的视频中产品植入和视频中购买能力的系统和方法
技术

背景技术：
领域
1.本技术一般涉及计算机视觉技术和增强现实技术中的对象识别领域。更具体地说，本技术涉及一种使用对象识别和增强现实的产品植入和营销系统和方法。
2.相关技术描述
3.目前，公司提供平台，创建者可以在平台上上传他们的数字视频供观看者消费。为了支持他们的努力，这些公司可能允许来自第三方供应商的数字广告与该视频一起显示。这些广告可能在视频被流式传输之前或之后呈现。更糟的是，视频流可能在中途被中断以便播放广告。在其他示例中，广告可能与视频一起在屏幕空间上播放，也许在视频旁边播放，或者作为覆盖视频的小窗口播放。


技术实现要素：

4.本文提供了一种技术，通过该技术改进了与为观看者选择的最佳广告一起的观看者请求视频的数字递送。这些技术可能特别适合于短视频行业。本文提供了一种创新的视频分析机制和用户行为分析机制，通过该机制，在观看者观看视频的同时，在视频上宣传为特定观看者最佳匹配的视频上的确切产品。此外，本文提供了使观看者能够在仍处于视频中时购买产品的技术，而不必离开视频或站点来完成购买。
5.附图简要说明
6.本技术的一个或多个实施例通过示例而非限制性地在附图的图中示出，在附图中类似的参考标记表示类似的元件。
7.图1描绘了根据实施例的视频帧的屏幕截图，其中呈现了各交互视频对象，交互产品徽标，和视频的一部分中的交互产品购买窗口；
8.图2描绘了根据实施例的视频帧的屏幕截图，其中呈现了各交互视频对象，交互产品徽标，和视频的一部分中的交互产品购买窗口；
9.图3描绘了根据实施例的视频帧的屏幕截图，其中呈现了各交互视频对象，交互产品徽标，和视频的一部分中的交互产品购买窗口；
10.图4是根据实施例的网络环境的高层面架构的示意图；
11.图5是根据实施例的api广告匹配过程和最佳广告文件递送过程的示意图；
12.图6描绘了根据实施例的用于分析和存储视频数据的过程，包括确定视频内的对象和确定视频内的产品；
13.图7描绘了根据实施例的用于分析用户行为数据的过程，包括确定在视频上被观看的对象；
14.图8描绘了根据实施例的当观看者观看视频时的网络环境；
15.图9描绘了根据实施例的在每次视频上传期间的网络环境；
16.图10描绘了根据实施例的用于api总体工作流的网络环境；以及
17.图11是根据实施例的计算机系统的示例形式的系统的框图。
具体实施例
18.本文提供了一种技术，通过该技术改进了与为观看者选择的最佳广告一起的观看者请求视频的数字递送。这些技术可能特别适合于短视频行业。本文提供了一种创新的视频分析机制和用户行为分析机制，通过该机制，在观看者观看视频的同时，在视频上宣传为特定观看者最佳匹配的视频上的确切产品。此外，本文提供了使观看者能够在仍处于视频中时购买产品的技术，而不必离开视频或站点来完成购买。
19.如上所述，目前，公司提供平台，创建者可以在平台上上传他们的数字视频供观看者消费。为了支持他们的努力，这些公司可能允许来自第三方供应商的数字广告与该视频一起显示。这些广告可能在视频流式传输之前或之后呈现。更糟的是，视频流可能在中途被中断以便播放广告。在其他示例中，广告可能与视频一起在屏幕空间上播放，也许在视频旁边播放，或者作为覆盖视频的小窗口播放。在所有这些配置中，所选择的广告可能与正在观看的视频内的一个或多个对象不相关。此外，当观看者想要视频中的某个对象并希望购买该对象时，观看者需要在因特网上执行许多额外的步骤，例如对该项目执行一次或多次搜索，去到一个或多个供应商网站以研究产品的属性，并打开网页来购买想要的项目。
20.观看者要购买视频中所看到的确切产品所需要的所有现今步骤在因特网上发生了许多动作，包括打开许多网页。当全球数以百万计的观看者正在观看视频并试图购买视频内的产品时，会产生大量的处理成本，造成大量服务器充入，大量数据在因特网上来回传输。这些事件直接影响到视频网站的所有用户，供应商，创建者，以及整个因特网的性能。因特网速度变慢了。网站速度变慢了。内容递送网络(cdn)存在负载管理问题。
21.本文所述的创新通过提高电子商务技术的处理时间，时间方面和处理成本方面来解决问题。此外，所述的技术改进了数字用户消费技术并提高了用户的便利性。现在，观看者不再像上面所述的那样在因特网通道上造成许多成本，而是可以在视频本身内查看和购买产品。
22.本创新是识别视频中的对象，自动植入基于增强现实(ar)的广告(ad)，并使观看者能够在观看视频的同时从视频中购买广告中的产品的一种系统，方法，和平台(“系统”，“过程”，或“平台”)。如图1中的图片(例如，视频帧)所示，本创新检测视频中的所有对象并自动植入ar广告。例如，本创新检测吉他102并自动植入供应商的品牌标志(例如，徽标104)和吉他的产品信息，使得观看者可以在观看视频时购买相同的吉他。本创新涉及到检测，观看者划分，和植入ar广告等特征。
23.本创新将视频解析为帧，并检测视频帧中的对象。然后，系统自动检测帧中的每个像素，并用检测到的对象之一标记这些像素。例如，有很多关于视频文件中发生了什么事情的数据。在一秒钟中可能有七棵树，四只鸟；在帧的这一部分，两秒钟，有这个-这个-这个；三秒钟，有这个-这个-这个，等等。在一个小时的视频中，基于每一秒钟，有着对象的整个数据库，在该数据库中协调文件内的对象。人工智能技术用于解释视频中预定部分(例如，每个角落)中发生了什么事情。ai可能表示左侧有杯子，右侧有白色的盘子，另一个角落有白色的杯子，以及这个是这个。ai解释每个帧中发生了什么事情，并将信息写在文件中，例如
json格式的文件。任何时间有请求时，都可以回看此文件。也就是说，这个过程是一次性的分析，人工智能完全解释了一切。此外，ai它解释了视频中出现的品牌名称，例如，通过访问存储在广告库中的产品字典。
24.因此，当向观看者播放视频时，观看者可以轻触每个对象(其已被标记在每个像素中)，然后看见适合的，对应的，或匹配的基于增强现实的广告。例如，在图1中，系统已自动检测到整个吉他，从而当有人轻触这整个吉他的任何部分时，就会出现基于ar的关于吉他的广告。
25.图2中示出了另一实施例。在图2中，系统先前已检测并标记了鞋子202，并且在用户在鞋子上点击鼠标或将鼠标移动到鞋子上时，自动实时地向观看者显示带有供应商徽标206的ar广告204。
26.在一个实施例中，当观看者观看视频时，系统持续监控和分析观看者与站点的链接，并基于该信息创建系统判定观看者想要以广告看到的对象的列表。更具体地说，过程如下进行。在视频1中：有10个对象；视频2中有5个对象；在视频3中有2个对象；在视频4中，有1个对象并带有基于增强现实的广告。根据该过程，在视频1中，系统识别出10个对象，并将观看者的统计数据和兴趣与这些对象进行匹配，执行统计分析，然后基于第一个视频及他的先前的历史，植入包含落入观看者统计数据和兴趣范围内的5个对象的视频。该过程重复进行，直到系统检测到系统判定的观看者想要购买的一个对象，并植入适合的广告。也就是说，系统重复该过程，直到系统找到观看者最有可能喜欢的对象，并将广告植入或覆盖。例如，在图3中，系统已识别艺术家302的身份，并植入关于他的音乐的基于增强现实的动画304和徽标306。
27.可以参考图4，网络环境400的高层面架构的示意图来理解实施例。创建者将视频上传到站点，以便其他人之后可以观看该视频。例如，创建者420将他们的视频上传到企业或社交网络站点(例如，tiktok，youtube，或facebook)的数据库421。
28.一旦视频被上传，就对该视频进行分析。例如，响应于视频文件被上传到创建者视频数据库421，视频分析组件412处理该视频。在实施例中，视频分析组件412可以包括处理器和一个或多个应用程序编程接口(api)，以根据一个或多个规定(proscribed)的算法来处理数据。在实施例中，视频分析组件412将在四个部分对视频进行分析：
29.分析基本或标准视频信息；
30.分析以识别和确定视频内的对象；
31.根据释义(definition)的预定分类系统判定或建立对象的类别；以及
32.确定每个对象的确切产品，例如通过参考预加载的广告服务器或广告库。
33.在完成上述分析处理之后，视频分析组件412将视频文件记录到日志文件或登记簿(register)文件。此外，视频分析组件412将分析产生的数据记录到json格式的文件中，并将json文件存储在处理视频数据库414中以供将来获取。
34.可以参考与本文实施例一致的示例性视频分析算法的伪代码，表a来理解实施例。
35.表a
[0036][0037]
根据示例性视频分析算法，该过程导入上传的视频，视频分析文件，和生成的视频。这些文件可能被填入信息，或者它们也可能不被填入信息。这些文件以及它们的数据被存储在数据库414中。应当理解，视频被存储在数据库414中。该过程提取导入的确切数据和时间，被称为导入日期时间。然后，该过程从数据库中导入检测到的对象，对象的独特的类集和字典。例如，在视频中检测到的对象可能是裤子，衬衫，和鞋子。然后，导入独特的类集。例如，衬衫是给女人的，裤子是给年轻男人的，鞋子是给年轻男人的。然后，导入独特的字典。例如，每个对象的确切产品。鞋子为耐克(nike)，产品编号12345。确切的产品是通过在广告服务器或库(例如，广告服务器408)中执行匹配操作来判定的，供应商先前已在该广告服务器或库中提供了他们的产品信息。然后，将信息数据写入记录或文件(例如，json文件)，以供将来获取。此外，该过程从视频的每一帧中寻找信息，从视频中提取帧到帧的信息。该过程还从元组(tuple)中提取索引。出于本文讨论的目的，元组意思是当视频被分成数千个不同的帧时，每个帧被指派一个数字(1，2等)。在流程结束时，系统获得基本用户信息和登录号。
[0038]
因此，例如，如果创建者420加载一个视频，其中人戴着一顶女式白色耐克帽子，则该过程被配置为知道帽子出现在哪个帧上以及该帽子的确切品牌和产品编号。
[0039]
在实施例中，供应商418在广告服务器数据库408中传输产品描述数据(例如，产品编号，颜色，尺寸等)，以供潜在观看者购买。这个过程可以持续进行。当供应商准备好出售它的产品时，供应商可以向广告服务器408提供所需的信息。在实施例中，供应商能够通过将数据从供应商的站点418经由通信网络419传输到广告服务器数据库408来提供广告数据。在另一实施例中，供应商的站点418直接可通信地连接到广告服务器408。
[0040]
根据本文的实施例，观看请求观看视频。例如，观看者410向前端408组件发出观看视频的请求。例如，观看者可能想在tiktok上观看特定视频。
[0041]
前端406接收请求并执行以下操作：
[0042]
从用户行为分析组件415获得关于用户的(持续执行的)用户行为分析；以及
[0043]
将视频请求信息连同用户行为分析数据一起转发到后端404/api广告匹配组件413。
[0044]
可以参考与本文实施例一致的示例性用户行为分析算法的伪代码，表b来理解实施例。
[0045]
表b
[0046][0047]
响应于该请求，视频分析处理器412向api广告匹配413发送视频信息，例如视频中所识别的对象。api广告匹配413获得这两个输入，即来自用户行为分析组件的输入和来自视频分析组件的输入，将来自每个输入的数据一起比较，并判定匹配对象和指派其各自的分数。后端可能表示有10个对象(衬衫，裤子，帽子等)，前端可能表示有两个对象(衬衫和鞋子)，是该人感兴趣的。例如，api广告匹配413可以判定衬衫得到8分(例如，因为有来自视频分析输入的衬衫对象与来自用户行为分析输入的衬衫相匹配)，以及鞋子得到1分(例如，api广告匹配组件413可能被指示提供备份或默认类型的对象，或者鞋子可能根据其他因素(例如过去的输入对象)得到1分)。或者，api广告匹配组件413可以判定仅请求衬衫广告而不是裤子广告(例如，api广告匹配组件413可能被指示仅向广告服务器408提交一个对象(例如，具有最高分数的对象)和属性)。然后，api广告匹配413将最佳对象的分数和属性一起发送给广告服务器408，以获得产品信息数据(先前由供应商提供并存储在其中)。例如，api广告匹配413将衬衫属性和对应的8分分数发送给广告服务器408，以获得该衬衫的确切产品广告相关信息数据(例如，耐克衬衫，尺寸＝男式小码，颜色＝绿色，产品#45678)。
[0048]
在实施例中，广告服务器408接收分数和属性，并寻找/判定对于该视频的相应的(例如，最佳)广告，并将对应于该产品的广告文件发送回后端404/api广告匹配412组件。在实施例中，由供应商通过适合的存储能力(例如字典，查找表，数据库和相关支持等)向广告服务器408预填入了与产品相关的数据。在实施例中，每当供应商想要提出它的产品时，供应商将与产品相关的数据加载到广告服务器组件408。供应商上传产品以进行出售或促销的这个过程可由同一供应商或其他供应商持续地发生。
[0049]
api广告匹配组件412接收最佳广告文件并执行双重检查操作以确保准确性。例如，它检查接收到的广告文件中对象的属性是否与产品的属性匹配(例如，收到的产品是绿色的女式衬衫吗？)。
[0050]
在实施例中，后端组件404将来自处理视频数据库的请求视频文件以及来自api广告匹配412的最佳广告文件递送到前端组件406。
[0051]
在实施例中，内容分层放置组件416接收广告文件和视频，并将广告的内容分层放置到请求视频上，以创建视频加广告包。应当理解的是，这种内容分层放置过程可以在观看者已经在观看视频时实时发生。或者，内容分层放置过程可以发生在观看者开始观看视频之前，当视频呈现给观看者时。例如，广告内容可以已经被分层放置在特定帧上并且不会被呈现，直到观看者的流处理到达这些帧处。
[0052]
此外，在实施例中，可以根据以下过程的一个或多个将广告内容分层放置，叠加，或注入视频中：
[0053]
内容分层放置；
[0054]
内容注入；
[0055]
内容再利用(repurposing)；
[0056]
内容再造(re-forging)；
[0057]
支持gan的内容编辑；以及
[0058]
内容编辑。
[0059]
应当理解，本文中的术语“内容分层放置”可用于表示上文概述的任何特定过程，且不意味着是限制性的。
[0060]
此外，应当理解，本文中使用的术语“内容层”可指视频中产品植入。在图1(104和106)，图2(204，206)，和图3(304和306)中示出了这样的视频中产品植入的示例。
[0061]
在实施例中，前端406将视频加广告包递送给观看者410以供观看。
[0062]
在某一时刻，观看者决定在视频内购买产品。在实施例中，观看者410通过以下方式与视频交互以购买所呈现的产品：
[0063]
通过选择覆盖的产品详细信息窗口并输入所需的观看者信息数据(例如，地址，付款信息(例如，信用卡号)，和产品属性)，点击或选择该广告以在视频内购买产品。例如，产品植入gui(例如，106)可以是可编辑的，其中观看者可以插入所需的购买信息。在另一个实现中，产品植入gui(例如，204)可以具有嵌入式链接，使得当观看者点击gui(例如，204)时，可以弹出另一个gui(例如，对话框窗口)，观看者可以在其中插入上面讨论的购买信息。
[0064]
响应于接收到观看者的输入信息，购买产品417组件可以执行以下操作：
[0065]
一)将观看者重定向到供应商在最初提供给广告服务器408的信息中提供的链接。该链接可将观看者带到该产品的广告，观看者可以从该广告继续购买该产品。或者，该链接可以将观看带到供应商的站点418，观看者可以从该站点继续购买该产品。
[0066]
二)允许观看者在视频本身内购买产品。前端406/购买产品417组件取得上述三条观看者信息数据，并将这些信息发送给供应商的站点418以完成购买。
[0067]
在实施例中，通信网络419被示出为通用通信系统。在一个实施例中，通信网络419包括因特网。在一个实施例中，通信网络419包括api网关402，用于前端406，后端404，和广告服务器408的api进行连接和通信的逻辑枢纽。在实施例中，api网关402监控并组织来自
感兴趣方的api请求。同样，api网关402可以执行其他辅助操作，例如认证，速率限制等。因此，接口可以是调制解调器或其他类型的因特网通信设备。或者，通信网络419可以是电话系统，射频(rf)无线系统，微波通信系统，光纤系统，内部网系统，本地接入网(lan)系统，以太网系统，电缆系统，射频系统，蜂窝系统，红外系统，卫星系统，或由多种类型的通信介质组成的混合系统。在这些实施例中，接口被配置为根据需要与通信网络419建立通信链路等，并且被配置为通过其耦接到的特定类型的通信网络419进行通信。
[0068]
在实施例中，前端406是面向观看者或最终用户的组件，例如由企业提供的那些组件。托管(hosting)前端406组件的企业的示例可以包括社交网络站点(例如，facebook，instagram等)或专用短视频观看网站(例如，tiktok)。在实施例中，观看者设备，其可以被代表为观看者410，可以作为应用内连接而直接与前端组件406连接。
[0069]
可以参考图5，api广告匹配过程和最佳广告文件递送过程500的示意图来理解api广告匹配过程的实施例。具有api的视频分析处理器(例如，图4的412)将视频分析数据发送给api广告匹配处理器(例如，图4的413)。类似地，用户行为分析处理器和api组件(例如，图4的415)也将观看者的用户行为数据发送给api广告匹配处理器(例如，图4的413)。如上所述，api广告匹配处理器(例如，图4的413)比较来自两个输入的数据，以生成被认为是两个输入共同的对象及他们各自的分数。然后，api广告匹配处理器(例如，图4的413)将分数和对应的对象属性发送给广告数据库或库(例如，图4的408)，以得到每个对象的产品匹配。在另一实施例中，api广告匹配处理器(例如，图4的413)可仅将最高分数和对应属性发送给广告数据库或库(例如，图4的408)以得到匹配产品。在实施例中，当在预定容许偏差测量范围内不存在匹配时，可以不返回任何产品。类似地，可以返回最佳适配的产品。
[0070]
在实施例中，广告数据库或库(例如，图4的408)将广告文件发送给api广告匹配处理器(例如，图4的413)。这样的处理器可在预定容许偏差内验证广告文件中的项目是正确的。随后，广告文件被发送给前端组件406。在实施例中，广告文件被发送回用户行为分析处理器和api组件(例如，图4的415)，其然后将它发送给前端406内的适合的处理组件。或者，将广告文件发送回内容分层放置/操作组件(例如，图4的416)，以便被分层放置或摄取到视频中。
[0071]
可以参考图6来理解视频分析过程的实施例，图6是用于分析和存储视频数据的流程图，包括确定视频内的对象和确定视频内的产品。应当理解，该过程可以由处理器412执行的视频分析组件来执行。在步骤610，该过程包括逐帧解析视频文件并执行以下操作。在步骤620，该过程确定关于视频的基本信息数据，例如标题和长度。在步骤630，该过程确定视频中的一个或多个内容对象，例如，衬衫，吉他，鞋子，和滑板。在步骤640，该过程确定所确定的视频的一个或多个内容对象中的每一个的分类。例如，衬衫可被归类为男式衬衫。滑板可被归类为年轻人的玩具。在步骤650，该过程为所确定的视频的一个或多个内容对象中的每一个确定可购买的产品。例如，视频分析组件412可以访问广告服务器数据库408或从广告服务器数据库408获得与视频中的对象相对应的确切产品数据。例如，视频分析组件412可从广告服务器数据库408得到衬衫类型为绿色的男式耐克运动装衬衫，产品编号为23456。在步骤660，该过程将视频文件记录在本地存储的登记簿中，以便系统知道它在那里，并且可以在随后的时间访问该视频文件信息。例如，日志条目可以包括视频的标题，视频的标识号，和其他属性，例如视频的大小和它何时被获得。在步骤670，该过程生成视频分
析文件，其中观看者请求视频并有最佳广告被显示在其上所需的信息被存储在视频分析文件内。在实施例中，这样的文件是json格式文件。在步骤680，该过程存储视频分析文件以供将来获取。也就是说，每次观看者请求观看视频时，文件中都会呈现视频的完整分析。显示给观看者的广告取决于来自用户行为分析组件(例如，用户行为分析处理器和api 415)的输入数据。在一个实施例中，视频和广告信息被递送给观看者，以及判定呈现哪个广告的是来自用户行为分析组件的输入。或者，将视频和最佳广告递送给观看者。
[0072]
可以参考图7来理解具有api的用户行为分析过程的实施例，图7是流程图，该流程图用于分析用户行为数据700，包括确定在视频上观看的对象。具有api的示例性用户行为分析过程可以是图4的415。在步骤710，该过程基于评级排名页面优化内容感知推荐来判定视频中的哪些对象是观看者最喜欢的。例如，该过程可判定观看者有一个快到生日的年轻成年儿子，以及已经判定该观看者喜欢年轻男子的运动服。在步骤720，该过程生成并持续更新对应于观看者的用户向量。例如，用户向量可以包含将观看者确定为身材矮小，具有研究生学位，并且具有在特定家庭收入范围内的印象的中年晚期妇女的信息。在步骤730，该过程基于使用用户向量的推荐来细化视频中的哪些对象是观看者最喜欢的。例如，视频可能包含有设计师款男士衬衫的对象。该过程可能会判定观看者可能喜欢此项目。在步骤740，该过程基于其他用户数据，使用用户的基于内容的和协同的行为和推荐系统，进一步细化视频中观看者最喜欢的对象。例如，该过程可能会发现观看者在社交网络应用上有喜欢去度假胜地旅游的朋友。因此，该过程可以判定，在已经选择的对象中，观看者喜欢可以在炎热天气中使用的以及用于在度假胜地类型的位置度假的对象。例如，该过程可能会确定观看者对年轻人的流行耐克帽以及一副雅致的太阳镜具有浓厚兴趣。在步骤750，该过程基于不需要的数据，使用用于top-n推荐者系统的协同去噪自动编码器，进一步细化视频中观看者最喜欢的对象。例如，该过程可能会将表示观看者观看婴儿用品的链接和视频仅一天而不是看与假期相关的视频和链接的许多天作为不相关数据而排除。
[0073]
在实施例中，平台包括后端服务器404中的一个api集和前端服务器406中的一个api集。这样的api连接了三样东西。一个是存储视频的后端数据库(例如，数据库414)，最终用户将要观看视频的前端观看体验(观看者410可访问的前端406)，和广告服务器(例如，广告服务器数据库408)。
[0074]
示例过程
[0075]
根据本文的实施例，如下描述示例性过程。在后端(例如，404)，后端api(例如，具有api的视频分析处理器412)已经分析了存储在那里(例如，数据库414)的每一个视频文件。当它分析视频时，api做了一些事情，包括查看每一帧，分析那里发生的事情，以及保存信息的日志文件。同时，前端(例如，用户行为分析处理器和api 415)不断地划分观看者。这种划分是基于观看者在如何观看内容，内容中包含什么，以及观看者对特定内容是何种反应来完成的。前端406不断地对观看者或最终用户感兴趣的内容做出反应和/或试图弄清楚什么是观看者或最终用户感兴趣的。
[0076]
然后，在观看者一侧，假设观看者正在观看某人跳舞的视频。在该视频中，在后端，观看者请求了一个视频文件。后端服务器已将视频文件发送给观看者。在后端，有一个api(后端api)知道现在观看者已经准备好接收广告。因此，后端api准备与前端通信，指示向该用户显示此小文件。然而，在传输同时，后端会从广告库中取出一个小广告，并将其与视频
一起递送到前端。
[0077]
因此，参考图1，与观看者看人弹奏吉他以及amazon弹窗和徽标一样，存在存储这类视频文件的后端服务器，并且存在具有所有分析的api，如上所述。在实施例中，在前端，当观看者正在观看视频时，后端api知道观看者准备好看见广告。前端，例如通过将对象发送给后端，请求观看者看见更有趣的吉他相关广告。后端(例如，api广告匹配处理器413)访问广告服务器408并从广告库408得到吉他广告。前端api实时或在不同的视频被递送时取出吉他广告和将该广告分层放置在观看者面前。
[0078]
可以参考图8来理解实施例，图8是当观看者观看视频(例如，创建者的视频)时的网络环境。服务器(例如，前端406)从客户端设备804接收视频请求802。响应于该接收，授权处理器808判定客户端是否被授权获得或观看该视频。例如，服务器检查它是私有视频还是公共视频。如果是公共视频，则服务器会检查该客户端是否具有访问能力。如果是，该过程将沿着“是”路径继续。如果不是，则向客户端804返回或显示错误代码818。如果是，则控制转到api端点处理器812。这样的api端点处理器812检查该请求本身是否可接受810。如果否，则执行适合的错误处理822。如果是，控制转到清理(sanitization)处理器816。在步骤814，这样的处理器去除请求中潜在危险协议。在这样做之后，在步骤824，视频在客户端被上传，同时用户历史记录被更新，并且来自广告库的适合的广告与视频一起被发送。在步骤826，该过程被更新并转到后端服务器820，到广告库以生成广告id。在步骤828，服务器820更新广告库或提供用户历史并生成最有希望(promising)的广告id。最有希望的广告id用于获得最有希望的广告。此类最有希望的广告由服务器820传输到客户端804以供显示830。例如，视频在标签方面有很多个人信息。标签被去除，只有视频文件被发送到客户端。因此，例如，每次创建者将视频上传到公司(例如，tiktok)视频站点上时，该站点都会记录关于该视频的详细信息。例如，有约翰，年龄等，以及其他个人详细信息的视频是谁发送了这个视频。然而，当有人在观看时，这是非常私有的信息。观看者只看到视频内容，例如，它是舞蹈视频，敏感信息被去除。
[0079]
在实施例中，步骤802(请求)可由观看者410执行；步骤824(上传视频)可由创建者420执行；步骤826(处理更新的广告库并生成广告id)可由广告服务器数据库408执行；以及步骤830(显示适合的广告)可由前端服务器406执行。
[0080]
可以参考图9来理解实施例，图9是在每次视频上传期间的网络环境。类似地，如图8那样，服务器(例如，前端406)从客户端设备904接收视频请求902。响应于该接收，授权处理器908判定客户端是否被授权获得或观看该视频。例如，服务器检查它是私有视频还是公共视频。如果是公共视频，则服务器会检查该客户端是否具有访问能力。如果是，该过程将沿着“是”路径继续。如果不是，授权过程908可判定api密钥无效906。在这种情况下，则向客户端904返回或显示错误代码918。如果是，则控制转到api端点处理器912。这样的api端点处理器912检查该请求本身是否可接受910。如果否，则执行适合的错误处理922。如果是，控制转到清理处理器916。在步骤914，这样的处理器去除请求中潜在危险协议。在这样做之后，在步骤924，在客户端上传视频。在步骤926，服务器920生成关于视频的视频分析信息。在步骤928，使用视频分析信息，服务器920生成被注入的视频。在步骤930，服务器920将视频id返回给客户端904。
[0081]
在实施例中，步骤902(请求)可由观看者410执行；步骤924(上传视频)可由创建者
420执行；并且步骤926可由视频分析组件412执行。
[0082]
可以参考图10来理解实施例，图10是用于api整体工作流的网络环境。请求处理器1104接收请求1002。授权处理器1008判定请求是否被授权1106。如果不是，则发现api不是有效的1014。错误处理代码被激活1018。如果是，api端点处理器1012检查请求是否可接受1010。如果不是，则错误处理代码被激活1018。如果是，则与上述实施例一致，清理处理器1016执行端点特定清理1022。然后，数据库服务器1020判定请求是否已被缓存(cache)1014。如果不是，则将请求存储在缓存1028中。如果是，则数据库服务器1020判定请求的日期和时间是否在缓存有效时间(freshnesslifetime)阈值1026内。如果不是，则数据库服务器1020判定请求是否已被重新生效1030。如果不是，则将请求存储在缓存1028中。如果是，则请求成功，并且成功代码1032与请求1004相关联。如果数据库服务器1020判定，是，请求的日期和时间在缓存有效时间阈值1026内，则请求是成功的，并且成功代码1032与请求1004相关联。在步骤1034，请求完成1034。
[0083]
在实施例中，步骤1002(请求)可由观看者410执行；步骤1024(被缓存？)，1026(在缓存有效时间内)，1028(存储在缓存中)，和1030(重新生效？)可由后端服务器404执行；以及步骤1034(请求完成)可由前端服务器406执行。
[0084]
在另一示例性方面中，本文公开了一种用于使用增强现实提供视频中产品植入和视频中购买能力的方法。该方法包括接收视频请求，所述请求由观看者发起；响应于接收所述请求，从视频数据库获取与所述请求视频相对应的视频分析数据文件，所述视频分析数据文件包括关于所述视频的分析数据；接收用户行为数据文件，所述用户行为数据文件包括关于所述观看者的当前观看习惯和观看偏好的信息；将所述视频分析数据文件和所述用户行为数据文件传输到由处理器执行的广告匹配组件；通过所述广告匹配组件比较所述视频分析数据文件和所述用户行为数据文件，并从每个被认为是匹配的所述文件中判定一个或多个类似对象；由所述广告匹配组件为所述一个或多个匹配对象生成对应的一个或多个分数；向由处理器执行的广告服务器组件传输与所述匹配对象中的一个相对应的最高分数和所述匹配对象中的所述一个的属性；从所述广告服务器组件接收与所述最高分数和所述属性相对应的广告文件，以及所述广告文件包括产品数据，其中所述产品与所述最高分数和所述属性相关联；从所述视频数据库获取所述请求视频文件；将与所述请求视频和所述广告文件相对应的所述视频文件递送给由处理器执行的前端组件，所述递送旨在用于内容分层放置组件以呈现给所述观看者；以及在显示所述视频之前，通过所述内容分层放置组件将所述广告文件的内容叠加或注入到所述视频中，其中所述广告文件的所述叠加或注入内容包括所述产品数据，并且其中所述可显示的产品数据被配置为交互式的，以供所述观看者购买所述产品。
[0085]
此外，其中所述视频分析文件由处理器执行的视频分析组件生成，所述视频分析组件逐帧解析所述视频文件并执行以下操作：确定关于所述视频的基本信息数据；确定视频中的一个或多个内容对象；确定所确定的所述视频的一个或多个内容对象中的每一个的分类；为所确定的所述视频的一个或多个内容对象中的每一个确定可购买的产品；将所述视频文件记录在本地存储的登记簿中；生成所述视频分析文件；以及存储所述视频分析文件以供将来获取。
[0086]
此外，所述视频分析文件是json格式的文件。
[0087]
此外，所述视频文件由所述创建者上传到所述视频数据库。
[0088]
此外，该方法还包括：由所述广告服务器组件持续地从一个或多个供应商接收与所述一个或多个供应商提出的产品相对应的产品描述数据；以及通过所述广告服务器组件在本地字典中存储关于所述产品的所述产品描述数据，以供将来获取；其中，所述产品描述数据足以使所述供应商确定对于购买请求的所述产品。
[0089]
另外，所述产品描述数据包括：产品价格；产品标识符；和产品属性。
[0090]
此外，该方法包括当所述视频文件在被观看者流式传输时，由处理器执行的购买产品组件从所述视频文件的覆盖产品详细信息窗口接收购买与所述覆盖产品详细信息窗口中的产品相对应的所述产品的请求，其中所述请求包括用于购买所述产品的所需观看者信息数据。
[0091]
此外，所需的观看者信息数据包括三条信息：产品将被递送到的地点的递送地址；用于促使所述产品购买的信用卡信息，借记卡信息，或其他货币信息；以及用于确定所述产品的关于所述产品的信息数据。
[0092]
此外，所述方法包括通过所述购买产品组件将所述三条信息传输给所述供应商，从而完成所述购买。
[0093]
此外，所述用户行为数据文件由处理器执行的用户行为组件生成，所述用户行为组件在所述观看者观看一个或多个视频的每一个时执行操作，所述操作包括：基于评级排名页面优化内容感知推荐，判定视频中哪些对象是观看者最喜欢的；生成并持续更新与所述观看者对应的用户向量；基于使用所述用户向量的推荐，细化视频中哪些对象是所述观看者最喜欢的；基于其他用户数据，使用用户基于内容的和协同的行为以及推荐系统，进一步细化视频中哪些对象是观看者最喜欢的；以及基于不需要的数据，使用top-n推荐者系统的协同的去噪自动编码器，进一步细化视频中哪些对象是所述观看者最喜欢的。
[0094]
此外，还采用了以下数学过程：回归模型，包括：逻辑，线性，和弹性网络；基于树的方法，包括：梯度增强和随机森林；矩阵分解；因子分解机；受限玻尔兹曼机；马尔可夫链和其他图形模型；聚类，包括：从k均值到hdp；深度学习和神经网络；线性判别分析；以及关联规则。
[0095]
此外，该方法还包括持续生成，监控，和更新以下参数：所述观看者最近观看或放弃的标题；具有类似测试和/或用户数据的成员；具有类似属性的标题；所述观看者重新观看视频的倾向；所述观看者正在观看内容的偏好；所述观看者正在观看的视频的评级；所述观看者观看节目的一天的时间；所述观看者对视频消费的贪心度；以及按所述视图使用列表搜索。
[0096]
示例机器概述
[0097]
图11是以计算机系统1100的示例形式的系统的框图，其中可以执行用于致使系统执行前述方法中的任何一种的一组指令。在替代实施例中，该系统可包括网络路由器，网络交换机，网桥，个人数字助理(pda)，蜂窝电话，网络设备或能够执行指定该系统要采取的动作的指令序列的任何系统。
[0098]
计算机系统1100包括处理器1102，主存储器1104和静态存储器1106，其经由总线1108彼此通信。计算机系统1100还可以包括显示单元1110，例如，液晶显示器(lcd)或阴极射线管(crt)。计算机系统1100还包括字母数字输入设备1112，例如，键盘；光标控制设备
1114，例如，鼠标；磁盘驱动单元1116，信号生成设备1118，例如，扬声器，和网络接口设备1128。
[0099]
磁盘驱动单元1116包括机器可读介质1124，在其上存储有一组可执行指令，即软件，1126，其体现下文所述的方法中的任何一种或全部。软件1126还显示为完全或至少部分地驻留在主存储器1104内和/或处理器1102内。软件1126还可以通过网络接口设备1128的方式在网络1130上被传输或接收。
[0100]
与上面讨论的系统1100相比，不同的实施例使用逻辑电路而不是计算机执行的指令来实现处理实体。根据应用在速度，费用，工具成本等方面的特定需求，可以通过构造具有数千个微型集成晶体管的专用集成电路(asic)来实现该逻辑。这种asic可以用cmos(互补金属氧化物半导体)，ttl(晶体管-晶体管逻辑)，vlsi(超大系统集成)，或其他适合的构造来实现。其他替代方案包括数字信号处理芯片(dsp)，离散电路(例如电阻器，电容器，二极管，电感器，和晶体管)，现场可编程门阵列(fpga)，可编程逻辑阵列(pla)，可编程逻辑器件(pld)等。
[0101]
应当理解，实施例可以用作或支持在一些形式的处理核心(例如计算机的cpu)上执行的软件程序或软件模块，或者在系统或计算机可读介质上或其中实现或实施的软件程序或软件模块。机器可读介质包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制。例如，机器可读介质包括只读存储器(rom)；随机存取存储器(ram)；磁盘存储介质；光存储介质；闪存设备；电气，光学，声学或其他形式的传播信号，例如红外信号，数字信号等；或适合于存储或传输信息的任何其他类型的介质。
[0102]
此外，应当理解，实施例可以包括执行操作和使用云计算存储。出于本文讨论的目的，云计算可意味着在任何网络上执行算法，该网络可由因特网支持或网络支持的设备，服务器，或客户端访问，并且不需要复杂的硬件配置，例如需要电缆和复杂的软件配置，例如需要顾问来安装。例如，实施例可以提供一个或多个云计算解决方案，该解决方案使得用户(例如移动中的用户)能够在这种因特网支持或其他网络支持的设备，服务器，或客户端上购买视频内的产品。还应当理解，一个或多个云计算实施例包括使用移动设备，平板电脑等在视频内购买，因为这些设备正在成为标准消费设备。
[0103]
尽管本文根据几个实施例描述了本技术，但本领域技术人员将容易理解，在不脱离本技术的精神和范围的情况下，可以用其他应用代替本文所述的那些应用。因此，本技术仅应受到以下权利要求的限制。