用于检测应用不当地实施对内容项的呈现的系统和方法与流程

用于检测应用不当地实施对内容项的呈现的系统和方法
1.分案说明
2.本技术属于申请日为2017年3月3日的中国发明专利申请201780002022.3的分案申请。
技术领域
3.本公开涉及用于检测在客户端设备上执行的应用不当地实施对内容项的呈现的系统和方法。


背景技术：

4.在计算机联网环境(诸如，互联网)中，可以响应于对内容的请求而将来自服务器的数据传送至客户端设备。该客户端设备从服务器接收数据。该数据可以包括用于渲染与用于在客户端设备处显示的数据对应的内容。内容发布方可以指定与内容项(例如，本地内容项)的呈现参数对应的指令。


技术实现要素：

5.至少一个方面涉及一种用于检测在客户端设备上执行的应用不当地呈现内容项的方法。该方法可以检测由于应用对内容项的不当呈现而在客户端设备上执行的应用中进行的与本地内容项的无意交互。该方法可以包括：由在包括一个或者多个数据处理器的客户端设备上执行的应用，从第一服务器接收包括第一内容项、第二内容项和交互确认脚本的内容包，交互确认脚本被配置为在客户端设备上执行的应用内执行并且使应用：响应于在客户端设备处的应用内呈现的第一内容项，检测与该第一内容项进行的第一交互事件；在检测到第一内容项上的第一交互事件之后，在应用内呈现第二内容项；检测与第二内容项进行的第二交互事件；在检测到第二交互事件之后，向第一服务器传输对第一交互事件的确认；以及向第二服务器传输访问链接至第二内容项的信息资源的请求。该方法可以进一步包括：响应于第二内容项上的第二交互事件，由客户端设备呈现信息资源。
6.在一些实施方式中，第一内容项包括被配置为与应用的其它内容项的显示参数匹配的本地内容项。在一些实施方式中，第二内容项包括被配置为在被显示时占用应用的显示区域的主要部分的插播式内容项。在一些实施方式中，第二内容项包括脚本，该脚本包括用于应用检测第二交互事件并且传输第一交互事件的确认的指令。在一些实施方式中，第一内容项包括与第二内容项中包括的文本相同的文本。
7.在一些实施方式中，交互确认脚本进一步包括计算机可执行指令，该计算机可执行指令在由应用执行时使应用在检测到第一交互事件之后向第一服务器传输第一交互事件的指示。在一些实施方式中，第一服务器被配置为将内容限制列表保持在数据库中，该内容限制列表包括与多个应用对应的多个应用标识符，内容限制列表用于响应于来自列表上的应用标识符所对应的多个应用的内容请求而对选择第一内容项用于传输进行限制。在一些实施方式中，第一服务器进一步被配置为：响应于未能从应用接收到确认，将应用的应用
标识符添加至内容限制列表；以及响应于接收到随后的内容请求，确定对选择第一内容项以传输至内容限制列表上的应用标识符所对应的应用进行限制。在一些实施方式中，第一交互事件的确认包括用于识别应用的应用标识符。
8.至少一个方面涉及一种用于检测在客户端设备上执行的应用不当地呈现内容项的系统。该系统可以检测由于应用对内容项的不当呈现而在客户端设备上执行的应用中进行的与本地内容项的无意交互。该系统可以包括：处理器；以及存储器，该存储器耦合至处理器。存储器可以存储计算机可执行指令，该计算机可执行指令在由处理器执行时使处理器：由在客户端设备上执行的应用从第一服务器接收包括第一内容项、第二内容项和交互确认脚本的内容包。交互确认脚本可以被配置为在客户端设备上执行的应用内执行并且响应于在客户端设备处的应用内呈现的第一内容项，使应用检测与第一内容项进行的第一交互事件；在检测到第一内容项上的第一交互事件之后，在应用内呈现第二内容项；检测与第二内容项进行的第二交互事件；在检测到第二交互事件之后，向第一服务器传输第一交互事件的确认；以及向第二服务器传输访问链接至第二内容项的信息资源的请求。该计算机可执行指令可以进一步使处理器：响应于第二内容项上的第二交互事件，由客户端设备呈现信息资源。
9.在一些实施方式中，第一内容项包括被配置为与应用的其它内容项的显示参数匹配的本地内容项。在一些实施方式中，第二内容项包括被配置为在被显示时占用应用的显示区域的主要部分的插播式内容项。在一些实施方式中，第二内容项包括脚本，该脚本包括用于应用检测第二交互事件并且传输第一交互事件的确认的指令。在一些实施方式中，第一内容项包括与第二内容项中包括的文本相同的文本。
10.在一些实施方式中，交互确认脚本进一步包括计算机可执行指令，该计算机可执行指令在由应用执行时使应用在检测到第一交互事件之后向第一服务器传输第一交互事件的指示。在一些实施方式中，第一服务器被配置为将内容限制列表保持在数据库中，该内容限制列表包括与多个应用对应的多个应用标识符，内容限制列表用于响应于来自列表上的应用标识符所对应的多个应用的内容请求而对选择第一内容项用于传输进行限制。在一些实施方式中，第一服务器进一步被配置为：响应于未能从应用接收到确认，将应用的应用标识符添加至内容限制列表；以及响应于接收到随后的内容请求，确定对选择第一内容项以传输至内容限制列表上的应用标识符所对应的应用进行限制。在一些实施方式中，第一交互事件的确认包括用于识别应用的应用标识符。
11.至少一个方面涉及一种用于检测在客户端设备上执行的应用中不当地呈现内容项的方法。该方法可以检测由于应用对内容项的不当呈现而在客户端设备上执行的应用中进行的与本地内容项的无意交互。该方法包括：由包括一个或者多个处理器的数据处理系统接收来自多个客户端设备的内容请求，内容请求中的每个内容请求由在多个客户端设备中的相应客户端设备上执行的应用生成。该方法可以进一步包括：响应于来自客户端设备的内容请求，由数据处理系统向多个客户端设备的第一子集中的每个客户端设备传输包括第一内容项、第二内容项和交互确认脚本的内容包，交互确认脚本被配置为使应用：将第一内容项配置为按照第一呈现格式呈现，按照第一呈现格式来呈现第一内容项，响应于检测到第一内容项的第一交互事件，显示第二内容项，以及响应于检测到第二内容项的第二交互事件，向数据处理系统传输确认。该方法可以进一步包括：响应于来自客户端设备的内容
请求，由数据处理系统向多个客户端设备的第二子集中的每个客户端设备传输第一内容项。该方法可以进一步包括：由数据处理系统基于从多个客户端设备的第一子集接收到的确认来确定第一内容包的第一性能度量。该方法可以进一步包括：由数据处理系统基于从客户端设备的第二子集接收到的确认来确定第一内容项的第二性能度量；该方法可以进一步包括：由数据处理系统将第一性能度量与第二性能度量相比较。该方法可以进一步包括：由数据处理系统基于比较将应用的应用标识符添加至内容限制列表，该内容限制列表用于响应于识别应用的后续内容请求而对选择第一内容项用于传输进行限制。
12.在一些实施方式中，第一内容项包括被配置为与应用的其它内容项的显示参数匹配的本地内容项。
13.下面详细讨论这些和其它方面以及实施方式。前述信息和以下详细描述包括各个方面和实施方式的说明性示例，并且提供用于理解要求保护的方面和实施方式的性质和特性的概述或者框架。附图提供了对各个方面和实施方式的说明和进一步理解，并且被并入以及构成本说明书的一部分。要了解，可以组合方面和实施方式，并且可以在其它方面的场境中实施在一个方面或者一种实施方式的场境中描述的特征。
附图说明
14.不旨在按比例绘制附图。各个附图中的相同附图标记和标号指示相同的元件。为了清楚起见，并非可以在每个附图中标注每个组件。
15.在附图中：
16.图1是描绘了根据一些实施方式的用于检测在客户端设备上执行的应用不当地呈现内容项的环境的框图。
17.图2是描绘了根据一些实施方式的用于检测在客户端设备上执行的应用不当地呈现内容项的系统的框图。
18.图3是图示了根据一些实施方式的在用于检测在客户端设备上执行的应用不当地呈现内容项的环境内的通信的信令图。
19.图4是描绘了根据一些实施方式的用于检测与本地内容项的无意交互的方法的流程图。
20.图5是描绘了根据一些实施方式的用于检测与在相对于图4描述的客户端设备上执行的应用通信的数据处理系统不当地呈现内容项的方法的流程图。
21.图6是描绘了根据一些实施方式的可以采用以实施本文描述的和图示的系统和方法的元件的用于计算机系统的一般架构的框图。
具体实施方式
22.以下是对与用于检测在客户端设备上执行的应用不当地呈现内容项的方法、装置、和系统有关的各个概念和该方法、设备、和系统的实施方式的更详细的描述。可以按照多种方式中的任意一种来实施上面引入的并且在下面更详细讨论的各个概念，因为所描述的概念不限于任何特定方式的实施方式。
23.本公开涉及用于检测在客户端设备上执行的应用不当地呈现内容项的系统和方法。具体地，本公开涉及用于检测在移动计算设备上执行的应用中进行的与内容项的错误
交互的系统和方法。
24.在移动应用内，可以按照在本地格式或者插播式格式来将动态加载的内容项(诸如，图像、视频、或者其它可显示的内容)嵌入到应用的观感内。在本地格式中，独立于最终显示内容项的移动应用，内容项发布方可以自由地定制内容项的特性，诸如，内容项分量的字体、颜色、位置、或者内容项的其它细节。在插播式格式中，通常在应用的流程中的自然转换点或者逻辑中断处显示内容项，并且可以覆盖应用的常规用户界面(例如，可以全屏显示插播式内容项)。
25.对于本地格式的内容项，通常，服务本地内容项需要提供当内容发布方认为合适时内容发布方可以自由地实施或者显示的内容项的独立分量(例如，标题、图像、描述等)。然而，发布方经常会不当地显示本地内容项，引起由于无意的用户交互而导致的不良用户体验。例如，考虑使得可以通过滑过移动设备的锁定屏幕来解锁移动设备的“滑动以解锁”功能。在锁定屏幕上，移动设备还可以显示也是通过滑动激活的内容项。内容项可能被不正确地显示在“滑动解锁”区域上或者非常靠近“滑动以解锁”区域。同样，当用户滑动以解锁移动设备时，不仅可以将滑动识别为滑动以解锁，可以附加地(并且不正确地)识别为与内容项的交互，这引起移动设备执行不想进行的操作，诸如，在与无意滑动的内容项相关联的浏览器中打开链接。
26.存在相对于在客户端设备的应用内不正确地呈现的内容项(例如，在应用内不当地渲染的内容项)的技术问题。例如，使客户端设备执行处理对不正确地显示或者呈现的内容项的无意点击的计算机可执行指令可能引起增加的电池消耗，在提供与无意点击的内容项相关联的数据时网络资源的浪费，以及可能不利地影响客户端设备的性能的附加计算资源。此外，与内容项的无意交互可能引起糟糕的用户体验。
27.图1是描绘了根据一些实施方式的用于检测在客户端设备上执行的应用不当地呈现内容项的环境的框图。环境100包括至少一个数据处理系统110。该数据处理系统110可以包括至少一个处理器(或者处理电路)和存储器。该存储器存储处理器可执行指令，该指令在由处理器执行时使处理器执行本文描述的操作中的一种或者多种操作。处理器可以包括：微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)等，或者其组合。存储器可以包括但不限于：电子存储设备、光学存储设备、磁存储设备、或者能够向处理器提供程序指令的任何其它存储设备或者传输设备。存储器可以进一步包括：软盘、cd-rom、dvd、磁盘、存储器芯片、asic、fpga、只读存储器(rom)、随机存取存储器(ram)、电可擦除rom(eeprom)、可擦除可编程rom(eprom)、闪速存储器、光学介质、或者通过其处理器可以读取指令的任何其它合适的存储器。指令可以包括来自任何合适的计算机编程语言的代码。数据处理系统110可以包括可以执行各种函数的一个或者多个计算设备或者服务器。
28.网络105可以包括：计算机网络(诸如，互联网)、本地网络、广域网、城域网或者其它区域网络、内联网、卫星网络、其它计算机网络(诸如，语音或者数据移动电话通信网络)、和其组合。环境100的数据处理系统110可以经由网络105来与例如，至少一个内容提供方计算设备115、至少一个内容发布方计算设备120、或者至少一个客户端设备125进行通信。网络105可以是在客户端设备125、数据处理系统110、和一个或者多个内容源(例如，web服务器、内容服务器等)之间中继信息的任何形式的计算机网络。例如，网络105可以包括：互联网和/或其它类型的数据网络，诸如，局域网(lan)、广域网(wan)、蜂窝网络、卫星网络、或者
其它类型的数据网络。网络105还可以包括被配置为在网络105内接收和/或传输数据的任何数量的计算设备(例如，计算机、服务器、路由器、网络交换机等)。网络105可以进一步包括任何数量的硬连线连接和/或无线连接。例如，客户端设备125可以与硬连线(例如，经由光缆、cat5电缆等)至网络105中的其它计算设备的收发器无线地进行通信(例如，经由wifi、蜂窝、无线电等)。
29.内容提供方计算设备115可以包括服务器或者由内容提供方实体操作以提供要显示在客户端设备处的信息资源上的一个或者多个内容项的其它计算设备。由内容提供方计算设备115提供的内容可以包括要显示在信息资源(诸如，包括主要内容(例如，由内容发布方计算设备120提供的内容)的网站或者网页)上的第三方内容项。还可以将内容项显示在搜索结果网页上。例如，内容提供方计算设备115可以提供或者是要显示在内容网页(诸如，公司的网页，其中，网页的主要内容由公司提供)的内容槽中或者要显示在由搜索引擎提供的搜索结果着陆页面上的一个或者多个内容项的源。可以将与内容提供方计算设备115相关联的内容项显示在除了网页之外的信息资源上，诸如，作为在智能电话或者其它客户端设备125上的应用(诸如，全球定位系统(gps)或者地图应用，或者其它类型的应用)的执行的一部分而显示的内容。
30.内容发布方计算设备120可以包括由内容发布实体操作以提供要经由网络105显示的主要内容的服务器或者其它计算设备。例如，内容发布方计算设备120可以包括提供要显示在网页上的主要内容的网页操作员。主要内容可以包括除了由内容发布方计算设备120提供的内容之外的内容，并且网页可以包括配置来显示来自内容提供方计算设备115的第三方内容项的内容槽。例如，内容发布方计算设备120可以操作公司的网站，并且可以提供有关该公司的内容以便在网站的网页上显示。网页可以包括配置来显示内容提供方计算设备115的第三方内容项的内容槽。在一些实施方式中，内容发布方计算设备120包括操作搜索引擎网站的搜索引擎操作员的搜索引擎计算设备(例如，服务器)。搜索引擎网页(例如，结果或者着陆网页)的主要内容可以包括搜索结果以及显示在内容槽中的第三方内容项(诸如，来自内容提供方计算设备115的内容项)。在一些实施方式中，内容发布方计算设备120可以包括用于服务视频内容的服务器。
31.客户端设备125可以包括被配置为经由网络105进行通信以显示数据(诸如，由内容发布方计算设备120提供的内容(例如，主要网页内容或者其它信息资源)和由内容提供方计算设备115提供的内容(例如，配置来在网页的内容槽或者应用中显示的第三方内容项))的计算设备。例如，可以将客户端设备125配置为运行由内容发布方计算设备120创建或者发布的应用，并且该应用可以被配置为在其中显示内容项(例如，本地内容项)。客户端设备125、内容提供方计算设备115、和内容发布方计算设备120可以包括：台式计算机、膝上型计算机、平板计算机、智能电话、个人数字助理、移动设备、消费者计算设备、服务器、客户端、数字视频录像机、电视机的机顶盒、视频游戏机、或者被配置为经由网络105来进行通信的任何其它计算设备。客户端设备125可以是通信设备，通过该通信设备，终端用户可以提交接收内容的请求。请求可以是对搜索引擎的请求，并且请求可以包括搜索查询。在一些实施方式中，请求可以包括访问网页的请求。
32.内容提供方计算设备115、内容发布方计算设备120和客户端设备125可以包括处理器和存储器，即，处理电路。存储器存储机器指令，该指令在由处理器执行时使处理器执
行本文描述的操作中的一种或者多种操作。处理器可以包括：微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)等，或者其组合。存储器可以包括但不限于：电子存储设备、光学存储设备、磁存储设备、或者能够向处理器提供程序指令的任何其它存储设备或者传输设备。存储器可以进一步包括：软盘、cd-rom、dvd、磁盘、存储器芯片、asic、fpga、只读存储器(rom)、随机存取存储器(ram)、电可擦除rom(eeprom)、可擦除可编程rom(eprom)、闪速存储器、光学介质、或者通过其处理器可以读取指令的任何其它合适的存储器。指令可以包括来自任何合适的计算机编程语言的代码。
33.内容提供方计算设备115、内容发布方计算设备120、和客户端设备125还可以包括一个或者多个用户接口设备。通常，用户接口设备是指通过生成感觉信息(例如，显示器上的可视化、一种或者多种声音等)来向用户传送数据和/或将从用户接收到的感觉信息转换成电子信号的任何电子设备(例如，键盘、鼠标、指针设备、触摸屏显示器、麦克风等)。根据各种实施方式，该一个或者多个用户接口设备可以在内容提供方计算设备115、内容发布方计算设备120和客户端设备125的外壳内部(例如，内置显示器，麦克风等)或者在内容提供方计算设备115、内容发布方计算设备120和客户端设备125的外壳外部(例如，连接至用户计算设备115的监视器、连至用户计算设备115的扬声器等)。例如，内容提供方计算设备115、内容发布方计算设备120和客户端设备125可以包括电子显示器，该电子显示器通过使用经由网络105从一个或者多个内容源和/或从数据处理系统110接收到的网页数据来可视地显示网页。在一些实施方式中，内容布置活动管理器或者第三方内容提供者可以经由内容提供方计算设备115来与数据处理系统110进行通信。在一些实施方式中，内容布置管理器或者第三方内容提供方可以经由显示在内容提供方计算设备115的用户界面设备上的用户界面来与数据处理系统110进行通信。
34.数据处理系统110可以包括至少一个服务器。例如，数据处理系统110可以包括位于至少一个数据中心或者服务器场中的多个服务器。在一些实施方式中，数据处理系统110可以包括第三方内容布置系统，例如，内容服务器。数据处理系统110可以包括：至少一个内容请求模块130、至少一个内容选择模块135、至少一个脚本提供方模块140和至少一个数据库145。内容请求模块130、内容选择模块135和脚本提供方模块140各自可以包括：至少一个处理单元、服务器、虚拟服务器、电路、引擎、代理、电器、或者被配置为经由网络105来与数据库145和其它计算设备(例如，内容提供方计算设备115、内容发布方计算设备120、或者客户端设备125)进行通信的其它逻辑设备，诸如，可编程逻辑阵列。
35.内容请求模块130、内容选择模块135、和脚本提供方模块140可以包括或者执行至少一个计算机程序或者至少一个脚本。内容请求模块130、内容选择模块135、和脚本提供方模块140可以是单独的组件、单个组件、或者数据处理系统110的一部分。内容请求模块130、内容选择模块135、和脚本提供方模块140可以包括软件和硬件的组合，诸如，被配置为执行一个或者多个脚本的一个或者多个处理器。
36.数据处理系统110还可以包括一个或者多个内容存储库或者数据库145。该数据库145可以在数据处理系统110的本地。在一些实施方式中，数据库145可以在数据处理系统110远程，但是可以经由网络105来与数据处理系统110进行通信。数据库145可以包括网页、网页的一部分、第三方内容项、和异步点击传输脚本等以服务于客户端设备125。在一些实施方式中，数据库145被配置为存储内容限制列表150。该内容限制列表150可以识别在客户
端设备125上执行、不当地呈现本地内容并且因此应该被限制接收本地内容的应用(例如，如通过内容限制列表150识别到的)。下面呈现有关内容限制列表150的进一步公开内容。
37.内容请求模块130可以从客户端设备125接收对内容的请求。该对内容的请求可以包括对信息资源的请求、对一个或者多个第三方内容项的请求、对脚本的请求或者其组合。在一些实施方式中，对内容的请求可以包括对第三方内容的请求。在一些实施方式中，对第三方内容的请求可以包括要在其上显示第三方内容的信息资源的地址或者标识符。对第三方内容的请求还可以包括或者识别可以由数据处理系统110用于响应于对内容的请求而确定要提供的内容的一个或者多个参数。例如，参数可以识别插入所请求的内容的内容槽的大小。参数可以识别与信息资源相关联的内容的类型、所请求的第三方内容的类型(例如，文本、图像、视频等)、客户端设备信息、所请求的第三方内容项的大小信息或者其组合。
38.可以将内容选择模块135配置为：响应于接收到的对内容的请求，确定要传输至客户端设备125的内容。内容选择模块135可以基于对内容的请求中包括的信息来确定要发送至客户端设备125的内容。例如，在接收到对信息资源的请求之后，内容选择模块135可以使用对内容请求中的信息资源的地址或者标识符来确定要发送至客户端设备的内容。在接收到对一个或者多个第三方内容项的请求的情况下，内容选择模块135可以基于要在其上呈现第三方内容项的信息资源的地址或者标识符、信息资源的内容类型信息(例如，体育、新闻、音乐、电影、旅行等)、要在其中显示第三方内容项的槽的大小信息、客户端设备信息(例如，设备类型、设备标识符、设备位置等)来选择第三方内容项。在一些实施方式中，内容选择模块135可以访问数据库145并且检索用于发送至客户端设备125的内容。
39.在一些实施方式中，可以将内容选择模块135配置为：响应于对内容的请求，确定是否要将脚本传输至客户端设备125。内容选择模块135可以基于内容请求的类型(例如，对本地内容的请求)、对内容的请求中的信息资源标识符或者其组合来确定是否要将脚本发送至客户端设备125。在一些实施方式中，内容选择模块135可以通过对接收到的内容请求进行分类以利用交互确认协议来确定是否要将脚本发送至客户端设备125。在确定要将脚本发送至客户端设备125之后，内容选择模块135可以将对内容的请求或者其指示转发至脚本提供方模块140。在一些实施方式中，内容选择模块135可以选择要与脚本一起(诸如，交互确认脚本)发送至客户端设备125的第三方内容项。
40.可以将脚本提供方模块140配置为从数据库145中检索交互确认脚本，并且将检索到的脚本传输至客户端设备125(或者用于发送至客户端设备125的另一实体)。在一些实施方式中，可以单独地或者与第三方内容项一起将交互确认脚本传输至客户端设备125。例如，脚本提供方模块140、内容选择模块135或者数据处理系统110的另一实体可以在将第三方内容项发送至客户端设备125之前将交互确认脚本包括到第三方内容项中。在一些实施方式中，脚本提供方模块140、内容选择模块135或者数据处理系统110的另一实体可以将交互确认脚本与所请求的信息资源一起发送至客户端设备125。
41.交互确认脚本可以包括计算机可执行指令。该计算机可执行指令可以包括脚本，诸如，超文本标记语言(html)、可扩展超文本标记语言(xhtml)、可扩展标记语言(xml)、层叠样式表(css)、和javascript等。可以在客户端设备125的应用(诸如，使客户端设备125传输由内容请求模块130接收到的内容请求的应用)内执行计算机可执行指令。应用可以包括：例如，互联网浏览器、移动应用、游戏应用、gps应用、或者能够读取并且执行计算机可执
行指令的任何其它计算机程序。
42.简而言之，计算机可执行指令在被客户端设备125的处理器执行时可以使客户端设备的应用：(a)响应于在客户端设备处的应用内呈现的第一内容项，检测与该第一内容项进行的第一交互事件，(b)在检测到有关第一内容项的第一交互事件之后，在应用内呈现第二内容项，(c)检测与第二内容项进行的第二交互事件，(d)在检测到第二交互事件之后，向第一服务器传输第一交互事件的确认，以及(d)向第二服务器传输访问链接至第二内容项的信息资源的请求。本文相对于图2、图3、图4和图5进一步提供与交互确认脚本有关的附加细节。
43.图2是描绘了根据一些实施方式的用于检测在客户端设备上执行的应用不当地呈现内容项的系统的框图。交互确认系统200可以包括：应用205、信息资源210、交互事件检测模块220、内容项呈现模块225、确认生成模块230、和请求生成模块235。在一些实施方式中，交互事件检测模块220、内容项呈现模块225、确认生成模块230、和请求生成模块235可以是在交互确认脚本215内的模块。交互确认脚本系统200可以由计算设备的一个或者多个处理器(诸如，下面在图6中描述的那些处理器)运行或者执行。在一些实施方式中，交互事件检测模块220、内容项呈现模块225、确认生成模块230、和请求生成模块235中的任何一个可以是应用205、信息资源210或者交互确认脚本215的一部分。
44.在一些实施方式中，由客户端设备125经由在客户端设备125上执行的应用205来接收交互确认脚本215。可以响应于由客户端设备125发送至数据处理系统110的内容请求而由数据处理系统110将交互确认脚本215发送至客户端设备125。在一些实施方式中，由客户端设备125发送的内容请求包括对本地内容的请求。在一些实施方式中，数据处理系统110传输包括交互确认脚本215的内容包240。该内容包240可以进一步包括第一内容项245和第二内容项250以供应用205渲染和呈现。在一些实施方式中，第一内容项245包括本地内容项，并且第二内容项250包括插播式内容项。
45.在一些实施方式中，响应于从客户端设备125接收到的内容请求，数据处理系统110可以将接收到的请求分类为将触发交互确认脚本215的打包并且与选择的本地内容项(例如，第一内容项245)和类似插播式内容项(例如，第二内容项250)一起传输至客户端设备125的请求。下面呈现有关内容包240、第一内容项245、和第二内容项250的进一步公开内容。
46.应用205可以包括：例如，互联网浏览器、移动应用、游戏应用、gps应用、或者能够执行或者调用计算机可执行指令(诸如，包括在信息资源210、交互确认脚本215、交互事件检测模块220、内容项呈现模块225、确认生成模块230、和请求生成模块235中的计算机可执行指令)的任何其它计算机程序。应用205可以从托管信息资源210的服务器(诸如，内容提供方120的服务器、内容提供方115的服务器、或者数据处理系统110的服务器)获取或者接收信息资源210。
47.图3是图示了根据一些实施方式的在用于检测在客户端设备上执行的应用不当地呈现内容项的环境内的通信的信令图。现在同时参考图1至图3，客户端设备125(例如，经由应用205)可以在信号302处向数据处理系统110传输内容请求。在一些实施方式中，内容请求是对本地内容项的请求。在一些实施方式中，本地内容项可以看起来具有与由内容发布方120在应用205的环境内生成的内容相同的观感。例如，本地内容项可以包括与要在其中
显示本地内容项的应用205的周围环境匹配或者基本匹配的视觉特性。在一些实施方式中，数据处理系统110按照组成本地内容项的多个内容分量的形式来将本地内容项发送至客户端设备125，并且应用205在客户端设备125处渲染内容分量。例如，内容分量可以包括但不限于：大标题、图像、正文、对动作的调用、徽标、归属地、点击通过url等。
48.在一些实施方式中，在框303中，响应于内容请求模块130从客户端设备125接收到内容请求，内容选择模块135可以将接收到的请求分类为将触发交互确认脚本125的封装(packaging)并且与选择的本地内容项和相似的插播式内容项一起传输至客户端设备125的请求。在一些实施方式中，内容请求包括用于识别应用205的应用标识符。因此，数据处理系统110可以将作为候选应用的应用列表保持(例如，保持在数据库145中)，在该候选应用中，进行有关本机内容是否得以适当地显示的确认。在一些实施方式中，应用标识符识别应用205和识别到的应用205的特定版本。在一些实施方式中，应用标识符识别应用205的类型(例如，基于安装有应用205的客户端设备125的类型)。例如，应用标识符可以识别客户端设备125操作并且与应用205兼容的特定操作系统。
49.同样，在一些实施方式中，内容请求模块130在数据库125中执行查找以确定在内容请求中接收到的应用标识符(例如，识别请求是从应用205发送的应用标识符)是否与存储的用于识别候选应用的应用标识符中一个标识符相匹配，该候选应用用于触发确定本地内容是否得以适当地显示。
50.在一些实施方式中，一旦内容请求模块130将应用205识别为要针对本地内容呈现性能进行评估的应用，内容请求模块130就确定发送内容请求的客户端设备125是否将接收交互确认脚本215和选择的本地内容项。例如，存储在数据库145中的还可以是指派给候选应用标识符中的每一个候选应用标识符的预定百分比或者与候选应用标识符中的每一个候选应用标识符相关联，该候选应用是存储来用于相对于通过那些候选应用标识符识别到的应用触发本地内容呈现性能评估。预定百分比可以识别要分类为脚本请求以便响应于被分类为脚本请求的内容请求而发送交互确认脚本215的内容请求的百分比。
51.作为示例，如果向应用205的应用标识符指派35％的预定百分比，则内容请求模块130可以将从应用205(例如，在多个客户端设备125上)接收到的35％的内容请求分类为脚本请求，从而使得将交互确认脚本215发送至客户端设备125，该客户端设备125发送被分类为脚本请求的那些内容请求。在一些实施方式中，应用205与安装在单个客户端设备上的一个应用实例对应。在一些实施方式中，应用205与安装在多个客户端设备上的特定应用的特定版本对应。在一些实施方式中，应用205与在多个客户端设备125上的应用205的任何版本对应。因此，可以将剩余的65％的内容请求分类为非脚本请求，从而使得发送数据处理系统110将其分类为非脚本内容请求的内容请求的客户端设备125不接收交互确认脚本215，而是接收请求的本地内容项。在一些实施方式中，内容请求模块130将内容请求随机分类(例如，以由指派的预定百分比指示的速率)为脚本内容请求或者非脚本内容请求。在一些实施方式中，内容请求模块130基于预定模式来将内容请求分类为脚本内容请求(例如，当预定百分比为25％时，将每四个当中的第四个内容请求分类为脚本内容请求)。
52.除了响应于被分类为脚本内容请求的内容请求发送交互确认脚本215之外，内容选择模块135还可以选择并且提供本地内容项(例如，如最初请求的)和插播式内容项，从而使得数据处理系统110在信号304处提供包括交互确认脚本215、请求的本地内容项、和插播
式内容项的内容包。插播式内容项可以包括被呈现和显示以接管应用205的显示区域的大部分的内容项。例如，插播式内容项可以覆盖应用205的显示。在一些实施方式中，插播式内容项的实质与包括在内容包中的本地内容项的实质基本相同。在一些实施方式中，插播式内容项包括与本地内容项一起发送的内联html代码。
53.在一些实施方式中，应用205可以渲染本地内容，并且分别在框305和信号306处呈现本地内容以在应用205的环境内显示。在这种实施方式中，将包括一个或者多个内容分量的本地内容项从数据处理系统110传输至客户端设备125，其中，在客户端设备125处的应用205根据应用205的预定参数来聚集内容项的内容分量。一旦应用205通过使用内容分量来渲染本地内容，应用205就呈现渲染的本地内容以在应用205的环境内显示，从而使得渲染的内容看起来具有与由内容发布方120在应用205内生成的内容相同的观感。在一些实施方式中，内容发布方120可以建立应用205利用来聚集并且呈现本地内容项的预定参数。然而，因为这些参数因应用而异，并且依赖于独立的内容发布方120来建立，所以，一些内容发布方120可能不正确地实施参数，从而使得本地内容项被不正确地呈现在客户端设备125处，这可能引起与不正确地呈现的本地内容项的无意交互。
54.例如，内容发布方120可以建立参数以便相对于其应用进行显示。参数可以指示从数据处理系统110接收到的本地内容分量的外观。作为示例，接收到的本地内容分量可以包括本地内容项的元素，诸如，但不限于，大标题、图像、正文、行动呼吁、徽标、归属地、点击通过url等。建立的参数可以指示本地内容分量的外观，诸如，在本地内容项内的位置、颜色、字体、字体大小、交互类型(例如，轻拍或者滑动以进行交互)等。同样，参数在应用处提供用于在应用内渲染并且呈现接收到的本地内容分量的指令。在一些实施方式中，内容发布方120在内容发布方120的应用内提供本地内容参数。
55.然而，因为内容参数是由相应内容发布方120建立并且实施，所以，在应用内显示本地内容分量的方式可能存在很大差异。此外，内容发布方120可能不当地设置其参数，从而使得本地内容分量在应用内被不正确地渲染并且显示，这可能引起用户与在应用中不当地显示的本地内容项的无意交互(例如，当本地内容项不当地覆盖用户希望点击的单独的链接时)。因为这些本地内容显示参数可以因应用而异，因相同应用的版本而异(例如，1.0版本与2.0版本相比较)，或者因相同应用的不同类型而异(例如，配置用于一个操作系统的应用与配置用于另一操作系统的应用相比较)，所以，由内容发布方120设置的参数可以类似地相对于不同应用、应用的不同版本、和应用的不同类型而变化，并且因此，本地内容项可能被相对于相同应用的不同版本或者类型不当地显示。
56.在一些实施方式中，在信号308处，在客户端设备125上执行的交互事件检测模块220可以使客户端设备125在应用205内相对于呈现的本地内容项检测交互事件。例如，交互事件可以包括：点击、滑动、轻拍、光标悬停、或者与呈现的本地内容项进行的任何其它交互。
57.在一些实施方式中，在框311中，响应于在信号308处检测到交互事件，在客户端设备125上执行的内容项呈现模块225可以使客户端设备125在信号304处渲染在内容包中接收到的插播式内容项。在一些实施方式中，在客户端设备125上执行的应用205可以使客户端设备125检测是否接收到与呈现的本地内容项对应的插播式内容项(例如，包括在本地内容项中呈现的相同或者相似信息)。例如，应用205可以使客户端设备125检测在框304处的
内容包不止包括请求的本地内容项。在一些实施方式中，应用205通过确定内容包中是否存在表示插播式内容项的html内联代码来使客户端设备125检测内容包包括插播式内容项。在一些实施方式中，内容包包括标志或者用于指示除了本地内容项之外，内容包还包括插播式内容项的任何其它指示符，并且应用205可以使客户端设备125检测内容包中存在标志。
58.在一些实施方式中，响应于检测到接收到的内容包中存在插播式内容项并且响应于在信号308处检测到交互事件，在客户端设备125上执行的内容项呈现模块225可以使客户端设备125在信号304处渲染在内容包中接收到的插播式内容项。在一些实施方式中，内容项呈现模块225使客户端设备125对在内容包中接收到的内联html代码进行解析以获得对渲染插播式内容项的指令，并且然后基于指令来渲染插播式内容项。一旦渲染了插播式内容项，内容项呈现模块225就可以使客户端设备125在应用205内呈现插播式内容项。例如，可以在信息资源210中呈现插播式内容项(例如，通过占取信息资源210中的大部分空间)。
59.在一些实施方式中，在信号312处，在客户端设备125上执行的确认生成模块230可以使客户端设备125在应用205内相对于呈现的插播式内容项检测交互事件。例如，交互事件可以包括：点击、滑动、轻拍、光标悬停、或者与呈现的插播式内容项进行的任何其它交互。响应于相对于插播式内容项检测到交互事件，确认生成模块230可以使客户端设备125向数据处理系统110发送相对于本地内容项的交互事件的确认。
60.在一些实施方式中，数据处理系统110接收相对于本地内容项的交互事件的确认，并且可以基于接收到的在多个客户端设备125上的本地内容交互事件的确认来实施性能评估。例如，如上所述，数据处理系统110可以选择经由应用205来请求本地内容项的预定百分比的客户端设备125作为接收包括本地内容项、插播式内容项、和交互确认脚本的内容包(例如，向应用205做出本地内容项请求的全部客户端设备125的内容包子集)的客户端设备125，而剩余百分比的客户端设备125在不接收插播式内容项和交互确认脚本(例如，向应用205做出本地内容项请求的全部客户端设备125的非内容包子集)的情况下接收本地内容项。因此，在一些实施方式中，数据处理系统110在确定内容发布方120是否正确地渲染并且显示本地内容项(例如，由于本地内容项的不当呈现，在信号308处相对于本地内容项的第一交互事件是有意的还是无意的)时，将内容包子集和非内容包子集的性能度量相比较并且对其进行分析。
61.在一些实施方式中，数据处理系统110相对于向应用205做出本地内容项请求的全部客户端设备125的内容包子集确定性能度量。例如，性能度量可以包括表示由数据处理系统110接收到的(例如，在信号314处)确认的数量与被发送内容包(例如，在信号304处)的客户端设备125的数量相比较的百分比或者比率。因此，内容包子集的性能度量可以表示有意地与本地内容项进行交互的用户相对于发送至向应用205做出本地内容项请求的全部客户端设备125的内容包子集的独立的内容包的数量的百分比。类似地，在一些实施方式中，数据处理系统110相对于向应用205做出本地内容项请求的全部客户端设备125的非内容包子集确定性能度量。例如，性能度量可以包括表示相对于由数据处理系统110接收到的本地内容项的交互事件的指示的数量与被发送请求的本地内容项的客户端设备125的数量相比较的百分比或者比率。因此，非内容包子集的性能度量可以表示与本地内容项进行交互(例
如，有意地和无意地两者)的用户相对于发送至向应用205做出本地内容项请求的全部客户端设备125的非内容包子集的独立的本地内容项的数量的百分比。
62.在一些实施方式中，数据处理系统在确定本地内容项是否被不正确地显示在应用205中时将内容包子集的性能度量与非内容包子集的性能度量相比较。例如，数据处理系统110可以将在内容包子集的性能度量与非内容包子集的性能度量之间的差值与预定阈值相比较。在一些实施方式中，如果在两个性能度量之间的差值超过预定阈值，则数据处理系统110将应用205识别为不当地显示本地内容项。作为示例，当非内容包子集的性能度量比内容包子集的性能度量至少大了预定阈值时，数据处理系统110可以将应用205(例如，应用205的特定版本、多个版本的应用205、应用205的这个特定实例等)识别为不当地显示本地内容项。在一些实施方式中，在数据处理系统110处输入预定阈值并且将其存储在数据库145中，并且预定阈值可以是用于确定在性能度量之间的差值(例如，表示为百分比)的任何合适的值，该差值确定应用205不当地显示本地内容项(例如，预定阈值的值可以是5％、10％、15％等)。
63.在一些实施方式中，数据处理系统110基于内容包子集的性能度量而不是基于非内容包子集的性能度量来确定应用205不当地显示本地内容项。数据处理系统110可以将内容包子集本身的性能度量与预定阈值相比较，并且基于该比较来进行确定。例如，性能度量包括表示由数据处理系统110接收到的确认的数量与被发送内容包的客户端设备125的数量相比较的百分比或者比率，数据处理系统110可以将百分比性能度量与阈值百分比相比较，并且如果性能度量低于阈值百分比，则数据处理系统110可以将应用205识别为不当地显示本地内容。
64.在一些实施方式中，响应于将应用205识别为不当地显示本地内容，数据处理系统110可以相对于应用205执行的一个或者多个限制过程。例如，数据处理系统110可以将应用205添加至内容限制列表150。该内容限制列表150可以存储在数据库145中，并且可以包括识别应用205的应用标识符，从而使得数据处理系统110可以在数据处理系统110接收到包括应用205的应用标识符的传入后续内容请求时交叉引用该列表。如果数据处理系统110将请求应用的应用标识符与内容限制列表150上的应用标识符匹配，则数据处理系统110可以限制本身响应于请求传输本地内容项(例如，直到内容发布方120在应用205处固定本地内容项显示性能)。在一些实施方式中，数据处理系统110从应用205的内容发布方120接收指示对本地内容的不当呈现已经得以纠正的提醒(例如，响应于发送至内容发布方120的指示他们的应用205不当地显示本地内容的对应提醒)。除了应用205发送本地内容项的交互事件的确认之外，在一些实施方式中，并且响应于在信号312处检测到交互事件，在客户端设备125上执行的请求生成模块235可以使客户端设备125传输访问插播式内容项链接的信息资源的请求。可以将该请求发送至内容提供方115的服务器，该内容提供方115提供在应用205中显示的本地内容项和插播式内容项。
65.图4是描绘了根据一些实施方式的用于检测在客户端设备上执行的应用不当地呈现内容项的方法的流程图400。
66.在一些实施方式中，方法400包括客户端设备125传输对内容项的内容请求(框405)，并且数据处理系统110接收对内容项的内容请求(框410)。方法400进一步包括数据处理系统110传输包括交互确认脚本的内容包(框415)，并且客户端设备125接收包括交互确
认脚本的内容包(框420)。方法400进一步包括客户端设备125呈现第一内容项的客户端设备125(框425)。方法400进一步包括客户端设备125检测与呈现的第一内容项进行的第一交互事件(框430)。方法400进一步包括客户端设备125呈现第二内容项(框435)。方法400进一步包括客户端设备125检测与呈现的第二内容项进行的第二交互事件(框440)。方法400进一步包括客户端设备125传输第一交互事件的确认(框445)。方法400进一步包括数据处理系统110接收第一交互事件的确认(框450)。方法400进一步包括客户端设备125传输对第二内容项的信息资源的请求(框455)。方法400进一步包括客户端设备125呈现第二内容项的信息资源(框460)。
67.具体地，在一些实施方式中，方法400包括客户端设备125传输对内容项的内容请求(框405)，并且数据处理系统110接收对内容项的内容请求(框410)。客户端设备125可以向数据处理系统110发送内容请求。在一些实施方式中，内容请求是对本地内容项的请求。在一些实施方式中，本地内容项可以看起来具有与由内容发布方120在应用的环境内生成的内容相同的观感。例如，本地内容项可以包括匹配或者基本匹配要在其中显示本地内容项的应用的周围环境的视觉特性。在一些实施方式中，数据处理系统110按照组成本地内容项的多个内容分量的形式来将本地内容项发送至客户端设备125，并且应用在客户端设备125处渲染内容分量。例如，内容分量可以包括但不限于：大标题、图像、正文、对动作的调用、徽标、归属地、点击通过url等。
68.除了响应于被分类为脚本内容请求的内容请求发送交互确认脚本215之外，内容选择模块135还可以选择并且提供本地内容项(例如，如最初请求的)和插播式内容项，从而使得数据处理系统110在信号304处提供包括交互确认脚本215、请求的本地内容项、和插播式内容项的内容包。插播式内容项可以包括被呈现和显示以接管应用205的显示区域的大部分的内容项。例如，插播式内容项可以覆盖应用205的显示。在一些实施方式中，插播式内容项的实质与包括在内容包中的本地内容项的实质基本相同。在一些实施方式中，插播式内容项包括与本地内容项一起发送的内联html代码。
69.方法400进一步包括数据处理系统110传输包括交互确认脚本的内容包(框415)，并且客户端设备125接收包括交互确认脚本的内容包(框420)。除了响应于内容请求发送交互确认脚本之外，数据处理系统110还可以选择并且提供本地内容项(例如，如最初请求的)和插播式内容项，从而使得数据处理系统110提供包括交互确认脚本、请求的本地内容项、和插播式内容项的内容包。插播式内容项可以包括被呈现和显示以接管应用的显示区域的大部分的内容项。例如，插播式内容项可以覆盖应用的显示。在一些实施方式中，插播式内容项的实质与包括在内容包中的本地内容项的实质基本相同。在一些实施方式中，插播式内容项包括与本地内容项一起发送的内联html代码。
70.方法400进一步包括客户端设备125呈现第一内容项的客户端设备125(框425)。在一些实施方式中，应用可以渲染本地内容并且可以呈现本地内容以在应用的环境内显示。在这种实施方式中，将包括一个或者多个内容分量的本地内容项从数据处理系统110传输至客户端设备125，其中，在客户端设备125处的应用根据应用的预定参数来聚集内容项的内容分量。一旦应用使用内容分量来渲染本地内容，应用就呈现渲染的本地内容以在应用的环境内显示，从而使得渲染的内容看起来具有与由内容发布方120在应用内生成的内容相同的观感。在一些实施方式中，内容发布方120可以建立应用利用来作为用于聚集并且呈
现本地内容项的方式的指令的预定参数。然而，因为这些参数因应用而异，并且依赖于独立的内容发布方120来建立，所以，一些内容发布方120可能不正确地实施参数，从而使得本地内容项被不正确地呈现在客户端设备125处，这可能引起与不正确地呈现的本地内容项的无意交互。
71.例如，内容发布方120可以建立参数以便相对于其应用进行显示。参数可以指示从数据处理系统110接收到的本地内容分量的外观。作为示例，接收到的本地内容分量可以包括本地内容项的元素，诸如，但不限于，大标题、图像、正文、对动作的调用、徽标、归属地、点击通过url等。建立的参数可以指示本地内容分量的外观，诸如，在本地内容项内的位置、颜色、字体、字体大小、交互类型(例如，轻拍或者滑动以进行交互)等。同样，参数在应用处提供用于在应用内渲染并且呈现接收到的本地内容分量的指令。在一些实施方式中，内容发布方120在内容发布方120的应用内提供本地内容参数。
72.然而，因为内容参数由相应内容发布方120建立并且实施，所以，在应用内显示本地内容分量的方式可能存在很大差异。此外，内容发布方120可能不正确地设置其参数，从而使得本地内容分量被在应用内不正确地渲染并且显示，这可能引起用户与在应用中不当地显示的本地内容项的无意交互(例如，当本地内容项不当地覆盖用户希望点击的单独的链接时)。因为这些本地内容显示参数可以因应用而异，因相同应用的版本而异(例如，1.0版本与2.0版本相比较)，或者因相同应用的不同类型而异(例如，配置用于一个操作系统的应用与配置用于另一操作系统的应用相比较)，所以，由内容发布方120设置的参数可以类似地相对于不同应用、应用的不同版本、和应用的不同类型而变化，并且因此，本地内容项可能被相对于相同应用的不同版本或者类型不当地显示。
73.方法400进一步包括客户端设备125检测与呈现的第一内容项进行的第一交互事件(框430)。在一些实施方式中，客户端设备125在应用内相对于呈现的本地内容项检测交互事件。例如，交互事件可以包括点击、滑动、轻拍、光标悬停、或者与呈现的本地内容项进行的任何其它交互。
74.方法400进一步包括客户端设备125呈现第二内容项(框435)。在一些实施方式中，响应于检测到交互事件，客户端设备125渲染在内容包中接收到的插播式内容项。在一些实施方式中，在客户端设备125上执行的应用可以使客户端设备125检测是否接收到与呈现的内容项对应的插播式内容项(例如，包括在本地内容项中呈现的相同或者相似信息)。例如，应用可以使客户端设备125检测内容包不止包括请求的本地内容项。在一些实施方式中，应用通过确定内容包中是否存在表示插播式内容项的html内联代码来使客户端设备125检测内容包包括插播式内容项。在一些实施方式中，内容包包括标志或者用于指示除了本地内容项之外，内容包还包括插播式内容项的任何其它指示符，并且应用可以使客户端设备125检测内容包中存在标志。
75.在一些实施方式中，响应于检测到接收到的内容包中存在插播式内容项并且响应于检测到交互事件，在客户端设备125上执行的应用可以使客户端设备125渲染在内容包中接收到的插播式内容项。在一些实施方式中，应用使客户端设备125对在内容包中接收到的内联html代码进行解析以获得对渲染插播式内容项的指令，并且然后基于指令来渲染插播式内容项。一旦渲染了插播式内容项，应用就可以使客户端设备125在应用内呈现插播式内容项。
76.方法400进一步包括客户端设备125检测与呈现的第二内容项进行的第二交互事件(框440)。在一些实施方式中，在客户端设备125上执行的应用可以使客户端设备125在应用205内相对于呈现的插播式内容项检测交互事件。例如，交互事件可以包括：点击、滑动、轻拍、光标悬停、或者与呈现的插播式内容项进行的任何其它交互。
77.方法400进一步包括客户端设备125传输第一交互事件的确认(框445)。方法400进一步包括数据处理系统110接收第一交互事件的确认(框450)。响应于相对于插播式内容项检测到交互事件，应用可以使客户端设备125向数据处理系统110发送相对于本地内容项的交互事件的确认。
78.方法400进一步包括客户端设备125传输对第二内容项的信息资源的请求(框455)。方法400进一步包括客户端设备125呈现第二内容项的信息资源(框460)。可以将请求发送至内容提供方115的服务器，该内容提供方115提供在应用205中显示的本地内容项和插播式内容项。
79.图5是描绘了根据一些实施方式的用于检测与在相对于图4描述的客户端设备上执行的应用通信的数据处理系统不当地呈现内容项的方法500的流程图。在一些实施方式中，方法500包括数据处理系统110从多个客户端设备接收多个内容请求(框505)。方法500进一步包括数据处理系统110向多个客户端设备的第一子集传输内容包(框510)。方法500进一步包括数据处理系统110向多个客户端设备的第二子集传输第一内容项(框515)。方法500进一步包括数据处理系统110相对于传输的内容包确定第一性能度量(框520)。方法500进一步包括数据处理系统110相对于第一内容项确定第二性能度量(框525)。方法500进一步包括数据处理系统110将第一性能度量与第二性能度量相比较(框530)。方法500进一步包括基于比较来将应用标识符添加至内容限制列表(框535)。
80.具体地，在一些实施方式中，方法500包括数据处理系统110从多个客户端设备接收多个内容请求(框505)。在一些实施方式中，响应于从客户端设备接收到内容请求，数据处理系统110可以将接收到的请求分类为将触发交互确认脚本的打包并且与选择的本地内容项和相似的插播式内容项一起传输的请求。在一些实施方式中，内容请求包括用于识别应用的应用标识符。因此，数据处理系统110可以保持作为候选应用的应用列表，在该候选应用中，将进行有关本地内容是否得以适当地显示的确定。在一些实施方式中，应用标识符识别应用和识别到的应用的特定版本。在一些实施方式中，应用标识符识别应用的类型(例如，基于安装有应用的客户端设备的类型)。例如，应用标识符可以识别客户端设备在其上操作并且与应用兼容的特定操作系统。
81.同样，在一些实施方式中，数据处理系统110在数据库中执行查找以确定在内容请求中接收到的应用标识符(例如，识别请求是从应用发送的应用标识符)与存储的用于识别候选应用的应用标识符中的一个标识符相匹配，该候选应用用于触发确定本地内容是否得以适当地显示。
82.方法500进一步包括数据处理系统110向多个客户端设备的第一子集传输内容包(框510)。方法500进一步包括数据处理系统110向多个客户端设备的第二子集传输第一内容项(框515)。在一些实施方式中，一旦数据处理系统110将应用识别为要针对本地内容呈现性能进行评估的应用，数据处理系统110就确定发送内容请求的客户端设备125是否将接收具有选择的本地内容项的交互确认脚本215。例如，存储在数据库中的还可以是指派给候
选应用标识符中的每一个候选应用标识符的预定百分比或者与该每一个候选标识符相关联，该候选应用是存储来用于相对于通过那些候选应用标识符识别到的应用触发本地内容呈现性能评估。预定百分比可以识别要分类为脚本请求以便响应于被分类为脚本请求的内容请求而发送交互确认脚本的内容请求的百分比。
83.作为示例，如果向应用的应用标识符指派35％的预定百分比，则数据处理系统110可以将从应用(例如，在多个客户端设备上)接收到的35％的内容请求分类为脚本请求，从而使得将交互确认脚本发送至客户端设备，该客户端设备发送被分类为脚本请求的那些内容请求。在一些实施方式中，应用与安装在单个客户端设备上的一个应用实例对应。在一些实施方式中，应用与安装在多个客户端设备上的特定应用的特定版本对应。在一些实施方式中，应用与在多个客户端设备上的应用的任何版本对应。因此，可以将剩余的65％的内容请求分类为非脚本请求，从而使得发送数据处理系统110将其分类为非脚本内容请求的内容请求的客户端设备不接收交互确认脚本215，而是接收请求的本地内容项。在一些实施方式中，数据处理系统110将内容请求随机分类(例如，以由指派的预定百分比指示的速率)为脚本内容请求或者非脚本内容请求。在一些实施方式中，数据处理系统110基于预定模式来将内容请求分类为脚本内容请求(例如，当预定百分比为25％时，将每第四个内容请求分类为脚本内容请求)。
84.除了响应于被分类为脚本内容请求的内容请求发送交互确认脚本之外，数据处理系统110还可以选择并且提供本地内容项(例如，如最初请求的)和插播式内容项，从而使得数据处理系统110提供包括交互确认脚本215、请求的本地内容项、和插播式内容项的内容包。插播式内容项可以包括被呈现和显示以接管应用的显示区域的主要部分的内容项。例如，插播式内容项可以覆盖应用的显示。在一些实施方式中，插播式内容项的实质与包括在内容包中的本地内容项的实质基本相同。在一些实施方式中，插播式内容项包括与本地内容项一起发送的内联html代码。
85.方法500进一步包括数据处理系统110相对于传输的内容包确定第一性能度量(框520)。在一些实施方式中，数据处理系统110接收相对于本地内容项的交互事件的确认，并且可以基于接收到的在多个客户端设备上的本地内容交互事件的确认来实施性能评估。例如，如上所述，数据处理系统110可以选择经由应用来请求本地内容项的预定百分比的客户端设备作为接收包括本地内容项、插播式内容项、和交互确认脚本的内容包(例如，向应用做出本地内容项请求的全部客户端设备的内容包子集)的客户端设备，而剩余百分比的客户端设备在不接收插播式内容项和交互确认脚本(例如，向应用做出本地内容项请求的全部客户端设备的非内容包子集)的情况下接收本地内容项。因此，在一些实施方式中，数据处理系统110在确定内容发布方是否正确地渲染并且显示本地内容项(例如，由于本地内容项的不当呈现，在信号308处相对于本地内容项的第一交互事件是有意的或者无意的)时将内容包子集和非内容包子集的性能度量相比较并且对其进行分析。
86.在一些实施方式中，数据处理系统110相对于向应用做出本地内容项请求的全部客户端设备的内容包子集确定性能度量。例如，性能度量可以包括表示由数据处理系统110接收到的确认的数量与被发送内容包的客户端设备的数量相比较的百分比或者比率。因此，内容包子集的性能度量可以表示与本地内容项进行有意交互的用户相对于发送至向应用做出本地内容项请求的全部客户端设备的内容包子集的独立的内容包的数量的百分比。
87.方法500进一步包括数据处理系统110相对于第一内容项确定第二性能度量(框525)。类似地，数据处理系统110相对于向应用做出本地内容项请求的全部客户端设备的非内容包子集确定性能度量。例如，性能度量可以包括表示相对于由数据处理系统110接收到的本地内容项的交互事件的指示的数量与被发送请求的本地内容项的客户端设备的数量相比较的百分比或者比率。因此，非内容包子集的性能度量可以表示与本地内容项进行交互(例如，有意地和无意地两者)的用户相对于发送至向应用做出本地内容项请求的全部客户端设备的非内容包子集的单独的本地内容项的数量的百分比。
88.方法500进一步包括数据处理系统110将第一性能度量与第二性能度量相比较(框530)。在一些实施方式中，数据处理系统110在确定本地内容项是否在应用中被不当地显示时将内容包子集的性能度量与非内容包子集的性能度量相比较。例如，数据处理系统110可以将在内容包子集的性能度量与非内容包子集的性能度量之间的差值与预定阈值相比较。在一些实施方式中，如果在两个性能度量之间的差值超过预定阈值，则数据处理系统110将应用识别为不当地显示本地内容项。作为示例，当非内容包子集的性能度量比内容包子集的性能度量至少大预定阈值时，数据处理系统110可以将应用(例如，应用的特定版本、多个版本的应用、应用205的这个特定实例等)识别为不当地显示本地内容项。在一些实施方式中，在数据处理系统110处输入预定阈值并且将其存储在数据库中，并且预定阈值可以是用于确定在性能度量之间的差值(例如，表示为百分比)的任何合适的值，该差值确定应用不当地显示本地内容项(例如，预定阈值的值可以是5％、10％、15％等)。
89.在一些实施方式中，数据处理系统110基于内容包子集的性能度量而不是基于非内容包子集的性能度量来确定应用205不当地显示本地内容项。数据处理系统110可以将内容包子集本身的性能度量与预定阈值相比较，并且基于该比较来进行确定。例如，性能度量包括表示由数据处理系统110接收到的确认的数量与被发送内容包的客户端设备125的数量相比较的百分比或者比率，数据处理系统110可以将百分比性能度量与阈值百分比相比较，并且如果性能度量低于阈值百分比，则数据处理系统110可以将应用识别为不当地显示本地内容。
90.方法500进一步包括数据处理系统110基于比较来将应用标识符添加至内容限制列表(框535)。在一些实施方式中，响应于将应用识别为不当地显示本地内容，数据处理系统110可以相对于应用执行一个或者多个限制过程。例如，数据处理系统110可以将应用添加至内容限制列表。该内容限制列表可以存储在数据库145中，并且可以包括识别应用的应用标识符，从而使得数据处理系统110可以在数据处理系统110接收到包括应用的应用标识符的传入后续内容请求时交叉引用该列表。如果数据处理系统110将请求应用的应用标识符与内容限制列表上的应用标识符匹配，则数据处理系统110可以限制本身响应于请求传输本地内容项(例如，直到内容发布方120在应用处固定本地内容项显示性能)。在一些实施方式中，数据处理系统110从应用的内容发布方接收指示对本地内容的不当呈现已经得以纠正的提醒(例如，响应于发送至内容发布方的指示他们的应用不当地显示本地内容的对应提醒)。
91.图6是描绘了根据一些实施方式的可以采用以实施本文描述的和图示的系统(包括系统110及其组件，诸如，内容请求模块130、内容选择模块135、和脚本提供方模块140)和方法的元件的用于计算机系统600的一般架构的框图。计算机系统600可以用于经由网络
105来提供信息以便进行显示。图6的计算机系统600包括：通信地耦合至存储器625的一个或者多个处理器620、一个或者多个通信接口605、和一个或者多个输出设备610(例如，一个或者多个显示单元)以及一个或者多个输入设备615。可以将处理器620包括在数据处理系统110或者系统110的其它组件(诸如，内容请求模块130和内容选择模块135)中。
92.在图6的计算机系统600中，存储器625可以包括任何计算机可读存储介质，并且可以存储计算机指令(诸如，用于相应系统实施本文描述的各种功能的处理器可执行指令)以及与之相关的任何数据、由此生成的任何数据、或者经由通信接口或者输入设备接收到的任何数据(若存在)。再次参照图1的系统110，数据处理系统110可以包括存储器625以存储与一个或者多个内容单元的库存、一个或者多个内容单元的预留的可用性有关的信息等。存储器625可以包括数据库145。在图6中示出的处理器620可以用于执行存储在存储器625中的指令，并且这样做还可以从存储器读取或者向存储器写入根据指令的执行而处理和/或生成的各种信息。
93.在图6中示出的计算机系统600的处理器620还可以通信地耦合至或者控制通信接口605以根据指令的执行传输或者接收各种信息。例如，通信接口605可以耦合至有线或者无线网络、总线、或者其它通信装置，并且因此，可以允许计算机系统600向其它设备(例如，其它计算机系统)传输信息或者从其它设备(例如，其它计算机系统)接收信息。虽然在图1的系统中未明确示出，但是一个或者多个通信接口促进在系统600的组件之间的信息流动。在一些实施方式中，可以将通信接口配置(例如，经由各种硬件组件或者软件组件)为提供作为至计算机系统600的至少一些方面的访问门户的网站。通信接口605的示例包括用户界面(例如，网页)，通过该用户界面，用户可以与数据处理系统110进行通信。
94.例如，可以提供在图6中示出的计算机系统600的输出设备610以允许查看或者以其它方式感知与指令的执行有关的各种信息。例如，可以提供输入设备615以允许用户在指令的执行期间进行手动调整、进行选择、录入数据、或者按照任何各种方式来与处理器进行交互。本文进一步提供了本文所讨论的各种系统可以采用的与一般计算机系统架构有关的附加信息。
95.可以在数字电子电路系统中、或者在包含在有形介质上的计算机软件、固件、或者硬件中(包括本说明书中所公开的结构及其结构等效物)、或者在它们中的一个或者多个的组合中实施本说明书中描述的主题的实施方式和操作。可以将本说明书中描述的主题的实施方式实施为一个或者多个计算机程序，即，编码在计算机存储介质上用于由数据处理装置执行或者用于控制数据处理装置的操作的计算机程序指令的一个或者多个模块。程序指令可以编码在人工生成的传播信号上，例如，机器生成的电气、光学、或者电磁信号，生成该信号是为了对信息进行编码以便传输至合适的接收器装置供数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或者串行存取存储器阵列或者设备、或者它们中的一个或者多个的组合，或者包括在其中。此外，当计算机存储介质不是传播信号时，计算机存储介质可以包括编码在人工生成的传播信号中的计算机程序指令的源或者目的地。计算机存储介质还可以是一个或者多个单独的物理组件或者介质(例如，多个cd、磁盘、或者其它存储设备)，或者包括在其中。
96.可以在智能电视模块(或者连接的电视模块、混合电视模块等)上实施本文所公开的特征，该智能电视模块可以包括被配置为将互联网连接性与更传统的电视节目源(例如，
经由电缆、卫星、无线、或者其它信号接收到的)集成的处理模块。可以物理地将智能电视模块并入电视机中，或者智能电视模块可以包括单独的设备，诸如，机顶盒、蓝光或者其它数字媒体播放器、游戏机、酒店电视系统、和其它配套设备。可以将智能电视模块配置为允许观看者搜索和查找在web上、在本地有线电视频道上、在卫星电视频道上、或者存储在本地硬盘驱动器上的视频、电影、照片和其它内容。机顶盒(stb)或者机顶单元(stu)可以包括信息电器设备，该信息应用设备可以包含调谐器并且连接至电视机和外部信号源，将信号转换成内容，然后将该内容显示在电视屏幕或者其它显示设备上。可以将智能电视模块配置为提供包括多个不同应用(诸如，web浏览器和多种流媒体服务、连接的电缆或者卫星媒体源、其它网络“信道“等)的图标的主屏幕或者顶层屏幕。可以将智能电视模块进一步配置为向用户提供电子节目指南。智能电视模块的配套应用可以在移动计算设备上操作以向用户提供有关可用节目的附加信息，以允许用户控制智能电视模块等。在替代实施方式中，可以在膝上型计算机或者其它个人计算机、智能电话、其它移动电话、手持式计算机、平板pc、或者其它计算设备上实施该特征。
97.可以将本说明书中描述的操作实施为由数据处理装置对存储在一个或者多个计算机可读存储设备或者从其它源接收到的数据执行的操作。
98.术语“数据处理装置”、“数据处理系统”、“用户设备”或者“计算设备”囊括了用于处理数据的所有种类的装置、设备、和机器，包括：例如，可编程处理器、计算机、片上系统、或者前述中的多种或者组合。该装置可以包括专用逻辑电路系统，例如，fpga(现场可编程门阵列)或者asic(专用集成电路)。除了硬件之外，该装置还可以包括为探讨中的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时间环境、虚拟机、或者它们中的一个或者多个的组合的代码。该装置和执行环境可以实现各种不同的计算模型基础设施，诸如，web服务、分布式计算和网格计算基础设施。内容请求模块130和内容选择模块135可以包括或者共享一个或者多个数据处理装置、计算设备、或者处理器。
99.可以按照任何形式的程序语言来写入计算机程序(也称为程序、软件、软件应用、脚本、或者代码)，包括编译的或者解译的语言、说明性语言或者过程语言，并且可以按照任何形式来部署计算机程序，包括部署为独立的程序或者部署为模块、组件、子例程、对象、或者适合在计算环境中使用的其它单元。计算机程序可以但并非必须与文件系统中的文件对应。可以将程序存储在保存其它程序或者数据(例如，存储在标记语言文档中的一个或者多个脚本)的文件的一部分中、在专用于讨论中的程序的单个文件中、或者在多个协同文件中(例如，存储一个或者多个模块、子程序、或者代码的部分的文件)。可以将计算机程序部署为在一个计算机上执行或者在位于一个站点处或者分布在多个站点中并且通过通信网络互相连接的多个计算机上执行。
100.可以通过一个或者多个可编程处理器来进行本说明书中描述的过程和逻辑流程，该一个或者多个可编程处理器执行一个或者多个计算机程序以通过操作输入数据并且生成输出来进行动作。还可以由专用逻辑电路系统(例如，fpga(现场编程门阵列)或者asic(专用集成电路))来执行过程和逻辑流，并且还可以将装置实施为专用逻辑电路系统(例如，fpga(现场编程门阵列)或者asic(专用集成电路))。
101.适合执行计算机程序的处理器包括：例如，通用微处理器、专用微处理器、以及任
何种类的数字计算机的任何一个或者多个处理器。一般而言，处理器将接收来自只读存储器或者随机存取存储器或者两者的指令和数据。计算机的必要元件是：用于根据指令执行动作的处理器、和用于存储指令和数据的一个或者多个存储器设备。一般而言，计算机还将包括用于存储数据的一个或者多个海量存储设备(例如，磁盘、磁光盘、或者光盘)，或者计算机可以操作地耦合以接收来自该海量存储设备的数据或者将数据传输至该海量存储设备或者进行两者。然而，计算机不需要具有这种设备。此外，计算机可以嵌入在另一设备中，例如，移动电话、个人数字助理(pda)、移动音频或者视频播放器、游戏机、全球定位系统(gps)接收器、或者便携式存储设备(例如，通用串行总线(usb)闪存驱动)等。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括：例如，半导体存储器设备(例如，eprom、eeprom、和闪速存储器设备)、磁盘(例如，内部硬盘或者可移动盘)、磁光盘、cd-rom盘和dvd-rom盘。处理器和存储器可以由专用逻辑电路系统补充或者可以并入该专用逻辑电路系统中。
102.为了提供与用户的交互，可以在计算机上实施本说明书中所描述的主题的实施方式，该计算机具有：用于向用户显示信息的显示设备，例如，crt(阴极射线管)或者lcd(液晶显示器)监视器；以及键盘和指针设备，例如，鼠标或者轨迹球，用户可以通过该键盘和该指针设备来向计算机提供输入。其它种类的设备还可以用于提供与用户的交互；例如，提供给用户的反馈可以包括任何形式的感觉反馈，例如，视觉反馈、听觉反馈或者触觉反馈；并且可以用任何形式(包括声学输入、语音输入或者触觉输入)来接收来自用户的输入。另外，计算机可以通过将文档发送至用于所使用的设备并且接收来自该设备的文档(例如，通过响应于从web浏览器接收的请求来将网页发送至在用户的客户端设备上的web浏览器)来与用户进行交互。
103.可以在计算系统中实施本说明书中所描述的主题的实施方式，该计算系统包括后端组件(例如，作为数据服务器)、或者包括中间件组件(例如，应用服务器)、或者包括前端组件(例如，具有图形用户界面或者web浏览器的客户端计算机，通过该web浏览器，用户可以与本说明书中所描述的主题的实施方式进行交互)、或者包括一个或者多个这种后端组件、中间件组件、或者前端组件的任何组合。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的组件相互连接。通信网络的示例包括：局域网(“lan”)和广域网(“wan”)、网际网(例如，互联网)、以及点对点网络(例如，对等点对点网络)。
104.计算系统(诸如，系统600或者系统110)可以包括客户端和服务器。例如，数据处理系统110可以包括一个或者多个数据中心或者服务器场中的一个或者多个服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。在一些实施方式中，服务器向客户端设备传输数据(例如，html页面)(例如，为了向与客户端设备进行交互的用户显示数据并且接收来自该用户的用户输入)。可以在服务器处从客户端设备接收在客户端设备处生成的数据(例如，用户交互的结果)。
105.虽然本说明书包含了许多具体实施方式细节，但是不应该将这些细节视为对本公开或者可能被要求的内容的范围的限制，而是作为针对本文描述的系统和方法的特定实施方式的特征的描述。在本说明书中在单独实施方式的场境下描述的某些特征还可以组合地实施在单个实施方式中。相反，在单个实施方式的场境中描述的各种特征也可以单独地或
者按照任何合适的子组合实施在多个实施方式中。此外，虽然上文可能将特征描述为以某些组合来起作用并且最初甚至要求这样保护，但是在一些情况下，可以从组合中删除来自所要求保护的组合的一个或者多个特征。并且所要求保护的组合可以指向子组合或者子组合的变体。
106.类似地，虽然在附图中按照特定顺序示出了操作，但是不应该将其理解为需要按照所述的特定顺序或者按照相继的顺序来进行这种操作，或者需要进行所有图示的操作以实现期望的结果。在一些情况下，在权利要求书中叙述的动作可以按照不同的顺序来进行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定需要所示的特定顺序或者相继顺序，以实现期望的结果。
107.在某些情况下，多任务处理和并行处理可以是有利的。此外，不应该将在上述实施方式中的各种系统组件的分离理解为在所有实施方式中需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。例如，内容请求模块130和内容选择模块135可以是数据处理系统110的一部分、单个模块、具有一个或者多个处理模块的逻辑设备、一个或者多个服务器、或者搜索引擎的一部分。
108.现在，在已经描述了一些说明性实施方式之后，显而易见的是，前述内容是说明性的而非限制性的，其是以示例的方式呈现的。具体地，虽然本文呈现的许多示例都涉及方法动作或者系统元件的具体组合，但是这些动作和这些元件可以按照其它方式组合以实现相同的目的。仅结合一种实施方式讨论的动作、元件和特征不旨在从其它实施方式或者实施方式中的相似作用排除。
109.在本公开的实施方式中，内容或者内容项可以是任何合适的内容。在一些应用中，内容或者内容项可以是广告(“ad”)，但是本公开不限于此。当内容或者内容项是广告时，内容服务器205可以是广告服务器和/或第三方内容提供方可以是广告方。
110.在一些实施方式中，对第三方内容的请求还可以包括在信息资源上显示第三方内容项的最小收入量(或者最小投标值)。在一些实施方式中，内容选择模块135可以与拍卖系统(例如，广告拍卖系统)进行通信，并且提供在对从客户端设备接收到的第三方内容的请求中包括的拍卖系统信息。内容选择模块135还可以响应于提供在对第三方内容的请求中包括的信息而从拍卖系统接收一个或者多个第三方内容项。
111.在一些实施方式中，数据处理系统110可以包括被配置为主持拍卖的拍卖系统，例如，广告拍卖系统。在一些实施方式中，数据处理系统110不包括拍卖系统，但是被配置为经由网络105来与拍卖系统进行通信。
112.在一些实施方式中，着陆页面可以包括在内容项中进行广告的产品的附加产品信息。与内容项有关的转换可以在着陆页面处发生，例如，用户可以经由着陆页面来购买通过内容项进行广告的产品或者服务。转换可以在用户点击内容项并且然后经由着陆页面采取动作(诸如，购买、登记、注册等)时发生。
113.本文使用的短语和术语是为了进行描述，并且不应该将其视为具有限制性。本文对“包括”(including)、“包括”(comprising)、“具有”(having)、“包含”、“涉及”、“特征在于”(characterized by)、“特征在于”(characterized in that)及其变型的使用是指囊括其后列出的项、其等效物、和附加项，以及由其后拍外地列出的项组成的替代实施方式。在一种实施方式中，本文所描述的系统和方法由所描述的元件、动作、或者组件中的一个、所
描述的元件、动作、或者组件中的超过一个的各个组合、或者所有所描述的元件、动作、或者组件组成。
114.对本文中以单数表示的系统和方法的实施方式或者元件或者动作的任何引用还可以包括以下实施方式：该实施方式包括多个这些元件，并且本文中以复数形式对任何实施方式或者元件或者动作的任何引用还可以包括以下实施方式：该实施方式仅包括单个元件。以单数或者复数形式的引用不旨在将目前公开的系统或者方法、它们的组件、动作、或者元件限制为单个或者多个配置。对任何动作或者元件的引用基于任何信息、动作或者元件可以包括动作或者元件至少部分地基于任何信息、动作或者元件的实施方式。
115.本文公开的任何实施方式可以与任何其它实施方式组合，并且对“实施方式”、“一些实施方式”、“替代实施方式”、“各种实施方式”、“一种实施方式”等的引用不一定是相互排斥的并且旨在指示结合实施方式描述的特定特征、结构、或者特性可以包括在至少一种实施方式中。如本文使用的这种术语不一定都是指相同的实施方式。可以按照与本文公开的方面和实施方式一致的任何方式来包括地或者排外地将任何实施方式与任何其它实施方式组合。
116.可以将对“或者”的引用解释为包括的，从而使得使用“或者”描述的任何术语可以指示单个所描述的术语、超过一个所描述的术语、和所有所描述的术语中的任何一种。
117.在附图、详细描述或者任何权利要求中的技术特征带有附图标记的情况下，为了增加附图、详细描述、和权利要求书的可懂度，已经将附图标记包括进来。因此，附图标记和附图标记的缺少都对任何权利要求要素的范围没有任何限制。
118.在不脱离本文所描述的系统和方法的特性的情况下，可以按照其它具体形式来体现本文所描述的系统和方法。尽管本文提供的示例涉及控制信息资源的内容的显示，但是本文所描述的系统和方法可以包括应用于其它环境。上述实施方式是说明性的而不是限制所描述的系统和方法。因此，本文所描述的系统和方法的范围由随附权利要求书而不是前述描述来指示，并且在权利要求书的等效性含义和范围内的变化包括在其中。