交互感知和内容呈现的系统和方法与流程

交互感知和内容呈现的系统和方法
1.交叉引用
2.在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考文献是本文所述公开的“现有技术”。在说明书中引用和讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。
技术领域
3.本公开总体上涉及人群统计感知和内容呈现，具体地，涉及一种通过交互多重感知识别环境中的潜在客户并提供针对潜在客户的广告的系统和方法。


背景技术：

4.在此提供的背景描述是为了概括地呈现本公开的上下文。在本背景部分描述的范围内，发明人的工作，以及在申请时可能不符合现有技术的描述方面，既不明确也不隐含地承认为针对本公开的现有技术。
5.电子商务已经成为社会生活的重要组成部分。电子商务平台通常提供会员系统，收集用户简档，并基于收集的简档为用户提供针对性的产品和服务。线下广告使用显示器显示产品或服务，但无法利用用户信息。
6.因此，本领域存在解决上述缺陷和不足的需要。


技术实现要素：

7.在某些方面，本公开涉及一种内容显示方法。在某些实施例中，该方法包括：
8.通过成像装置采集环境的多个图像；
9.通过计算装置基于所述图像中识别的用户的外表生成第一用户简档；
10.检测所述环境中的装置，并将所述检测到的装置与所述用户关联，以得到所述用户持有的关联装置；
11.通过所述计算装置基于所述关联装置的标识检索所述用户的第二用户简档；
12.通过所述计算装置基于所述第一用户简档和所述第二用户简档选择至少一个内容；以及
13.显示选择的至少一个内容。
14.在某些实施例中，所述环境是购物环境。
15.在某些实施例中，生成第一用户简档包括：从所述图像中提取所述用户的眼部追踪特征；以及基于所述眼部追踪特征确定所述用户的兴趣，其中，基于所述用户的兴趣选择所述至少一个内容。在某些实施例中，所述眼部特征包括：眼部的位置、所述眼部瞄准的方向以及所述眼部注视的物体。
16.在某些实施例中，每个所述用户的外表包括以下至少一项：所述用户的脸部特征、眼部追踪特征、性别、着装特征、姿态和轨迹。在某些实施例中，所述脸部特征包括所述图像
中脸部的位置和所述脸部的特点，所述眼部追踪特征包括眼部的位置、所述眼部瞄准的方向和所述眼部注视的物体，所述性别包括男性和女性，所述着装特征包括着装类型和着装颜色，所述姿态包括所述用户行走、奔跑和站立的状态，所述轨迹包括所述用户的当前位置和预测的未来位置。
17.在某些实施例中，检索所述用户的第二用户简档包括：将所述关联装置的标识与数据库中所述用户的线上简档中记录的装置的标识进行匹配，以得到匹配装置；以及检索与所述匹配装置对应的用户的所述线上简档，其中，检索到的线上简档为所述第二用户简档。
18.在某些实施例中，在将检测到的装置与所述用户关联之前，所述方法还包括：过滤掉检测到的静止装置。
19.在某些实施例中，所述第一用户简档包括基于所述图像的所述用户的当前位置和预测的未来位置。在某些实施例中，选择至少一个内容包括：整合所述第一用户简档和所述第二用户简档，以得到整合用户简档；计算多个内容中的每个内容与每个所述用户之间的相关性分数；以及基于所述相关性分数和所述用户的所述未来位置，从所述多个内容中选择所述至少一个内容，以得到选择的至少一个内容。
20.在某些实施例中，每个所述用户被分配有用户脸部标识id。
21.在某些实施例中，所述方法还包括：使用光检测和测距lidar装置和雷达中的至少一种来检测所述用户在所述环境中的位置。
22.在某些方面，本公开涉及一种内容推荐系统。在某些实施例中，所述系统包括计算装置，所述计算装置包括处理器和存储有计算机可执行代码的存储装置。所述计算机可执行代码在所述处理器处执行时被配置为执行上述方法。
23.在某些方面，本公开涉及一种存储有计算机可执行代码的非暂时性计算机可读介质。所述计算机可执行代码在计算装置的处理器处执行时被配置为执行上述方法。
24.本公开的这些和其他方面将通过结合以下附图和它们的标题对优选实施例的以下描述而变得显而易见，尽管在不脱离本公开的新颖概念的精神和范围的情况下可以影响其中的变化和修改。
附图说明
25.附图示出了本公开的一个或多个实施例，并与书面描述一起用于解释本公开的原理。在可能的情况下，在整个附图中使用相同的附图标记来指代实施例的相同或相似元素。
26.图1示意性地描绘了根据本公开的某些实施例的环境感知和内容呈现系统。
27.图2a示意性地描绘了根据本公开的某些实施例的图像感知模块。
28.图2b示意性地描绘了根据本公开的某些实施例的装置感知模块。
29.图2c示意性地描绘了根据本公开的某些实施例的显示模块。
30.图3示意性地描绘了根据本公开的某些实施例的感知装置。
31.图4示意性地描绘了根据本公开的某些实施例的用户对不同广告的置信度分数。
32.图5示意性地示出了根据本公开的某些实施例的具有感知装置和显示装置的购物环境。
33.图6示意性地描绘了根据本公开的进一步实施例的内容呈现工作流程。
34.图7示意性地描绘了根据本公开的某些实施例的内容呈现方法。
具体实施方式
35.在以下示例中更具体地描述本公开，这些示例仅旨在作为说明，因为其中的许多修改和变化对于本领域技术人员来说将是显而易见的。现在详细描述本公开的各种实施例。参考附图，贯穿视图，相同的数字指示相同的部件。除非上下文另有明确规定，否则本文的描述中和整个权利要求中使用的“一个”、“一”和“所述”的含义包括复数。此外，如在本公开的描述和权利要求书中所使用的，除非上下文另有明确规定，“在”的含义包括“在
……
中”和“在
……
上”。并且，说明书中为了方便读者可以使用标题或副标题，这不影响本公开的范围。此外，本说明书中使用的一些术语在下文有更具体的定义。
36.本说明书中使用的术语在本领域中、在本公开的上下文中以及在使用每个术语的特定上下文中通常具有它们的普通含义。用于描述本公开的某些术语在下文或说明书中的其他地方讨论，以向从业者提供关于本公开的描述的额外指导。可以理解，同样的事情可以用不止一种方式表达出来。因此，替代语言和同义词可用于此处讨论的任何一个或多个术语，并且对于此处是否详细阐述或讨论术语没有任何特殊意义。本公开提供了某些术语的同义词。一个或多个同义词的使用不排除使用其他同义词。本说明书中任何地方的示例的使用，包括本文讨论的任何术语的示例，仅是说明性的，决不限制本公开内容或任何示例性术语的范围和含义。同样，本公开不限于本说明书中给出的各种实施例。
37.除非另有定义，本公开使用的所有术语(包括技术和科学术语)具有与本公开内容所属领域的普通技术人员通常理解的相同的含义。还应理解，诸如在常用词典中定义的术语应被解释为具有与其在相关技术和本公开的上下文中一致的含义，并且，除非在此明确定义，否则不会被解释为理想化的或过于形式化的意义。
38.如本文所述，“大约”、“大致”、“基本上”或“近似”应通常表示给定值或范围的20％以内，优选10％以内，更优选5％以内。本文给出的数值是近似的，意味着如果没有明确说明，可以推断出术语“大约”、“大致”、“基本上”或“近似”。
39.如本文所述，“多个”是指两个或更多个。
40.如本文所述，术语“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”等应理解为开放式的，即意味着包括但不限于。
41.如本文所述，短语a、b和c中的至少一个应解释为表示逻辑(a或b或c)，使用非排外性逻辑或(or)。应当理解，在不改变本公开的原理的情况下，方法内的一个或多个步骤可以以不同的顺序(或同时)执行。如本文所述，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。
42.如本文所述，术语“模块”可指示属于或包括专用整合电路(asic)；电子线路；组合逻辑电路；现场可编程门阵列(fpga)；执行代码的处理器(共享的、专用的或组)；提供所描述功能的其他合适的硬件组件；或以上部分或全部的组合，例如在片上系统中。术语模块可以包括存储由处理器执行的代码的存储器(共享的、专用的或组)。
43.本文使用的术语“代码”可以包括软件、固件和/或微代码，并且可以指程序、例程、函数、类和/或对象。上面使用的术语共享意味着可以使用单个(共享)处理器执行来自多个模块的部分或全部代码。此外，来自多个模块的部分或全部代码可以存储在单个(共享)存
储器中。上面使用的术语组意味着可以使用一组处理器执行来自单个模块的部分或全部代码。此外，可以使用一组存储器来存储来自单个模块的一些或全部代码。
44.如本文所述，术语“接口”通常是指在组件之间的交互点处用于执行组件之间的数据通信的通信工具或装置。一般而言，接口可以在硬件和软件层面都适用，可以是单向或双向接口。物理硬件接口的示例可以包括电连接器、总线、端口、电缆、端子和其他i/o装置或组件。与接口通信的组件可以是例如计算机系统的多个组件或外围装置。
45.本公开涉及计算机系统。如附图所示，计算机组件可以包括物理硬件组件，其显示为实线块，以及虚拟软件组件，其显示为虚线块。本领域普通技术人员将理解，除非另有说明，否则这些计算机组件可以以软件、固件或硬件组件或其组合的形式来实现，但不限于这些形式。
46.本文描述的装置、系统和方法可以通过由一个或多个处理器执行的一个或多个计算机程序来实现。计算机程序包括存储在非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可包括存储的数据。非暂时性有形计算机可读介质的非限制性示例是非易失性存储器、磁存储和光存储。
47.现在将在下文中参考附图更全面地描述本公开，其中示出了本公开的实施例。然而，本公开可以以许多不同的形式体现并且不应被解释为限于这里阐述的实施例；相反，提供这些实施例是为了使本公开彻底和完整，并将本公开的范围充分传达给本领域技术人员。
48.线下营销策略利用线下媒体渠道来提高公司产品和服务的知名度。这些活动包括广告牌、标志和小册子、电话营销和电视广告。然而，这些线下活动不使用在线技术或所谓的用户定位算法。为了改进线下内容呈现，本公开提供了一种利用线下感知技术和线上数据整合技术的系统。
49.在某些实施例中，本公开首先使用感知系统来探测周围所有人——人们在哪里、在做什么、感觉如何。其次，本公开将人的识别与其线上行为匹配——是什么人、其兴趣是什么。人员轨迹预测技术将被应用以预测未来一段时间内的客户分布。最后，本公开根据预测中的大多数观众显示广告。通过上述过程，本公开将在线重定向技能引入到线下系统。
50.图1示意性地描绘了根据本公开的某些实施例的内容推荐和显示系统。如图1所示，系统100包括计算装置110、感知装置180、显示装置190和网络195。计算装置110、感知装置180和显示装置190通过网络195彼此通信。在某些实施例中，图1中所示的计算装置110可以是服务器计算机、集群、云计算机、通用计算机、无头计算机或专用计算机，其可以提供姿态追踪服务。计算装置110可以包括但不限于处理器112、存储器114和存储装置116。在某些实施例中，计算装置110可以包括其他硬件组件和软件组件(未示出)以执行其对应的任务。这些硬件和软件组件的示例可以包括但不限于其他所需的存储器、接口、总线、输入/输出(i/o)模块或装置、网络接口和外围装置。
51.处理器112可以是中央处理单元(cpu)，其被配置为控制计算装置110的操作。处理器112可以执行计算装置110的操作系统(os)或其他应用程序。在某些实施例中，计算装置110可以具有多于一个cpu作为处理器，例如两个cpu、四个cpu、八个cpu或任何合适数量的cpu。存储器114可以是易失性存储器，例如随机存取存储器(ram)，用于在计算装置110的操作期间存储数据和信息。在某些实施例中，存储器114可以是易失性存储器阵列。在某些实
施例中，计算装置110可以在多于一个存储器114上运行。在某些实施例中，计算装置114还可以包括图形卡以辅助处理器112和存储器114进行图像处理和显示。存储装置116是用于存储计算装置110的操作系统(未示出)和其他应用程序的非易失性数据存储介质。存储装置116的示例可以包括非易失性存储装置，例如闪存、存储卡、usb驱动器、固态驱动器、硬盘驱动器、软盘、光驱或任何其他类型的数据存储装置。在某些实施例中，计算装置110可以具有多个存储装置116，这些存储装置116可以是相同的存储装置或不同类型的存储装置，计算装置110的应用程序可以存储在计算装置110的一个或多个存储装置116中。在该实施例中，处理器112、存储器114、存储装置116是计算装置110(例如服务器计算装置)的组件。在其他实施例中，计算装置110可以是分布式计算装置，处理器112、存储器114和存储装置116是来自预定义区域中的多台计算机的共享资源。
52.其中，存储装置116包括内容呈现应用118、线上用户简档数据库178和内容数据库179。在某些实施例中，存储装置116包括内容呈现应用118运行所需的其他应用程序或模块。内容呈现应用118包括图像感知模块120、线下简档建立模块130、装置感知模块140、线上简档建立模块150、整合模块160和显示模块170。应当注意，模块120、130、140、150、160和170各自由计算机可执行代码或指令、数据表或数据库实现，它们共同形成一个应用程序。在某些实施例中，每个模块还可以包括子模块。或者，一些模块可以组合为一个堆栈。在某些实施例中，某些模块可以实现为电路而非可执行代码。在某些实施例中，某些模块可以使用物联网(iot)技术来实现。在某些实施例中，内容呈现应用118可以包括图1中未示出的其他组件。在某些实施例中，内容呈现应用118还包括用户用于监控和调整内容呈现应用118的参数的用户界面，和/或用于管理要由内容呈现应用118的不同模块处理的图像和装置标识的调度器，和/或存储用户线上行为的用户数据库。
53.图像感知模块120被配置为，在接收到来自图3所示的成像装置182的视频或图像后，对图像进行处理，并将处理结果发送到线下简档建立模块130、装置感知模块140和整合模块160。如图3a所示，图像感知模块120包括脸部识别模块121、眼部追踪模块122、性别分类器123、着装分类器124、姿态估计模块125和轨迹追踪模块126。在某些实施例中，模块121～126可以彼此独立地执行以实现各自的目的。在某些实施例中，可以在执行姿态估计模块125之后执行模块126，从而可以使用视频中的人(潜在客户)的姿态来确定其当前位置和未来位置。在某些实施例中，模块121～126可以共享某些参数或中间结果以利于其任务的处理速度或处理精度。在某些实施例中，图像感知模块120可以不包括所有模块121～126。在某些实施例中，模块121～126中的一些模块可以组合。
54.脸部识别模块121被配置为，在接收到视频后，对视频中的人脸进行识别，为每个识别出的脸部分配脸部id，为每个识别出的脸部提取特征，并将脸部id、脸部在视频帧中的位置以及脸部特征发送到线下简档建立模块130、装置感知模块140和整合模块160。在某些实施例中，脸部识别模块121被配置为使用机器学习来获得脸部id、脸部特征和脸部位置。在某些实施例中，针对每个位置和脸部特征可以确定置信度分数，以衡量结果的置信度。购物区(如商场)通常在上方或特定高度处具有相机，因此视频中通常可以获得脸部信息。通过使用脸部而非整个人体，脸部识别模块121可以提取个人信息，并更准确高效地识别个人。在某些实施例中，脸部识别模块121被配置为将输出发送到模块122～126，以便模块122～126至少可以将其对应的结果链接到脸部识别模块121分配的脸部id。
55.眼部追踪模块122被配置为，在接收到来自成像装置182的视频以及可选地，来自脸部识别模块121的脸部识别结果后，追踪视频中(具有脸部id)的人的眼部，并将追踪结果发送到线下简档建立模块130、装置感知模块140和整合模块160。追踪结果包括眼部在视频帧中的位置、眼部瞄准的方向和眼部注视的物体，并且追踪结果链接到脸部id。眼部追踪可以独立于脸部识别模块121的执行来执行，或者可以基于脸部id、脸部特征和脸部位置来执行。在某些实施例中，眼部追踪模块122被配置为使用一个或多个高分辨率视频进行眼部追踪，而脸部识别模块121使用一个或多个较低分辨率的视频进行脸部识别。在某些实施例中，眼部追踪模块122被配置为使用机器学习来实现眼部追踪。在某些实施例中，可以指示人们在购物区行走、观看展示的广告、录制视频、并相应地标记视频，从而准确地训练机器学习模型。在某些实施例中，针对眼部位置、眼部方向和眼部注视对象中的每一个可以确定置信度分数，以衡量结果的置信度。在某些实施例中，当人的眼部注视特定产品或广告时，本公开可以将其记录为人的兴趣的强烈指示。
56.性别分类器123被配置为，在接收到视频以及可选地，脸部识别结果后，基于视频中观察到的人的外表对其性别进行分类，并将分类后的性别发送到线下简档建立模块130、装置感知模块140和整合模块160。在某些实施例中，性别链接到脸部id。在某些实施例中，性别分类器123是机器学习模型。该机器学习模型预先使用标记的图像或视频进行训练。性别分类器123训练好后，可用于分析成像装置182采集的视频帧，为视频中的人确定性别。在某些实施例中，可以为每个人确定的性别确定置信度分数。
57.着装分类器124被配置为，在接收到视频以及可选地，脸部识别结果后，基于视频中人的外表对其着装进行分类，并将分类后的着装信息发送到线下简档建立模块130、装置感知模块140和整合模块160。在某些实施例中，着装分类链接到脸部id。其中，着装信息包括着装类别、着装颜色和着装风格。着装类别是着装的类型，包括例如裙子、裤子、外套等。着装颜色包括着装的颜色是浅色还是深色，以及红色、蓝色、黄色、黑色等着装的实际颜色。着装风格可以从一个人穿戴的服饰组合中推断出来，包括休闲风、商务风、现代风。在某些实施例中，着装信息还包括服饰的材质，包括棉、羊毛、丝绸、皮革、尼龙、涤纶、氨纶等中的一种或多种。在某些实施例中，着装分类器124为机器学习模型。该机器学习模型预先使用标记的图像或视频进行训练。着装分类器124训练好后，可用于分析成像装置182采集的视频，并为视频中的人确定着装信息。在某些实施例中，可以为着装类型、着装颜色和着装风格确定置信度分数。
58.姿态估计模块125被配置为，在接收到视频以及可选地，脸部识别结果后，估计视频中观察到的人的姿态、用户的移动意图和移动速度，并将结果发送到轨迹追踪模块126、线下简档建立模块130、装置感知模块140和整合模块160。在某些实施例中，结果链接到脸部id。在某些实施例中，姿态估计模块125是机器学习模型，可以为估计的姿态和移动方向确定置信度分数。该机器学习模型预先使用标记的图像或视频进行训练。姿态估计模块125训练好后，可用于分析成像装置182采集的视频，并为视频中的人确定姿态。在某些实施例中，姿态估计模块125被配置为定义包围视频帧中每个人的边界框，并且基于多个连续视频帧估计人的姿态。估计的姿态可以包括人在某个时间点是站立、行走还是奔跑。此外，还可以从连续视频中推断步行或奔跑的方向和速度。即使一个人是站立的，也可以获得其朝向以指示潜在行走方向的意图。在某些实施例中，针对人的姿态状态、人的移动方向和人的移
动速度确定置信度分数。在某些实施例中，姿态估计模块125被配置为不仅使用采集的rgb或黑白视频帧，还使用来自光检测和测距(lidar)装置或雷达的深度图像。
59.轨迹追踪模块126被配置为，在接收到视频、估计的姿态、移动方向和移动速度后，将人的位置从视频映射到二维坐标，例如二维地图，预测人的一个或多个未来位置，并将当前位置和未来位置发送到线下简档建立模块130、装置感知模块140和整合模块160。在某些实施例中，轨迹追踪模块126可以接收或构建具有参考点的环境的二维平面图，并基于对视频中这些参考点的识别，将人的位置映射到二维地图中。在某些实施例中，每个人都链接到相应的脸部id。在某些实施例中，轨迹追踪模块126也可以是机器学习模型，可以为人的当前位置和未来位置确定置信度分数。根据人的站立、行走或奔跑状态、移动(行走或奔跑)方向(可选地，朝向)以及移动速度，可以预测预定时间后人在二维地图中的位置。预定时间可以是几秒到十分钟的范围。在某些实施例中，预定时间是五秒到三分钟。在某些实施例中，预定时间是30秒。在某些实施例中，轨迹追踪模块126还可以在不同的未来时间点提供若干预测，例如10秒后、半分钟后、10分钟后。在某些实施例中，轨迹追踪模块126还可以提供一个人在下一个时间段内(例如下一个10分钟内)的位置范围。
60.在某些实施例中，模块121～126中的每个模块都是机器学习模型。在某些实施例中，模块121～126中的一个或多个模块还可以使用其他方式来执行，例如通过轨迹追踪模块126使用同步定位与建图(slam)。
61.在某些实施例中，图像感知模块120可以不包括所有模块121～126。例如，脸部识别模块121对识别用户很重要，眼部追踪模块122对推断用户兴趣很重要，姿态估计模块125和轨迹追踪模块126对预测用户的未来位置很重要，但图像感知模块120可以不需要包括性别分类器123和着装分类器124。
62.在某些实施例中，模块121～126是并行执行的，以提高处理的效率。在某些实施例中，内容呈现应用118还可以包括调度器，以安排视频流的采集并协调模块121～126对视频的处理。在某些实施例中，脸部识别模块121可以先执行其功能，为视频中的每个人分配脸部id。模块122～126执行的所有步骤都是滞后的，处理结果链接到脸部id。在某些实施例中，轨迹追踪模块126的执行晚于姿态估计模块125的执行，因为轨迹追踪需要姿态估计模块125的姿态估计结果。在某些实施例中。模块121～126被配置为对视频流进行实时处理，并将处理结果发送到线下简档建立模块130。
63.在某些实施例中，模块121～126中的每个模块可以将其结果直接发送到线下简档建立模块130、装置感知模块140和整合模块160。在某些实施例中，模块121～126可以不直接发送其结果。模块121～126可以基于脸部id整合其结果，并将整合结果发送到线下简档建立模块130、装置感知模块140和整合模块160。整合结果，也称为图像感知结果，可以包括视频中识别到的每个人的脸部id、脸部位置、脸部特征、眼部位置、眼部方向、注视对象、性别、着装类型、着装颜色、着装暗度(浅色或深色)、移动意图、当前位置以及一个或多个未来位置。在某些实施例中，上述信息的一部分可以随着时间的推移保持更新。
64.线下简档建立模块130被配置为，从图像感知模块120接收到图像感知结果后，对结果进行处理，以得到视频中人的线下简档。在某些实施例中，得到的线下简档是线下向量的形式，每个线下向量可以使用相应的脸部id进行索引。每个向量可以包括代表用户的性别、年龄、兴趣、状态等的维度，并且向量是可扩展的。在某些实施例中，某些维度，例如兴
趣，可以具有数百个属性。例如，可以用特定兴趣属性来标记带孩子的人，从而可以提供针对该人的婴儿奶瓶广告。在某些实施例中，诸如性别的某些维度可以仅仅是代表男性或女性的一个值以及置信度分数。在某些实施例中，使用机器学习模型来学习线下向量，向量的维度链接到表示维度代表的特点的可靠性或可能性的置信度分数。
65.除了提供图像感知模块120以分析视频中采集的人的外表之外，还提供装置感知模块140以基于从装置检测器(例如图3所示的路由器188)接收到的信号来分析装置id。如图2b所示，装置感知模块140包括装置识别器142和人员匹配模块144。装置识别器142被配置为获得装置id，人员匹配模块144被配置为将装置id与人员或脸部id进行匹配。
66.装置识别器142被配置为，从路由器188接收到检测到的路由器信号后，对该信号进行过滤以获得具有装置id的装置列表，并将过滤后的装置列表发送到人员匹配模块144。路由器188优选地包括安装在购物环境中的多个路由器。当装置的wi-fi设置打开时，每个路由器188能够扫描或获取附近的装置，扫描结果包括装置id和装置的信号强度。由于路由器188的位置在安装时预先确定，因此装置识别器142能够基于路由器188测量的装置wi-fi信号强度估计装置的位置。在某些实施例中，装置识别器142基于一个装置和几个路由器188之间的wi-fi信号估计装置的位置。此外，还可以分析装置的模式。模式特征包括何时检测到装置、多久检测一次装置、装置是否位于某些站点或装置是否正在移动。在获得装置id、装置估计位置和一段时间内的装置模式后，装置识别器142还被配置为过滤路由器188检测到的装置列表。过滤过程可以使用某些标准来执行。例如，如果装置在同一位置保持了很长时间(例如几天)，其可能是环境中的装置并被过滤掉。如果装置以某种模式显示，例如每周有几天早上或下午进入环境并在下午或晚上离开，则该装置可能会被过滤掉，因为该模式显示持有该装置的人可能是环境中的员工而非客户。通过检测和过滤，装置识别器142被配置为提供具有装置id的装置列表，以及不同时间或实时的装置位置。
67.人员匹配模块144被配置为，在接收到来自装置识别器142的过滤后的具有id和位置的装置列表以及来自图像感知模块120的图像感知结果后，将装置与图像感知结果中的客户进行匹配，以获得装置id和脸部id的匹配列表，并将匹配列表发送到线上简档建立模块150和整合模块160。在某些实施例中，人员匹配模块144是机器学习模型，可以为匹配列表中每个匹配的装置id和脸部id确定置信度分数。在某些实施例中，匹配过程利用通过图像感知模块120确定的客户位置和通过装置识别器142确定的装置位置。当客户位置和装置位置足够接近时，脸部id和装置id匹配。在某些实施例中，人员匹配模块144可以使用短时间内而非时间点的数据来匹配装置和持有装置的客户，以提高匹配的准确性。换言之，如果一段时间内客户移动与装置移动一致，则装置与客户的匹配更可靠。在某些实施例中，装置和客户可能不具有一对一的精确匹配，匹配的装置部分和客户部分构成脸部id和装置id的匹配列表。在某些实施例中，人员匹配模块144只需要来自图像感知模块120的部分图像感知结果，例如脸部id和轨迹(一段时间内人的位置)，不需要图像感知模块120将性别、着装信息、姿态和未来位置预测发送到人员匹配模块144。
68.线上简档建立模块150被配置为，在从人员匹配模块144接收到匹配列表后，将装置id映射到线上用户简档数据库178中的用户，检索匹配的用户简档并生成线上用户简档向量，并将线上用户简档向量发送到整合模块160。每个生成的线上用户简档向量链接到匹配列表中的装置id和脸部id。线上用户简档数据库178包括用户的线上简档，例如用户注册
信息(如年龄、性别、地址)、从客户的搜索历史和购买历史得出的用户购物行为、以及用户用于网上购物的装置。当线上简档建立模块150确定匹配列表中的装置id与线上用户简档数据库178中记录的用户使用的装置匹配时，线上简档建立模块150被配置为检索用户的线上简档，并基于用户的线上简档生成线上简档向量。生成的用户的线上简档向量可以包括性别、年龄、兴趣等信息。在某些实施例中，生成的线上用户简档可以不是向量的形式，也可以是其他形式。
69.整合模块160被配置为，在接收到来自线下简档建立模块130的线下简档向量、来自线上简档建立模块150的线上简档向量以及来自图像感知模块120的图像感知结果后，将这些信息整合在一起以得到整合用户简档，并将整合用户简档发送到显示模块170。在某些实施例中，整合模块160只需要从图像感知模块120接收部分图像感知结果，即来自轨迹追踪模块126的人员当前位置和的未来位置预测。整合包括组合线下用户简档向量和线上用户简档向量以在其具有相同脸部id的情况下形成用户简档向量。对于线下向量和线上向量中相同的维度，考虑维度的置信度分数，整合模块160保留置信度分数较高的维度的值，而丢弃置信度分数较低的维度的值。在某些实施例中，用户简档向量维度的值可以是来自线下用户简档向量和线上用户简档向量的加权和。在某些实施例中，一个维度的处理可以不同于另一维度。通过整合模块160进行处理之后，整合用户简档包括脸部id、装置id、用户简档向量以及二维地图中人的当前和未来位置。在某些实施例中，脸部id、装置id、以及可选地，人的当前位置和未来位置也可以作为用户简档向量的维度。在某些实施例中，如果脸部id没有对应的装置id，因为有基于视频的用户信息，脸部id、线下用户简档向量和人员轨迹追踪(当前位置和未来位置)仍然可以保留以供进一步使用。因此，整合用户简档可以包括具有脸部id、装置id、用户简档向量(组合的线上用户简档和线下用户简档)和用户轨迹的条目，以及具有脸部id、线下用户简档向量和用户轨迹的条目。
70.显示模块170被配置为，从整合模块160接收到整合用户简档后，检查来自内容数据库179的内容，推荐要显示的内容，检索和聚合推荐的内容，并在显示装置190上显示聚合内容。如图2c所示，显示模块170包括推荐模块172、聚合模块174和投影模块176。
71.推荐模块172被配置为，在接收到整合用户简档后，为每个用户推荐内容列表，并将内容列表发送到聚合模块174。内容可以包括广告、公益广告等。首先，推荐模块172被配置为，针对每个整合用户简档，将用户简档向量与内容数据库179中的内容进行比较，并提供用户可能感兴趣的内容排名列表。内容排名列表中的每个内容用相关性分数进行衡量，表示用户对内容感兴趣的可能性。在某些实施例中，推荐模块172使用协同过滤来获得用于推荐的排名列表。在获得整合用户简档中标识的用户的内容排名列表后，推荐模块172随后被配置为将内容排名列表发送到聚合模块174。
72.聚合模块174被配置为，在接收到整合用户简档和内容排名列表后，获得未来预定时间段针对每个显示装置190的聚合内容，并将聚合内容发送到投影模块176。具体地，对于在预定未来时间段的显示装置190，聚合模块174首先被配置为确定预测将在显示装置190的显示区域中出现的客户。这些客户中的每个客户都有自己的内容排名列表。然后，聚合模块174被配置为将客户的内容排名列表进行组合以获得内容显示列表，并提供内容显示列表的播放顺序。随后，聚合模块174被配置为从内容数据库179检索内容显示列表中列出的内容。在上述数据可获得的情况下，聚合模块174进一步被配置为将内容显示列表、播放顺
序和检索到的内容聚合到聚合内容中，并将聚合内容发送到投影模块176。
73.图4示意性地示出了根据本公开的某些实施例的客户受众的内容排名列表。如图4所示，每个客户，包括用户1、用户2和用户3，具有对于广告1～4中的每个广告的相关性分数。在某些实施例中，相关性分数与用户简档向量的兴趣维度的值相同或密切相关，其中兴趣对应广告的内容。对于特定的显示装置190，当确定在下一个预定时间段内(例如接下来的10分钟)用户1和用户3将在显示装置190的显示区域内，则考虑用户1和用户3的兴趣。在一个简单的整合模型中，添加了相关性值。因此，对于广告1，整合相关性得分为0.8(0.1 0.7)；对于广告2，整合相关性得分为0.3(0.2 0.1)；对于广告3，整合相关性得分为0.45(0.3 0.15)；对于广告4，整合相关性得分为0.7(0.4 0.3)。在某些实施例中，也可以使用机器学习来进行相关性得分的整合。在某些实施例中，根据整合得分，在接下来的10分钟内显示广告1，以便用户1和用户3可以观看双方都高度感兴趣的广告。在某些实施例中，整合得分0.8、0.3、0.45和0.7被归一化为36％、13％、20％和31％，基于归一化的百分比和广告长度将接下来的10分钟分配给四个广告。
74.在某些实施例中，聚合模块174基于显示区域中客户的动态变化来修改显示列表。例如，在接下来的10分钟内，由于以30秒的间隔确定客户轨迹，客户的当前位置和未来位置会随着时间的推移而发生变化，显示列表的更新会影响正在实时显示的广告。在某些实施例中，聚合模块174对接下来10分钟的显示列表进行预测，不需要在接下来的10分钟改变显示列表。
75.投影模块176被配置为，在接收到聚合内容列表后，基于显示列表的播放顺序在预定未来时间段内在显示装置190上显示检索到的内容。
76.线上用户简档数据库178可以存储在存储装置116中或存储在电子商务平台的服务器中。线上用户简档数据库178通常被配置为存储用户的注册信息和购买行为，例如用户的性别、年龄、地址、用户的搜索偏好和搜索历史、用户的购买历史、以及可选地，用户在电商平台上的评价、评论和发帖等。
77.内容数据库179存储用于显示的内容，例如媒体形式的广告。内容可以定期或在需要时更新。内容数据库179存储在图1所示实施例中的存储装置116中。然而，内容数据库179也可以存储在线上并且可由内容呈现应用118访问，或者直接存储在显示装置190中。虽然显示装置190具有有限的存储容量，足够数量的新广告可以存储在显示装置中供内容呈现应用118选择，并且存储的广告可以定期更新。
78.返回图3，感知装置180包括成像装置182、lidar 184、雷达186和路由器188。成像装置180包括多个相机以覆盖购物区域。在某些实施例中，低分辨率或平均分辨率的相机以足够的密度安装在购物区，其采集的图像用于脸部识别、性别分类、着装分类、姿态估计和轨迹追踪，高分辨率的相机安装在购物区中靠近显示装置190或其他重要物体，其采集的图像不仅用于上述功能，还用于眼部追踪。lidar 184和雷达186是可选的，可以用于精确位置的确定和补偿成像装置182的功能。在某些实施例中，lidar 184和雷达186可以只设置在环境中几个重要的位置，例如环境的入口、出口和核心位置。路由器188用于与购物环境中的装置通信，路由器188的数量也应该足以覆盖购物环境的很大一部分。在某些实施例中，路由器188也可以被其他可用于检测装置，尤其是用户手持装置的装置所代替。
79.显示装置190包括电视、监视器、广告牌，甚至被配置为显示或广播内容(例如媒体
广告)的音频装置。在某些实施例中，显示装置190通过例如计算装置110的中央控制器控制以及时地显示广告。
80.在某些实施例中，系统100是物联网(iot)系统。
81.图5示意性地示出了根据本公开的某些实施例的购物环境500，其中感知装置180和显示装置190被布置在环境的不同区域中。
82.网络195是计算装置110、感知装置180和显示装置190之间的通信网络。在某些实施例中，网络195包括有线或无线网络，可以是移动通信网络、互联网、局域网(lan)、广域网(wan)或个域网(pan)的形式。移动通信网络是一种分布在称为小区(cell)的陆地区域的无线网络系统，一般包括gsm、gprs、hspa、cdma、wcdma、wimax、lte、卫星通信等多种移动网络系统。pan是一种计算机网络系统，用于计算机化装置之间的通信，包括wi-fi、zigbee和蓝牙网络。在某些实施例中，网络195是云网络。
83.如上所述，脸部识别模块121、眼部追踪模块122、性别分类器123、着装分类器124、姿态估计模块125、轨迹追踪模块126、人员匹配模块144、线下简档建立模块130和推荐模块172的部分或全部功能利用机器学习模型，使得过程自动化且高效，并且确保结果准确。
84.此外，通过将眼部追踪合并到内容呈现应用118中，可以高可靠地预测人们的兴趣。将机器学习用于眼部追踪也很新颖。
85.此外，将检测到的装置与从视频中识别出的人进行匹配是具有挑战性的，本公开的某些实施例使用特定标记的训练数据训练机器学习模型，并将距离或位置视为重要因素，成功地实现了匹配过程。
86.最重要的是，本公开的某些实施例既考虑了基于其线上行为的线上用户简档，也考虑了基于其在购物区的外表的线下用户简档，基于其预测轨迹来定位受众，并且增加了所显示的广告的价值。
87.应当注意，在上下文中使用了受众、客户和用户，其指的是存在于购物环境(如商场)中的同一人群，并且这些人可以从购物环境的视频中和/或其持有的装置中识别出来。
88.图6示出了根据本公开的某些实施例的工作流程600。在某些实施例中，工作流程通过图1所示的计算装置110实现。参考图6，成像装置182采集图像，采集的图像通过图像感知模块120进行脸部识别、眼部追踪、性别分类、姿态估计和轨迹追踪。图像感知模块120的结果被进一步处理以形成用户线下简档。
89.路由器188对购物环境中的装置进行扫描，装置匹配感知模块140将扫描到的装置与图像感知结果进行匹配，从而在采集的图像中找到同样持有装置的人。使用匹配装置的id，可以从线上用户简档数据库中检索用户的线上简档(如果可获得)。
90.当用户的线下简档和线上简档都可获得时，整合模块160将线下用户简档和线上用户简档组合以形成组合或整合用户简档，并将整合用户简档与用户轨迹进行链接。基于用户轨迹，预测显示装置190的显示区域中的用户。基于将出现在显示区域中的用户的整合用户简档，可以推荐一个或多个广告。这些推荐的广告可以被聚合并设置以在显示装置190中显示。因此，当预定时间到来时，显示装置190显示聚合的广告，对这些广告感兴趣的用户很可能位于显示区域中。
91.图7示意性地描绘了根据本公开的某些实施例的内容呈现方法。在某些实施例中，该方法通过图1所示的计算装置110实现。需要特别说明的是，除非本公开中另有说明，否则
该方法的步骤可以采用不同的顺序，并不限于图7所示的顺序。
92.如图7所示，在步骤702，成像装置182采集购物环境的视频，并将采集的视频发送到图像感知模块120。在某些实施例中，环境也可以是其他类型的有很多客户在场的环境。
93.在步骤704，图像感知模块120在接收到视频后，对视频进行处理，以得到用户的图像感知结果(用户特征和用户轨迹)，将图像感知结果发送到线下简档建立模块130、装置感知模块140和整合模块160。在某些实施例中，图像感知结果包括用户的特征，例如客户的脸部id、眼部追踪、性别、着装、姿态，以及当前位置和未来位置。
94.在步骤706，线下简档建立模块130在接收到用户特征后，计算线下向量以表示用户简档，并将线下向量发送到整合模块160。线下向量的维度可以表示用户的性别、年龄、兴趣、状态(姿态)。每个特征可以由一个或多个维度表示。例如，用户的兴趣可以包括多个维度，每个维度对应一个产品类别的兴趣。在某些实施例中，发送到线下简档建立模块130的图像感知结果不需要包括用户轨迹。
95.在步骤708，路由器188在不同时间扫描购物环境中的装置以获得装置id列表，并将不同时间的装置id列表连同信号强度一起发送到装置识别器142。
96.在步骤710，响应于接收到来自不同路由器188的不同时间的装置id列表，装置识别器142过滤掉某些装置，并将过滤后的装置id列表发送到人员匹配模块144。在某些实施例中，过滤过程包括去除在一个地点停留数天的装置，以及去除以特定模式定期进出的装置，例如每天早上9点出现在商店，白天大部分时间都留在商店，晚上8点离开商店的装置。前者可以表示配备装置，后者可以表示店内销售人员。在某些实施例中，一个装置可以被具有不同检测信号强度的多个路由器188检测到。该信息还可以存储在过滤后的装置id列表中。
97.在步骤712，响应于接收到来自图像感知模块120的图像感知结果和过滤后的装置id列表，人员匹配模块144将过滤后的装置id列表映射到视频中识别的客户以获得脸部id和装置id之间的链接表，并将脸部id-装置id链接表发送到线上简档建立模块150。具体地，基于与装置中的一个装置通信的路由器188的位置以及路由器188接收的关于该装置的信号强度，可以计算该装置的位置。在某些实施例中，当计算和优化装置在不同时间点的位置时，可以更准确地估计装置在任何时间点的位置。同时，图像感知结果包括通过脸部id对客户进行的识别以及客户在不同时间点的位置。比较装置的动态位置和客户的动态位置，可以将装置映射到用户。换言之，过滤后的装置列表中的装置id可以链接到特定的脸部id。
98.在步骤714，线上简档建立模块150在接收到脸部id-装置id链接表后，查询线上用户简档数据库178以获得脸部id-装置id链接表中列出的装置id对应的线上用户简档，并将检索到的线上用户简档发送到整合模块160。
99.在步骤716，整合模块160在接收到来自图像感知模块120的图像感知结果、来自线下简档建立模块130的线下用户简档和来自线上简档建立模块150的线上用户简档后，将这些信息进行整合以获得整合用户简档，并将整合用户简档发送到显示模块170。整合用户简档包括线上用户简档和线下用户简档的信息以及用户轨迹。
100.在步骤718，显示模块170在接收到整合用户简档后，基于整合用户简档为每个用户推荐来自内容数据库179的一个或多个内容。
101.在步骤720，显示模块170进一步基于用户推荐列表和用户轨迹聚合特定显示装置
190在特定未来时间的内容显示列表，并在特定显示装置190中显示该内容。
102.在某些实施例中，内容呈现应用118不采用一个模块到另一个模块的数据流，而是包括调度器以协调上述步骤。调度器可以将视频和扫描的装置信息加载到存储器114中，并将模块的输入和输出存储在同一位置。
103.在另一方面，本公开涉及一种存储计算机可执行代码的非暂时性计算机可读介质。该代码在计算装置的处理器处执行时可以执行如上所述的方法700。在某些实施例中，非暂时性计算机可读介质可以包括但不限于任何物理或虚拟存储介质。在某些实施例中，非暂时性计算机可读介质可以实现为如图1所示的计算装置110的存储装置116。
104.总之，本公开的某些实施例提供了一种交互式多感知显示系统。该系统同时利用线下用户简档和线上用户简档，以提供针对性的内容。线下用户简档基于环境的实时视频。线上用户简档从电子商务平台的用户简档数据库中检索得到。线上用户简档基于用户线上行为，基于在环境中检测到的装置进行线上用户简档的检索。
105.为了更准确地检测线下用户简档中的用户兴趣，使用了眼部追踪，并且可以使用机器学习进行眼部追踪。
106.本公开的示例性实施例的前述描述仅出于说明和描述的目的而呈现并且不旨在穷举或将本公开限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。
107.选择和描述实施例是为了解释本公开的原理及其实际应用，从而使本领域的其他技术人员能够利用本公开和各种实施例以及适合于预期的特定用途的各种修改。在不脱离本公开的精神和范围的情况下，替代实施例对于本公开所属领域的技术人员将变得显而易见。因此，本公开的范围由所附权利要求而不是前述描述和其中描述的示例性实施例限定。