处理具有敏感信息的媒体数据的制作方法

本公开涉及媒体数据领域，尤其涉及处理具有敏感信息的媒体数据。

背景技术

视频相机正迅速变得更便宜并且更强大。这种趋势与改进的计算机视觉算法(例如，物体和面部识别)相结合导致对使用相机作为传感器产生浓厚的兴趣。

无线连接的视频相机与在该相机设备中或在云中的计算机视觉算法相结合可以在许多场景中被使用。例如，这种设置可以被用于对房间内的人数进行计数，这可以被用于控制通风，检测人的年龄、性别和情绪(基于面部表情)以在数字商业标牌上定位商业信息，或者用于检测工人是否穿着合适的防护服。

廉价且强大的相机与计算机视觉的结合提供了一种强大的工具，其可以被用作许多商业和工业应用中的组件。然而，这些智能相机应用也引发了隐私问题。如果视频流被发送到云服务器以进行处理，则可能会从该视频流中识别出个人。

这意味着此类系统可能不会被公众或当局接受。可能很难获得用于在公共场所使用智能相机的许可，因为这些会被视为视频监视。在许多情况下，图像中的人的隐私是一个严重的问题，并且如果可以识别出个人，那么还可能被禁止在公共场所中安装相机。

在视觉上模糊媒体数据中的某些敏感信息是已知的。例如，在Google地图的街景应用的图像中，人脸和车牌都是被模糊的。

然而，通过应用模糊，媒体数据中的许多有用信息丢失，这意味着其在计算机视觉中的使用价值丢失或者至少显著降低。此外，现代面部识别算法有时仍可以识别出被模糊的人脸。

技术实现要素：

一个目标是改进如何管理媒体数据中的敏感信息，同时允许多种媒体数据处理算法适用。

根据第一方面，提供了一种用于处理输入媒体数据的方法。该方法在媒体数据处理器中被执行并包括以下步骤：获得输入媒体数据；在该输入媒体数据中识别敏感信息；生成替换信息，其中，该替换信息是与该敏感信息对应的至少部分被匿名化的信息，并且该替换信息包含基于该敏感信息的至少一个特征；通过用该替换信息替换该输入媒体数据的敏感信息来修改该输入媒体数据，从而得到经修改的媒体数据；以及提供该经修改的媒体数据以用于进一步处理。

输入媒体数据和经修改的媒体数据可以包括视频流或静止图像。

敏感信息可以包括至少一个人的图像信息。

至少一个特征可以包括以下特征中的至少一个：年龄、性别、面部表情、种族、眼镜使用情况、发型、服装、首饰、人的活动、以及人的站姿。

生成替换信息的步骤可以包括：根据至少一个特征，生成人的至少一个人工表示。

人工表示可以是面部。

生成替换信息的步骤可以包括：针对敏感信息中的同一个人随时间的每个实例，生成具有相同的特征的人工表示。

敏感信息可以包括至少一个车辆牌照的图像信息。

输入媒体数据和经修改的媒体数据可以包括音频流。

根据第二方面，提供了一种用于处理输入媒体数据的媒体数据处理器。该媒体数据处理器包括：处理器；以及存储指令的存储器，这些指令在由该处理器执行时使该媒体数据处理器：获得输入媒体数据；在该输入媒体数据中识别敏感信息；生成替换信息，其中，该替换信息是与该敏感信息对应的至少部分被匿名化的信息，并且该替换信息包含基于该敏感信息的至少一个特征；通过用该替换信息替换该输入媒体数据的敏感信息来修改该输入媒体数据，从而得到经修改的媒体数据；以及提供该经修改的媒体数据以用于进一步处理。

输入媒体数据和经修改的媒体数据可以包括视频流或静止图像。

敏感信息可以包括至少一个人的图像信息。

至少一个特征可以包括以下特征中的至少一个：年龄、性别、面部表情、种族、眼镜使用情况、发型、服装、首饰、人的活动、以及人的站姿。

用于生成替换信息的指令可以包括在由处理器执行时使媒体数据处理器执行以下操作的指令：根据至少一个特征，生成人的至少一个人工表示。

人工表示可以是面部。

用于生成替换信息的指令可以包括在由处理器执行时使媒体数据处理器执行以下操作的指令：针对敏感信息中的同一个人随时间的每个实例，生成具有相同的特征的人工表示。

敏感信息可以包括至少一个车辆牌照的图像信息。

输入媒体数据和经修改的媒体数据可以包括音频流。

根据第三方面，提供了一种用于处理输入媒体数据的计算机程序。该计算机程序包括计算机程序代码，该计算机程序代码在媒体数据处理器上运行时使该媒体数据处理器：获得输入媒体数据；在该输入媒体数据中识别敏感信息；生成替换信息，其中，该替换信息是与该敏感信息对应的至少部分被匿名化的信息，并且该替换信息包含基于该敏感信息的至少一个特征；通过用该替换信息替换该输入媒体数据的敏感信息来修改该输入媒体数据，从而得到经修改的媒体数据；以及提供该经修改的媒体数据以用于进一步处理。

根据第四方面，提供了一种计算机程序产品，该计算机程序产品包括根据第三方面所述的计算机程序和在其上存储有该计算机程序的计算机可读部件。

根据第五方面，提供了一种用于处理输入媒体数据的方法。该方法在媒体数据处理器中被执行并包括以下步骤：获得输入媒体数据；基于该输入媒体数据，确定元数据；以及提供该元数据以用于进一步处理，同时避免提供该输入媒体数据。

媒体数据处理器可以进一步包括媒体数据捕获单元，在这种情况下，获得输入媒体数据的步骤包括：从该媒体数据捕获单元获得输入媒体数据。

该方法可以进一步包括以下步骤：接收要确定的元数据的指示；在这种情况下，确定元数据的步骤是基于该要确定的元数据的指示。

该方法可以进一步包括以下步骤：接收对所支持的元数据的请求；以及发送响应，该响应指示媒体数据处理器能够基于输入媒体数据而确定的至少一个类型的元数据。

元数据可以包括至少一个是以下特征的元数据：年龄、性别、面部表情、种族、眼镜使用情况、发型、服装、首饰、人的活动、人的站姿、车辆的存在、车身类型、车辆型号、火的存在、动物的存在、火的移动、动物的移动、人声的存在、玻璃破碎的发生、枪击的发生、以及摩托车的存在。

元数据可以包括在输入媒体数据中识别出的特定特征的计数器。

输入媒体数据可以包括视频流或静止图像。

输入媒体数据可以包括音频流。

根据第六方面，提供了一种用于处理输入媒体数据的媒体数据处理器。该媒体数据处理器包括：处理器；以及存储指令的存储器，这些指令在由该处理器执行时使该媒体数据处理器：获得输入媒体数据；基于该输入媒体数据，确定元数据；以及提供该元数据以用于进一步处理，同时避免提供该输入媒体数据。

媒体数据处理器可以进一步包括媒体数据捕获单元，在这种情况下，用于获得输入媒体数据的指令包括在由处理器执行时使该媒体数据处理器执行以下操作的指令：从该媒体数据捕获单元获得输入媒体数据。

媒体数据处理器可以进一步包括在由处理器执行时使该媒体数据处理器执行以下操作的指令：接收要确定的元数据的指示，在这种情况下，用于确定元数据的指令包括在由该处理器执行时使该媒体数据处理器执行以下操作的指令：基于要确定的元数据的指示，确定元数据。

媒体数据处理器可以进一步包括在由处理器执行时使该媒体数据处理器执行以下操作的指令：接收对所支持的元数据的请求；以及发送响应，该响应指示该媒体数据处理器能够基于输入媒体数据而确定的至少一个类型的元数据。

元数据可以包括至少一个是以下特征的元数据：年龄、性别、面部表情、种族、眼镜使用情况、发型、服装、首饰、人的活动、人的站姿、车辆的存在、车身类型、车辆型号、火的存在、动物的存在、火的移动、动物的移动、人声的存在、玻璃破碎的发生、枪击的发生、以及摩托车的存在。

元数据可以包括在输入媒体数据中识别出的特定特征的计数器。

输入媒体数据可以包括视频流或静止图像。

输入媒体数据可以包括音频流。

根据第七方面，提供了一种用于处理输入媒体数据的计算机程序。该计算机程序包括计算机程序代码，该计算机程序代码在媒体数据处理器上运行时使该媒体数据处理器：获得输入媒体数据；基于该输入媒体数据，确定元数据；以及提供该元数据以用于进一步处理，同时避免提供该输入媒体数据。

根据第八方面，提供了一种计算机程序产品，其包括根据第七方面所述的计算机程序和在其上存储有该计算机程序的计算机可读部件。

通常，除非本文另有明确定义，否则在权利要求中使用的所有术语应根据其在本技术领域中的普通含义进行解释。除非另有明确说明，否则所有对“一/一个/该元件、装置、组件、部件、步骤等”的引用应被开放地解释为是指元件、装置、组件、部件、步骤等的至少一个实例。除非明确说明，否则在本文中所公开的任何方法的步骤不必按照所公开的确切顺序来执行。

附图说明

现在参考附图以示例的方式描述各方面和实施例，其中：

图1是示出其中可以应用本文所提出的实施例的环境的示意图；

图2A-B是示出根据两个实施例的由图1的媒体数据处理器进行的媒体数据处理的示意图；

图3A-C是示出用于处理媒体数据的方法的实施例的流程图；

图4是示出根据一个实施例的图1的媒体数据处理器的组件的示意图；

图5是示出根据一个实施例的图1的媒体数据处理器的功能模块的示意图；以及

图6示出包括计算机可读部件的计算机程序产品的一个示例。

具体实施方式

现在将在下文中参考附图更全面地描述本公开的各方面，其中示出本发明的某些实施例。然而，这些方面可以以许多不同的形式体现并且不应被解释为限制性的；相反，这些实施例通过示例的方式被提供以使得本公开将是彻底和完整的，并向本领域技术人员充分传达本发明的所有方面的范围。在整个描述中，相同的数字指代相同的元素。

图1是示出其中可以应用本文所提出的实施例的环境的示意图。媒体数据处理器1从媒体数据捕获单元3a、3b(例如，采用相机3a和/或麦克风3b的形式)获得采用数字的形式的输入媒体数据10。相机3a可以是视频相机和/或静止图像相机。媒体数据捕获单元3a-b可以在媒体数据处理器1的内部或外部。

输入媒体数据10可以包含敏感信息11，例如，一个或多个人20a、20b的脸和/或车辆22的牌照11。敏感信息构成被提供给媒体数据处理器1的输入媒体数据10的一部分。如在下文中更详细解释的，敏感信息11不从媒体数据处理器1被转发。

在一个实施例中，经修改的媒体数据10'由媒体数据处理器1进行转发。经修改的数据10'是基于输入媒体数据10，但是其中，敏感信息被替换信息替换，其中，该替换信息保留该敏感信息的特征中的一些以允许进行媒体数据的后续处理，而同时保持匿名性。

在一个实施例中，基于输入媒体数据10的元数据15由媒体数据处理器1进行转发。

经修改的数据10'和/或元数据15经由网络6被转发到接收方节点4。接收方节点4可以是通常被称为云的一部分。网络6可以是基于IP(因特网协议)的网络，诸如因特网或任何其他合适的通信网络。网络6可以是基于有线和/或无线/蜂窝通信。

接收方节点4使用经修改的媒体数据10'和/或元数据15来推断关于媒体捕获单元3a、3b周围的现实世界情况的信息。

图2A-B是示出根据两个实施例的由图1的媒体数据处理器进行的媒体数据处理的示意图。

在图2A中，示出了其中媒体数据处理器1基于输入媒体数据10来转发经修改的媒体数据10'的实施例。输入媒体数据10包含敏感信息11。为了避免转发敏感信息11，媒体数据处理器1生成替换信息12，该替换信息与该敏感信息对应但至少部分被匿名化。媒体数据处理器1用替换信息12替换敏感信息11，从而提供经修改的媒体数据10'。因此，经修改的媒体数据10'包含该输入媒体数据的不敏感的部分、以及替换了构成输入媒体数据10的一部分的敏感信息11的替换信息12。

在图2B中，示出了其中媒体数据处理器1基于包括敏感信息11的输入媒体数据10来提供元数据15的实施例。换句话说，如在下文中更详细解释的，此处的媒体数据处理器分析包括敏感信息的输入媒体数据10，并推断出某些元数据。

图3A-C是示出用于处理媒体数据的方法的实施例的流程图。这些方法在媒体数据处理器中被执行。首先，将描述由图3A的流程图所示的实施例。

在获得输入媒体数据步骤40中，该媒体数据处理器获得输入媒体数据。

在识别敏感信息步骤42中，该媒体数据处理器在该输入媒体数据中识别敏感信息。该敏感信息可以例如包括至少一个人的图像信息。可替代地或附加地，该敏感信息包括至少一个车辆牌照的图像信息。

在生成替换信息步骤44中，该媒体数据处理器生成替换信息。该替换信息是与该敏感信息对应的至少部分被匿名化的信息。在一个实施例中，该替换信息是与敏感信息对应的全部被匿名化的信息。此外，该替换信息包含基于敏感信息的至少一个特征。该至少一个特征可以包括以下特征中的至少一个：年龄、性别、面部表情、种族、眼镜使用情况、发型、服装、首饰、人的活动、以及人的站姿。

可选地，此步骤包括：根据至少一个特征，生成敏感信息的对象的至少一个人工表示。该人工表示可以是面部。该面部可以在至少一个特征的约束下被随机生成的。当敏感信息是车牌时，该车牌可以表示同一类型的汽车但匿名化。注意，汽车本身的特性(例如，颜色、汽车型号)也可以使用替换信息来进行修改。

在一个实施例中，此步骤包括：针对敏感信息中的同一个人随时间的每个实例，生成具有相同的特征的人工表示。换句话说，如果随时间在视频流的连续图像中识别出同一个人，则用于此人的人工表示在所有图像之间是相同或相似的。这允许接收方节点的后续算法例如跟踪人的运动模式。

在修改媒体数据步骤46中，该媒体数据处理器通过用该替换信息替换该输入媒体数据的敏感信息来修改该输入媒体数据，从而产生经修改的媒体数据。

在提供经修改的媒体数据步骤48中，该媒体数据处理器将该经修改的媒体数据提供给接收方节点以用于进一步处理。

媒体数据(即，输入媒体数据和经修改的媒体数据)可以包括视频流或静止图像。可替代地或附加地，该媒体数据可以包括音频流。在这种情况下，敏感信息可以例如是语音。进而，该替换信息可以是具有至少一个对应的特征(例如，男性/女性，儿童/成人等)的匿名化语音。该替换信息具有足够的质量，接收方节点可以例如从该替换信息中解析语音命令。

使用由图3A所示的实施例，接收方节点可以以与对原始视频片段相同的方式来使用计算机视觉算法，并且可以使用依赖于识别人数、年龄、性别、服装等的智能应用而无需修改，同时该方法确保不能识别出个人，从而减少了隐私问题。

现在，将描述由图3B的流程图所示的实施例。由图3B(和图3C)所示的实施例涉及基于输入媒体数据来确定元数据，而不转发媒体数据。相反，由图3A所示的实施例修改输入媒体数据，并转发经修改的媒体数据。

在获得输入媒体数据步骤50中，媒体数据处理器获得输入媒体数据。如上所述，该输入媒体数据可以包括视频流或静止图像和/或音频流。该媒体数据处理器可以进一步包括媒体数据捕获单元(例如，相机和/或麦克风)，在这种情况下，此步骤包括：从该媒体数据捕获单元获得输入媒体数据。

在确定元数据步骤54中，该媒体数据处理器基于该输入媒体数据来确定元数据。该元数据可以包括至少一个是以下特征的元数据：年龄、性别、面部表情、种族、眼镜使用情况、发型、服装、首饰、人的活动、人的站姿、车辆的存在、车身类型、车辆型号、火的存在、动物的存在、火的移动、动物的移动、人声的存在、玻璃破碎的发生、枪击的发生、以及摩托车的存在。可选地，该元数据包括在输入媒体数据中识别出的特定特征的计数器。例如，存在的人、动物和/或车辆的数量。

在提供元数据步骤56中，该媒体数据处理器将该元数据提供给接收方节点以用于进一步处理。然而，该媒体数据处理器避免了提供输入媒体数据，以便不转发任何敏感信息。

现在来看图3C，将只描述与图3B相比的新的或经修改的步骤。

在可选的接收对所支持的元数据的请求步骤51中，媒体数据处理器例如从接收方节点接收对所支持的元数据的请求。

在可选的发送响应步骤52中，该媒体数据处理器发送响应，该响应指示该媒体数据处理器可以基于该输入媒体数据而确定的至少一个类型的元数据。它向在步骤51中发送请求的节点(例如，接收方节点)发送该响应。

在可选的接收元数据指示步骤53中，该媒体数据处理器接收要确定的元数据的指示。在这种情况下，在确定元数据步骤中，元数据的确定是基于该要确定的元数据的指示。

因此，步骤51至53针对接收方节点来定义API(应用编程接口)，以控制将要由媒体数据处理器基于输入媒体数据而捕获的元数据。

使用由图3B-3C所示的实施例，接收方节点无需分析媒体数据；这是由媒体数据处理器执行的，并且只将结果提供给接收方节点。这也降低了用于媒体数据处理器与接收方节点之间的通信的带宽需求。

使用在本文中所描述的方法，敏感信息永远不会从媒体数据处理器被转发到接收方节点。当该媒体数据处理器被提供得非常靠近媒体捕获单元(诸如被并置或者甚至是同一设备的一部分)时，这极大地降低了输入媒体数据中的敏感信息被传播的风险。此外，媒体数据处理器与媒体捕获单元之间的连接可以是有线的，以降低遭窃听的风险。

图4是示出根据一个实施例的图1的媒体数据处理器的组件的示意图。使用能够执行在存储器64中存储的软件指令67的合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)等中的一个或多个的任意组合来提供处理器60，因此，其可以是计算机程序产品。处理器60可以可替代地使用专用集成电路(ASIC)、现场可编程门阵列(FPGA)等来实现。处理器60可以被配置为执行以上参考图3A-C所描述的方法。

存储器64可以是随机存取存储器(RAM)和/或只读存储器(ROM)的任意组合。存储器64还包括永久性存储器，例如，其可以是磁存储器、光存储器、固态存储器或者甚至远程安装的存储器中的任意一个或组合。

还提供了数据存储器66，以用于读取和/或存储在处理器60中执行软件指令期间的数据。数据存储器66可以是RAM和/或ROM的任意组合。

媒体数据处理器1进一步包括用于与外部和/或内部实体通信的I/O接口62。

可选地，媒体数据处理器1包括例如采用相机(用于静止或运动图像)和/或麦克风的形式的媒体数据捕获单元3。

媒体数据处理器的其他组件被省略，以便不混淆在本文中所提出的概念。

图5是示出根据一个实施例的图1的媒体数据处理器1的功能模块的示意图。使用诸如在媒体数据处理器1中执行的计算机程序之类的软件指令来实现这些模块。可替代地或附加地，使用诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、或分立逻辑电路中的任何一个或多个之类的硬件来实现这些模块。这些模块与在图3A-C中所示的方法中的步骤相对应。

输入数据获得器60对应于步骤40和50。敏感信息识别器62对应于步骤42。替换信息生成器64对应于步骤44。媒体数据修改器66对应于步骤46。媒体数据提供器68对应于步骤48。请求接收器71对应于步骤51。响应发送器72对应于步骤52。元数据指示接收器73对应于步骤53。元数据确定器74对应于步骤54。元数据提供器76对应于步骤56.

图6示出了包括计算机可读部件的计算机程序产品的一个示例。在此计算机可读部件上可以存储计算机程序91，该计算机程序可以使处理器执行根据在本文中所描述的实施例的方法。在此示例中，计算机程序产品是光盘，诸如CD(压缩盘)或DVD(数字通用盘)或蓝光光盘。如上所述，该计算机程序产品还可以在设备的存储器中被体现，诸如图4的计算机程序产品64。虽然计算机程序91在此被示意性地示出为所描绘的光盘上的轨道，但该计算机程序可以以诸如可移动固态存储器(例如，通用串行总线(USB)驱动器)之类的适合于计算机程序产品的任何方式被存储。

在上面已经主要参考几个实施例描述了本公开的各方面。然而，如本领域技术人员容易理解的，在如由所附的专利权利要求所限定的，在本发明的范围内，除了以上所公开的实施例之外的其他实施例同样是可能的。因此，虽然已经在本文中公开了各个方面和实施例，但其他方面和实施例对于本领域技术人员来说将是显而易见的。在本文中所公开的各个方面和实施例是出于说明的目的而不旨在限制，其真实范围和精神由所附的权利要求指示。