一种图像处理方法、装置、设备以及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、设备以及存储介质。


背景技术：

2.人体关键点检测技术，是指利用深度学习技术对输入图片进行特征提取，并利用提取到的特征图对关键点进行定位的技术。
3.现有的人体关键点检测技术只能检测出人体关键点，无法针对脚部检测出可以进行位姿估计的脚部关键点的二维位置信息，因此无法得到脚部的三维位姿。


技术实现要素：

4.有鉴于此，本技术公开一种图像处理方法。所述方法可以包括：获取待处理图像中与脚部对应的区域图像；利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息；基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。
5.在一些实施例中，所述获取待处理图像中与脚部对应的区域图像，包括：利用对象检测模型，对所述待处理图像进行对象检测，得到对象检测结果，所述对象检测结果包括所述待处理图像中脚部的检测框；根据所述检测框以及所述待处理图像，得到所述脚部对应的区域图像。
6.在一些实施例中，所述对象检测结果还包括所述脚部的类型；所述类型用于指示脚部为左脚或右脚；在根据所述检测框以及所述待处理图像，得到所述脚部对应的区域图像后，还包括：响应于所述脚部为预设类型，对所述区域图像进行翻转处理，以使输入所述脚部关键点检测模型的区域图像中的脚部的类型一致。
7.在一些实施例中，所述待处理图像为视频流中的图像；所述获取待处理图像中与脚部对应的区域图像，包括：获取所述视频流中所述待处理图像的前一帧图像中脚部的第一脚部关键点位置信息，并根据获取的位置信息，确定脚部边框；基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像。
8.在一些实施例中，基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像之后，所述方法还包括：获取存储的所述前一帧图像中脚部的类型；响应于获取的所述类型为预设类型，对所述区域图像进行翻转处理，以使输入脚部关键点检测模型的区域图像中的脚部的类型一致。
9.在一些实施例中，所述待处理图像为视频流中的图像，所述视频流中还包括在所述待处理图像之前的前一帧图像；所述待处理图像的区域图像根据所述前一帧图像中的第一脚部关键点围成的脚部边框来确定；在基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关
系，确定所述脚部在所述三维空间中的三维位姿之前，所述方法还包括：利用图像分类模型，对所述区域图像进行分类，得到所述区域图像的分类结果；所述分类结果用于指示所述区域图像中是否为脚部图像；响应于所述分类结果指示所述区域图像为脚部图像，确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，以进行脚部跟踪。
10.在一些实施例中，所述基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿，包括：响应于确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。
11.在一些实施例中，所述图像分类模型与所述脚部关键点检测模型共享特征提取网络；所述图像分类模型与所述脚部关键点检测模型的联合训练方法包括：获取标注了图像分类信息的第一图像样本，以及标注了第一脚部关键点位置信息的第二图像样本；将所述第一图像样本输入所述图像分类模型得到分类预测结果，并根据所述分类预测结果与标注的图像分类信息，得到第一损失信息；将所述第二图像样本输入所述脚部关键点检测模型得到第一脚部关键点位置预测结果，并根据所述第一脚部关键点位置预测结果与标注的第一脚部关键点位置信息，得到第二损失信息；基于所述第一损失信息与所述第二损失信息，调整所述图像分类模型与所述脚部关键点检测模型的模型参数。
12.在一些实施例中，所述第一脚部关键点包括脚部边缘轮廓上的多个关键点；所述第一脚部关键点的数量不少于四个。
13.在一些实施例中，所述第一脚部关键点包括以下至少一个区域的关键点：大脚趾脚尖；前脚掌内侧关节；脚内侧足弓；后脚掌内侧；脚后跟后方；后脚掌外侧；前脚掌外侧关节；前脚面和腿连接处；脚踝内侧关节；后脚筋；脚踝外侧关节。
14.在一些实施例中，在确定所述脚部在所述三维空间中的三维位姿后，所述方法还包括：获取鞋子素材的三维虚拟模型；基于所述待处理图像中脚部的三维位姿，在所述待处理图像中与所述脚部对应的位置叠加所述三维虚拟模型，得到虚拟试鞋的增强现实ar效果。
15.在一些实施例中，所述基于所述待处理图像中脚部的三维位姿，在所述待处理图像中与所述脚部对应的位置叠加所述三维虚拟模型，得到虚拟试鞋的增强现实效果，包括：获取鞋子素材对应的三维虚拟模型在所述三维空间中的初始位姿；基于所述三维位姿指示的位姿转换信息，对所述初始位姿进行转换到与所述脚部对应的三维位姿相匹配，得到转换后的三维位姿；基于所述转换后的三维位姿，将所述三维虚拟模型映射至所述待处理图像，得到与所述鞋子素材对应的二维虚拟素材；将所述二维虚拟素材与所述脚部对应的位置进行图像融合，得到融合后的图像，以进行虚拟试鞋的ar效果展示。
16.本技术还提出一种图像处理装置，所述装置包括：第一获取模块，用于获取待处理图像中与脚部对应的区域图像；关键点检测模块，用于利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息；确定模块，用于基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三
维位姿。
17.在一些实施例中，所述待处理图像为视频流中的图像，所述视频流中还包括在所述待处理图像之前的前一帧图像；所述待处理图像的区域图像根据所述前一帧图像中的第一脚部关键点围成的脚部边框来确定；所述装置还包括：跟踪模块，用于利用图像分类模型，对所述区域图像进行分类，得到所述区域图像的分类结果；所述分类结果用于指示所述区域图像中是否为脚部图像；响应于所述分类结果指示所述区域图像为脚部图像，确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，以进行脚部跟踪。
18.在一些实施例中，所述装置还包括：虚拟试鞋模块，用于获取鞋子素材的三维虚拟模型；基于所述待处理图像中脚部的三维位姿，在所述待处理图像中与所述脚部对应的位置叠加所述三维虚拟模型，得到虚拟试鞋的增强现实ar效果。
19.本技术还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如前述任一实施例示出的图像处理方法。
20.本技术还提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如前述任一实施例示出的图像处理方法。
21.在前述实施例公开的技术方案中，可以利用脚部关键点检测模型，对脚部对应的脚部区域图像进行关键点检测，得到第一脚部关键点的二维位置信息；然后基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，即可确定所述脚部在所述三维空间中的三维位姿。与人体关键点检测技术相比，可以利用神经网络回归得到可以进行位姿估计的第一脚部关键点的二维位置信息，从而便于后续基于所述映射关系确定所述脚部在所述三维空间中的三维位姿。
22.此外，在前述部分实施例记载的技术方案中，还可以基于所述待处理图像中脚部的三维位姿，在所述待处理图像与所述脚部对应的位置叠加鞋子素材的三维虚拟模型，得到虚拟试鞋的增强现实ar效果。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
24.为了更清楚地说明本技术一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
25.图1为本技术示出的一种图像处理方法的方法流程图；
26.图2为本技术示出的一种区域图像获取方法的流程示意图；
27.图3为本技术示出的一种模型训练方法的流程示意图；
28.图4为本技术示出的一种脚部跟踪方法的流程示意图；
29.图5为本技术示出的一种虚拟试鞋流程示意图；
30.图6为本技术示出的一种虚拟试鞋方法的流程示意图；
31.图7为本技术示出的一种图像处理装置的结构示意图；
32.图8为本技术示出的一种电子设备的硬件结构示意图。
具体实施方式
33.下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的设备和方法的例子。
34.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
35.本技术涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。前述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
36.本技术提出一种图像处理方法。该方法可以利用脚部关键点检测模型，对脚部对应的脚部区域图像进行关键点检测，得到第一脚部关键点的二维位置信息；然后基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，即可确定所述脚部在所述三维空间中的三维位姿。与人体关键点检测技术相比，可以利用神经网络回归得到可以进行位姿估计的第一脚部关键点的二维位置信息，从而便于后续基于所述映射关系确定所述脚部在所述三维空间中的三维位姿。
37.所述第一脚部关键点是图像中的脚部至少一个预设脚部区域中的至少一个关键点。所述预设脚部区域可以是在脚部中的任意区域。例如，所述预设区域可以是脚部大拇指区域。
38.所述第二脚部关键点是是指所述预设脚部三维模型包括的脚部关键点中，与所述第一脚部关键点处于相同脚部区域的关键点。
39.该方法可以应用于电子设备中。其中，所述电子设备可以通过搭载与图像处理方法对应的软件装置执行所述方法。所述电子设备的类型可以是笔记本电脑，计算机，服务器，手机，pad终端等。本技术不对所述电子设备的具体类型进行特别限定。所述电子设备可以是客户端或服务端一侧的设备。所述服务端可以是由服务器、服务器集群或分布式服务
器集群提供的服务端或云端。
40.请参见图1，图1为本技术示出的一种图像处理方法的方法流程图。如图1所示，所述方法可以包括s102
‑
s106。
41.其中，s102，获取待处理图像中与脚部对应的区域图像。
42.所述待处理图像中可以包括脚部。本技术目的在于捕捉待处理图像中的脚部，并得到该脚部的三维位姿。
43.在一些实施例中，所述待处理图像可以是由用户通过搭载的客户端程序传输的图像。由此可以对用户上传的图像进行处理。
44.在一些实施例中，所述待处理图像也可以是通过图像采集硬件采集的图像。例如，所述图像采集硬件可以是手机终端搭载的摄像头。用户通过摄像头可以实时采集视频流。所述待处理图像既可以是图片，也可以是所述视频流中的图像。本技术中可以实时在所述待处理图像中捕捉脚部，并进行该脚部的三维位姿估计。
45.所述脚部，可以是指人体的脚部也可以是其他动物或机器人的脚部等。该脚部可以包括左脚或右脚。
46.所述区域图像，可以是所述待处理图像中，与脚部区域对应的图像。
47.在一些实施例中，所述待处理图像为图片或者某一视频流中的首帧图像，可以将所述脚部的检测框在所述待处理图像中围成的区域确定为所述区域图像。当所述待处理图像为该视频流中的非首帧图像时，获取该区域图像的方法在后续实施例中进行说明，在此不做详述。
48.请参见图2，图2为本技术示出的一种区域图像获取方法的流程示意图。
49.如图2所示，在执行s102时可以执行s21
‑
s22。
50.其中，s21，利用对象检测模型，对所述待处理图像进行对象检测，得到对象检测结果，所述对象检测结果包括所述待处理图像中脚部的检测框。
51.在一些实施例中，在执行s21时，可以将所述待处理图像输入完成训练的对象检测模型，得到所述待处理图像中包括的脚部对应的脚部检测框。
52.所述对象检测模型，可以是基于rcnn(region convolutional neural networks，区域卷积神经网络)，fast
‑
rcnn(fast region convolutional neural networks，快速区域卷积神经网络)或faster
‑
rcnn(faster region convolutional neural networks，更快速的区域卷积神经网络)构建的模型。
53.在一些实施例中，可以对所述对象检测模型进行训练。具体地，可以获取多个标注了脚部对应的检测框信息的训练样本。然后可以基于所述训练样本对所述模型进行有监督训练，直至所述模型收敛。
54.完成训练后，即可利用所述对象检测模型进行图像中脚部和脚部检测框的检测。
55.s22，根据所述检测框以及所述待处理图像，得到所述脚部对应的区域图像。
56.在一些实施例中，可以将对象检测得到的脚部检测框以及待处理图像(或者利用骨干网络对所述待处理图像进行特征提取得到特征图)输入区域特征提取单元，得到区域图像。
57.所述区域特征提取单元可以是roi align(region of interest align，感兴趣区域对齐)单元或者roi pooling(region of interest pooling，感兴趣区域汇集)单元。该
单元可以在待处理图像中抠出脚部检测框围成的区域图像。
58.通过s21至s22包括的方法，可以利用深度学习技术准确地对待处理图像进行抠图处理，得到与脚部对应的区域图像。
59.s104，利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息。
60.其中，所述脚部关键点检测模型包括基于多个标注了所述第一脚部关键点的位置信息的脚部区域图像样本训练得到的神经网络模型。
61.所述第一脚部关键点，是指图像中的脚部至少一个预设脚部区域中的至少一个关键点。所述预设脚部区域可以是在脚部中的任意区域。例如，所述预设区域可以是脚部大拇指区域。所述预设脚部区域可以是在脚部中的任意区域。例如，所述预设区域可以是脚部大拇指区域。
62.所述第一脚部关键点的数量和区域可以根据业务需求进行设定。在一些实施例中，所述第一脚部关键点可以包括脚部边缘轮廓上的多个关键点。由此可以根据所述第一脚部关键点，很好的表征脚部的轮廓，从而可以提升脚部的位姿估计效果。
63.所述二维位置信息可以指示所述第一脚部关键点在所述待处理图像中的二维位置信息。在一些实施例中所述二维位置信息可以指示所述第一脚部关键点在所述待处理图像中的二维坐标。
64.在一些实施例中所述第一脚部关键点的数量可以不少于四个。由此可以提升脚部关键点的细粒度，增加包含的脚部的位姿信息，从而可以提升脚部的位姿估计效果。在一些实施例中，所述第一脚部关键点的数量可以为四个至十五个范围内的任意数量，通过在必要的脚部位置设置关键点，以使第一脚部关键点的设置可以在合适的数量范围，也便于进行后续的脚部三维位姿检测。
65.在一些实施例中，所述第一脚部关键点包括以下至少一个区域的关键点：
66.大脚趾脚尖；前脚掌内侧关节；脚内侧足弓；后脚掌内侧；脚后跟后方；后脚掌外侧；前脚掌外侧关节；前脚面和腿连接处；脚踝内侧关节；后脚筋；脚踝外侧关节。
67.由此可以利用脚部轮廓上突出区域和/或内凹区域内的点作为第一脚部关键点，提升对脚部轮廓表征的准确性，从而提升脚部的位姿估计效果。
68.所述脚部关键点检测模型，可以是基于神经网络或深度学习网络构建的回归或分类模型。该模型用于检测出脚部上的第一脚部关键点的二维位置信息。
69.以所述脚部关键点检测模型为基于深度学习网络构建的回归模型为例。在一些实施例中，可以利用训练样本对其进行训练。请参见图3，图3为本技术示出的一种模型训练方法的流程示意图。如图3所示，在进行模型训练时，可以执行s31
‑
s33。
70.其中，s31，获取多个训练样本。所述训练样本可以为包括脚部的脚部图像。所述脚部图像中可以标注第一脚部关键点的二维位置信息。
71.s32，将所述多个训练样本输入所述脚部关键点检测模型，得到所述多个训练样本分别对应的第一脚部关键点二维位置信息。
72.s33，根据得到的第一脚部关键点二维位置信息，与各训练样本预先标注的第一脚部关键点的二维位置信息之间差异，得到损失信息，并利用所述损失信息，通过反向传播更新所述脚部关键点检测模型的参数。
73.完成模型训练后，该模型即具备预测第一脚部关键点的二维位置信息的能力。在执行s104时，可以将s102得到的区域图像输入训练完成的所述脚部关键点检测模型，得到所述脚部的第一脚部关键点的二维位置信息。
74.s106，基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。
75.所述三维空间，是指所述脚部需投影的三维空间。该空间通常根据业务需求进行设定。
76.所述预设脚部三维模型，可以是根据业务需求预先维护的三维模型。所述预设脚部三维模型可以包括多个脚部关键点。
77.所述第二脚部关键点，是指所述预设脚部三维模型包括的脚部关键点中，与所述第一脚部关键点处于相同脚部区域的关键点。所述脚部区域可以是脚部的任意区域。例如，所述脚部区域可以是脚部大拇指区域。
78.所述预设位置信息可以指示预设脚部三维模型在标准位姿下，所述第二脚部关键点在所述三维空间中的三维位置信息。在一些实施例中，所述预设位置信息可以是所述脚部三维模型在标准位姿下，所述第二脚部关键点在所述三维空间中的三维坐标。
79.所述标准位姿可以是根据业务需求预设的位姿。在一些实施例中可以将处于所述三维空间对应的三维坐标系的原点处且垂直于所述三维坐标系的x轴和y轴组成的平面的姿态确定为所述标准位姿。脚部三维模型在该标准位姿时所述第二脚部关键点的三维坐标即为所述预设位置信息。
80.所述三维位姿用于指示待处理图像中的脚部在三维空间中的姿态。在一些实施例中，所述三维位姿可以包括所述脚部相对于三维坐标系中的x、y、z轴三个方向的平移量与旋转量。
81.在执行s106时，可以根据位姿估计算法，基于s104得到的所述第一脚部关键点的二维位置信息(通常为二维坐标信息)与所述预设位置信息之间的映射关系，对所述脚部进行位姿估计，得到所述脚部的三维位姿。所述三维映射算法可以包括pnp(perspective
‑
n
‑
point，多点透视成像)等类似算法。本技术不对映射关系求解算法进行特别限定。
82.以所述三维映射算法为pnp算法为例。该pnp算法的输入有二。其一为所述第一脚部关键点在所述待处理图像中的二维坐标；其二为所述第二脚部关键点在所述三维空间中的三维坐标。该算法可以基于所述第一脚部关键点中的各脚部关键点的二维坐标，与对应第二脚部关键点的三维坐标之间的映射关系，得到所述脚部在所述三维空间中的三维位姿。
83.在得到所述第一脚部关键点的二维坐标后，可以获取所述第二脚部关键点在所述三维空间中的三维坐标。然后将所述三维坐标与所述二维坐标输入所述pnp算法对应的求解公式，得到所述脚部在所述三维空间中的三维位姿。
84.在前述实施例提出的方案中，可以利用脚部关键点检测模型，对脚部对应的脚部区域图像进行关键点检测，得到第一脚部关键点的二维位置信息；然后基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，即可确定所述脚部在所述三维空间中的三维位姿。与人
体关键点检测技术相比，可以利用神经网络回归得到可以进行位姿估计的第一脚部关键点的二维位置信息，从而便于后续基于所述映射关系确定所述脚部在所述三维空间中的三维位姿。
85.在一些实施例中，本技术示出的图像处理方法还可以识别出脚部的类型，即脚部为左脚还是右脚。该方法通过s21得到对象检测结果中除了包括所述待处理图像中脚部的检测框之外，还包括所述脚部的类型。
86.在一些实施例中，执行s21时可以利用对象检测模型，对所述待处理图像进行对象检测，得到所述待处理图像包括的脚部的检测框，以及所述脚部的类型。由此，可以利用对象检测模型，在检测出待处理图像中脚部检测框的基础上，对左右脚进行区分。
87.所述对象检测模型包括基于多个标注了脚部对应的检测框和类型信息的训练样本训练得到的神经网络模型；所述类型指示脚部为左脚或右脚。
88.所述对象检测模型，可以是基于rcnn(region convolutional neural networks，区域卷积神经网络)，fast
‑
rcnn(fast region convolutional neural networks，快速区域卷积神经网络)或faster
‑
rcnn(faster region convolutional neural networks，更快速的区域卷积神经网络)构建的模型。
89.在一些实施例中，可以对所述对象检测模型进行训练。具体地，可以获取多个标注了脚部对应的检测框信息和类型信息(即为左脚或右脚)的训练样本。然后可以基于所述训练样本对所述模型进行有监督训练，直至所述模型收敛。
90.完成训练后，即可利用所述对象检测模型进行图像中脚部的检测框和脚部类型的检测。
91.在一些实施例中，在执行s102之后，还可以执行s103，响应于所述脚部为预设类型，对所述区域图像进行翻转处理，以使输入所述脚部关键点检测模型的区域图像中的脚部的类型一致，从而保证输入脚部关键点检测模型的区域图像中的脚部为相同的类型(即左脚或右脚)，便于脚部关键点检测模型进行处理。
92.所述预设类型，可以根据业务需求进行设定。在一些实施例中，在训练所述脚部关键点检测模型时，可以适用左脚样本进行训练。此时可以将所述预设类型设置为右脚。在执行s103时，如果识别出脚部为右脚，则将脚部对应的区域图像进行翻转，使得区域图像中的脚部变为左脚类型，便于脚部关键点检测模型进行处理。
93.在一些实施例中，本技术需要对采集的视频流中的图像进行图像处理。为了捕捉到视频流中的同一脚部，需要进行脚部跟踪。在一些实施例中，可以利用对象检测模型对视频流中的各帧图像进行对象检测，得到视频流中的脚部，然后根据检测出的脚部位置确定视频流中的同一脚部，以进行脚部跟踪。
94.不难发现，前述脚部跟踪方法需要对各帧图像进行对象检测，而由于对象检测模型的结构比较复杂，运算量比较大，开销较大，因此，前述脚部跟踪方法的跟踪效率较低，可能导致本技术公开的图像处理方法实时性较差。
95.为了解决前述问题，在一些实施例中，可以利用相邻帧图像中脚部的位置不会发生明显变化的特性，对视频流中的脚部进行跟踪，减少通过对象检测模型进行脚部跟踪带来的运算量，降低开销，提升脚部跟踪效率，从而提升图像处理方法的实时性。
96.请参见图4，图4为本技术示出的一种脚部跟踪方法的流程示意图。如图4所示，在
实现脚部跟踪时，可以执行s41
‑
s43。
97.其中，s41，获取待处理图像中与脚部对应的区域图像。
98.所述待处理图像为视频流中的图像。所述待处理图像可以是某一视频流中首帧图像或首帧图像之后的图像。
99.如果所述待处理图像为视频流中的首帧图像，则可以通过s21
‑
s22的步骤获取区域图像。
100.如果所述待处理图像为首帧图像之后的图像，在执行s41时，可以获取所述视频流中所述待处理图像的前一帧图像中脚部的第一脚部关键点位置信息，并根据获取的位置信息，确定脚部边框。基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像。
101.由此可以得到所述待处理图像中，与所述前一帧图像中的脚部位置相同位置的区域图像。
102.所述脚部边框可以是任意形状的边框。在一些实施例中，所述脚部边框可以是矩形框。在执行s41时，可以获取缓存的所述待处理图像的前一帧图像中的第一脚部关键点的二维位置信息。然后可以根据所述二维位置信息，分别确定x和y轴方向的最大坐标x0，y0和最小坐标x1，y1。之后可以将(x0，y0)，(x0，y1)，(x1，y0)与(x1，y1)4个顶点组成的矩形框作为所述脚部边框。
103.得到脚部边框后，可以将所述脚部边框以及待处理图像(或者利用骨干网络对所述待处理图像进行特征提取得到特征图)输入区域特征提取单元，得到第二区域图像。
104.所述区域特征提取单元可以是roi align(region of interest align，感兴趣区域对齐)单元或者roi pooling(region of interest pooling，感兴趣区域汇集)单元。该单元可以在第二图像中抠出脚部边框围成的第二区域图像。
105.在一些实施例中，在基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像之后，还可以获取存储的所述前一帧图像中脚部的类型；响应于获取的所述类型为预设类型，对所述区域图像进行翻转处理，以使输入脚部关键点检测模型的区域图像中的脚部的类型一致。由此从而保证输入脚部关键点检测模型的区域图像中的脚部为相同的类型(即左脚或右脚)，便于脚部关键点检测模型进行处理。
106.s42，利用图像分类模型，对所述区域图像进行分类，得到所述区域图像的分类结果。
107.所述分类结果，指示所述区域图像是否为脚部图像。
108.所述图像分类模型，可以包括卷积神经网络。在训练该模型时，可以获取多个标注了图像分类信息的图像样本。所述图像分类信息指示所述图像样本是否为脚部图像。然后可以基于图像样本对该模型进行有监督训练。
109.完成训练后则可以利用所述图像分类模型对所述区域图像进行图像分类，得到分类结果。
110.s43，响应于所述分类结果指示所述区域图像为脚部图像，确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，以进行脚部跟踪。
111.由于s41得到的所述区域图像为所述待处理图像中，与所述前一帧图像中的脚部位置相同位置的区域图像，那么如果所述区域图像的分类结果指示其为脚部图像，则可以说明所述待处理图像中与所述前一帧图像中的脚部位置相同位置也存在脚部。根据同一脚
部在相邻几帧图像中的位置不会发生明显变化的特性，则可以确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部。由此即实现了视频流中的脚部跟踪，减少通过对象检测模型进行脚部跟踪带来的运算量，降低开销，提升脚部跟踪效率，从而提升图像处理方法的实时性。
112.在脚部跟踪的过程中，还可以继续执行s104，利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息。在此不对s104进行详细说明。
113.完成脚部跟踪后，在执行s106时，可以响应于确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。在此不对位姿估计的步骤信息详述。
114.如果所述分类结果指示所述区域图像不是脚部图像，则可以确定脚部跟踪失败，即可将所述待处理图像作为视频中跟踪失败的图像，利用s21
‑
s22的步骤，获取区域图像，然后通过s104与s106，得到脚部三维位姿。
115.在一些实施例中，所述图像分类模型与所述脚部关键点检测模型共享特征提取网络。例如，骨干网络。
116.可以采用联合训练的方式对所述图像分类模型与所述脚部关键点检测模型进行训练，由此可以提升特征提取网络提取特征的能力，从而提取出对分类和关键点检测有益的特征信息，提升分类和关键点检测效果。
117.在一些实施例中，可以获取标注了图像分类信息的第一图像样本，以及标注了第一脚部关键点位置信息的第二图像样本。所述第一图像样本与所述第二图像样本可以是同一张图像。
118.然后可以将所述第一图像样本输入所述图像分类模型得到分类预测结果，并根据所述分类预测结果与标注的图像分类信息，得到第一损失信息；以及将所述第二图像样本输入所述脚部关键点检测模型得到第一脚部关键点位置预测结果，并根据所述第一脚部关键点位置预测结果与标注的第一脚部关键点位置信息，得到第二损失信息。
119.之后可以基于所述第一损失信息与所述第二损失信息，调整所述图像分类模型与所述脚部关键点检测模型的模型参数。在一些实施例中可以多次迭代执行前述训练步骤，直至所述图像分类模型与所述脚部关键点检测模型收敛。
120.由于所述图像分类模型与所述脚部关键点检测模型共享特征提取网络，因此在对其中任一模型进行训练时，均会影响到对另一模型的训练，使得针对两个模型的训练可以相互补充与促进，实现所述图像分类模型与所述脚部关键点检测模型的联合训练。通过前述联合训练，一方面，可以通过提升所述特征提取网络提取出对分类和关键点检测有益的特征信息的能力，提升分类和关键点检测效果；另一方面，可以通过两个模型训练之间的相互补充与促进，提升模型训练效率。
121.在一些实施例中，在完成s106，得到待处理图像中的脚部在所述三维空间中的三维位姿后，可以进行虚拟试鞋。
122.在一些实施例中，可以先获取鞋子素材的三维虚拟模型。然后基于所述待处理图像中脚部的三维位姿，在所述待处理图像中与所述脚部对应的位置叠加所述三维虚拟模
型，得到虚拟试鞋的增强现实ar效果。
123.所述三维虚拟模型可以用于指示鞋子素材的轮廓和/或纹理颜色等。在一些实施例中所述三维虚拟模型可以包括鞋子素材的各顶点在三维空间中的三维坐标，以及所述各顶点的像素值。
124.通过将利用所述三维虚拟模型对所述脚部对应的位置叠加，可以在所述待处理图像中展现鞋子素材，达到虚拟试鞋的增强现实ar效果。
125.请参见图5，图5为本技术示出的一种虚拟试鞋流程示意图。
126.如图5所示，所述方法可以包括s51
‑
s54。
127.其中，s51，获取鞋子素材对应的三维虚拟模型在所述三维空间中的初始位姿。
128.所述初始位姿，用于指示所述鞋子素材在三维空间中的姿态信息。在一些实施例中，可以在数据库中预先维护鞋子素材在所述三维空间的中的初始位姿。执行s51时，从所述数据库中获取所述三维位姿即可。
129.s52，基于所述三维位姿指示的位姿转换信息，对所述初始位姿进行转换到与所述脚部对应的三维位姿相匹配，得到转换后的三维位姿。
130.脚部的三维位姿可以指示所述脚部在三维坐标系中的位姿转换信息。所述位姿转换信息可以指示所述脚部相对于三维坐标系的x轴、y轴、z轴的平移量与旋转量。
131.所述转换后的三维位姿，可以指示将所述鞋子素材转换到所述脚部的位姿后的位姿信息。
132.在一些实施例中，所述位姿转换信息可以包括平移与旋转信息，在执行s52时，可以利用所述位姿转换信息对所述初始位置进行平移旋转操作，得到将所述鞋子素材平移旋转到所述脚部的位姿后的位姿信息。
133.s53，基于所述转换后的三维位姿，将所述三维虚拟模型映射至所述待处理图像，得到与所述鞋子素材对应的二维虚拟素材。
134.在执行s53时，可以先基于所述转换后的三维位姿，调整所述三维虚拟模型中各顶点的三维坐标，得到调整后的三维虚拟模型。然后利用投影算法将调整后的三维虚拟模型中各顶点的三维坐标投影到所述待处理图像所在的二维平面，得到所述各顶点的二维坐标。根据所述各顶点的二维坐标可以确定与所述鞋子素材对应的二维虚拟素材对应的形状，根据所述各顶点的像素值(通过三维虚拟模型中的各顶点的像素值得到)可以确定所述二维虚拟素材对应的纹理颜色，从而得到所述二维虚拟素材。
135.s54，将所述二维虚拟素材与所述脚部对应的位置进行图像融合，得到融合后的图像，以进行虚拟试鞋的ar效果展示。
136.在一些实施例中，可以采用将所述二维虚拟素材各像素点覆盖所述脚部对应的位置内像素点的方式，或者调整所述脚部对应的位置内像素点透明度等方式，完成图像融合，得到融合后的图像，由此通过输出该融合后的图像即可进行虚拟试鞋的ar效果的展示。
137.以下结合虚拟试鞋场景进行实施例说明。
138.在虚拟试鞋场景中可以利用三维空间中的鞋子对视频流捕捉到的脚部进行融合(例如，图像渲染)，完成虚拟试鞋。
139.虚拟试鞋客户端可以搭载于移动终端中。该移动终端可以搭载普通的摄像头，用于实时采集视频流。
140.虚拟鞋库可以安装在移动终端(以下简称终端)本地，或与虚拟试鞋端(以下简称客户端)对应的服务端中。所述虚拟鞋库可以包括开发的多款鞋子素材的三维虚拟模型。所述虚拟鞋库可以是任意类型的数据库。
141.用户可以在虚拟试鞋客户端中从所述虚拟鞋库中选择要试穿的鞋子，并通过所述摄像头采集脚部视频流。
142.请参见图6，图6为本技术示出的一种虚拟试鞋方法的流程示意图。如图6所示，该方法可以包括s601
‑
s611。
143.针对所述视频流中的第一图像可以执行s601。其中，所述第一图像包括视频流中的首帧图像，或者是根据s607
‑
s610步骤判定脚部跟踪失败后的图像。s601，利用预先训练的对象检测模型，对所述第一图像进行对象检测，得到所述第一图像中的脚部的检测框，以及脚部对应的类型，即所述脚部为左脚或右脚。以下假设该脚部为右脚。
144.s602，根据所述脚部的检测框，获取所述脚部在第一图像中的第一区域图像。
145.s603，响应于所述脚部为右脚，对所述第一区域图像进行翻转处理，以使所述第一区域图像为左脚图像，便于脚部关键点检测模型进行检测。其中，脚部关键点检测模型是根据标注了第一脚部关键点的位置信息的左脚图像样本训练得到。
146.所述第一脚部关键点包括以下个区域中至少部分脚部区域的关键点：大脚趾脚尖；前脚掌内侧关节；脚内侧足弓；后脚掌内侧；脚后跟后方；后脚掌外侧；前脚掌外侧关节；前脚面和腿连接处；脚踝内侧关节；后脚筋；脚踝外侧关节。由此可以细粒度的对脚部轮廓进行详细的描述，包括大量的脚部三维信息，提升位姿估计准确性。
147.s604，根据所述脚部关键点检测模型，得到所述脚部的第一脚部关键点的位置信息。
148.s605，根据所述第一脚部关键点的位置信息，根据pnp算法，得到所述脚部在所述三维空间的三维位姿。
149.s606，从所述虚拟鞋库中获取与右脚对应的鞋子的三维虚拟模型，并根据获取的该三维虚拟模型，以及所述脚部的三维位姿，将所述鞋子与脚部进行融合，以展示虚拟试鞋效果。s606的说明可以参照s51
‑
s54，在此不做详述。
150.针对所述视频流中的第二图像可以执行s607。其中，所述第二图像可以是所述视频流中首帧图像之后的任意非首帧图像。s607，获取所述第二图像的前一帧图像的第一脚部关键点位置信息，并基于该位置信息确定脚部边框。
151.s608，根据所述脚部边框，在所述第二图像中扣出第二区域图像。
152.s609，响应于所述脚部为右脚，对所述第二区域图像进行翻转，以使所述第二区域图像为左脚图像，便于脚部跟踪模型进行检测。其中，脚部跟踪模型包括分类分支与关键点检测分支，该模型是根据标注了第一脚部关键点的位置信息的左脚图像样本，以及图像分类信息的左脚图像样本进行联合训练得到。
153.s610，根据预先训练的脚部跟踪模型的分类分支，确定所述第二区域图像是否为脚部图像，以及根据预先训练的脚部跟踪模型的关键点分支，确定所述脚部的第一脚部关键点的位置信息。
154.如果所述第二区域图像为脚部图像，则可以确定所述第二图像中的脚部为其前一帧图像中出现的脚部，完成脚部跟踪，并执行s605与s606，展示虚拟试鞋效果。
155.如果所述第二区域图像不是脚部图像，则脚部跟踪失败，可以将所述第二图像作为所述第一图像执行s601
‑
s606，得到所述其它图像中脚部的三维位姿。
156.在前述方案中一方面，可以利用脚部关键点检测模型，回归得到第一脚部关键点的位置信息；然后可以基于第一脚部关键点从二维到三维空间的映射，得到所述脚部的三维位姿；之后可以基于所述待处理图像中脚部的三维位姿，在所述在第一图像或第二图像中与所述脚部对应的位置叠加鞋子对应的三维虚拟模型，得到虚拟试鞋的增强现实ar效果。
157.另一方面，可以利用相邻帧图像中脚部的位置不会发生明显变化的特性，对视频流中的脚部进行跟踪，减少通过对象检测模型进行脚部跟踪带来的运算量，降低开销，提升脚部跟踪效率，从而提升虚拟试鞋方法的实时性。
158.与前述实施例相应的，本技术提出一种图像处理装置70。
159.请参见图7，图7为本技术示出的一种图像处理装置的结构示意图。
160.如图7所示，所述装置70可以包括：
161.第一获取模块71，用于获取待处理图像中与脚部对应的区域图像；
162.关键点检测模块72，用于利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息；
163.确定模块73，用于基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。
164.在一些实施例中，所述第一获取模块71具体用于：
165.利用对象检测模型，对所述待处理图像进行对象检测，得到对象检测结果，所述对象检测结果包括所述待处理图像中脚部的检测框；
166.根据所述检测框以及所述待处理图像，得到所述脚部对应的区域图像。
167.在一些实施例中，所述对象检测结果还包括所述脚部的类型；所述类型用于指示脚部为左脚或右脚；
168.所述装置70还包括：
169.第一翻转模块，用于响应于所述脚部为预设类型，对所述区域图像进行翻转处理，以使输入所述脚部关键点检测模型的区域图像中的脚部的类型一致。
170.在一些实施例中，所述第一获取模块71，包括：
171.获取所述视频流中所述待处理图像的前一帧图像中脚部的第一脚部关键点位置信息，并根据获取的位置信息，确定脚部边框；
172.基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像。
173.在一些实施例中，所述装置70还包括：
174.第二获取模块，用于获取存储的所述前一帧图像中脚部的类型；
175.第二翻转模块，用于响应于获取的所述类型为预设类型，对所述区域图像进行翻转处理，以使输入脚部关键点检测模型的区域图像中的脚部的类型一致。
176.在一些实施例中，所述待处理图像为视频流中的图像，所述视频流中还包括在所述待处理图像之前的前一帧图像；所述待处理图像的区域图像根据所述前一帧图像中的第一脚部关键点围成的脚部边框来确定；
177.所述装置70还包括：
178.跟踪模块，用于利用图像分类模型，对所述区域图像进行分类，得到所述区域图像的分类结果；所述分类结果用于指示所述区域图像中是否为脚部图像；
179.响应于所述分类结果指示所述区域图像为脚部图像，确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，以进行脚部跟踪。
180.在一些实施例中，所述确定模块73具体用于：
181.响应于确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。
182.在一些实施例中，所述图像分类模型与所述脚部关键点检测模型共享特征提取网络；所述装置70还包括：
183.所述图像分类模型与所述脚部关键点检测模型的联合训练模块，用于获取标注了图像分类信息的第一图像样本，以及标注了第一脚部关键点位置信息的第二图像样本；
184.将所述第一图像样本输入所述图像分类模型得到分类预测结果，并根据所述分类预测结果与标注的图像分类信息，得到第一损失信息；
185.将所述第二图像样本输入所述脚部关键点检测模型得到第一脚部关键点位置预测结果，并根据所述第一脚部关键点位置预测结果与标注的第一脚部关键点位置信息，得到第二损失信息；
186.基于所述第一损失信息与所述第二损失信息，调整所述图像分类模型与所述脚部关键点检测模型的模型参数。
187.在一些实施例中，所述第一脚部关键点包括脚部边缘轮廓上的多个关键点；所述第一脚部关键点的数量不少于四个。
188.在一些实施例中，所述第一脚部关键点包括以下至少一个区域的关键点：
189.大脚趾脚尖；前脚掌内侧关节；脚内侧足弓；后脚掌内侧；脚后跟后方；后脚掌外侧；前脚掌外侧关节；前脚面和腿连接处；脚踝内侧关节；后脚筋；脚踝外侧关节。
190.在一些实施例中，所述装置70还包括：
191.虚拟试鞋模块，用于获取鞋子素材的三维虚拟模型；
192.基于所述待处理图像中脚部的三维位姿，在所述待处理图像中与所述脚部对应的位置叠加所述三维虚拟模型，得到虚拟试鞋的增强现实ar效果。
193.在一些实施例中，所述虚拟试鞋模块，具体用于：
194.获取鞋子素材对应的三维虚拟模型在所述三维空间中的初始位姿；
195.基于所述三维位姿指示的位姿转换信息，对所述初始位姿进行转换到与所述脚部对应的三维位姿相匹配，得到转换后的三维位姿；
196.基于所述转换后的三维位姿，将所述三维虚拟模型映射至所述待处理图像，得到与所述鞋子素材对应的二维虚拟素材；
197.将所述二维虚拟素材与所述脚部对应的位置进行图像融合，得到融合后的图像，以进行虚拟试鞋的ar效果展示。
198.本技术示出的图像处理装置的实施例可以应用于电子设备上。相应地，本技术公
开了一种电子设备，该设备可以包括：处理器。
199.用于存储处理器可执行指令的存储器。
200.其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现前述任一实施例示出的图像处理方法。
201.本技术示出的图像处理装置的实施例可以应用于电子设备上。相应地，本技术公开了一种电子设备，该设备可以包括：处理器。
202.用于存储处理器可执行指令的存储器。
203.其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现前述任一实施例示出的图像处理方法。
204.请参见图8，图8为本技术示出的一种电子设备的硬件结构示意图。
205.如图8所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储图像处理装置对应指令的非易失性存储器。
206.其中，装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图8所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
207.可以理解的是，为了提升处理速度，装置对应指令也可以直接存储于内存中，在此不作限定。
208.本技术提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可以用于使处理器执行前述任一实施例示出的图像处理方法。
209.本领域技术人员应明白，本技术一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本技术一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。
210.本技术中记载的“和/或”表示至少具有两者中的其中一个，例如，“a和/或b”包括三种方案：a、b、以及“a和b”。
211.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
212.所述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
213.本技术中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有
形体现的计算机软件或固件、包括本技术中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本技术中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
214.本技术中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如fpga(现场可编程门阵列)或asic(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
215.适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理系统。通常，中央处理系统将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理系统以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏操纵台、全球定位系统(gps)接收机、或例如通用串行总线(usb)闪存驱动器的便携式存储设备，仅举几例。
216.适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如eprom、eeprom和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及0xcd_00rom和dvd
‑
rom盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
217.虽然本技术包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本技术内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
218.类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
219.由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实
现中，多任务和并行处理可能是有利的。
220.以上所述仅为本技术一个或多个实施例的较佳实施例而已，并不用以限制本技术一个或多个实施例，凡在本技术一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术一个或多个实施例保护的范围之内。