用于分割任务的无监督学习的系统和方法与流程

用于分割任务的无监督学习的系统和方法
1.相关申请的交叉引用
2.本技术是基于并要求于2021年8月13日在美国专利商标局中提交的美国临时专利申请序列号63/232,848的优先权，所述专利申请的全部内容通过引用并入本文。
技术领域
3.本公开整体涉及用于使用聚类(clustering)和对比方法以无监督方式进行图像分割的系统和方法。


背景技术：

4.图像语义分割是用于标记图像中的每个像素的计算机视觉任务。深度学习模型已展示了从图像提取视觉特征并准确地对每个像素的目标类别进行分类的能力。监督学习模型最小化目标类与预测类之间的交叉熵。然而，获得大量图像中的每个像素的标签是资源密集型且低效的。
5.图像分类的当前趋势是经由无监督学习算法来预训练深度学习模型。在这些算法之中，聚类和对比学习是有效方法。聚类和对比学习的一般构思是在嵌入空间中将相似的特征分组/聚类得更近，而将不相似的特征分开得更远。聚类方法可以处理原始图像的像素特征，但常规的对比学习方法需要来自同一图像的变换视图的特征。


技术实现要素：

6.因此，本公开被提供来解决至少上述问题和/或缺点并且提供下文所述的优点中的至少一些。
7.本公开的一个方面在于提供了用于使用聚类和对比方法以无监督方式进行图像分割的系统和方法。
8.本公开的另一个方面在于提供了用于使用区域级采样和池化以维持相邻像素的连续性来进行图像分割的系统和方法。
9.本公开的另一方面在于提供了用于使用聚类效应和对比效应以在训练期间提供稳定质心学习来进行图像分割的系统和方法。
10.本公开的另一方面在于提供了用于使用框采样(box sampling)以通过平均池化区域到方形特征图而保留相邻像素之间的相似性来进行图像分割的系统和方法。
11.根据本公开的一个方面，提供了通过确定用于无监督图像分割的损失函数来训练特征提取模型的方法。所述方法包括：从图像确定聚类损失；基于所述聚类损失使用聚类伪标签来确定所述图像的弱监督对比损失；并且基于所述聚类损失和所述弱监督对比损失来确定所述损失函数。
12.根据本公开的另一方面，提供了通过确定用于无监督图像分割的损失函数来训练特征提取模型的设备。所述设备包括：处理器；以及存储器，所述存储器被配置为存储指令，所述指令在执行时控制处理器以从图像确定聚类损失，基于所述聚类损失使用聚类伪标签
来确定所述图像的弱监督对比损失，并且基于所述聚类损失和所述弱监督对比损失来确定所述损失函数。
13.根据本公开的另一方面，提供了通过确定用于无监督图像分割的损失函数来训练特征提取模型的方法。所述方法包括：从图像确定聚类损失；确定所述图像的框采样损失；并且基于所述聚类损失和所述框采样损失来确定所述损失函数。
14.根据本公开的另一方面，提供了通过确定用于无监督图像分割的损失函数来训练特征提取模型的设备。所述设备包括：处理器；以及存储器，所述存储器被配置为存储指令，所述指令在执行时控制处理器以从图像确定聚类损失，确定所述图像的框采样损失；并且基于所述聚类损失和所述框采样损失来确定所述损失函数。
附图说明
15.本公开的某些实施例的以上和其他方面、特征和优点将从结合附图进行的以下详细描述变得更明显，其中：
16.图1示出了使用不变性和同变性(picie)和用于生成多视图特征的变换的像素级特征聚类的概述；
17.图2示出了视图之间的交换分配(swav)方法的概述；
18.图3示出了根据实施例的对用于分割的监督对比损失的修改的示例；
19.图4示出了根据实施例的框采样过程的示例；
20.图5是示出了根据实施例的计算损失函数的方法的流程图；并且
21.图6示出了根据实施例的网络环境中的电子装置。
具体实施方式
22.在下文中，参考附图详细描述本公开的实施例。应当注意，尽管在不同的附图中示出了相同的元件，但是它们将由相同的附图标记表示。在以下描述中，提供诸如详细配置和部件等具体细节仅仅是为了帮助全面理解本公开的实施例。因此，对于本领域技术人员来说，很明显，在不脱离本公开的范围的情况下，可以对这里描述的实施例进行各种改变和修改。此外，为了清楚和简洁起见，省略了对众所周知的功能和构造的描述。下文描述的术语是在本公开中的功能的考量中定义的术语，且可根据用户、用户的意图或习惯而不同。因此，术语的定义应基于贯穿整个说明书的内容来确定。
23.本公开可以具有各种变型和各种实施例，其中以下参考附图详细描述实施例。然而，应当理解，本公开不限于实施例，而是包括本公开范围内的所有修改、等效物和替代物。
24.尽管可以使用包括诸如第一、第二等的序数的术语来描述各种元件，但是结构元件不受术语的限制。术语仅仅是用于将一个要素与另一个要素进行区分。例如，在不脱离本公开的范围的情况下，第一结构元件可以被称为第二结构元件。类似地，第二结构元件也可以被称为第一结构元件。如本文所使用，术语“和/或”包括一个或多个相关联项目的任一者和所有组合。
25.本文使用的术语仅用于描述本公开的各种实施例，而无意于限制本公开。除非上下文另有明确说明，否则单数形式旨在包括复数形式。在本公开中，应理解，术语“包括”或“具有”表示存在特征、数字、步骤、操作、结构元件、部件或其组合，并且不排除一个或多个
其他特征、数字、步骤、操作、结构元件、部件或其组合的存在或可能性。
26.除非另外定义，否则本文使用的所有术语与本公开所属领域的技术人员理解的那些具有相同的含义。诸如常用词典中所定义的术语等术语被解释为具有等同于相关技术领域中的上下文含义的含义，并且除非本描述中清楚地定义，否则不被解释为具有理想或过于正式的含义。
27.根据一个实施例的电子装置可以是各种类型的电子装置中的一者。所述电子装置可以包括例如，便携式通信装置(例如，智能手机)、计算机、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置，和/或家用电器等。根据本公开的一个实施例，电子装置不限于上述那些装置。
28.在本公开中使用的术语并非旨在限制本公开，而是旨在包括对应实施例的各种改变、等同或替换。关于附图的描述，可以使用类似的参考标号来指类似或有关的元件。对应于项目的名词的单数形式可以包括事物中的一个或多个，除非相关上下文另有清楚指示。如本文所使用，例如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”等短语中的每一个可包括所述短语中的对应一个中一起枚举的项目的所有可能组合。如本文所使用，例如“第1”、“第2”或“第一”和“第二”等术语可以用于区别对应部件与另一部件，但不在其他方面(例如，重要性或次序)方面限制所述部件。意思是，如果在有或无术语“操作地”或“通信地”的情况下，元件(例如，第一元件)被称为“与......耦合”、“耦合到”、“与......连接”或“连接到”另一元件(例如，第二元件)，那么其指示所述元件可直接(例如，有线)、无线或经由第三元件与所述另一元件耦合。
29.如本文所使用，术语“模块”可包括以硬件、软件或固件实施的单元，并且可与其他术语互换使用，例如“逻辑”、“逻辑块”、“部件”或“电路系统”。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据一个实施例，可以以专用集成电路(asic)的形式实施模块。
30.图像分割是将图像中的每个像素分类为目标类的计算机视觉任务。监督学习通过基于所标记数据进行训练来学习分类。与图像分类任务相比，分割任务需要更多的标签，因为图像中的所有数十万像素都应当被标记。
31.另一方面，无监督学习在没有任何地面真值(ground truth)标签的情况下学习分类。无监督学习方法可用于基于未标记数据对模型进行训练，以减少用像素标签注释图像的人力。例如，聚类是无监督学习的示例，其基于相似性对特征进行分组。
32.随着用于图像分类任务的对比学习的最新进展，根据本公开的实施例，提供了一种用于对具有聚类损失和对比损失的模型进行训练以在不获得任何地面真值标签的情况下对像素进行分类的方法。
33.此外，根据本公开的实施例，引入了框采样过程以从特征图提取随机设定大小的区域并与像素特征联合计算对比损失。这种机制鼓励模型将相同的标签分配给一个区域，从而保持相邻像素之间的标签连续性。
34.还提供了这项工作的扩展，其用有限数量的地面真值标签联合训练监督损失和无监督损失。
35.根据本公开的实施例，提供了一种使用聚类方法和对比方法两者以无监督方式进
行图像分割的系统和方法。
36.通常，用于图像分割的常规的聚类方法学习聚类质心并且针对训练像素生成伪标签。然而，所生成的伪标签通常非常嘈杂，因为属于同一类的像素可由于纹理的差异而被分配不同的标签。
37.相比之下，对比学习鼓励将具有高相似性的像素一起映射得更近，并且远离不相似的像素。这种吸引和排斥效应可以缓解聚类学习中的一部分噪声问题。
38.除了对比学习损失之外，还开发了用于从输出特征图随机采样框并且然后在所提取区域上应用对比损失的一种类似于对象检测任务中区域采样的新机制。
39.本公开的一些方面包括：
40.1)聚类损失：在每个训练时期之前，使用当前像素特征来学习聚类质心。此后，每个像素都被赋予聚类标签作为伪标签。在训练时期期间，伪标签与预测标签之间的交叉熵被最小化。
41.2)弱监督对比损失：无监督对比损失的弱点是在对比期间包含许多假负(false negative)。通过使图像分类对比损失适应像素分类，假负的量进一步增加。为了避免这种假负问题，可以通过使用聚类伪标签作为引导监督对比损失的线索来学习弱监督对比损失。对多个像素进行采样以计算监督对比损失，以便减少计算负担。
42.3)框采样：上面的方面1)和2)均计算关于单个像素的损失。然而，这可能会抑制同一对象/东西类别中相邻像素的连续性。为了鼓励将相同的标签分配给图像的区域，可以应用随机框采样以从特征图提取具有不同大小的矩形区域，并且对所述区域进行平均池化以产生方形特征。通过对对应区域中的多数像素伪标签进行计数，这些方形特征也可以被赋予伪标签。此后，平均池化特征和相应的伪标签可用于再次计算监督对比损失。通过学习相似区域之间的高相似性，模型更有可能将相同的标签分配给区域。
43.因此，本公开通过以下方式来解决上面确定的一些问题：将图像对比损失扩展提供到像素分割、加入训练聚类和弱监督对比损失以便改进学习像素表示的质量，并且除了像素级对比学习之外，还调整区域级采样和池化以保持相邻像素的连续性。
44.通过匹配来自不同类的特征的相似性而没有任何地面真值标签来训练模型，获取大量此类标签的努力是不必要的。
45.此外，用有限量的标签微调预训练模型可以为基于相同量的标签训练的完全监督模型提供更好的性能。
46.符号词汇表
47.来自数据域的图像。
48.来自微型训练批次的图像。
49.f
θ
(.)由θ参数化的特征提取模型。
50.p
i(1)
，p
i(2)
随机光度变换。
51.gi随机几何变换。
52.μ
(.)
聚类质心。
53.y
(.)
聚类标签/伪标签。
54.从位置p∈[hw]处的i
th
图像提取的像素特征。
[0055]
存储在存储器存储体中的像素特征。
[0056]
一般来说，下文将讨论以下几点：
[0057]
用于无监督分割的聚类方法(例如，picie)；
[0058]
对比损失对图像分割的适应；
[0059]
对分割的监督对比损失的修改；以及
[0060]
框采样以获得更好的区域连续性。
[0061]
用于无监督分割的聚类方法
[0062]
deepcluster是一种用于学习图像表示的自我监督方法。deepcluster用标准聚类算法k-means迭代地对特征进行分组，并且使用后续分配作为监督来更新网络的权重。
[0063]
与deepcluster相似，picie在每个训练时期之后对所有像素特征进行聚类，并且将聚类标签作为伪标签分配给训练数据中的每个像素。这些伪标签将引导损失函数来预测每个像素的类。
[0064]
与从图像的单个视图提取特征的deepcluster不同，picie的特征为被提取的图像的两个不同视图以及计算视图内损失和交叉视图损失的两个损失。损失提高了几何变换的同变性和光度变换的不变性。
[0065]
图1示出了picie和用于生成多视图特征的变换的概述。
[0066]
参考图1，以不同次序对图像xi应用光度变换p
i(.)
和几何变换gi，以生成所提取特征的两个视图和然后使用k-means基于两组所提取特征计算两组质心μ
(1)
，μ
(2)
和伪标签y
(1)
，y
(2)
，。
[0067]
在分配对应的伪标签之后，用不同的几何变换和光度变换再次提取特征。通过所分配的伪标签和所计算质心，学习如下文的eq.1(等式1)所示的聚类损失函数，其中是d(.，.)距离度量。
[0068]
为了利用图像的两个视图并增强表示的质量，可以应用如eq.2中的视图内损失和如eq.3所示的交叉视图损失来鼓励模型对于不同的光度变换和几何变换保持不变性。
[0069][0070][0071][0072][0073]
picie用训练图像的两个视图来学习聚类损失，如eq.4所示。尽管picie展示了所学习特征与光度变换和几何变换的同变性和不变性，但由于伪标签非常嘈杂且生成耗时，因此训练花费最多的时间来生成这些标签，并且在经过较长时间的训练之后聚类效果会减弱。
[0074]
对比损失对图像分割的适应
[0075]
对比学习是学习图像级表示的另一种工具。对比学习的想法是在嵌入空间中将相似的特征(例如，正)映射得更近，而将不相似的特征(例如，负)映射得更远。
[0076]
为了学习，可以经由噪声对比估计(nce)损失来训练模型，如eq.5所示，其中d(.,.)是余弦距离，zi是i
th
图像的图像特征，并且和是相对于zi的正特征和负特征。
[0077]
在无监督图像分类中，正(positive)是从具有不同视图的同一图像提取的特征，而负(negative)是从所有其他图像提取的特征。成功的方法包括视觉表示对比学习的简单框架(simclr)、动量对比(moco)、引导您自己的潜伏(byol)、简单连体(simsiam)等。相同的算法可适应于图像分割任务，例如，如下表1所示。
[0078][0079]
表1：对比损失对分割的适应
[0080]
[0081][0082]
对于小批次中的图像，将两组不同的光度变换，但相同的几何变换应用于每个图像。从每个图像的两个视图提取特征，并且然后将所述特征用于计算对比损失。
[0083]
对于simclr，同一位置处的像素特征是正对，而每隔一个位置处的像素特征是负对。
[0084]
对于moco，同一位置处的像素特征是正对，并且在先前时期提取并存储在存储器存储体中的像素特征是负特征。使用用动量更新的第二编码器提取负特征。
[0085]
对于byol，未明确使用负特征，但批次数据的均值模式是通过网络进行批范数运算的负特征。也可以使用第二编码器来提取要预测的特征。
[0086]
对于simsiam，对单个编码器进行训练，但要预测的特征不计算梯度。
[0087]
swav是一种自我监督学习方法，其利用对比方法而无需计算成对比较。具体地，swav是一种聚类学习方法，其在强制针对同一图像的不同增强(或视图)产生的聚类分配之间保持一致性时同时对数据进行聚类，而不是如对比学习那样直接比较特征。简而言之，swav使用交换预测机制，其从一个视图的表示预测另一个视图的聚类分配。
[0088]
图2示出了swav方法的概述。
[0089]
参考图2，与使用所计算的质心作为非参数分类器的权重的pici e不同，swav训练可学习原型，并且基于特征与最近原型之间的距离计算代码。然后交换代码以通过来自不同视图的特征进行预测。
[0090]
对比学习展示了学习图像级特征的主要性能，这些特征将图像分类为接近监督学习上限而没有任何标签。尽管如此，对图像分割进行适应并不简单，因为分割数据存在两个问题：
[0091]
1.训练批次中的假负(false negative)的数量相对较大；以及
[0092]
2.分割数据集中的类非常不平衡。
[0093]
由于仅同一位置处的像素特征是正的，而所有其他特征都是负的，因此存在在损失函数中被视为负的属于同一类的许多像素特征。这会导致嘈杂的学习信号。
[0094]
在分割数据集中，某些类别类占总像素的一部分，诸如cityscapes数据集中的道路、建筑物等。因此，由于上述问题，直接使图像分类对比学习损失适应于图像分割的益处是有限的。
[0095]
为了消除上述类型的缺点，根据本公开的实施例，提供了用于使用聚类方法和对比方法以无监督方式进行图像分割的系统和方法。
[0096]
对分割的监督对比损失的修改
[0097]
为了解决假负和数据不平衡问题，代替完全无监督对比损失，开发了用于图像分割的弱监督对比损失。
[0098]
如上所述，picie可用于针对每个像素生成伪标签。然后可以将这些伪标签用作指示属于同一类的相似特征的引导。使用伪标签，可以开发eq.5的监督版本。
[0099]
图3示出了根据实施例的对用于分割的监督对比损失的修改的示例。
[0100]
参考图3，在提取像素特征之后，除了聚类损失之外，可以基于伪标签计算监督对比损失。所有像素特征的随机样本可用于监督对比损失，因此计算需求略有增加。
[0101]
在eq.6中，|z(i)|是具有同一类标签i的多个特征。在这个损失函数中，正和负是基于所生成的伪标签yi决定的。在采样期间引入了一个另外的超参数，即样本数n
samples
。
[0102][0103]
更具体地，参考图3，在每个训练时期之前，使用当前像素特征来学习聚类质心。此后，每个像素都被赋予聚类标签作为伪标签。
[0104]
此后，在训练时期期间，伪标签与预测标签之间的交叉熵被最小化。
[0105]
无监督对比损失的弱点是在对比期间包含许多假负。此外，通过使图像分类对比损失适应于像素分类，假负的量可进一步增加。
[0106]
因此，为了缓和这种假负问题，可以通过使用聚类伪标签作为引导监督对比损失的线索来学习弱监督对比损失。对多个像素进行采样以计算监督对比损失以减少计算负担。
[0107]
用于更好的区域连续性的框采样
[0108]
为了改进相邻像素之间的标签分配连续性，可以在对象检测任务中使用框采样或
区域采样。
[0109]
更具体地，再次参考图3，在通过主干网络提取密集特征之后，可以从特征图提取随机设定大小的区域/框，并且将每个区域/框分类为对象或非对象。
[0110]
在分割任务中，应用框采样以便从特征图提取n
regions
个区域，并且对所采样区域s
×
s执行平均池化以输出特征所得特征计算区域中所有像素的平均信息。
[0111]
为了计算这些特征的监督对比损失，通过计算区域中的多数标签来为平均池化特征中的所有特征向量赋予相同的标签其中|yi|是采样框中yi的数量。
[0112]
图4示出了根据实施例的框采样过程的示例。
[0113]
参考图4，对所采样区域执行平均池化以2
×
2输出特征。然后通过计算区域中的多数标签，为平均池化特征中的所有特征向量赋予相同的标签。例如，伪标签2在区域401中给出，伪标签4在区域402中给出，并且伪标签1在区域403中给出。
[0114]
因此，除了eq.5和eq.6之外，还可以在eq.7中计算随机采样的方形特征上的另一个监督对比损失。
[0115][0116]
用于训练系统的最终损失函数可以表示为eq.8。
[0117][0118]
表2
[0119]
[0120][0121]
超参数列于下表3。
[0122]
表3：超参数列表
[0123][0124]
图5是示出了根据实施例的计算损失函数的方法的流程图。
[0125]
参考图5，在步骤501中，例如移动电话的设备从图像确定聚类损失
[0126]
在步骤502中，设备基于聚类损失使用聚类伪标签来确定图像的弱监督对比损失
[0127]
在步骤503，设备确定图像的框采样损失
[0128]
在步骤504中，设备例如使用eq.8基于聚类损失、弱监督对比损失和框采样损失确定损失函数
[0129]
尽管图5示出了使用聚类损失、弱监督对比损失和框采样损失来计算损失函数的方法，但本公开不限于此。例如，设备可以基于聚类损失和弱监督对比损失(例如，其中)或基于聚类损失和框采样损失(例如，其中)来确定损失函数
[0130]
用于图像分割的半监督训练
[0131]
根据本公开的实施例，可以对所标记图像和未标记图像进行训练。
[0132]
更具体地，可以通过最小化在预测标签与地面真值标签之间的交叉熵来对所标记图像进行训练。如上所述，可以通过计算聚类损失和对比损失两者来对未标记图像进行训练。
[0133]
也可以包括框采样作为加强区域中标签连续性的机制。基于有限的地面真值标签联合训练监督损失的益处在于，与计算对比损失时相比，在无监督训练期间学习的质心将更加稳健，从而引入更少的噪声。
[0134]
表4
[0135][0136]
图6示出了根据实施例的网络环境中的电子装置。
[0137]
参考图6，网络环境600中的电子装置601(例如，包括gps功能性的移动终端)可以经由第一网络698(例如，短程无线通信网络)与电子装置602通信，或者经由第二网络699(例如，远程无线通信网络)与电子装置604或服务器608通信。电子装置601可以经由服务器608与电子装置604通信。电子装置601可以包括处理器620、存储器630、输入装置650、声音输出装置655、显示装置660、音频模块670、传感器模块676、接口677、触觉模块679、相机模块680、电力管理模块688、电池689、通信模块690以及订户识别模块(sim)696或包括gnss天
线的天线模块697。在一个实施例中，可以从电子装置601省略所述部件中的至少一个(例如，显示装置660或相机模块680)，或者可以在电子装置601中添加一个或多个其他部件。在一些实施例中，部件中的一些可以实施为单个集成电路(ic)。例如，传感器模块676(例如，指纹传感器、虹膜传感器或光照传感器)可以嵌入显示装置660(例如，显示器)中。
[0138]
处理器620可以执行(例如)软件(例如，程序640)来控制与处理器620耦接的电子装置601的至少一个其他部件(例如，硬件或软件部件)，并且可以执行各种数据处理或计算。作为数据处理或计算的至少一部分，处理器620可以将从另一部件(例如，传感器模块676或通信模块690)接收到命令或数据加载在易失性存储器632中，处理存储在易失性存储器632中的命令或数据，并将所得数据存储在非易失性存储器634中。处理器620可以包括主要处理器621(例如，中央处理单元(cpu)或应用程序处理器)，以及辅助处理器623(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中心处理器或通信处理器(cp))，其可与主要处理器621独立或结合所述主要处理器操作。另外地或替代地，辅助处理器623可以适用于消耗比主要处理器621少的功率，或执行特定功能。辅助处理器623可以实施为与主要处理器621分开或作为主要处理器的一部分。
[0139]
在主处理器621处于未激活(例如，睡眠)状态时，辅助处理器623可代替主处理器621控制与电子装置601的部件之中的至少一个部件(例如，显示装置660、传感器模块676或通信模块690)相关的功能或状态中的至少一些，或者在主处理器621处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器621一起来进行上述控制。根据一个实施例，可将辅助处理器623(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器623相关的另一部件(例如，相机模块680或通信模块690)的部分。
[0140]
存储器630可存储由电子装置601的至少一个部件(例如，处理器620或传感器模块676)使用的各种数据。所述各种数据可包括例如软件(例如，程序640)以及用于与之有关的命令的输入数据或输出数据。存储器630可包括易失性存储器632或非易失性存储器634。
[0141]
程序640可作为软件存储在存储器630中，且可包括例如操作系统(os)642、中间件644或应用程序646。
[0142]
输入装置650可从电子装置601的外部(例如，用户)接收将由电子装置601的其他部件(例如，处理器620)使用的命令或数据。输入装置650可包括例如麦克风、鼠标或键盘。
[0143]
声音输出装置655可将声音信号输出到电子装置601的外部。声音输出装置655可包括例如扬声器或接收器。扬声器可以用于通用目的，诸如播放多媒体或录音，并且接收器可以用于接收传入呼叫。根据一个实施例，接收器可以被实现为与扬声器分离或为扬声器的一部分。
[0144]
显示装置660可以向电子装置601的外部(例如，用户)在视觉上提供信息。显示装置660可包括例如显示器、全息图装置或投影仪，以及控制所述显示器、全息图装置和投影仪中的对应一者的控制电路。根据一个实施例，显示装置660可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
[0145]
音频模块670可以将声音转换成电信号，反之亦然。根据一个实施例，音频模块670可以经由输入装置650获得声音，或经由声音输出装置655或与电子装置601直接(例如，有线)或无线耦合的外部电子装置602的头戴式耳机输出声音。
[0146]
传感器模块676可检测电子装置601的操作状态(例如，功率或温度)或电子装置
601外部的环境状态(例如，用户的状态)，且接着产生对应于检测到的状态的电信号或数据值。传感器模块676可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、抓握传感器、接近传感器、色彩传感器、红外线(ir)传感器、生物计量传感器、温度传感器、湿度传感器或光照传感器。
[0147]
接口677可以支持将用于将直接(例如，有线)或无线与外部电子装置602耦合的电子装置601的一个或多个指定协议。根据一个实施例，接口677可包括例如高清多介质接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
[0148]
连接端678可以包括电子装置601可以经由其与外部电子装置602物理连接的连接件。根据一个实施例，连接端678可包括例如hdmi连接件、usb连接件、sd卡连接件，或音频连接件(例如，头戴式耳机连接件)。
[0149]
触觉模块679可以将电信号转换成可以由用户经由触觉感觉或动觉感觉来辨识的机械刺激(例如，震动或移动)或电刺激。根据一个实施例，触觉模块679可包括例如马达、压电元件或电刺激器。
[0150]
相机模块680可捕获静止图像或移动图像。根据一个实施例，相机模块680可包括一个或多个镜头、图像传感器、图像信号处理器或闪光灯。
[0151]
电力管理模块688可管理供应到电子装置601的电力。电力管理模块688可以实施为例如电力管理集成电路(pmic)的至少一部分。
[0152]
电池689可以向电子装置601的至少一个部件供电。根据一个实施例，电池689可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
[0153]
通信模块690可支持建立电子装置601与外部电子装置(例如，电子装置602、电子装置604或服务器608)之间的直接(例如，有线)通信信道或无线通信信道，且经由所建立的通信信道执行通信。通信模块690可包括能够与处理器620(例如，应用处理器)独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据一个实施例，通信模块690可包括无线通信模块692(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块694(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的对应一者可以经由第一网络698(例如，短程通信网络，诸如bluetooth
tm
、无线保真(wi-fi)直连或红外线数据协会(irda)标准)或第二网络699(例如，远程通信网络，诸如蜂窝网络、互联网或计算机网络(例如，lan或广域网(wan))与外部电子装置通信。这些各种类型的通信模块可以实施为单个部件(例如，单个ic)，或者可以实施为彼此分开的多个部件(例如，多个ic)。无线通信模块692可以使用存储在订户识别模块696中的订户信息(例如，国际移动订户身份(imsi))来识别并验证通信网络(诸如第一网络698或第二网络699)中的电子装置601。
[0154]
天线模块697可将信号或电力发射到电子装置601的外部(例如，外部电子装置)或从外部接收信号或电力。根据一个实施例，天线模块697可包括一个或多个天线，且因此，可例如通过通信模块690(例如，无线通信模块692)来选择对于通信网络(例如第一网络698或第二网络699)中使用的通信方案来说适当的至少一个天线。然后经由选定的至少一个天线，在通信模块690与外部电子装置之间传输或接收信号或电力。
[0155]
上文所述的部件中的至少一些可以相互耦合，并经由外围间通信方案(例如，总线、通用输入和输出(gpio)、串行外围接口(spi)或移动产业处理器接口(mipi))在其间传
送信号(例如，命令或数据)。
[0156]
根据一个实施例，可经由与第二网络699耦合的服务器608，在电子装置601与外部电子装置604之间发射或接收命令或数据。电子装置602和604中的每一个可以是与电子装置601相同类型或不同类型的装置。可以在外部电子装置602、604或608中的一个或多个处执行在电子装置601处执行的操作中的全部或一些。例如，如果电子装置601应自动执行功能或服务，或响应于来自用户或另一装置的请求，电子装置601代替于或除执行所述功能或所述服务之外，可以请求一个或多个外部电子装置执行所述功能或所述服务的至少一部分。接收到所述请求的一个或多个外部电子装置可以执行所请求的功能或服务的至少一部分，或者与所述请求相关的额外功能或额外服务，并且将执行的结果传送给电子装置601。电子装置601可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
[0157]
一个实施例可以实施为软件(例如，程序640)，其包括存储在可由机器(例如，电子装置601)读取的存储介质(例如，内部存储器636或外部存储器638)中的一个或多个指令。例如，电子装置601的处理器可以调用存储在存储介质中的一个或多个指令中的至少一者，并在处理器的控制下，使用或不使用一个或多个其他部件来执行所述指令。因此，可以操作机器来根据所调用的至少一个指令来执行至少一个功能。所述一个或多个指令可以包括由编译程序生成的代码或可由翻译程序执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。术语“非暂时性”指示存储介质是有形装置并且不包括信号(例如，电磁波)，但此术语不区分数据半永久地存储于存储介质中的位置与数据临时地存储于存储介质中的位置。
[0158]
根据一个实施例，本公开的方法可以被包括且设置在计算机程序产品中。计算机程序产品可作为产品在销售者和购买者之间进行交易。所述计算机程序产品可以以机器可读存储介质(例如，压缩光盘只读存储器(cd-rom))的形式分发，或经由应用程序商店(例如，playstore
tm
)在线分发(例如，下载或上载)，或直接在两个用户装置(例如，智能电话)之间分发。如果在线分发，那么所述计算机程序产品的至少一部分可以临时生成或至少临时存储在机器可读存储介质(例如制造商的服务器、应用程序商店的服务器或中继服务器的存储器)中。
[0159]
根据一个实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体。可以省略上述部件中的一个或多个，或者可以添加一个或多个其他部件。替代地或另外，多个部件(例如，模块或程序)可以集成到单个部件中。在此情况下，集成部件可以仍以与在集成之前由多个部件中的对应一个执行相同或相似的方式执行所述多个部件中的每一个的一个或多个功能。模块、程序或另一部件所执行的操作可以循序地、并行地、重复地或启发式地进行，或者所述操作中的一个或多个可以不同次序执行或省略，或者可以添加一个或多个其他操作。
[0160]
尽管已经在本公开的详细描述中描述了本公开的某些实施例，但是在不脱离本公开的范围的情况下，可以以各种形式修改本公开。因此，本公开的范围不应仅基于所描述的实施例来确定，而是应基于所附权利要求及其等同物来确定。