图像传感器模块和操作图像传感器模块的方法与流程

图像传感器模块和操作图像传感器模块的方法
1.本技术基于并要求于2021年4月23日提交到韩国知识产权局的第10-2021-0053166号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
2.发明构思提供了图像传感器模块和操作图像传感器模块的方法，更具体地，提供了包括用于执行计算处理的存储器的图像传感器模块和操作图像传感器模块的方法。


背景技术：

3.图像传感器是用于捕获目标对象的二维图像或三维图像的装置。图像传感器通过使用对由目标对象反射的光的强度敏感的光电转换元件来生成目标对象的图像。近来，随着互补金属氧化物半导体(cmos)技术发展，cmos图像传感器已被广泛使用。
4.近来，随着对高质量和高分辨率照片和视频的需求增大，由图像传感器生成的图像数据的大小一直在增大。同时，当图像数据的大小增大时，高带宽有利于平滑计算处理。


技术实现要素：

5.发明构思提供了包括用于执行计算处理的存储器的图像传感器模块和操作图像传感器模块的方法。
6.根据发明构思的一个方面，提供了一种图像传感器模块，所述图像传感器模块包括：图像传感器，被配置为生成图像数据；存储器，包括存储器内处理器(pim)电路，pim电路包括多个处理元件和被配置为存储图像数据的多个存储体；以及信号处理器，其中，存储器被配置为：从所述多个存储体读取图像数据，通过使用与所述多个存储体对应的所述多个处理元件对图像数据执行第一图像处理操作，并且将被执行了第一图像处理操作的图像处理后的图像数据存储在所述多个存储体中或者输出图像处理后的图像数据。
7.根据发明构思的另一方面，提供了一种操作图像传感器模块的方法，图像传感器模块包括图像传感器和存储器，所述方法包括：通过使用图像传感器获得图像数据；将图像数据存储在包括在存储器中的存储体中；通过使用包括在存储器中的并且与存储体对应的处理元件对图像数据执行图像处理操作；以及将图像处理后的图像数据存储在存储器中，或者从存储器输出图像处理后的图像数据。
8.根据发明构思的另一方面，提供了一种图像传感器模块，所述图像传感器模块包括：图像传感器，被配置为生成图像数据；以及存储器，被配置为存储图像数据，其中，存储器包括：存储器存储体，包括彼此相邻的第一存储体和第二存储体；存储器内处理器(pim)电路，包括连接到第一存储体的第一处理元件和连接到第二存储体的第二处理元件；以及局部总线，用于在存储器存储体与pim电路之间发送和接收数据。
附图说明
9.从下面的结合附图的详细描述，将更清楚地理解发明构思的示例实施例，其中：
10.图1是示出根据发明构思的一些示例实施例的图像传感器模块的框图；
11.图2是示出神经网络结构的示例的示图；
12.图3a至图3c是示出根据发明构思的一些示例实施例的存储器的部分的框图；
13.图4是示出根据发明构思的一些示例实施例的存储器的结构的框图；
14.图5是详细示出根据发明构思的一些示例实施例的存储器的结构的示图；
15.图6是示出根据发明构思的一些示例实施例的彼此相邻的存储体的结构的示图；
16.图7是示出彼此相邻的图像区域的示图；
17.图8是示出根据发明构思的一些示例实施例的彼此相邻的存储器存储体的结构的示图；
18.图9是示出根据发明构思的一些示例实施例的存储器的示例实施方式的框图；
19.图10是根据发明构思的一些示例实施例的操作图像传感器模块的方法的流程图；
20.图11是图像传感器模块的分解立体图；
21.图12是图像传感器模块的平面图；以及
22.图13是根据发明构思的一些示例实施例的电子装置的框图。
具体实施方式
23.图1是示出根据发明构思的一些示例实施例的图像传感器模块的框图。
24.图像传感器模块100可感测关于目标对象的图像，处理感测的图像，将感测的图像存储在存储器中，或者将处理的图像存储在存储器中。根据一些示例实施例，图像传感器模块100可被安装在数字相机、数字摄像机、移动电话、平板pc、便携式电子装置等上。便携式电子装置可包括膝上型计算机、移动电话、智能电话、平板pc、个人数字助理(pda)、企业数字助理(eda)、数字静态相机、数字视频相机、音频装置、便携式多媒体播放器(pmp)、个人导航装置(pnd)、mp3播放器、手持式游戏机、电子书装置、可穿戴装置等。此外，图像传感器模块100可作为部件被安装在无人机、高级驾驶辅助系统(adas)或作为车辆、家具、制造设施、门和各种测量装置的组件提供的电子装置上。
25.参照图1，图像传感器模块100可包括图像传感器110、存储器120、信号处理器130和接口(i/f)140。根据一些示例实施例，图像传感器模块100可由多个半导体芯片实现。然而，发明构思不限于此，并且图像传感器模块100也可由一个半导体芯片实现。
26.图像传感器模块100可拍摄外部目标对象(或对象)，并且生成图像数据。图像传感器模块100可包括图像传感器110，图像传感器110可将通过透镜ls入射的目标对象的光学信号转换为电信号。图像传感器110可包括其中多个像素被二维地布置的像素阵列，并且可输出包括分别与像素阵列的像素对应的多个像素值的图像数据。
27.像素阵列可包括多条行线、多条列线以及分别连接到行线和列线并以矩阵状形式布置的多个像素。像素可各自包括至少一个光电转换元件(或光感测元件)。光电转换元件可感测光，并且将感测的光转换为光电荷。例如，光电转换元件可以是包括有机材料或无机材料的光感测元件(例如，光电二极管、有机光电二极管、钙钛矿光电二极管、光电晶体管、光电门、钉扎光电二极管等)。根据一些示例实施例，像素可各自包括多个光电转换元件。
28.像素阵列的像素可各自感测多个参考颜色之中的至少一种颜色的光信号。例如，参考颜色可包括红色、绿色和蓝色，可包括红色、绿色、蓝色和白色，或者可包括其它颜色。
proposalnetwork，rpn)、循环神经网络(rnn)、基于堆叠的深度神经网络(s-dnn)、状态空间动态神经网络(s-sdnn)、去卷积网络、深度信念网络(dbn)、受限玻尔兹曼机(rbm)、全卷积网络、长短期记忆(lstm)网络、分类网络、普通残差网络、密集网络、分层金字塔网络等中的至少一个的神经网络模型。然而，神经网络模型的类型不限于上述示例。以下将参照图2详细描述pim电路124执行基于神经网络的计算处理的方法。
36.在一些示例实施例中，pim电路124的pe可从存储器存储体122的存储体bank1至bankn读出图像数据，并且对读出的图像数据执行上述图像处理操作。存储器120可将通过使用pim电路124被执行计算处理的图像数据存储回存储器存储体122中。此外，存储器120可将通过使用pim电路124被执行计算处理的图像数据提供给信号处理器130。此外，存储器120可通过接口140将被执行了计算处理的图像数据输出到图像传感器模块100外部的装置。
37.控制逻辑126可执行关于存储器存储体122和pim电路124的控制操作。在一些示例实施例中，控制逻辑126可对提供给存储器120的命令和地址执行解码操作并控制存储器存储体122和pim电路124，使得存储器操作根据解码操作的结果而被执行。例如，提供给存储器120的命令可包括与存储器操作(如，数据的写入/读取)有关的命令和与计算操作有关的命令。根据解码操作的结果，控制逻辑126可控制存储器存储体122以执行用于将数据写入与地址对应的存储区域/从与地址对应的存储区域读取数据的存储器操作，或者控制pim电路124以基于在与地址对应的存储区域中写入的数据来执行计算操作。
38.存储器120可包括动态随机存取存储器(dram)(如，双倍数据速率同步动态随机存取存储器(ddr sdram)、低功率双倍数据速率lpdd(lpddr)sdram、图形双倍数据速率(gddr)sdram和rambus动态随机存取存储器(rdram))。然而，发明构思的示例实施例不必限于此。例如，存储器120还可包括非易失性存储器(如，闪存、磁ram(mram)、铁电ram(feram)、相变ram(pram)、电阻式ram(reram)等)。
39.此外，存储器120可以是与包括各自具有独立接口的多个通道的存储器装置中的一个半导体芯片或一个通道对应的配置。在一些示例实施例中，存储器120可以是与存储器模块对应的配置。在一些示例实施例中，存储器模块可包括多个存储器芯片，并且图1的存储器120可对应于安装在模块板上的一个存储器芯片。
40.信号处理器130可对从图像传感器110或存储器120接收的图像数据执行计算处理。例如，信号处理器130可包括中央处理器(cpu)、微处理器或微控制器单元(mcu)。在一些示例实施例中，信号处理器130可执行与各种图像处理操作有关的计算处理。例如，信号处理器130可执行各种图像处理操作(如，白平衡、去噪、去马赛克、重马赛克、透镜阴影、伽马校正、分类操作和分段操作)。
41.在一些示例实施例中，信号处理器130可接收由存储器120被执行了特定图像处理操作的图像数据，并且对接收的图像数据执行剩余的图像处理操作。例如，信号处理器130可接收由存储器120被执行了去噪的图像数据，并且对接收的图像数据执行白平衡、去马赛克、重马赛克、透镜阴影、伽马校正、分类操作和分段操作中的至少一个。
42.在一些示例实施例中，信号处理器130可从图像传感器110接收图像数据，并且对接收的图像数据执行各种图像处理操作。接下来，信号处理器130可将处理的图像数据发送到存储器120。存储器120可存储从信号处理器130接收的图像数据。
43.图像传感器模块100可通过接口140输出图像数据。在一些示例实施例中，接口140可输出存储在存储器120中的图像数据或由信号处理器130处理的图像数据。例如，接口140可被实现为基于移动行业处理器接口(mipi)的相机串行接口(csi)。然而，接口140的类型不限于此，并且接口140可根据各种协议标准来实现。
44.根据发明构思的一些示例实施例的图像传感器模块100通过使用能够执行计算处理的存储器120来执行计算处理，因此，图像处理操作的计算速度可被增大。详细地，因为存储器120中的存储器存储体122与pim电路124之间的带宽通常比存储器120与信号处理器130之间的带宽高，所以在计算处理通过使用存储器120而被执行时，计算速度可被增大。此外，当计算速度提高时，应用了更多层的神经网络运算可在相同的时间段内被执行，因此，图像传感器模块100的计算操作的准确度可被提高。
45.另外，在图1中示出的一些示例实施例中，pe可包括各种数量的pe。例如，每个pe可与一个存储体对应地被设置，或者每个pe可与两个或更多个存储体对应地被设置。
46.此外，尽管为了便于理解，图1示出存储器存储体122和pim电路124彼此分开，但是发明构思不限于此，并且存储器存储体122和pim电路124可至少部分地彼此集成。以下将参照图3a至图3c给出其详细描述。
47.图2是示出神经网络结构的示例的示图。图1的pim电路124可被应用于实施图2的神经网络nn的结构的至少一部分。
48.参照图2，神经网络nn可包括多个层l1至ln。具有这样的多层结构的神经网络可被称为深度神经网络(dnn)或深度学习架构。层l1至ln中的每个可以是线性层或非线性层，并且在一些示例实施例中，至少一个线性层和至少一个非线性层可被彼此组合，以被称为一个层。例如，线性层可包括卷积层和全连接层，并且非线性层可包括池化层(pooling layer)和激活层。
49.例如，第一层l1可以是卷积层，第二层l2可以是池化层，并且作为输出层的第n层ln可以是全连接层。神经网络nn还可包括激活层，并且还可包括用于执行其它类型的操作的层。
50.层l1至ln可各自接收输入图像帧或在前一层中生成的特征图(feature map)作为输入特征图，并且通过处理输入特征图来生成输出特征图或识别信号rec。这里，特征图表示输入数据的各种特性被表示的数据。特征图fm1、fm2、fm3和fmn可各自具有例如包括多个特征值(或被称为张量)的二维矩阵形状或三维矩阵形状。特征图fm1、fm2、fm3和fmn具有宽度w(或列)、高度h(或行)和深度d，宽度w(或列)、高度h(或行)和深度d可分别对应于坐标系中的x轴、y轴和z轴。这里，深度d可被称为通道的数量。
51.第一层l1可通过将第一特征图fm1与权重图wm进行卷积来生成第二特征图fm2。权重图wm可具有包括多个权重值的二维矩阵或三维矩阵的形式。权重图wm也可被称为内核。权重图wm可对第一特征图fm1进行滤波，并且可被称为滤波器或内核。权重图wm的深度(例如，通道的数量)与第一特征图fm1的深度(例如，通道的数量)相同，并且权重图wm和第一特征图fm1的相同的通道可彼此进行卷积。权重图wm以作为滑动窗遍历(traverse)第一输入特征图fm1的方式被移动。在每次移动期间，包括在权重图wm中的每个权重可和与第一特征图fm1重叠的区域中的所有特征值相乘并求和。当第一特征图fm1和权重图wm彼此进行卷积时，第二特征图fm2的一个通道可被生成。尽管在图2中一个权重图wm被示出，但是由于多个
权重图实际上与第一特征图fm1进行卷积，因此第二特征图fm2的多个通道可被生成。换句话说，第二特征图fm2的通道的数量可对应于权重图的数量。
52.第二层l2可通过经由池化改变第二特征图fm2的空间大小来生成第三特征图fm3。池化可被称为采样或下采样。二维池化窗pw可在第二特征图fm2上以池化窗pw的大小作为单位被移动，并且与池化窗pm重叠的区域中的特征值的最大值(或平均值)可被选择。因此，可从第二特征图fm2生成具有改变的空间大小的第三特征图fm3。第三特征图fm3的通道的数量与第二特征图fm2的通道的数量相同。
53.第n层ln可通过组合第n特征图fmn的特征来对输入数据的类cl进行分类。此外，可生成与各个类对应的识别信号rec。然而，神经网络nn的结构不限于上述示例，并且层l1至ln中的一些可被省略，或者其它层可被附加地设置。
54.根据发明构思的一些示例实施例，图1的pim电路124的pe可实施神经网络nn的卷积层、完全连接层、池化层和激活层中的至少一个。例如，pim电路124的一些pe可被配置为对从存储体bank1至bankn读出的图像数据执行卷积运算，并且pim电路124的一些其它pe可被配置为对卷积运算的结果执行池化运算。
55.图3a至图3c是示出根据发明构思的一些示例实施例的存储器的部分的框图。图3a至图3c的存储器200、200a和200b可各自对应于图1的存储器120。
56.首先，参照图3a，存储器200包括存储体组210、pe组220和局部总线230。在一些示例实施例中，存储体组210包括第一存储体bank1至第四存储体bank4，并且pe组220包括分别与第一存储体bank1至第四存储体bank4对应的第一pe pe1至第四pe pe4。此外，pe组220还可包括独立于存储体组210的第五pe pe5。
57.在一些示例实施例中，第一存储体bank1至第四存储体bank4可根据对应关系分别连接到第一pe pe1至第四pe pe4。例如，参照图3a，第一存储体bank1可连接到第一pe pe1，第二存储体bank2可连接到第二pe pe2，第三存储体bank3可连接到第三pe pe3，第四存储体bank4可连接到第四pe pe4。
58.在存储器200的存储操作期间，存储体组210可存储通过局部总线230传送的数据。在一些示例实施例中，存储器200可从图1的图像传感器110接收图像数据，并且第一存储体bank1至第四存储体bank4中的至少一个可存储图像数据的至少一部分。例如，图像数据可被划分为预设的(或者，可选地，期望的)大小的多个部分，并且被存储在第一存储体bank1至第四存储体bank4中的至少一个中。
59.在存储器200的计算操作期间，pe组220的一些pe(例如，第一pe pe1至第四pe pe4)可各自基于存储在存储体组210的对应的存储体中的数据来执行计算操作。此时，第一pe pe1至第四pe pe4可并行地执行计算操作。作为非限制性示例，第一pe pe1至第四pe pe4可基于存储在对应的存储体中的图像数据来执行神经网络运算之中的卷积运算。换句话说，第一pe pe1至第四pe pe4可并行地执行神经网络运算。
60.例如，参照图3a，第一pe pe1可基于存储在第一存储体bank1中的数据来执行计算操作，第二pe pe2可基于存储在第二存储体bank2中的数据来执行计算操作，第三pe pe3可基于存储在第三存储体bank3中的数据来执行计算操作，第四pe pe4可基于存储在第四存储体bank4中的数据来执行计算操作。
61.在一些示例实施例中，pe组220中的独立于存储体组210的pe(例如，第五pe pe5)
可基于第一pe pe1至第四pe pe4的计算操作的结果来执行计算操作。作为非限制性示例，第五pe pe5可基于第一pe pe1至第四pe pe4的计算操作的结果来执行神经网络运算之中的池化运算。第五pe pe5可通过局部总线230接收第一pe pe1至第四pe pe4的计算操作的结果，并且基于计算操作的结果执行池化运算。换句话说，第五pe pe5可基于计算操作的结果来执行神经网络运算。
62.在一些示例实施例中，pe组220的计算操作的结果可被存储在存储体组210中。例如，第一pe pe1至第四pe pe4的计算操作的结果可分别被存储在对应的存储体中。此外，第五pe pe5的计算操作的结果可被存储在第一存储体bank1至第四存储体bank4中的至少一个中。
63.然而，用于存储pe组220的计算操作的结果的位置不限于此，并且可独立于pe与存储体之间的对应关系。例如，第一pe pe1的计算操作的结果可通过局部总线230被发送到第二存储体bank2并被存储在第二存储体bank2中。
64.参照图3b，存储器200a包括存储体组210a、pe组220a和局部总线230a。在一些示例实施例中，存储体组210a包括第一存储体bank1至第四存储体bank4，并且pe组220a包括分别与第一存储体bank1至第三存储体bank3对应的第一pe pe1至第三pe pe3。此外，pe组220a还可包括独立于存储体组210a的第四pe pe4。在下文中，与以上参照图3a给出的描述相同的描述将被省略。
65.在存储器200a的存储操作期间，存储体组210a可存储通过局部总线230a发送的数据。在一些示例实施例中，存储器200a可从图1的图像传感器110接收图像数据，并且第一存储体bank1至第四存储体bank4中的至少一个可存储图像数据的至少一部分。例如，图像数据可被划分为预设的(或者，可选地，期望的)大小的多个部分，并且被存储在第一存储体bank1至第四存储体bank4中的至少一个中。
66.在存储器200a的计算操作期间，pe组220a中的一些pe(例如，第一pe pe1至第三pe pe3)可各自基于存储在存储体组210a的对应的存储体中的数据来执行计算操作。此时，第一pe pe1至第三pe pe3可并行地执行计算操作。作为非限制性示例，第一pe pe1至第三pe pe3可基于存储在对应的存储体中的图像数据来执行神经网络运算中的卷积运算。
67.在一些示例实施例中，尽管图3b的pe组220a不包括与第四存储体bank4对应的pe，但是存储在第四存储体bank4中的数据可通过局部总线230a被发送到pe组220a。然后，pe组220a可基于通过局部总线230a接收的第四存储体bank4的数据来执行计算操作。
68.例如，参照图3b，第一pe pe1至第三pe pe3之中的第一pe pe1可基于存储在第四存储体bank4中的图像数据执行神经网络运算之中的卷积运算。详细地，存储在第四存储体bank4中的目标图像数据可通过局部总线230a被发送到连接到第一pepe1的第一存储体bank1，并且被存储在第一存储体bank1中。然后，第一pe pe1可对从第一存储体bank1读出的目标图像数据执行计算操作。此外，根据一些示例实施例，存储在第四存储体bank4中的目标图像数据可通过局部总线230a被发送到第一pe pe1，而不被发送到第一存储体bank1、被存储在第一存储体bank1中以及从第一存储体bank1读出。然后，第一pe pe1可对通过局部总线230a接收的目标图像数据执行计算操作。在一些示例实施例中，如上所述，存储在第四存储体bank4中的目标图像数据可通过局部总线230a被发送到第一存储体bank1至第三存储体bank3和/或第一pe pe1至第三pe pe3中的一个或多个。换句话说，存储在第四存储
体bank4中的目标图像数据可被传送到一个或多个位置，使得处理元件pe(例如，第一pe pe1至第三pe pe3中的一个或多个)可对通过局部总线230a接收的目标图像数据执行计算操作。
69.换句话说，根据图3b的一些示例实施例的pe可不仅基于存储在对应的存储体中的数据执行计算操作，而且还接收存储在非对应的存储体中的数据并基于接收的数据执行计算操作。例如，第一pe pe1可不仅基于存储在对应的存储体bank1中的数据执行计算操作，而且还接收存储在非对应的存储体bank2至bank4中的至少一个中的数据并基于接收的数据执行计算操作。因此，即使在pe组220a包括相对少量的pe时，卷积运算也可针对存储在存储体组210a中的数据被执行。
70.为了执行如上描述的卷积运算，图1的控制逻辑126可基于地址信息和操作序列信息来控制图1的存储器存储体122和图1的pim电路124。例如，控制逻辑126可基于关于第四存储体bank4的地址信息从第四存储体bank4读出第四图像数据，并且将第四图像数据发送到第一pe pe1。此时，第一pe pe1也可被设置为对从第一存储体bank1读出的第一图像数据执行计算处理。因此，根据操作序列信息，控制逻辑126可在对从第一存储体bank1读出的第一图像数据的计算处理被执行之前或之后将第四图像数据发送到第一存储体bank1，并且控制第一pe pe1对第四图像数据执行计算处理。
71.在一些示例实施例中，pe组220a中的独立于存储体组210a的pe(例如，第四pe pe4)可基于第一pe pe1至第三pe pe3的计算操作的结果来执行计算操作。作为非限制性示例，第四pe pe4可基于第一pe pe1至第三pe pe3的计算操作的结果来执行神经网络运算之中的池化运算。第四pe pe4可通过局部总线230a接收第一pe pe1至第三pe pe3的计算操作的结果，并且基于计算操作的结果执行池化运算。
72.在一些示例实施例中，pe组220a的计算操作的结果可被存储在存储体组210a中。例如，第一pe pe1至第三pe pe3的计算操作的结果可分别被存储在对应的存储体中。在一些示例实施例中，第一pe pe1至第三pe pe3的计算操作的结果可通过局部总线230a被发送到第四存储体bank4，并且被存储在第四存储体bank4中。此外，第四pe pe4的计算操作的结果可被存储在第一存储体bank1至第四存储体bank4中的至少一个中。
73.然而，用于存储pe组220a的计算操作的结果的位置不限于此，并且可独立于pe与存储体之间的对应关系。例如，第一pe pe1的计算操作的结果可通过局部总线230a被发送到第二存储体bank2，并且被存储在第二存储体bank2中。
74.在图3a和图3b中示出的一些示例实施例中，包括在存储体组210(存储体组210和210a)中的存储体的数量和包括在pe组220(pe组220和220a)中的pe的数量仅是示例，并且发明构思不限于此。存储体组210和210a可包括更多或更少的存储体，pe组220和220a可包括更多或更少的pe。
75.此外，在图3a和图3b中示出的一些示例实施例中，已经示出和描述了存储器200或200a包括执行池化运算的pe(例如，图3a的第五pe pe5或图3b的第四pe pe4)，但是发明构思不限于此。例如，存储器200或200a可不包括执行池化运算的pe。
76.参照图3c，存储器200b可包括第一存储体组210_1b、第二存储体组210_2b、第一pe组220_1b和第二pe组220_2b。在一些示例实施例中，第一存储体组210_1b包括第一存储体bank1至第四存储体bank4，第一pe组220_1b包括分别与第一存储体bank1至第四存储体
bank4对应的第一pe pe1至第四pe pe4。此外，第二存储体组210_2b包括第五存储体bank5至第八存储体bank8，第二pe组220_2b包括分别与第五存储体bank5至第八存储体bank8对应的第五pe pe5至第八pe pe8。在下文中，与以上参照图3a和图3b给出的描述相同的描述将被省略。
77.在一些示例实施例中，存储器200b可具有第一存储体组210_1b和第一pe组220_1b堆叠在第二存储体组210_2b和第二pe组220_2b上的结构。此外，存储器200b的各种数据可通过局部总线230b而被发送到第一存储体组210_1b、第二存储体组210_2b、第一pe组220_1b和第二pe组220_2b。
78.在存储器200b的存储操作期间，第一存储体组210_1b和第二存储体组210_2b可存储通过局部总线230b发送的数据。在一些示例实施例中，存储器200b可从图1的图像传感器110接收图像数据，并且第一存储体bank1至第八存储体bank8中的至少一个可存储图像数据的至少一部分。例如，图像数据可被划分为预设的(或者，可选地，期望的)大小的多个部分，并且被存储在第一存储体bank1至第八存储体bank8中的至少一个中。
79.在存储器200b的计算操作期间，第一pe组220_1b可基于存储在第一存储体组210_1b中的数据来执行第一计算操作，第二pe组220_2b可基于存储在第二存储体组210_2b中的数据来执行第二计算操作。第一计算操作和第二计算操作可彼此相同或不同，并且可在相同时间或不同时间被执行。
80.然而，发明构思不限于此，并且第一pe组220_1b可通过局部总线230b接收存储在第二存储体组210_2b中的数据，并且基于接收的数据执行第一计算操作。此外，第二pe组220_2b可通过局部总线230b接收存储在第一存储体组210_1b中的数据，并且基于接收的数据执行第二计算操作。
81.此外，根据一些示例实施例，第一pe组220_1b可通过局部总线230b接收由第二pe组220_2b执行的第二计算操作的第二计算结果，并且基于第二计算结果执行第一计算操作。此外，第二pe组220_2b可通过局部总线230b接收由第一pe组220_1b执行的第一计算操作的第一计算结果，并且基于第一计算结果执行第二计算操作。
82.同时，在图3c中示出的一些示例实施例中，已经示出和描述了存储器200b不包括执行池化运算的pe(例如，图3a的第五pe pe5或图3b的第四pe pe4)，但是发明构思不限于此。例如，存储器200b还可包括执行池化运算的pe(例如，第一pe组220_1b和第二pe组220_2b可共享执行池化运算的pe，或者可各自具有执行池化运算的pe)。
83.图4是示出根据发明构思的一些示例实施例的存储器的结构的框图。图4的存储器300可对应于图1的存储器120和图3a至图3c的存储器200、200a和200b。此外，图4是示出存储器300中彼此连接的存储体和pe的结构的框图，其中，该结构可被应用于例如图3a的第一存储体bank1和第一pe pe1。
84.参照图4，存储器300可包括存储器单元阵列310、地址缓冲器320、行解码器330、列解码器340、感测放大器(sa)350、输入/输出(i/o)门控电路360、pe 370、数据i/o电路380以及控制逻辑390。
85.存储器单元阵列310包括以包括行和列的矩阵的形式设置的多个存储器单元。存储器单元阵列310包括连接到存储器单元的多条字线wl和多条位线bl。字线wl可连接到存储器单元的行，多条位线bl可连接到存储器单元的列。
86.地址缓冲器320接收地址addr。地址addr包括寻址存储器单元阵列310的行的行地址ra和寻址存储器单元阵列310的列的列地址ca。地址缓冲器320可将行地址ra发送到行解码器330，并且将列地址ca发送到列解码器340。
87.行解码器330可选择连接到存储器单元阵列310的字线wl中的任何一条。行解码器330可对从地址缓冲器320接收的行地址ra进行解码，选择与行地址ra对应的任何一条字线wl，并且激活选择的字线wl。
88.列解码器340可从存储器单元阵列310的位线bl之中选择预定的(或者，可选地，期望的)位线bl。列解码器340可通过对从地址缓冲器320接收的列地址ca进行解码来生成列选择信号，并且通过i/o门控电路360选择连接到列选择信号的位线bl。
89.感测放大器350连接到存储器单元阵列310的位线bl。感测放大器350感测位线bl的电压的变化，放大该变化，并且输出放大的变化。由感测放大器350感测并放大的位线bl可由i/o门控电路360选择。
90.i/o门控电路360可包括读取数据锁存器和写入驱动器，读取数据锁存器用于存储由列选择信号选择的位线bl的读取数据，写入驱动器用于将写入数据写入存储器单元阵列310。存储在读取数据锁存器中的数据可通过数据i/o电路380而被提供给数据垫(data pad)dq。通过数据垫dq提供给数据i/o电路380的写入数据可通过写入驱动器而被写入存储器单元阵列310。数据垫dq可连接到存储器300内部的局部总线(例如，图3a的局部总线230)。
91.pe 370可设置在i/o门控电路360与数据i/o电路380之间。pe 370可基于从存储器单元阵列310读出的数据或从数据i/o电路380接收的数据来执行计算操作。pe 370可以是算术逻辑单元(alu)。pe 370可将计算结果写入存储器单元阵列310，或者通过数据i/o电路380将计算结果提供给数据垫dq。
92.控制逻辑390可接收时钟信号clk和命令cmd，并且生成用于控制存储器300的操作时序、存储器操作和/或计算操作的控制信号ctrls。控制逻辑390可使用控制信号ctrls来从存储器单元阵列310读取数据和将数据写入存储器单元阵列310。此外，控制逻辑390可使用控制信号ctrls来控制pe 370执行计算处理。
93.尽管已经参照图4示出和描述了控制逻辑390控制存储器300的存储器操作和计算操作，但是发明构思不限于此。例如，存储器300可包括生成用于控制存储器300的计算操作的控制信号的单独的组件(例如，处理控制器)。在一些示例实施例中，处理控制器可生成用于控制pe 370的控制信号。
94.此外，已经参照图4示出和描述了存储器300包括pe 370，但是发明构思不限于此。例如，当没有pe连接到存储体(如，图3b的第四存储体bank4的情况)时，pe 370可在图4的示例实施例中被省略。
95.图5是详细示出根据发明构思的一些示例实施例的存储器的结构的示图。详细地，图5是详细示出图4的存储器300的结构的示图。在下文中，与以上参照图4给出的描述相同的描述将被省略。
96.参照图4和图5，存储器300还可包括与计算操作有关的各种组件。例如，pe370可包括分别与存储器单元阵列(mca)310的多条位线bl1至blk(k是正整数)对应的alu。
97.alu可包括第一乘法电路mc1、第二乘法电路mc2、第三乘法电路mc3、第一加法电路
ac1和第二加法电路ac2。第一乘法电路mc1、第二乘法电路mc2和第三乘法电路mc3可通过在分别从相应的位线和与其相邻的位线读出的数据与权重之间执行乘法运算来输出多个乘法运算结果。
98.例如，参照图5，第二乘法电路mc2可通过在从相应的位线读出的数据与第二权重之间执行乘法运算来输出第二乘法运算结果。第一乘法电路mc1可通过在从布置在相应的位线左侧的位线读出的数据与第一权重之间执行乘法运算来输出第一乘法运算结果。此外，第三乘法电路mc3可通过在从布置在相应的位线右侧的位线读出的数据与第三权重之间执行乘法运算来输出第三乘法运算结果。这里，第一权重至第三权重可彼此相同或不同。此外，分别从相应的位线和与其相邻的位线读出的数据可与通过感测放大器350存储在读取数据锁存器latch1中的数据对应。
99.第一加法电路ac1可通过在第一乘法电路mc1的第一乘法运算结果、第二乘法电路mc2的第二乘法运算结果和第三乘法电路mc3的第三乘法运算结果之间执行加法运算来输出第一加法运算结果。此外，第二加法电路ac2可通过在第一加法运算结果与从相应的位线读出的数据之间执行加法运算来输出第二加法运算结果。这里，从相应的位线读出的数据可与从存储器单元阵列310在没有感测放大器350和读取数据锁存器latch1的干预的情况下直接发送的数据对应。
100.如上所述，使用alu的第一乘法电路mc1、第二乘法电路mc2、第三乘法电路mc3、第一加法电路ac1和第二加法电路ac2的计算操作不仅基于相应的位线的数据而且还基于与相应的位线相邻的位线的数据而被执行。因此，技术配置可被应用于卷积运算。
101.数据i/o电路380可包括计算数据锁存器latch2和数据选择器，计算数据锁存器latch2用于存储由第二加法电路ac2输出的第二加法运算结果，数据选择器用于选择将被提供给数据垫dq的数据。计算数据锁存器latch2可存储由第二加法电路ac2输出的第二乘法运算结果。在一些示例实施例中，数据选择器可包括至少一个复用器(未示出)。
102.尽管图4和图5是示出彼此连接的存储体和pe的结构的示图，但是发明构思不限于此。例如，在没有pe连接的存储体(例如，图3b的第四存储体bank4)的情况下，图4和图5的pe 370以及图5的包括在数据i/o电路380中的计算数据锁存器latch2可被省略。
103.图6是示出根据发明构思的一些示例实施例的彼此相邻的存储体的结构的示图。图7是示出彼此相邻的图像区域的示图。将基于作为示例的第一存储体bank1和第二存储体bank2来描述图6的彼此相邻的存储体的结构。第一pe pe1和第二pe pe2可分别布置在图6的第一存储体bank1和第二存储体bank2处。此外，因为以上参照图4和图5描述的存储器的结构可被应用于图6的第一存储体bank1和第二存储体bank2，所以与以上参照图4和图5已经给出的描述相同的描述将被省略。
104.在一些示例实施例中，第一存储体bank1和第二存储体bank2可存储一个图像中彼此相邻的图像区域(的数据)(例如，图像数据的相邻区域(的数据))。例如，参照图7，对于彼此相邻的第一图像区域ar1和第二图像区域ar2，第一存储体bank1可存储第一图像区域ar1，第二存储体bank2可存储第二图像区域ar2。
105.此外，第一存储体bank1的第一pe pe1和第二存储体bank2的第二pe pe2可通过数据线dl彼此连接。详细地，第一存储体bank1和第二存储体bank2可各自包括多个alu alu1至aluk，并且彼此相邻的alu可通过数据线dl彼此连接。
106.此外，根据发明构思的一些示例实施例，第一存储体bank1和第二存储体bank2中的每个的alu alu1至aluk之中的最外面的alu可通过数据线dl连接到相邻存储体的最外面的alu。
107.参照图6，第一存储体bank1的alu aluk和第二存储体bank2的alu alu1可通过数据线dl彼此连接。在一些示例实施例中，第一存储体bank1的alu aluk可通过数据线dl接收与第二存储体bank2的alu alu1对应的位线bl1的数据。接收的数据可被输入到包括在第一存储体bank1的alu aluk中的第三乘法电路mc3。此外，第二存储体bank2的alu alu1可通过数据线dl接收与第一存储体bank1的alu aluk对应的位线blk的数据。接收的数据可被输入到包括在第二存储体bank2的alu alu1中的第一乘法电路mc1。
108.总而言之，包括在特定存储体中的多个alu之中的最外面的alu可通过数据线dl连接到包括在与特定存储体相邻的存储体中的多个alu之中的最外面的alu。详细地，最左(或最右)alu可通过数据线dl连接到包括在左侧(或右侧)的相邻存储体中的最右(或最左)alu。然而，发明构思不限于此，并且相邻的存储体可定向在不同的平面上、另一个上方/下方以及其它配置。
109.因此，图6的第一pe pe1和第二pe pe2可对图像区域的边缘执行计算操作(例如，卷积运算)。例如，参照图7，因为与彼此相邻的第一图像区域ar1和第二图像区域ar2的边缘对应的数据可通过数据线dl而被输入到第一pepe1和第二pe pe2，所以第一pepe1和第二pe pe2可对第一图像区域ar1和第二图像区域ar2的边缘执行计算操作。
110.尽管已经参照图6示出和描述了数据线dl形成在第一pepe1和第二pe pe2的alu alu1至aluk之间，但是发明构思不限于此。例如，数据线dl还可被实现为连接到alu alu1至aluk，并且连接到i/o门控电路的输出线。例如，第一存储体bank1的alu aluk可通过数据线dl来接收数据，该数据线dl连接到第二存储体bank2的i/o门控电路的输出线之中的与第一位线bl1对应的输出线。
111.图8是示出根据发明构思的一些示例实施例的彼此相邻的存储器存储体的结构的示图。图8是示出图6的一些示例实施例的可行修改的示图。将基于作为示例的第一存储体bank1、第二存储体bank2和第n存储体bankn来描述图8的彼此相邻的存储体的结构。图8的第一存储体bank1和第二存储体bank2可分别与图6的第一存储体bank1和第二存储体bank2对应，并且第n pe pen可设置在图8的第n存储体bankn处。此外，因为以上参照图4和图5描述的存储器的结构可被应用于图8的第一存储体bank1、第二存储体bank2和第n存储体bankn，所以与以上参照图4和图5已经给出的描述相同的描述将被省略。
112.在一些示例实施例中，第一存储体bank1和第二存储体bank2可存储一个图像中的彼此相邻的图像区域，并且第一pe pe1和第二pe pe2可对存储在第一存储体bank1和第二存储体bank2中的图像区域执行计算处理。此外，第n存储体bankn可存储用于第一pepe1和第二pe pe2的计算处理的权重，并且将存储的权重提供给第一存储体bank1和第二存储体bank2。
113.例如，参照图8，第二数据线dl2可将与第n存储体bankn的存储器单元阵列mca的位线bl1至blk对应的线连接到第一pe pe1和第二pe pe2。第n存储体bankn可通过第二数据线dl2将存储在第n存储体bankn的存储器单元阵列mca中的权重发送到第一pe pe1和第二pe pe2。
114.在一些示例实施例中，第二数据线dl2可连接到包括在第一pe pe1和第二pe pe2中的alu。例如，第二数据线dl2可连接到图5的alu，并且每个alu可基于通过第二数据线dl2接收的权重来执行计算操作。通过第二数据线dl2接收的权重可以是用于alu的第一乘法电路mc1、第二乘法电路mc2、第三乘法电路mc3、第一加法电路ac1和第二加法电路ac2中的至少一个的计算操作的权重。
115.尽管已经参照图8示出和描述了第n存储体bankn通过第二数据线dl2将权重发送到第一pe pe1和第二pe pe2，但是发明构思不限于此。在一些示例实施例中，即使在第二数据线dl2未被设置时，第n存储体bankn也可将权重发送到第一pe pe1和第二pe pe2。例如，图1的控制逻辑126可控制第n存储体bankn读出权重，并且通过局部总线(例如，图3a的局部总线230)将权重发送到第一pe pe1和第二pe pe2。
116.此外，尽管图8示出第n pe pen被布置在第n存储体bankn处，但是发明构思不限于此，并且第n pe pen可不被布置在第n存储体bankn处。
117.图9是示出根据发明构思的一些示例实施例的存储器的示例实施方式的框图。
118.参照图9，存储器400可包括第一存储体组(bg1)410_1至第四存储体组(bg4)410_4、第一pe组(peg1)420_1至第四pe组(peg4)420_4、第一局部总线(lb1)430_1至第四局部总线(lb4)430_4、数据垫dq、主总线440和控制逻辑450。
119.第一存储体组410_1至第四存储体组410_4可各自包括多个存储体，并且第一pe组420_1至第四pe组420_4可各自包括多个pe。在一些示例实施例中，第一pe组420_1至第四pe组420_4可分别与第一存储体组410_1至第四存储体组410_4对应地布置。此外，第一局部总线430_1至第四局部总线430_4可分别与第一pe组420_1至第四pe组420_4对应地布置，并且可通过数据垫dq将数据发送到主总线440和从主总线440接收数据。主总线440可包括用于在存储器400内部的组件之间传送数据的路径。
120.控制逻辑450可控制用于从第一存储体组410_1至第四存储体组410_4读取数据或者将数据写入第一存储体组410_1至第四存储体组410_4的存储器操作。在一些示例实施例中，控制逻辑450可控制第一存储体组410_1至第四存储体组410_4中的至少一个基于与写入位置对应的地址来存储图像数据，或者控制第一存储体组410_1至第四存储体组410_4中的至少一个基于与读取位置对应的地址来读取图像数据。
121.此外，控制逻辑450可控制第一pe组420_1至第四pe组420_4的计算操作。在一些示例实施例中，控制逻辑450可控制第一存储体组410_1至第四存储体组410_4中的至少一个以及第一pe组420_1至第四pe组420_4中的至少一个，以基于与目标数据的存储位置对应的地址来读出用于计算处理的目标数据并执行计算处理。
122.在一些示例实施例中，当pe的数量小于存储体的数量时，没有对应的pe的特定存储体的数据可通过第一局部总线430_1至第四局部总线430_4中的至少一条而被发送到与另一存储体对应的pe，随后计算处理可对其被执行。控制逻辑450可控制存储体组以将没有对应的pe的特定存储体的数据发送到与另一存储体对应的pe，并且可控制接收到数据的pe执行计算处理。
123.在一些示例实施例中，第一存储体组410_1至第四存储体组410_4中的一些可被配置为存储与单个帧对应的图像数据。例如，当存储器400使用与3个帧对应的图像数据执行图像处理操作(例如，去噪操作)时，控制逻辑450可控制第一存储体组410_1存储与第一帧
对应的图像数据，控制第二存储体组410_2存储与第二帧对应的图像数据，并且控制第三存储体组410_3存储与第三帧对应的图像数据。此外，控制逻辑450可控制第一pe组420_1至第三pe组420_3通过使用与第一帧至第三帧对应的图像数据来执行计算操作。
124.此外，第一存储体组410_1至第四存储体组410_4中的一些可被配置为存储用于神经网络运算的权重。例如，第四存储体组410_4可存储应用于第一pe组420_1至第三pe组420_3的计算操作的权重。控制逻辑450可控制第四存储体组410_4读出存储在第四存储体组410_4中的权重并将权重发送到第一pe组420_1至第三pe组420_3，并且可控制第一pe组420_1至第三pe组420_3基于接收的权重来执行计算处理。
125.然而，发明构思不限于此，并且一个存储体组可包括存储计算处理的目标数据的存储体和存储权重的存储体二者。此外，在图9中示出的一些示例实施例中，存储器400可包括各种数量的存储体组、pe组和局部总线。
126.图10是根据发明构思的一些示例实施例的操作图像传感器模块的方法的流程图。可通过使用以上参照图1描述的图像传感器模块100来执行图10的方法。将理解，参照图10描述的操作可由根据任何示例实施例的任何图像传感器模块执行。还将理解，图10中示出的操作的次序可被调整，包括使至少一些操作将被至少部分地同时(例如，并行)执行。图10中示出的一个或多个操作可从根据一些示例实施例的操作图像传感器模块的方法被省略，并且图10中未示出的一个或多个附加操作可被添加到该方法。
127.参照图1和图10，图像传感器模块100可通过图像传感器110获得图像数据(操作s100)。接下来，图像传感器模块100可将图像数据存储在包括在存储器120中的多个存储体中(操作s200)。在一些示例实施例中，图像传感器模块100可将一个图像数据划分为多个图像区域，并且将图像区域存储在存储体中。例如，图像传感器模块100可将图像数据的第一图像区域存储在第一存储体中，并且将图像数据的第二图像区域存储在第二存储体中。
128.在一些示例实施例中，图像传感器模块100可通过使用包括在存储器120中并且与存储体对应的pe来对存储的图像数据执行图像处理操作(操作s300)。详细地，图像传感器模块100可从多个存储体读出图像数据，并且通过使用与存储体对应的pe对读出的图像数据执行计算处理。在一些示例实施例中，图像传感器模块100可读出存储在多个存储体中的多个图像区域，并且通过使用分别连接到存储体的pe对读出的图像区域执行计算处理。在一些示例实施例中，由图像传感器模块100执行的计算处理可对应于图像处理操作，并且可对应于基于神经网络的计算处理。
129.在一些示例实施例中，图像传感器模块100可通过连接在多个pe之间的数据线来交换与多个图像区域的边缘对应的数据。例如，彼此相邻的第一pe和第二pe可通过数据线交换与第一图像区域的边缘对应的数据和与第二图像区域的边缘对应的数据。
130.在一些示例实施例中，图像传感器模块100可通过使用pe基于多个读出的图像区域和交换的数据来执行图像处理操作。例如，第一pe可基于由自身读出的与第一图像区域的边缘对应的数据和通过交换获得的与第二图像区域的边缘对应的数据来执行图像处理操作。此外，第二pe可基于由自身读出的与第二图像区域的边缘对应的数据和通过交换获得的与第一图像区域的边缘对应的数据来执行图像处理操作。
131.在一些示例实施例中，图像传感器模块100可将图像处理后的图像数据存储在存储器120中，或者从存储器120输出图像处理后的图像数据(操作s400)。在一些示例实施例
中，图像传感器模块100可将由存储器120计算处理后的图像数据存储在存储器120中。在一些示例实施例中，图像传感器模块100可将由存储器120计算处理后的图像数据直接发送到信号处理器130。信号处理器130可对接收的图像数据执行附加的图像处理操作。在一些示例实施例中，信号处理器130可通过接口140将接收的图像数据输出到图像传感器模块100的外部。
132.图11是图像传感器模块的分解立体图，图12是图像传感器模块的平面图。参照图11和图12，图像传感器模块100a可具有第一芯片ch1、第二芯片ch2和第三芯片ch3被堆叠的结构。包括在图像传感器(图1的110)的像素阵列中的多个像素的像素核(例如，至少一个光电转换元件和像素电路)可被形成在第一芯片ch1上。包括逻辑电路(如，行驱动器、读出电路、斜坡信号发生器和时序控制器)的驱动和读取电路可被形成在第二芯片ch2上。存储器(图1的120)可被形成在第三芯片ch3上。第一芯片ch1、第二芯片ch2和第三芯片ch3可通过连接构件或贯穿通孔(through via)彼此电连接。然而，发明构思不限于此，并且图像传感器模块100a也可由一个半导体芯片实现。
133.如图12中所示，第一芯片ch1、第二芯片ch2和第三芯片ch3可分别包括布置在中心和外围区域处的像素阵列、逻辑电路和存储器(图1的120)。
134.在第三方向(z方向)上延伸的贯穿通孔tv可被布置在第一芯片ch1、第二芯片ch2和第三芯片ch3的外围区域中。第一芯片ch1和第二芯片ch2可通过贯穿通孔tv彼此电结合。在第一方向(x方向)或第二方向(y方向)上延伸的线路(未示出)可在第一芯片ch1、第二芯片ch2和第三芯片ch3的外围区域中被形成。
135.图13是根据发明构思的一些示例实施例的电子装置的框图。电子装置1000可被实现为数字相机、数字摄像机、移动电话、平板pc或便携式电子装置。便携式电子装置可包括膝上型计算机、移动电话、智能电话、平板pc、个人数字助理(pda)、企业数字助理(eda)、数字静态相机、数字视频相机、音频装置、便携式多媒体播放器(pmp)、个人导航装置(pnd)、mp3播放器、手持式游戏机、电子书装置、可穿戴装置等。此外，电子装置1000可作为部件被安装在无人机、高级驾驶辅助系统(adas)或作为车辆、家具、制造设施、门和各种测量装置的组件提供的电子装置上。参照图13，电子装置1000可包括应用处理器1100、相机模块1200、工作存储器1300、存储设备1400、显示装置1600、用户接口1700和无线收发器1500。
136.应用处理器1100控制电子装置1000的整体操作，并且可被实现为驱动应用程序、操作系统等的片上系统(soc)。应用处理器1100可将从相机模块1200提供的图像数据提供给显示装置1600，或者将图像数据存储在存储设备1400中。
137.以上参照图1至图12描述的图像传感器模块100或100a可被应用于相机模块1200。相机模块1200可包括执行计算处理的存储器1210，并且存储器1210可通过使用pim电路对存储在存储器1210的存储体中的图像数据执行计算处理。
138.应用处理器1100可对从相机模块1200接收的图像数据执行附加的图像处理操作，并且将图像处理后的图像数据显示在显示装置1600上，或者将图像处理后的图像数据存储在存储设备1400中。
139.工作存储器1300可由易失性存储器(如，动态随机存取存储器(dram)或静态ram(sram))或非易失性存储器(如，铁电ram(feram)、电阻式ram(rram)或相变ram(pram))来实现。工作存储器1300可存储由应用处理器1100处理或执行的程序和/或数据。
140.存储设备1400可用非易失性存储器装置(如，nand闪存或电阻式存储器)来实现。例如，存储设备1400可被提供为存储卡(mmc、emmc、sd、微型sd等)。存储设备1400可存储从相机模块1200接收的数据或由应用处理器1100处理或生成的数据。
141.用户接口1700可用能够接收用户输入的各种装置(例如，键盘、帘键面板、触摸面板、指纹传感器、麦克风等)来实现。用户接口1700可接收用户输入，并且将与接收的用户输入对应的信号提供给应用处理器1100。
142.无线收发器1500可包括收发器1510、调制解调器1520和天线1530。
143.在一些示例实施例中，如在此参照附图中的任何一个描述的设备、系统、电子装置和/或它们的元件中的一些或全部(包括但不限于图像传感器模块100至100a、存储器200至200b、300、400中的任何一个、电子装置1000等的元件)和/或它们的任何部分(包括但不限于任何块、模块、处理器、相机等)可包括处理器的一个或多个实例(诸如，包括逻辑电路的硬件、硬件/软件组合(诸如，执行软件的处理器)或它们的组合)，可被包括在处理器的一个或多个实例中，和/或可由处理器的一个或多个实例实施。例如，如在此更具体地描述的处理器可包括但不限于中央处理器(cpu)、算术逻辑单元(alu)、图形处理器(gpu)、应用处理器(ap)、数字信号处理器(dsp)、微计算机、现场可编程门阵列(fpga)、可编程逻辑单元、微处理器、专用集成电路(asic)、神经网络处理器(npu)、电子控制单元(ecu)、图像信号处理器(isp)等。在一些示例实施例中，处理器可包括存储指令的程序的非暂时性计算机可读存储装置(例如，固态驱动器(ssd))以及处理器硬件的实例(例如，cpu)，其被配置为执行指令的程序以实施由根据任何示例实施例的任何设备、系统和/或元件(包括但不限于根据任何示例实施例的任何设备、系统和/或元件的任何部分、块、模块、处理器、相机等)中的一些或全部执行的功能和/或方法(包括例如根据任何示例实施例的任何方法(包括图10中示出的方法))。
144.虽然已经参照发明构思的示例实施例具体示出并描述了发明构思，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可在其中做出形式上和细节上的各种改变。