图像编码器、图像感测装置和图像编码器的操作方法与流程

图像编码器、图像感测装置和图像编码器的操作方法
1.本技术要求于2020年4月29日在韩国知识产权局提交的第10
‑
2020
‑
0051927号韩国专利申请的优先权，该韩国专利申请的公开通过引用完整地包含于此。
技术领域
2.本公开涉及图像编码器、图像感测装置和操作图像编码器的方法。


背景技术：

3.现代计算机使用图像压缩作为减少用于图像存储或数据传输的资源的方法。计算机中的存储装置可以存储比未压缩的图像数据更多的压缩的图像数据。另外，通过传输压缩的图像文件，无线或有线的数据传输更快且更可靠。
4.图像压缩是使用与原始图像数据相比更少的计算存储来产生编码的图像数据的处理。此外，图像解压是对编码的图像数据进行解码以产生重建图像数据的处理。依据编码和解码方法，重建图像数据可以与原始图像数据不同。
5.差分脉冲编码调制(dpcm)是使用周围像素值来对原始图像数据进行压缩的编码方法。然而，因为不存在将被参考的外围像素，所以位于原始图像的边缘的边界像素可能无法执行dpcm压缩。
6.另外，如果边界像素值与周围像素值之间的差大，则误差可能影响边界像素和其他像素的像素值的dpcm。因此，在本领域中需要一种当压缩图像时在外围像素数据不可用时考虑各种像素信息的压缩方法。


技术实现要素：

7.本公开的方面提供一种被配置为对原始图像进行编码的图像编码器。本公开的方面还提供一种能够减少压缩损失的图像编码器。
8.然而，本公开的方面不限于这里阐述的方面。通过参考下面给出的本公开的详细描述，本公开内容的以上和其他方面对于本公开内容所属领域的普通技术人员将变得更加明显。实施例的细节被包括在详细描述和附图中。
9.根据本公开的一方面，提供了一种图像感测装置，包括：图像信号处理器，被配置为接收第一帧图像和第二帧图像(例如，时间上在第一帧图像之后)，并且基于第一帧图像的边界像素图像产生第二帧图像的压缩图像，其中，图像信号处理器包括：存储器，被配置为存储作为第一帧图像的边界像素图像的第一参考像素数据；以及压缩器，被配置为从存储器接收第一参考像素数据，并且产生通过基于第一参考像素数据与第二帧图像的原始像素数据之间的差值对第二帧图像进行编码而获得的比特流，其中，图像信号处理器基于(例如，使用)比特流产生第二帧图像的压缩图像。
10.根据本公开的另一方面，提供了一种被配置为接收第一帧图像和时间上在第一帧图像之后的第二帧图像的图像编码器，该图像编码器包括：存储器，被配置为存储作为第一帧图像的边界像素图像的第一参考像素数据；压缩器，被配置为从存储器接收第一参考像
素数据，产生通过基于第一参考像素数据与第二帧图像的原始像素数据之间的差值对第二帧图像的原始像素数据进行编码而获得的第一比特流，并输出产生的第一比特流；以及重建器，被配置为重建第一比特流以产生第二参考像素数据，其中，第二参考像素数据是第二帧图像的边界像素图像。
11.根据本公开的另一方面，提供了一种用于操作图像编码器的方法，所述方法包括：接收第一帧图像和第二帧图像，其中，第二帧图像在与接收第一帧图像不同的时间被接收；存储作为第一帧图像的第一边界像素图像的第一参考像素数据；产生通过基于存储的第一参考像素数据和第二帧图像的原始像素数据之间的差值对第二帧图像的原始像素数据进行编码而获得的比特流；输出产生的比特流；以及重建比特流以产生第二参考像素数据，其中，第二参考像素数据是第二帧图像的第二边界像素图像。
附图说明
12.通过参照附图详细描述本公开的实施例，本公开的以上和其他方面和特征将变得更加明显，其中：
13.图1是用于说明根据本公开的一些实施例的具有图像编码器的电子装置的框图。
14.图2是示出根据本公开的一些实施例的由滤色器获取的拜耳图像的示图。
15.图3和图4是用于说明根据本公开的一些实施例的边界像素数据的示图。
16.图5和图6是用于说明根据本公开的一些实施例的编码器的框图。
17.图7是用于说明操作图6的编码器的方法的流程图。
18.图8是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。
19.图9和图10是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。
20.图11是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。
21.图12是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。
22.图13是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。
23.图14是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。
24.图15是用于说明根据本公开的一些实施例的编码器的框图。
25.图16是用于说明操作图15的编码器的方法的流程图。
26.图17是用于说明根据本公开的一些实施例的具有图像编码器的电子装置的框图。
27.图18是用于说明根据本公开的一些实施例的具有图像编码器的电子装置的框图。
28.图19是用于说明根据本公开的一些实施例的具有多相机模块的电子装置的框图。
29.图20是图19的相机模块的详细框图。
具体实施方式
30.图像压缩是使用与原始图像数据(例如，原始未压缩的图像数据)相比更少的计算存储来产生编码图像数据(例如，压缩的编码图像数据)的处理。此外，图像解压是对编码的图像数据进行解码以产生重建图像数据的处理。取决于编码方法和解码方法(例如，以及压缩损失量)，重建图像数据可以与原始图像数据不同。例如，差分脉冲编码调制(dpcm)是用于使用周围像素值来对原始图像数据进行压缩的编码方法。
31.在与边界条件相关联的原始像素数据(例如，未压缩的像素数据)确实具有用于参考原始数据的数据的场景中，图像的压缩可能是困难的或者可能发生错误。例如，因为不存在将被参考的外围像素，所以位于原始图像的边缘的边界像素可能无法执行dpcm压缩。通常，边界条件可以指原始像素数据在当前帧图像中不具有参考数据的条件(例如，原始像素数据位于帧图像的边界(诸如上方边界或左侧边界)的条件)。
32.本公开总体上涉及图像编码器、图像感测装置和操作图像编码器的方法。更具体地，本公开的实施例涉及一种对与边界条件相关联的原始图像数据(例如，在原始图像数据中没有相应边界数据的情况下压缩原始图像数据)进行压缩的方法。在一些实施例中，本公开通过参考位于与被压缩的原始图像数据相应的先前帧图像的参考像素数据周围的像素数据来执行图像压缩。
33.本公开的图像编码器被配置为对原始图像进行编码同时减少压缩损失。可以通过使用与先前帧图像相关联的边界图像的参考像素来实现减少与边界条件相关联的原始像素数据的压缩损失。这样的参考像素可以与接近原始像素数据的像素值的像素值相关联。在一些实例中，先前帧图像的边界图像中的像素值的平均值可被用作参考像素，使得可减少存储的参考像素数据并且可提高压缩可靠性。参照附图描述根据本公开的技术构思的实施例。
34.下面将参照图1至图4描述具有图像编码器的电子装置1。
35.图1是用于说明根据本公开的一些实施例的具有图像编码器的电子装置的框图。图2是示出根据本公开的一些实施例的由滤色器获取的拜耳图像的示图。图3和图4是用于说明根据本公开的一些实施例的边界像素数据的示图。
36.电子装置1可以是使用固态图像传感器(例如，诸如互补金属氧化物半导体(cmos))捕获和存储对象的图像的电子装置。例如，电子装置1可以包括数字相机、数字摄像机、移动电话和平板计算机。
37.参照图1，电子装置1可以包括滤色器100、编码器200、解码器600和应用处理器700。
38.滤色器100可以从光学信号获取原始像素数据。原始像素数据可以表示原始像素的像素值。滤色器100中的像素的一半可以检测绿色信号。滤色器100中的像素的四分之一可以检测红色信号，并且滤色器100中的像素的四分之一可以检测蓝色信号。例如，滤色器100可以具有重复布置有一个红色(r)像素、一个蓝色(b)像素和两个绿色(g)像素的2
×
2尺寸的单元的构造。然而，根据本公开的技术思想，实施例不限于此。例如，滤色器100可以具有重复布置有一个红色(r)像素、一个蓝色(b)像素和两个宽绿色(g)像素的2
×
2尺寸的单元的构造。
39.像素(或图片元素)是指显示装置中的最小可寻址元素，以及在装置上表示的图片
的最小可控元素。在一些情况下，每一个像素可以表示原始图像的样点。每一个像素的颜色和强度是可变的。在彩色成像系统中，颜色可以由三个分量强度或四个分量强度(诸如红色、绿色和蓝色，或者青色、品红色、黄色和黑色)表示。
40.编码器200可对从滤色器100提供的原始像素数据510进行压缩以减小图像数据大小。参照图2，拜耳图像500可以包括由滤色器100获取的原始像素数据510。在一些实施例中，编码器200可以使用参考像素数据520产生原始像素数据510的编码数据。然而，根据本公开的技术构思的实施例不限于此。编码器200可以在不使用参考像素数据520的情况下产生原始像素数据510的编码数据。原始像素数据510的编码数据可以存储在由编码器200产生的比特流中。
41.参照图3，拜耳图像500可以包括第一边界像素数据530。第一边界像素数据530可以包括拜耳图像500的边界像素图像。例如，第一边界像素数据530可以包括拜耳图像500的边界的第一行的像素图像。例如，第一边界像素数据530可以包括从一个行列提供的像素图像，其中，在所述一个行列中，具有一个红色(r)像素、一个蓝色(b)像素和两个绿色(g)像素的2
×
2尺寸的单元被布置成行。在另一示例中，第一边界像素数据530可以包括拜耳图像500的边界的第一列的像素图像。
42.参照图4，拜耳图像500可以包括第二边界像素数据540。第二边界像素数据540可以包括拜耳图像500的边界像素图像。例如，第二边界像素数据540可以包括拜耳图像500的边界的第一行和第二行的像素图像。例如，第二边界像素数据540可以包括从两个行列提供的像素图像，其中，在所述两个行列中，具有一个红色(r)像素、一个蓝色(b)像素和两个绿色(g)像素的2
×
2尺寸的单元被布置成行。作为另一示例，第二边界像素数据540可以包括拜耳图像500的第一列和第二列的像素图像。
43.再次参照图1，解码器600可以接收从编码器200产生的比特流。解码器600可以对接收的比特流进行解码以产生解码数据。解码器600可以将通过对比特流进行解码而获得的数据提供给应用处理器700。
44.应用处理器700可以包括中央处理器(cpu)、微处理器或mcu(微控制器单元)，并且可以对从解码器600接收的解码数据执行后处理。后处理可以包括对图像伪影应用图像增强算法。例如，尽管应用处理器700可以对接收到的解码数据执行白平衡、去噪、去马赛克、镜头阴影、伽马校正等，但是根据本公开的技术构思的实施例不限于此。
45.通常，处理器可以指代智能硬件装置(例如，通用处理组件、数字信号处理器(dsp)、中央处理器(cpu)、图形处理单元(gpu)、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)、可编程逻辑器件、分立门或者晶体管逻辑组件、分立硬件组件或者其任意组合)。在一些情况下，处理器被配置为使用存储控制器操作存储器阵列。在其它情况下，存储控制器被集成到处理器中。在一些情况下，处理器被配置为执行存储在存储器中的计算机可读指令以执行各种功能。在一些实施例中，处理器包括用于图像处理、调制解调器处理、基带处理、数字信号处理或传输处理的专用组件。
46.图像信号处理器900可以包括编码器200和解码器600。图像信号处理器900可以从滤色器100接收原始图像数据，以通过编码器200和解码器600将数据提供给应用处理器700。由于通过编码器200压缩原始图像数据来减小图像数据的大小，因此可以增强电子装置1的存储空间效率和带宽效率。
47.下面将参照图5至图7描述编码器200。
48.图5和图6是用于说明根据本公开的一些实施例的编码器的框图。图7是用于说明操作图6的编码器的方法的流程图。
49.参照图5，编码器200可以包括坏像素检测器210、压缩器220、重建器230和缓冲器300。编码器200可以对提供的原始像素数据进行压缩以输出具有编码数据的比特流。
50.坏像素检测器210可以检测由拜耳滤色器获取的像素数据中的坏像素。坏像素可以包括由拜耳滤色器的位置处的物理误差引起的静态坏像素和不规则地产生的动态坏像素。在一些情况下，坏像素检测器210可以对水平地位于将被检查的像素周围的多个像素的信号电平进行比较。所述比较可以用于确定将被检查的像素是否包括在整个图像的边缘区域中，并且如果将被检查的像素不包括在边缘区域中，则确定将被检查的像素是否有缺陷。在一些实施例中，可以通过比较目标像素的外围像素的信号电平来检测坏像素。坏像素检测器210可以在被确定为坏像素的像素上标记指示坏像素的属性信息(例如，标志)。
51.压缩器220可以执行原始像素数据的编码。在一些实施例中，压缩器220可以接收指示可以从坏像素检测器210提供坏像素的原始像素数据。压缩器220可产生具有原始像素数据的编码数据的比特流。例如，压缩器220可执行基于原始像素数据和参考像素数据之间的差值执行编码以产生比特流的差分脉冲编码调制(dpcm)。然而，根据本公开的技术构思的实施例不限于此，并且可以以另一方法产生比特流。压缩器220可以将产生的比特流提供给重建器230。
52.重建器230可以从压缩器220接收比特流，并且可以重建比特流以产生参考像素数据。参考像素数据可以与原始像素数据相应。重建器230可以将参考像素数据提供给缓冲器300。
53.缓冲器300可接收并存储从重建器230重建的参考像素数据。存储器可以包括但不限于易失性存储器(诸如动态随机存取存储器(dram)和静态随机存取存储器(sram))，并且还可以包括非易失性存储器(诸如闪存、pram(相变随机存取存储器)、mram(磁性随机存取存储器)、reram(电阻式随机存取存储器)和fram(铁电随机存取存储器))。存储器装置的示例包括固态存储器和硬盘驱动器。在一些示例中，存储器用于存储包括指令的计算机可读软件、计算机可执行软件，其中，所述指令在被执行时使得处理器执行本文描述的各种功能。在一些情况下，除了其他方面，存储器包含控制基本硬件或软件操作(诸如与外围组件或装置的交互)的基本输入/输出系统(bios)。在一些情况下，存储控制器操作存储器单元。例如，存储控制器可包括行解码器、列解码器或行解码器和列解码器两者。在一些情况下，存储器内的存储器单元以逻辑状态的形式存储信息。
54.缓冲器300可以将用于对原始像素数据进行编码的参考像素数据提供给压缩器220。参考像素数据可以是位于原始像素数据周围的像素数据。另外地或可选地，参考像素数据可以是位于先前帧图像的原始像素数据周围的像素数据。
55.参照图6和图7，缓冲器300可以包括参考像素缓冲器310、参考边界像素缓冲器320、分类器330和锁存器340。重建的参考像素数据可以从重建器230提供给缓冲器300。分类器330可接收参考像素数据。
56.分类器330可确定重建的参考像素数据是否与边界像素数据相应(s250)。例如，分类器330可确定重建的参考像素数据是否包括在拜耳图像500的边界像素图像中。例如，参
照图3，分类器330可确定重建的参考像素数据是否包括在第一边界像素数据530中。例如，参照图4，分类器330可确定重建的参考像素数据是否包括在第二边界像素数据540中。
57.再次参照图7，如果重建的参考像素数据与边界像素数据相应(s250
‑
是)，则可以将重建的参考像素数据存储在参考边界像素缓冲器320中(s251)。例如，参考边界像素数据可以存储在参考边界像素缓冲器320中。参考边界像素缓冲器320可以通过锁存器340将存储的参考边界像素数据提供给压缩器220(s252)。例如，提供给锁存器的参考边界像素数据可以在延迟的情况下被提供给压缩器220。在一些情况下，锁存器可包括1比特存储器单元。锁存器可以允许电路存储数据并在稍后的时间递送数据(例如，当提供参考边界像素数据时，锁存器可以延迟)，而不是在获得数据时递送数据。因此，可以延迟先前帧图像的第一边界图像的参考像素数据，以在与当前帧图像的第二边界像素图像的参考像素数据基本相同的时间递送先前帧图像的第一边界图像的参考像素数据。
58.如果重建的参考像素数据不与边界像素数据相应(s250
‑
否)，则可以将重建的参考像素数据存储在参考像素缓冲器310中(s253)。参考像素缓冲器310可将存储的参考像素数据提供给压缩器220(s254)。例如，与参考边界像素数据不同，可以在没有延迟的情况下将参考像素数据提供给压缩器220。
59.由于参考边界像素数据在延迟的情况下被提供并且参考像素数据在没有延迟的情况下被提供，所以参考边界像素数据可以包括先前帧的图像。因此，参考像素数据可以包括当前帧的图像。
60.图8是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。
61.编码器200可基于至少一个参考像素数据对原始像素数据进行编码。例如，编码器200可以基于参考像素数据520对原始像素数据510进行编码。这里，原始像素数据510和参考像素数据520可以不包括在拜耳图像500的边界像素图像中。例如，原始像素数据510和参考像素数据520可以不限于拜耳图像500的边界像素图像。例如，位于原始像素数据510的上方两个行列的像素可以用作参考像素数据520。
62.在一些实施例中，原始像素数据510可以包括作为绿色像素的第一原始像素gt0、作为红色像素的第二原始像素rt0、作为绿色像素的第三原始像素gt1以及作为红色像素的第四原始像素rt1。在其他实施例中，尽管第二原始像素rt0和第四原始像素rt1可以是蓝色像素，但是为了便于说明，假设第二原始像素rt0和第四原始像素rt1是红色像素。原始像素数据510中的每一个是在被压缩之前的像素。每一个像素值可以由大于或等于0且小于1024的值表示。
63.通过对原始像素数据510进行编码而产生的比特流b1可以包括存储关于像素值的信息的像素区域dpcm1、dpcm2、dpcm3和dpcm4。例如，第一像素区域dpcm1可以存储第一原始像素gt0的编码数据。第二像素区域dpcm2可以存储第二原始像素rt0的编码数据。第三像素区域dpcm3可以存储第三原始像素gt1的编码数据。第四像素区域dpcm4可存储第四原始像素rt1的编码数据。
64.编码器200可存储第一原始像素gt0的像素值与第一像素区域dpcm1中的参考值之间的差值d1。根据一些实施例，参考值可以包括位于第一原始像素gt0的左上方的参考像素g0的像素值与位于第一原始像素gt0的右上方的参考像素g1的像素值之间的平均值。差值
d1可以由下面的等式1定义。
65.d1＝(g0 g1)/2
‑
gt0
ꢀꢀ
(1)
66.编码器200可存储第二原始像素rt0的像素值与第二像素区域dpcm2中的参考值之间的差值d3。根据一些实施例，参考值可以包括位于第二原始像素rt0的两行的上方一行的参考像素r1的像素值。差值d3可以由下面的等式2定义。
67.d3＝r1
‑
rt0
ꢀꢀ
(2)
68.编码器200可存储第三原始像素gt1的像素值与第三像素区域dpcm3中的参考值之间的差值d2。根据一些实施例，参考值可以包括位于第三原始像素gt1的左上方的参考像素g1的像素值与位于右上方的参考像素g2的像素值之间的平均值。差值d2可以由下面的等式3定义。
69.d2＝(g1 g2)/2
‑
gt1
ꢀꢀ
(3)
70.编码器200可存储第四原始像素rt1的像素值与第四像素区域dpcm4中的参考值之间的差值d4。根据一些实施例，参考值可以包括位于第四原始像素rt1的上方两个行列的参考像素r2的像素值。差值d4可以由下面的等式4定义。
71.d4＝r2
‑
rt1
ꢀꢀ
(4)
72.在参照图8描述的原始像素数据的编码中参考的参考像素数据的位置是示例并且可以被改变。
73.在下文中，将参照图9和图10描述当参考像素数据包括在拜耳图像500的边界像素图像中时对原始像素数据进行压缩的方法。
74.图9和图10是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。
75.编码器200可基于至少一个参考像素数据对原始像素数据进行编码。例如，参照图9，编码器200可以基于第一参考边界像素数据560对原始像素数据550进行编码。这里，尽管原始像素数据550可以包括在拜耳图像500的边界像素图像中，但是根据本公开的实施例不限于此。此外，第一参考边界像素数据560可以包括在拜耳图像500的边界像素图像中。例如，第一参考边界像素数据560可以包括在先前帧图像的拜耳图像500的边界像素图像中。
76.参照图6，原始像素数据550可以存储在参考像素缓冲器310中，并从参考像素缓冲器310提供给压缩器220。第一参考边界像素数据560可以存储在参考边界像素缓冲器320中，并且有延迟地提供给压缩器220。例如，第一参考边界像素数据560可以被包括在将被压缩的原始像素数据550的先前帧图像的拜耳图像500的边界像素图像中。
77.当通过使用与先前帧相应的第一参考边界像素数据560对原始像素数据550进行编码来对拜耳图像500的边界像素图像进行压缩时，可以通过使用具有与像素值最接近的值的像素值作为参考像素数据来减少压缩损失。
78.参照图10，原始像素数据550可以包括作为绿色像素的第一原始像素gb0、作为红色像素的第二原始像素rb0、作为绿色像素的第三原始像素gb1和作为红色像素的第四原始像素rb1。在一些其他实施例中，尽管第二原始像素rb0和第四原始像素rb1可以是蓝色像素，但是为了便于说明，假设第二原始像素rb0和第四原始像素rb1是红色像素。原始像素数据550中的每一个是在被压缩之前的像素，并且每一个像素值可以由大于或等于0且小于1024的值表示。
79.通过对原始像素数据550进行编码而产生的比特流b2可以包括存储关于像素值的信息的像素区域dpcm5、dpcm6、dpcm7和dpcm8。
80.编码器200可将第一原始像素gb0的像素值与参考值之间的差值d5存储在第五像素区域dpcm5中。根据一些实施例，参考值可以包括位于第一原始像素gb0的左上方的参考像素g8的像素值与第一原始像素gb0的右上方的参考像素g9的像素值之间的平均值。差值d5可以由下面的等式5定义。
81.d5＝(g8 g9)/2
‑
gb0
ꢀꢀ
(5)
82.编码器200可将第二原始像素rb0的像素值与参考值之间的差值d7存储在第六像素区域dpcm6中。根据一些实施例，参考值可以包括位于第二原始像素rb0的上方两个行列的参考像素r5的像素值。差值d7可以由下面的等式6定义。
83.d7＝r5
‑
rb0
ꢀꢀ
(6)
84.编码器200可将第三原始像素gb1的像素值与参考值之间的差值d6存储在第七像素区域dpcm7中。根据一些实施例，参考值可以包括位于第三原始像素gb1的左上方的参考像素g9的像素值与位于第三原始像素gb1的右上方的参考像素g10的像素值之间的平均值。差值d6可以由下面的等式7定义。
85.d6＝(g9 g10)/2
‑
gb1
ꢀꢀ
(7)
86.编码器200可将第四原始像素rb1的像素值与参考值之间的差值d8存储在第八像素区域dpcm8中。根据一些实施例，参考值可以包括位于第四原始像素rb1的上方两个行列的参考像素r6的像素值。差值d8可以由下面的等式8定义。
87.d8＝r6
‑
rb1
ꢀꢀ
(8)
88.在参照图10描述的原始像素数据的编码中参考的参考像素数据的位置是示例并且可以被改变。
89.图11是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。为了便于说明，将简要说明或省略使用图1至图10说明的内容的重复部分。
90.参照图11，编码器200可以基于第二参考边界像素数据570对原始像素数据550进行编码。第二参考边界像素数据570可以被包括在拜耳图像500的边界像素图像中。例如，第二参考边界像素数据570可以被包括在先前帧图像的拜耳图像500的边界像素图像中。参照图4，第二参考边界像素数据570可以被包括在第二边界像素数据540中。例如，第二参考边界像素数据570可以包括拜耳图像500的边界的第一行和第二行的像素图像以及第一列和第二列的像素图像。
91.图12是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。为了便于说明，将简要说明或省略使用图1至图10说明的内容的重复部分。
92.参照图12，编码器200可以基于第三参考边界像素数据580对原始像素数据550进行编码。第三参考边界像素数据580可以被包括在拜耳图像500的边界像素图像中。第三参考边界像素数据580可以包括拜耳图像500的边界的第一行的像素图像和第一列的像素图像。另外地或可选地，第三参考边界像素数据580还可以包括拜耳图像500的边界的第一行的像素图像和第一列的像素图像彼此重叠的部分的图像。例如，编码器200可以基于第三参考边界像素数据580中的位于原始像素数据550的左上方的像素数据来对原始像素数据550进行编码。
93.图13是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。为了便于说明，将简要说明或省略使用图1至图10说明的内容的重复部分。
94.参照图13，编码器200可基于第四参考边界像素数据590对原始像素数据550进行编码。第四参考边界像素数据590可以是包括在先前帧图像的拜耳图像500的边界像素图像中的像素值的平均值。由于第四参考边界像素数据590包括像素值的平均值，因此可以减少存储的数据并且可以提高可靠性。
95.图14是用于说明根据本公开的一些实施例的对原始像素数据进行压缩的方法的示图。为了便于说明，将简要说明或省略使用图1至图10说明的内容的重复部分。
96.参照图14，拜耳图像500可以包括第一区域图像501和第二区域图像502。第一区域图像501和第二区域图像502可以包括彼此不同的区域。第一区域图像501可以包括原始像素数据551。第二区域图像502可以包括原始像素数据552。
97.编码器200可以基于第五参考边界像素数据591对第一区域图像501的原始像素数据551进行编码，第五参考边界像素数据591可以是与先前帧相应的第一区域图像501的边界像素图像。编码器200可以基于第六参考边界像素数据592对第二区域图像502的原始像素数据552进行编码，第六参考边界像素数据592可以是与先前帧相应的第二区域图像502的边界像素图像。通过对拜耳图像500中的其他区域进行编码，可以提高压缩可靠性并减少压缩损失。
98.在下文中，将参照图15和图16描述编码器200。为了便于说明，将简要说明或省略使用图1至图10说明的内容的重复部分。
99.图15是用于说明根据本公开的一些实施例的编码器的框图。图16是用于说明操作图15的编码器的方法的流程图。
100.参照图15，编码器200可以包括动作检测器240。编码器200可以使用动作检测器240来调整从缓冲器300提供给压缩器220的数据。
101.参照图16，动作检测器240可以检测具有编码器200的电子装置1的动作(s260)。动作检测器240可以确定具有编码器200的电子装置1的动作是否大于参考值(s261)。
102.如果检测到的电子装置1的动作大于参考值(s261
‑
是)，则编码器200可以使用预定值作为参考像素数据(s262)。当检测到的电子装置1的动作不大于参考值时(s261
‑
否)，编码器200可使用边界像素数据作为参考像素数据(s263)。如果电子装置1的动作是不平滑的，则由于先前帧的像素值可能与当前帧的像素值不相似，因此预定值可以用作参考像素数据以向编码器200提供增强的可压缩性。例如，动作检测器240可以检测电子装置1是否已经移动到或重新定位到后续帧图像可能不具有与先前捕获的帧图像相似的边界图像的程度。在一些示例中，动作检测器240可以包括加速度计、陀螺仪、惯性测量单元(imu)等。在一些示例中，动作检测器240可以是能够确定先前帧的像素值可能不与当前帧的相应像素值相似的任何传感器。
103.图17是用于说明根据本公开的一些实施例的具有图像编码器的电子装置的框图。为了便于说明，将简要说明或省略使用图1至图16说明的内容的重复部分。
104.参照图17，电子装置2可包括图像感测装置800、存储器820和应用处理器700。
105.图像感测装置800可以包括编码器200、解码器600和存储控制器810。由编码器200产生的比特流可以被发送到存储控制器810。
106.存储控制器810可以控制存储器820的编码数据的输入和输出操作。由编码器200产生的比特流可以在存储控制器810的控制下被输入到存储器820。存储控制器810可以包括执行用于控制存储器820内的整体操作的各种操作的专用逻辑电路(例如，fpga、asic等)。
107.存储器820连接到图像感测装置800并且可存储图像帧。存储器820可存储由编码器200产生的编码数据而不是图像帧的原始数据。因此，与原始数据存储在存储器820中的情况相比，存储在存储器820中的图像帧的数量可以增加。
108.存储器820可以在存储控制器810的控制下将具有编码数据的比特流输出到解码器600。解码器600可以执行对比特流进行解码的操作。例如，解码器600可以根据从存储控制器810接收的比特流来产生重建图像数据。
109.图18是用于说明根据本公开的一些实施例的具有图像编码器的电子装置的框图。为了便于说明，将简要说明或省略使用图1至图16说明的内容的重复部分。
110.参照图18，电子装置3可以包括应用处理器700和显示装置910。
111.应用处理器700可以包括编码器200和解码器600。应用处理器700中的编码器200可以对原始图像数据进行编码和压缩。应用处理器700中的解码器600可以对编码的比特流进行解码以输出图像数据。
112.应用处理器700可以将从解码器600输出的图像数据传送到显示装置910。应用处理器700无损地对通过编码器200和解码器600输入到应用处理器700的图像数据进行压缩，无损地对图像数据进行解压，并将图像数据传送到显示装置910以显示图像数据。显示装置910可以包括常规监视器、与集成显示器耦合的监视器、集成显示器(例如，lcd显示器)或用于查看相关联的数据或处理信息的其他装置。可以使用除显示器之外的输出装置(诸如打印机、其他计算机或数据存储装置以及计算机网络)。
113.在下文中，将参照图19和图20描述具有多个相机模块1100a、1100b和1100c的电子装置。为了便于说明，将简要说明或省略使用图1至图16说明的内容的重复部分。相机模块1100a、1100b和1100c中的每一个可以包括与使用图1至图16描述的编码器相同的编码器200。
114.图19是用于说明根据本公开的一些实施例的具有多相机模块的电子装置的框图。图20是图19的相机模块的详细框图。
115.参照图19，电子装置4可以包括相机模块组1100、应用处理器1200、电源管理集成电路(pmic)1300和外部存储器1400。
116.相机模块组1100可以包括多个相机模块1100a、1100b和1100c。尽管在附图中示出布置三个相机模块1100a、1100b和1100c的示例，但是实施例不限于此。在一些实施例中，相机模块组1100可以包括两个相机模块。此外，在一些实施例中，相机模块组1100可以包括n(n是等于或大于4的自然数)个相机模块。
117.在下文中，尽管将参照图20更具体地描述相机模块1100b的详细配置，但是根据实施例，以下描述可以相似地被应用于其他相机模块1100a和1100c。
118.参照图20，相机模块1100b可以包括棱镜1105、光路折叠元件(在下文中称为“opfe”)1110、致动器1130、图像感测装置1140和存储器1150。
119.棱镜1105可以包括光反射物质的反射表面1107，以使从外部入射的光l的路径变
形。
120.在一些实施例中，棱镜1105可以将在第一方向x上入射的光l的路径改变为垂直于第一方向x的第二方向y。此外，棱镜1105可以使光反射物质的反射表面1107围绕中心轴1106在方向a上旋转或者使中心轴1106在方向b上旋转，从而改变在第一方向x上入射的光l的路径。opfe 1110还可以在垂直于第一方向x和第二方向y的第三方向z上移动。
121.在一些实施例中，如图所示，尽管棱镜1105在方向a上的最大旋转角度在正( )方向a上等于或小于15度并且在负(
‑
)方向a上可以大于15度，但是实施例不限于此。
122.在一些实施例中，棱镜1105可以在正( )或负(
‑
)方向b上移动约20度，或者在10度和20度之间移动，或者在15度和20度之间移动。这里，移动角度可以在正( )或负(
‑
)方向b上移动相同的角度，或者可以在约1度的范围内移动到几乎相同的角度。
123.在一些实施例中，棱镜1105可以在与中心轴1106的延伸方向平行的第三方向(例如，方向z)上移动光反射物质的反射表面1107。
124.opfe 1110可以包括例如具有m(其中m是自然数)组的光学透镜。m个透镜可以在第二方向y上移动以改变相机模块1100b的光学变焦率。例如，当相机模块1100b的基本光学变焦率被设置为z时，如果包括在opfe 1110中的m个光学透镜被移动，则相机模块1100b的光学变焦率可以被改变为3z或5z或者大于5z的光学变焦率。
125.致动器1130可以将opfe 1110或光学透镜(在下文中称为光学镜头)移动到特定位置。例如，致动器1130可以调整光学镜头的位置，使得图像传感器1142位于光学镜头的焦距处以用于精确感测。
126.图像感测装置1140可以包括图像传感器1142、控制逻辑1144和内存1146。尽管图像感测装置1140可以包括与使用图1至图16描述的编码器200相同的编码器200，但是根据本公开的技术构思的实施例不限于此，并且编码器200可以包括在相机模块1100b的其他配置中。图像传感器1142可以使用由光学镜头提供的光l来对感测目标的图像进行感测。控制逻辑1144可以控制相机模块1100b的整体操作。例如，控制逻辑1144可以根据通过控制信号线(csl)(诸如cslb)提供的控制信号来控制相机模块1100b的操作。
127.内存1146可以存储用于相机模块1100b的操作的信息(诸如校准数据1147)。校准数据1147可以包括用于相机模块1100b使用从外部提供的光l产生图像数据的信息。校准数据1147可以包括例如关于上述旋转程度的信息、关于焦距的信息、关于光轴的信息等。如果相机模块1100b以焦距依据光学镜头的位置而改变的多状态相机的形式被实现，则校准数据1147可包括关于光学镜头的每一个位置(每一个状态)的焦距值和自动聚焦的信息。
128.存储器1150可以存储通过图像传感器1142感测的图像数据。例如，存储器1150可以存储由编码器200编码的图像数据(例如，比特流)。存储器1150可以被布置在图像感测装置1140外部，并且可以以与构成图像感测装置1140的传感器芯片进行堆叠的形式被实现。在一些实施例中，尽管存储器1150可以被实现为eeprom(电可擦除可编程只读存储器)，但是实施例不限于此。
129.一起参照图19和图20，在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个可以包括致动器1130。因此，多个相机模块1100a、1100b和1100c中的每一个可以根据其中包括的致动器1130的操作而包括相同或不同的校准数据1147。
130.在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，
1100b)可以是具有上述棱镜1105和opfe 1110的折叠镜头型相机模块，并且其余相机模块(例如，1100a和1100c)可以是不包括棱镜1105和opfe 1110的垂直型相机模块。然而，实施例不限于此。
131.在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100c)可以是例如使用红外(ir)射线提取深度信息的垂直型深度相机。在这种情况下，应用处理器1200可以对从这样的深度相机提供的图像数据和从其他相机模块(例如，1100a或1100b)提供的图像数据进行合并以产生3d深度图像。
132.在一些实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可具有彼此不同的视场。在这种情况下，例如，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以具有彼此不同的光学镜头，但是本公开不限于此。
133.此外，在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个的视场可以彼此不同。在这种情况下，尽管包括在多个相机模块1100a、1100b和1100c中的每一个中的光学镜头可以彼此不同，但是实施例不限于此。
134.在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个可以被定位成彼此物理地分离。换句话说，多个相机模块1100a、1100b和1100c不单独使用一个图像传感器1142的感测区域，而是可以在多个相机模块1100a、1100b和1100c中的每一个的内部布置独立的图像传感器1142。
135.再次参照图19，应用处理器1200可以包括图像处理器1210、存储控制器1220和内部存储器1230。应用处理器1200可以与多个相机模块1100a、1100b和1100c分离地被实现。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可以由彼此分离的单独半导体芯片被实现。
136.图像处理器1210可以包括多个子图像处理器1212a、1212b和1212c、图像产生器1214和相机模块控制器1216。
137.图像处理器1210可以包括与多个相机模块1100a、1100b和1100c的数量相应的数量的多个子图像处理器1212a、1212b和1212c。
138.从相机模块1100a、1100b和1100c中的每一个产生的图像数据可以通过彼此分离的图像信号线(诸如isla、islb和islc)提供给相应的子图像处理器1212a、1212b和1212c。通过图像信号线isla、islb和islc提供的图像数据可以包括从编码器200输出的比特流。例如，可以通过图像信号线isla将从相机模块1100a产生的图像数据提供给子图像处理器1212a。从相机模块1100b产生的图像数据可以通过图像信号线islb提供给子图像处理器1212b。从相机模块1100c产生的图像数据可以通过图像信号线islc提供给子图像处理器1212c。尽管可以例如使用基于移动工业处理器接口(mipi)的相机串行接口(csi)来执行图像数据传输，但是实施例不限于此。
139.另外，在一些实施例中，可以布置一个子图像处理器以与多个相机模块相应。例如，子图像处理器1212a和子图像处理器1212c不是如图所示彼此分离地被实现的。子图像处理器1212a和子图像处理器1212c可以通过集成到单个子图像处理器中被实现，通过选择元件(例如，多路复用器)等选择从相机模块1100a和相机模块1100c提供的图像数据，然后可以将图像数据提供给集成的子图像处理器。
140.可以将提供给子图像处理器1212a、1212b和1212c中的每一个的图像数据提供给图像产生器1214。图像产生器1214可以根据图像产生信息或模式信号使用从各个子图像处理器1212a、1212b和1212c提供的图像数据来产生输出图像。
141.图像产生器1214可以根据图像产生信息或模式信号对从具有不同视场的相机模块1100a、1100b和1100c产生的图像数据中的至少一些进行合并以产生输出图像。另外地或可选地，图像产生器1214可以选择从具有不同视场的相机模块1100a、1100b和1100c产生的图像数据中的一个，以根据图像产生信息或模式信号产生输出图像。
142.在一些实施例中，图像产生信息可以包括变焦信号或变焦因子。此外，在一些实施例中，模式信号可以是例如基于从用户选择的模式的信号。
143.当图像产生信息是变焦信号(变焦因子)并且各个相机模块1100a、1100b和1100c具有彼此不同的观察视图(视场)时，图像产生器1214可以根据变焦信号的类型执行彼此不同的操作。例如，如果变焦信号是第一信号，则在将从相机模块1100a输出的图像数据与从相机模块1100c输出的图像数据合并之后，可以使用合并后的图像信号和从相机模块1100b输出的未用于合并的图像数据来产生输出图像。如果变焦信号是与第一信号不同的第二信号，则图像产生器1214不执行图像数据合并，而是可以选择从各个相机模块1100a、1100b和1100c输出的图像数据中的一个以产生输出图像。然而，实施例不限于此，并且对图像数据进行处理的方法可以根据需要进行各种修改和实现。
144.在一些实施例中，图像产生器1214可从多个子图像处理器1212a、1212b和1212c中的至少一个接收具有不同曝光时间的多个图像数据，并且对多个图像数据执行高动态范围(hdr)处理，从而产生具有增大的动态范围的合并图像数据。
145.相机模块控制器1216可以向相机模块1100a、1100b和1100c中的每一个提供控制信号。从相机模块控制器1216产生的控制信号可以通过彼此分离的控制信号线csla、cslb和cslc被提供给相应的相机模块1100a、1100b和1100c。
146.多个相机模块1100a、1100b和1100c中的一个可以根据具有变焦信号或模式信号的图像产生信息被指定为主相机(例如，1100b)，并且剩余的相机模块(例如，1100a和1100b)可以被指定为从属相机。该信息包括在控制信号中，并且可以通过彼此分离的控制信号线csla、cslb和cslc提供给相应的相机模块1100a、1100b和1100c。
147.作为主相机模块和从属相机模块操作的相机模块可以依据变焦因子或操作模式信号而改变。例如，当相机模块1100a的视场比相机模块1100b的视场宽并且变焦因子显示低变焦率时，相机模块1100b可以作为主相机模块操作，并且相机模块1100a可以作为从属相机模块操作。另外地或可选地，当变焦因子显示高变焦率时，相机模块1100a可以作为主相机模块操作，并且相机模块1100b可以作为从属相机模块操作。
148.在一些实施例中，从相机模块控制器1216提供给相应相机模块1100a、1100b和1100c的控制信号可以包括同步使能信号。例如，当相机模块1100b是主相机并且相机模块1100a和1100c是从属相机时，相机模块控制器1216可以向相机模块1100b发送同步使能信号。被提供有同步使能信号的相机模块1100b基于所提供的同步使能信号产生同步信号，并且可以通过同步信号线ssl将产生的同步信号提供给相机模块1100a和1100c。相机模块1100b以及相机模块1100a和1100c可以与这样的同步信号同步地将图像数据发送到应用处理器1200。
149.在一些实施例中，从相机模块控制器1216提供给多个相机模块1100a、1100b和1100c的控制信号可以包括根据模式信号的模式信息。多个相机模块1100a、1100b和1100c可以基于模式信息在与感测速度相关的第一操作模式和第二操作模式下运行。
150.多个相机模块1100a、1100b和1100c在第一操作模式下以第一速度产生图像信号(例如，产生第一帧速率的图像信号)。多个相机模块1100a、1100b和1100c还以高于第一速度的第二速度对图像信号进行编码(例如，以高于第一帧速率的第二帧速率对图像信号进行编码)。另外地或可选地，多个相机模块1100a、1100b和1100c可以将编码的图像信号发送到应用处理器1200。第二速度可以等于或小于第一速度的30倍。
151.应用处理器1200将接收到的图像信号(例如，编码的图像信号)存储在布置在应用处理器1200的外部存储器1400内部或应用处理器1200的外部存储器1400中的存储器1230中，然后从存储器1230或存储器1400读取编码的图像信号并对编码的图像信号进行解码，并且可以显示基于解码的图像信号产生的图像数据。例如，图像处理器1210的多个子处理器1212a、1212b和1212c中的相应子处理器可执行解码，并且可对解码的图像信号执行图像处理。
152.多个相机模块1100a、1100b和1100c在第二操作模式下以低于第一速度的第三速度产生图像信号(例如，产生低于第一帧速率的第三帧速率的图像信号)，并且可以将图像信号发送到应用处理器1200。提供给应用处理器1200的图像信号可以是非编码信号。应用处理器1200可以对接收的图像信号执行图像处理，或者可以将图像信号存储在存储器1230或存储器1400中。
153.pmic 1300可以向多个相机模块1100a、1100b和1100c中的每一个供应电力(例如，电源电压)。例如，pmic 1300可以在应用处理器1200的控制下通过电力信号线psla向相机模块1100a供应第一电力，通过电力信号线pslb向相机模块1100b供应第二电力，并且通过电力信号线pslc向相机模块1100c供应第三电力。
154.pmic 1300响应于来自应用处理器1200的电力控制信号pcon而产生与多个相机模块1100a、1100b和1100c中的每一个相应的电力，并且可以调整电力电平。电力控制信号pcon可以包括用于多个相机模块1100a、1100b和1100c的每个操作模式的电力调整信号。例如，操作模式可以包括低电力模式，并且电力控制信号pcon可以包括关于在低电力模式下操作的相机模块和将被设置的电力电平的信息。提供给多个相机模块1100a、1100b和1100c中的每一个的电力电平可以彼此相同或不同。此外，可以动态地改变电力电平。
155.在总结详细描述时，本领域技术人员将理解，在基本上不脱离本公开的原理的情况下，可以对实施例进行许多变化和修改。因此，本公开的所公开的实施例仅在一般和描述性意义上使用，而不是为了限制的目的。