相机模块、图像处理系统和图像压缩方法与流程

相机模块、图像处理系统和图像压缩方法
1.相关申请的交叉引用
2.本技术基于并且要求在韩国知识产权局于2020年7月16日提交的韩国专利申请no.10-2020-0088450和于2021年1月5日提交的韩国专利申请no.10-2021-0001057的优先权，所述申请的公开以引用方式全文并入本文中。
技术领域
3.本公开涉及一种相机模块、图像处理系统和图像压缩方法，并且更具体地说，涉及一种根据坏像素的检测压缩图像数据的相机模块。


背景技术：

4.最近，随着对高质量和高清晰度照片、图像等的需求增加，图像传感器中的像素尺寸已经减小，并且集成了更多的像素。然而，由于某些情况(诸如制造工艺问题)，图像传感器的像素可以在任意位置包括任意形状的一个或多个坏像素。由于任意形状的坏像素不用于产生照片、图像等，因此会劣化图像传感器的性能。因此，需要校正从坏像素输出的图像数据。


技术实现要素：

5.一个或多个实施例提供了一种根据坏像素的检测压缩图像数据的相机模块和图像处理系统及其图像压缩方法。
6.根据实施例，提供了一种压缩形成图像数据的多个像素组中的每一个的图像压缩方法。所述方法包括：检测像素组中的多个像素中的坏像素；产生指示关于所述坏像素的位置信息的标示；计算所述多个像素中的除所述坏像素之外的像素的像素值与参考像素值之间的第一差；以及产生包括所述标示和所述第一差的比特流。
7.根据实施例，提供了一种相机模块，所述相机模块包括：图像传感器，其被配置为产生包括多个像素的图像数据；编码器，其被配置为将所述多个像素划分为多个像素组，并且按次序压缩所述多个像素组，以产生包括多个比特流的压缩数据；以及存储器，其存储包括通过所述编码器压缩的像素的像素值的参考信息，其中，所述编码器还被配置为：检测第一像素组中的坏像素；基于检测坏像素的结果和所述参考信息通过压缩所述第一像素组中的多个第一像素的第一像素值来产生对应于所述第一像素组的第一比特流；并且基于通过校正所述坏像素的像素值而获得的校正后的像素值来更新所述参考信息。
8.根据实施例，提供了一种图像处理系统，该图像处理系统包括：图像传感器，其被配置为产生包括多个像素的图像数据；编码器，其被配置为通过按次序压缩图像数据中的多个像素组来产生多个比特流；以及解码器，其被配置为通过解压缩所述多个比特流来恢复图像数据，其中，所述编码器还被配置为：检测所述多个像素组中的每一个中的坏像素；根据参考信息压缩所述多个像素组中的第二像素组的像素值，基于在第二像素组之前被压缩的所述多个像素组中的第一像素组的像素值来产生所述参考信息；以及基于检测坏像素
的结果来更新所述参考信息。
附图说明
9.将从结合附图的下面的详细描述中更清楚地理解本发明构思的实施例，在附图中：
10.图1是示出根据实施例的图像处理系统的图；
11.图2是示出根据实施例的编码器的图；
12.图3是示出根据实施例的图像压缩方法的概念图；
13.图4是示出根据实施例的图像压缩方法的概念图；
14.图5a和图5b是示出根据实施例的比特流的图；
15.图6是示出根据实施例的比特流的图；
16.图7是示出根据实施例的图像压缩方法的流程图；
17.图8是示出根据实施例的解码器的图；
18.图9a和图9b是示出根据实施例的图像解压缩方法的概念图；
19.图10是示出根据实施例的图像处理系统的图；
20.图11是示出根据实施例的编码器的图；
21.图12a和图12b是示出根据实施例的压缩信息的表；
22.图13是示出根据实施例的图像处理系统的图；
23.图14是示出根据实施例的电子装置的图；
24.图15是示出根据实施例的电子装置的一部分的图；以及
25.图16是示出根据实施例的相机模块的详细配置的图。
具体实施方式
26.下文中，将参照附图详细描述实施例。
27.图1是示出根据实施例的图像处理系统10的图。参照图1，图像处理系统10可包括相机模块100和图像处理装置200。相机模块100可包括图像传感器110、编码器120、存储器130和接口(i/f)
28.140。图像处理装置200可包括接口210、存储器220、解码器230和图像信号处理器(isp)240。然而，一个或多个实施例不限于此，并且相机模块和图像处理装置可包括更多或更少的组件或部件。
29.图像处理系统10可以实现为个人计算机(pc)、物联网(iot)装置或便携式电子装置。便携式电子装置可以是笔记本计算机、移动电话、智能电话、平板pc、个人数字助理(pda)、企业数字助理(eda)、数码相机、数字摄像机、音频装置、便携式多媒体播放器(pmp)、个人导航装置(pnd)、mp3播放器、手持游戏机、电子书、可穿戴装置等。此外，图像处理系统10可以安装在诸如无人机、高级驾驶员辅助系统(adas)等电子装置或者作为用于车辆、家具、制造设施、门、各种测量装置等的部件提供的电子装置上。
30.相机模块100可以拍摄对象并产生图像数据idt。在一些实施例中，相机模块100可包括用于将对象的光信号转换为电信号的图像传感器110。例如，图像传感器110可以包括二维布置的多个像素，并且可以包括像素阵列111。多种参考色中的一种可以分配给多个像
素中的每一个。例如，多种参考色可以包括红色、绿色和蓝色(rgb)或者红色、绿色、蓝色和白色(rgbw)。参考色还可以包括上面列出的颜色以外的颜色。例如，多种参考色可以包括青色、黄色、绿色和品红色。像素阵列111可产生像素信号，其包括关于多个像素中的每一个的参考色的信息。
31.像素阵列111可包括多条行线、多条列线、分别连接到行线和列线并以矩阵形式排列的多个像素。多个滤色器可被布置成分别对应于多个像素。例如，参考图1，多个滤色器中的每一个可具有大小为2
×
2的单元，其包括重复排列的红色像素r、蓝色像素b以及两个绿色像素gr和gb。这种图案可以称为拜耳图案。
32.作为另一示例，滤色器可以具有其中分别对应于所述多种参考色的像素组重复排列的配置。例如，滤色器可以具有其中包括2
×
2排列的红色像素r的红色像素组、包括2
×
2排列的第一绿色像素gr的第一绿色像素组、包括2
×
2排列的蓝色像素b的蓝色像素组和包括2
×
2排列的绿色像素gb的第二绿色像素组重复排列的配置。这种图案可以被称作四格图案或四格单元。
33.作为另一示例，滤色器可以具有其中包括3
×
3排列的红色像素r的红色像素组、包括3
×
3排列的第一绿色像素gr的第一绿色像素组、包括3
×
3排列的蓝色像素b的蓝色像素组和包括3
×
3排列的绿色像素gb的第二绿色像素组重复排列的配置。这种图案可以被称作九格图案或九格单元。
34.一个或多个实施例不限于此，滤色器还可以具有其中包括2n
×
2n或3n
×
3n(其中n是正整数)排列的像素的红色像素组、蓝色像素组、第一绿色像素组和第二绿色像素组重复排列的配置。
35.在非限制性示例实施例中，可以利用电荷耦合器件(ccd)图像传感器或者互补金属氧化物半导体(cmos)图像传感器来实施图像传感器110，并且可以将其实施为各种类型的光电装置。图像传感器110可以输出其中已对像素阵列111产生的像素信号执行了预处理的图像数据idt。
36.虽然已经描述了图像数据idt包括关于参考色的信息(例如，rgb信息)，但是一个或多个实施例不限于此。例如，图像传感器110可以通过颜色空间转换将每个像素的rgb信息转换为包括关于亮度和色差的信息的yuv信息。因此，图像数据idt可以包括对应于每个像素的yuv信息。即使当图像数据idt包括yuv信息时，也可以基本上同等地应用本发明构思。
37.相机模块100可以通过使用编码器120来压缩图像数据idt，以减少数据传输中的功耗并提高数据存储空间的效率。具体地说，编码器120可以从图像传感器110接收图像数据idt，并通过压缩图像数据idt来产生压缩数据cdt。压缩数据cdt可以以编码的比特流的形式输出。在下文中，编码的比特流被简单地称为比特流。
38.编码器120可以以像素组为单位压缩图像数据idt。这里，像素组可以被设置为包括根据图像数据idt的图案按次序排列的预设数量的像素，或者可以被设置为包括对应于同一参考色并且彼此相邻的像素。例如，当图像数据idt为拜耳图案时，像素组可被设置为包括水平地和垂直地按次序排列的预设数量(例如，四个)的像素。作为另一示例，当图像数据idt处于四格图案或九格图案时，像素组可以被设置为包括对应于同一参考色(例如，红色、蓝色、绿色等)并且彼此相邻的四个或九个像素。编码器120可以通过压缩一个像素组来
产生一个比特流，并且可以基于图像数据idt中的所有像素组的比特流来产生压缩数据cdt。
39.编码器120可以基于对应于在对应的像素组之前被压缩的像素的像素值产生的第一参考映射rm1来压缩特定像素组。例如，编码器120可以基于邻近于第一参考映射rm1中的像素组中的待压缩的目标像素的至少一个像素的像素值来确定参考值，并且基于参考值和目标像素的像素值来压缩目标像素的像素值。
40.当压缩像素组时，编码器120可以通过将压缩的像素组的像素值加至现有的第一参考映射rm1来产生(或者更新)新的第一参考映射rm1。另外，编码器120可以通过利用新的第一参考映射rm1按照下一次序压缩像素组。
41.目标像素的像素值和邻近像素的像素值很可能具有彼此相似的值。因此，当通过按照上述方法压缩图像数据idt产生压缩数据cdt时，可提高压缩效率，并且可减少数据丢失。下文中，为了便于解释，将包括对应于在像素组被压缩之前已被压缩的像素的像素值的信息称作第一参考映射rm1，并且本发明构思不限于此。第一参考映射rm1也可被称作其它名称，诸如参考信息。
42.图像数据idt可包括坏像素的像素值。这里，坏像素可包括连续地导通或截止的静态坏像素和随机地导通或截止的动态坏像素。因为静态坏像素的位置固定，所以可以通过能够进行简单操作处理的图像传感器110的预处理操作来校正静态坏像素的像素值。由于动态坏像素的位置不固定，因此校正可不止需要简单操作。因此，通过图像传感器110的预处理操作更难校正动态坏像素的像素值。
43.因为编码器120被配置为压缩图像数据idt而非校正图像数据idt，所以即使在图像数据idt中包括坏像素，编码器120也可以压缩图像数据idt。因此，当编码器120按照上述方法执行压缩时，第一参考映射rm1可包括坏像素的像素值。因为坏像素的像素值与邻近像素的像素值具有较大差异，所以会降低压缩效率，并且在利用第一参考映射rm1的压缩期间会发生数据丢失。
44.为了提高压缩效率和防止数据丢失，编码器120可以检测第一参考映射rm1中包括的所述多个像素中的坏像素。当第一参考映射rm1中包括坏像素时，可以基于除坏像素的像素值以外的像素(例如，正常像素)的像素值来确定参考值。因为当针对所有像素的压缩操作中的每一个检测一个或多个坏像素时，上述检测操作需要大量操作，因此会增加功耗。
45.根据实施例，在上述方法中，在执行压缩的方法中，编码器120可以校正坏像素(具体地说，动态坏像素)的像素值，并且将校正后的像素值包括在第一参考映射rm1中。因此，当第一参考映射rm1中不包括坏像素的像素值时，可以省略用于第一参考映射rm1的坏像素检测操作。
46.例如，存储器130可以被配置为存储图像数据idt或第一参考映射rm1。存储器130可为诸如动态随机存取存储器(dram)或静态随机存取存储器(sram)的易失性存储器或者诸如相变随机存取存储器(pram)、电阻随机存取存储器(reram)或闪速存储器的非易失性存储器。
47.编码器120可以通过接口140将产生的压缩数据cdt提供至图像处理装置200。例如，接口140可以实施为基于移动工业处理器接口(mipi)的相机串行接口(csi)。然而，接口140的类型不限于此，并且可以根据各种协议标准来实施。
48.图像处理装置200可以转换从相机模块100接收到的压缩数据cdt，以产生将显示在显示器上的图像。具体地说，图像处理装置200可以从相机模块100接收压缩数据cdt，通过解压缩压缩数据cdt来产生解压缩数据ddt，并且通过基于解压缩数据ddt执行图像处理操作来产生最终图像。
49.在一些实施例中，图像处理装置200可以通过接口210从相机模块100接收压缩数据cdt。像接口140那样，接口210可以实施为mipi，但是不限于此。图像处理装置200可以将接收到的压缩数据cdt存储在存储器220中。
50.例如，存储器220可以被配置为存储操作系统(os)、各种程序以及各种数据(例如，压缩数据cdt)。存储器220可为诸如dram或sram的易失性存储器或者为诸如pram、reram或者闪速存储器的非易失性存储器。
51.解码器230可以从存储器220中读取压缩数据cdt并且解压缩压缩数据cdt，以产生解压缩数据ddt。解码器230可以将解压缩数据ddt输出至isp 240。
52.在一些实施例中，解码器230可以以像素组为单位解压缩压缩数据cdt。这里，解码器230可以通过利用基于对应于在对应的像素组之前被解压缩的像素的像素值产生的第二参考映射rm2来解压缩像素组。
53.根据实施例，像上述第一参考映射rm1那样，第二参考映射rm2可包括坏像素(具体地说，动态坏像素)的校正后的像素值。即，当在解压缩的像素组中存在坏像素时，解码器230可以校正坏像素的像素值，并且产生包括校正后的像素值的新的第二参考映射rm2。换句话说，解码器230可以用坏像素的校正后的像素值来更新第二参考映射rm2。另外，解码器230可以基于新的第二参考映射rm2按照下一次序来解压缩像素组。第二参考映射rm2可以被存储在存储器220中。下文中，为了便于解释，包括对应于在待解压缩的像素组之前已被解压缩的像素的像素值的信息被称作第二参考映射rm2，但是一个或多个实施例不限于此。
54.编码器120和解码器230中的每一个可以实施为软件或硬件、或者诸如固件的软件和硬件的组合。当编码器120和解码器230实施为软件时，上述功能中的每一种可以实施为编程的源代码并且可以加载到相机模块100和图像处理装置200中的每一个中包括的存储介质中。相机模块100和图像处理装置200中的每一个中包括的处理器(例如，微处理器)可以执行软件，因此，可以实施编码器120和解码器230的功能。当编码器120和解码器230实施为硬件时，编码器120和解码器230可包括逻辑电路和寄存器，并且可以基于寄存器设置执行上述功能。
55.isp 240可以对接收到的解压缩数据ddt执行各种图像处理操作。在非限制性示例中，isp 240可以对解压缩数据ddt执行坏像素校正、偏移校正、透镜畸变校正、颜色增益校正、阴影校正、伽马校正、去噪和锐化中的至少一种图像处理操作。在一些实施例中，根据相机模块100的性能，可以省略上述图像处理操作中的一些。例如，当相机模块100包括高质量的图像传感器110时，可以省略图像处理操作中的坏像素校正(具体地说，静态坏像素校正)或者偏移校正。
56.在图1中，图像处理系统10示为包括相机模块100和图像处理装置200，但是本发明构思不限于此。例如，图像处理系统10可仅包括相机模块100和图像处理装置200中的一些，或者包括多个相机模块100。另外，虽然图1示出了解码器230和isp 240是分离元件，但是本发明构思不限于此。例如，isp 240可以与解码器230组合为一个元件。
57.另外，虽然存储器130和存储器220示为分别被包括在相机模块100和图像处理装置200中，但是在图1中，本发明构思不限于此。例如，存储器130和存储器220中的每一个可以位于相机模块100或图像处理装置200以外。
58.本发明构思的图像处理系统10可以通过根据坏像素的检测产生用于压缩和解压缩的参考映射并且基于产生的参考映射压缩图像数据或解压缩压缩数据来大大减少坏像素检测操作的次数。因此，可以减少图像处理系统的功耗。
59.图2是示出根据实施例的编码器120的图。参照图1和图2，编码器120可包括坏像素(bp)检测器121、压缩器123和第一参考映射(rm1)产生器125。
60.坏像素检测器121可以从图像传感器110接收图像数据idt。坏像素检测器121可以基于接收到的图像数据idt对待压缩的像素组执行坏像素检测。下面将参照图3和图4详细描述这一点。坏像素检测器121可以将包括检测结果的坏像素信息bp发送至压缩器123和/或第一参考映射产生器125。
61.压缩器123可以利用坏像素信息bp和第一参考映射rm1通过压缩图像数据idt来产生压缩数据cdt。具体地说，压缩器123可以基于从坏像素检测器121接收的坏像素信息bp来检查图像数据idt的待压缩的像素组中的坏像素。另外，压缩器123可以通过利用第一参考映射rm1压缩除像素组中的坏像素的像素值以外的像素(例如，正常像素)的像素值。
62.例如，压缩器123可以基于像素组中的邻近于目标像素的至少一个像素或者第一参考映射rm1中的正常像素的像素值来确定参考值。另外，压缩器123可以通过基于参考值和正常像素而非坏像素的像素值压缩像素组来产生对应于像素组的比特流bs。下面将参照图3和图4详细描述这一点。
63.压缩器123可以通过重复用于图像数据idt的像素组中的每一个的上述操作来产生对应于像素组的比特流bs。另外，压缩器123可以基于比特流bs产生压缩数据cdt。
64.压缩器123可以将产生的压缩数据cdt发送至接口140。接口(i/f)140可以将压缩数据cdt发送至图像处理装置200。另外，压缩器123可以基于产生的各个比特流bs将比特流bs发送至第一参考映射产生器125。
65.第一参考映射产生器125可以基于接收到的坏像素信息bp和比特流bs来产生新的第一参考映射rm1(new)。具体地说，第一参考映射产生器125可以通过首先解码比特流bs来恢复像素组的像素值。另外，第一参考映射产生器125可以基于坏像素信息bp检查像素组中的坏像素。另外，第一参考映射产生器125可以将恢复的像素中的坏像素的像素值校正为与邻近像素的像素值相似的值。另外，第一参考映射产生器125可以通过将像素组中的除坏像素的值以外的像素的恢复的像素值和坏像素的校正后的像素值加至现有的第一参考映射rm1来产生新的第一参考映射rm1(new)。下面将参照图3和图4详细描述这一点。
66.如上所述，当压缩一个像素组时，第一参考映射产生器125可以通过将像素值(例如，对应于压缩的像素组的恢复的像素值和/或坏像素的校正后的像素值)加至现有的第一参考映射rm1来产生新的第一参考映射rm1(new)，以用于按照下一次序压缩像素组。第一参考映射产生器125可以在存储器130中存储产生的新的第一参考映射rm1(new)。压缩器123可以读取存储在存储器130中的新的第一参考映射rm1(new)，并且基于读取的新的第一参考映射rm1(new)按照下一次序对像素组执行压缩。
67.坏像素检测器121、压缩器123和第一参考映射产生器125中的每一个可以实施为
软件或硬件或者诸如固件的软件和硬件的组合。当坏像素检测器121、压缩器123和第一参考映射产生器125实施为软件时，上述功能中的每一种可以实施为编程的源代码，并且可以被加载至相机模块100中包括的存储介质中。相机模块100中包括的处理器(例如，微处理器)可以执行软件，因此可以实施坏像素检测器121、压缩器123和第一参考映射产生器125的功能。当坏像素检测器121、压缩器123和第一参考映射产生器125实施为硬件时，坏像素检测器121、压缩器123和第一参考映射产生器125可包括逻辑电路和寄存器，并且可以基于寄存器设置执行上述功能。
68.图3是示出根据实施例的图像压缩方法的概念图。具体地说，图3是示出通过编码器120按照拜耳图案压缩图像数据idt的方法的图。下文中，假设将一个像素组设为包括按次序排列的四个像素。另外，将描述其中编码器120压缩包括作为坏像素的像素r7以及作为正常像素的像素gr7、r8和gr8的像素组pg的实施例。另外，为了便于解释，将像素组pg中的像素中的作为待处理的目标的像素称作目标像素。
69.坏像素检测器121可以检测像素组pg中的所述多个像素中的一个或多个坏像素。具体地说，坏像素检测器121可以基于图像数据idt中的邻近于目标像素的至少一个第一像素的像素值来检测目标像素是否是坏像素。在一些实施例中，坏像素检测器121可以基于对应于与目标像素相同的参考色并且邻近于目标像素的至少一个第一像素的像素值来检测目标像素是否是坏像素。在这种情况下，确定邻近于目标像素的像素的标准可以不同地设置。例如，可以将直接接触目标像素的像素或者位于与目标像素相距特定距离内的像素确定为邻近于目标像素的像素。
70.具体地说，当有多个第一像素时，坏像素检测器121可以计算所述多个第一像素的平均像素值，并且计算平均像素值与目标像素的像素值之间的差值。当计算的差值超过阈值时，坏像素检测器121可以将目标像素检测为坏像素。这里，阈值可通过用户或制造商预设，并且可以针对各图像数据idt具有不同的值。坏像素检测器121可以通过针对像素组pg中的每一个像素重复执行上述检测操作来产生坏像素信息。另外，坏像素信息可包括坏像素的位置信息。
71.例如，参照图3，坏像素检测器121可以计算图像数据idt中的对应于与像素r7相同的红色并且邻近于像素r7的多个第一像素(例如，r3、r6、r8和r11)的平均像素值，其中像素r7是目标像素。另外，坏像素检测器121可以计算计算的平均像素值与像素r7的像素值之间的差值。当计算的差值超过阈值时，坏像素检测器121可以将像素r7确定为坏像素。
72.坏像素检测器121的坏像素检测操作不限于上述示例，并且可以应用各种方法。例如，无论参考色如何，坏像素检测器121可以基于邻近于目标像素的至少一个第一像素的像素值来检测目标像素是否是坏像素。
73.例如，参照图3，坏像素检测器121可以基于图像数据idt中的在水平方向上邻近于像素r7的多个第一像素(例如，r6、gr6、gr7和r8)的像素值来检测像素r7是否是坏像素。作为另一示例，坏像素检测器121可以基于在竖直方向上邻近于像素r7的多个第一像素(例如，r3、gb3、gb7和r11)的像素值来检测像素r7是否是坏像素。作为另一示例，坏像素检测器121可以基于包括像素r7的像素组pg中包括的其它像素(例如，gr7、r8和gr8)的像素值来检测像素r7是否是坏像素。
74.压缩器123可以基于从坏像素检测器121接收到的坏像素信息来识别像素组中的
坏像素，并且可以压缩除坏像素之外的像素的像素值。
75.具体地说，压缩器123可以在第一参考映射rm1中识别对应于与目标像素相同的参考色并且邻近于目标像素(或者像素组pg)的至少一个第二像素(其不是坏像素)。另外，压缩器123可以基于识别的至少一个第二像素的像素值来确定参考值。另外，压缩器123可以基于参考值和坏像素的像素值来压缩坏像素的像素值。在这种情况下，可以不同地设置确定邻近于目标像素的第二像素的标准。
76.在一些实施例中，当有多个第二像素时，压缩器123可以确定所述多个第二像素中的位于特定位置处(例如，目标像素的左侧、上侧或对角线侧上)的像素的像素值作为参考值。可替换地，压缩器123可以计算识别的所述多个第二像素的平均像素值，并且可以将计算的平均像素值确定为参考值。另外，压缩器123可以计算参考值与目标像素的像素值之间的差值res。
77.压缩器123可以通过对像素组pg中的所有像素重复上述操作来计算多个差值res，并且可以产生包括多个差值res的比特流bs。如上所述，基于差值res执行的压缩方法可被称作差分脉冲编码调制(dpcm)。
78.例如，参照图3，压缩器123可以在第一参考映射rm1中识别对应于与像素gr7相同的参考色并且邻近于像素gr7的多个第二像素(例如，gb3、gb4、gb7、gb8、gr3、gr6和gr8)，其中像素gr7是目标像素。另外，压缩器123可以将多个第二像素(例如，gb3、gb4、gb7、gb8、gr3、gr6和gr8)中的位于像素gr7的左侧上的像素(例如，gr6)的像素值确定为参考值。另外，压缩器123可以计算参考值与像素gr7的像素值之间的差值res，并且可以产生包括计算的差值res的比特流bs。
79.当压缩像素组pg时，第一参考映射产生器125可以通过将对应于压缩的像素组pg的像素值加至现有的第一参考映射rm1来产生新的第一参考映射rm1(new)。例如，第一参考映射产生器125可以通过解码从压缩器123接收的像素组pg的比特流bs来恢复像素组pg的像素值，并且可以通过将恢复的像素值加至现有的第一参考映射rm1来产生新的第一参考映射rm1(new)。基于通过第一参考映射产生器125执行的比特流bs恢复像素值的方法可以与下面将描述的解码器230的解压缩方法基本相同。作为另一示例，第一参考映射产生器125还可以将对应于图像数据idt中的像素组pg的像素值加至现有的第一参考映射rm1。
80.根据本发明构思，当像素组pg中包括坏像素时，第一参考映射产生器125可以校正坏像素的像素值，然后将坏像素的校正后的像素值加至现有的第一参考映射rm1，从而产生新的第一参考映射rm1(new)。
81.在一些实施例中，第一参考映射产生器125可以基于邻近于坏像素的多个第三像素的像素值按照各种方法来校正坏像素的像素值。具体地说，第一参考映射产生器125可以识别对应于与坏像素相同的参考色并且邻近于坏像素的所述多个第三像素。另外，第一参考映射产生器125可以基于所述多个第三像素的像素值来校正坏像素的像素值。
82.例如，参照图3，第一参考映射产生器125可以将像素r7的像素值校正为对应于与像素r7相同的红色并且位于像素r7的上侧上的第三像素(例如，r3)的像素值，其中像素r7是坏像素。作为另一示例，第一参考映射产生器125可以将像素r7的像素值校正为位于像素r7的左侧上的第三像素(例如，r6)的像素值。作为另一示例，第一参考映射产生器125可以将像素r7的像素值校正为位于像素r7的右侧上的第三像素(例如，r8)的像素值。作为另一
示例，第一参考映射产生器125可以将像素r7的像素值校正为与像素r7对角线地定位的多个第三像素(例如，r2和r4)的平均像素值。
83.另外，第一参考映射产生器125可以将像素r7的校正后的像素值r7b加至现有的第一参考映射rm1，其中像素r7的像素值基于上述方法中的任何一种被校正为校正后的像素值r7b。另外，第一参考映射产生器125还可以将作为像素组pg中的像素中的正常像素的像素gr7、r8和gr8的像素值加至现有的第一参考映射rm1，以产生新的第一参考映射rm1(new)。
84.图4是示出根据实施例的图像压缩方法的概念图。具体地说，图4是示出编码器120执行的按照四格图案压缩图像数据idt的方法的图。下文中，假设将一个像素组设为包括对应于相同的参考色并且彼此邻近的像素。例如，包括像素gb5、gb6、gb7和gb8的像素组pg具有相同的参考色绿色。在该像素组pg中，像素gb5可为坏像素，并且像素gb6、gb7和gb8可为正常像素。将省略与以上参照图3提供的描述重复的图4的描述。
85.坏像素检测器121可以基于邻近于图像数据idt中的目标像素的至少一个第一像素的像素值来检测目标像素是否是坏像素。在一些实施例中，坏像素检测器121可以基于对应于与目标像素相同的参考色并且邻近于目标像素的至少一个第一像素的像素值来检测目标像素是否是坏像素。
86.例如，参照图4，坏像素检测器121可以计算图像数据idt中的对应于与像素gr5相同的绿色并且邻近于像素gr5的多个第一像素(例如，gb6、gb7和gb8)的平均像素值，其中，像素gr5是目标像素。另外，坏像素检测器121可以计算所计算的平均像素值与目标像素的像素值之间的差值。当计算的差值超过阈值时，坏像素检测器121可以确定目标像素是坏像素。坏像素检测器121的坏像素检测操作不限于上述示例，并且可以应用各种方法。
87.压缩器123可以基于从坏像素检测器121接收到的坏像素信息来识别像素组中的坏像素，并且可以压缩除坏像素之外的像素的像素值。
88.具体地说，压缩器123可以在第一参考映射rm1中识别对应于与目标像素相同的参考色并且邻近于目标像素(或者像素组pg)的至少一个第二像素(其不是坏像素)。另外，压缩器123可以基于识别的至少一个第二像素的像素值来确定参考值。另外，压缩器123可以基于参考值和坏像素的像素值来压缩坏像素的像素值。
89.在一些实施例中，当有多个第二像素时，压缩器123可以将所述多个第二像素中的特定位置处(例如，目标像素的左侧、上侧或对角线侧上)的像素的像素值确定为参考值。可替换地，压缩器123可以计算在当前被压缩的像素组pg之前被压缩的像素组的平均像素值，并且将计算的平均像素值确定为参考值。例如，假设第一像素组pg1在第二像素组pg2之前被压缩，压缩器123可以使用针对第一像素组pg1计算的平均像素值作为当压缩第二像素组pg2时的参考值。另外，压缩器123可以计算参考值与目标像素的像素值之间的差值res，并且产生包括计算的差值res的比特流bs。
90.压缩器123可以通过针对像素组pg中的所有像素重复进行上述操作来计算多个差值res，并且可以产生包括多个差值res的比特流bs。
91.例如，参照图4，压缩器123可以在第一参考映射rm1中识别对应于与像素gb6相同的参考色并且邻近于像素gb6的多个第二像素(例如，gb1、gb2、gb3和gb4)，其中像素gb6不是坏像素。另外，压缩器123可以将多个第二像素(例如，gb2、gb4和gr7)的平均像素值确定
flag的4比特中的每一个可以对应于像素组pg的第一像素p1至第四像素p4中的每一个。例如，在坏像素标示bp flag中，第一比特可以对应于第一像素p1，第二比特可以对应于第二像素p2，第三比特可以对应于第三像素p3，第四比特可以对应于第四像素p4。另外，当坏像素标示bp flag的4比特中的每一个具有特定值(例如，1或0)时，可以意味着对应于对应比特的像素是坏像素。
101.差值res可包括与像素组pg中的参考值相比的正常像素的差值。这里，正常像素的差值指示基于以上参照图3和图4所述的第一参考映射rm1确定的参考值与可作为正常像素或坏像素的目标像素的像素值之间的差值。当参考值与目标像素的像素值之间的差值不被包括在可由比特流bs中分配的比特表示的范围内时，可以去除差值的最低有效位(lsb)。当差值被包括在可由比特流bs中分配的比特表示的范围内时，差值可被包括在比特流bs中。
102.根据本发明构思，随着像素组pg中的坏像素的数量增加，分配至正常像素之间的差值的比特数量也可增加。例如，参照图5a，因为像素组pg中有一个坏像素(例如，第四像素p4)，所以其它三个正常像素p1、p2和p3之间的差值res1、res2和res3可由12比特形成。例如，可将4比特分配至差值res1、res2和res3中的每一个。参照图5b，因为像素组pg中有两个坏像素(它们为第三像素p3和第四像素p4)，所以其它两个正常像素p1和p2之间的差值res1和res2可由12比特形成。例如，可以将6比特分配至差值res1和res2中的每一个。因为差值的范围随着分配的比特增加而增大，所以可减少数据丢失。分配至正常像素中的每一个的比特数量可以彼此相同或不同。
103.解码器230可以基于比特流bs恢复像素组pg的像素值。首先，解码器230可以基于差值res恢复正常像素的像素值。另外，解码器230可以基于正常像素的恢复的像素值来恢复坏像素的像素值。下面将在图9a和图9b中描述解码器230的恢复的详细描述。
104.形成报头header、坏像素标示bp flag和差值res中的每一个的比特数量不限于上述示例，并且可以根据实施例不同地设置比特数量。
105.图6是示出根据实施例的编码的比特流的图。具体地说，图6是示出图5a和图5b的可修改实施例的图。将省略与上面参照图5a和图5b做出的那些描述重复的图6的描述。
106.参照图6，比特流bs可包括20比特，并且可包括指示报头header的4比特、指示坏像素标示bp flag的2比特和指示差值res的14比特。
107.当像素组pg中包括一个坏像素时，可应用图6的比特流bs，并且形成坏像素标示bp flag的2比特可具有表示像素组pg中的四个像素(例如，第一像素p1至第四像素p4)中的坏像素的值。例如，当第一像素p1是坏像素时，坏像素标示bp flag可具有值00。当第二像素p2是坏像素时，坏像素标示bp flag可具有值01。当第三像素是坏像素时，坏像素标示bp flag可具有值10。当第四像素是坏像素时，坏像素标示bp flag可具有值11。
108.根据实施例，因为仅将2比特被分配至坏像素标示bp flag，所以与图5a的实施例相比可以将更多比特分配至差值res。因此，可减少差值res的数据丢失。虽然图6示出了将5比特分配至差值res1，将5比特分配至差值res2，并且将4比特分配至差值res3，但是本发明构思不限于此。可以根据实施例不同地设置比特数量。
109.根据图5a至图6，因为将形成像素组pg的40比特压缩为20比特的比特流bs，所以可以以50％的压缩率来压缩图像数据idt。然而，本发明构思不限于此。比特流bs的比特数量可设为小于或大于20比特，因此，可以提高或降低压缩率。
110.图7是示出根据实施例的图像压缩方法的流程图。具体地说，图7是示出图1的图像处理系统10的图像压缩方法的流程图。可通过编码器120执行图7的操作中的至少一种。
111.参照图1和图7，在操作s110中，编码器120可以针对形成图像数据idt的多个像素组中的每一个检测像素组中的坏像素。编码器120可以基于图像数据idt中的像素组中的像素和邻近于像素组的像素的像素值中的至少一个来检测坏像素。例如，为了检测目标像素是否是像素组中的像素中的坏像素，编码器120可以计算邻近于目标像素的像素的平均像素值。另外，编码器120可以基于计算的平均像素值与目标像素的像素值之间的差值来检测目标像素是否是坏像素。例如，当平均像素值与目标值的像素值之间的差值超过阈值时，编码器120可以将目标像素检测为坏像素。
112.另外，在操作s120中，编码器120可以产生指示坏像素的位置信息的标示。该标示可以具有对应于像素组中包括的至少一个坏像素的位置的值。另外，在操作s130中，编码器120可以计算像素组中的除坏像素以外的像素的像素值与参考像素值之间的差值。编码器120可以基于包括对应于在像素组之前被压缩的像素的像素值的参考信息(例如，第一参考映射rm1)来确定参考像素值。例如，编码器120可以基于参考信息中的邻近于像素组的至少一个像素的像素值来确定参考像素值。已参照图3和图4描述了确定参考像素值的方法的详细描述，因此，省略其的冗余描述。
113.在操作s140中，编码器120可以产生包括标示和差值的比特流。编码器120可以产生指示应用于像素组的压缩方法的压缩信息。另外，编码器120可包括比特流中的产生的压缩信息。例如，编码器120可包括比特流的报头中的压缩信息。
114.此外，在产生比特流之后，编码器120可以基于对应于像素组中的像素的像素值来更新参考信息。具体地说，编码器120可以校正像素组中的坏像素的像素值。例如，编码器120可以基于邻近于坏像素的像素的像素值来校正坏像素的像素值。已经参照图3和图4描述了校正坏像素的像素值的方法的详细描述，因此，省略其冗余描述。另外，编码器120可以通过将像素组中的除坏像素以外的像素的像素值和坏像素的校正后的像素值加至参考信息来更新参考信息。
115.图8是示出根据实施例的解码器230的图。图8是示出图1的解码器230的图。参照图1和图8，解码器230可包括解压缩器231和第二参考映射产生器233。
116.解压缩器231可以从存储器220接收压缩数据cdt和第二参考映射rm2，并且通过利用第二参考映射rm2来解压缩压缩数据cdt，从而产生解压缩数据ddt。解压缩器231可以通过利用基于之前被解压缩的像素的像素值产生的第二参考映射rm2来按次序解压缩压缩数据cdt中包括的多个比特流bs。下面将参照图9a和图9b给出对此的详细描述。
117.当解压缩一个比特流bs时，解压缩器231可以将包括解压缩的像素的像素值的恢复的像素信息dp提供至第二参考映射产生器233。另外，解压缩器231可以通过比特流bs的坏像素标示bp flag来识别坏像素，并且将关于识别的坏像素的坏像素信息bp提供至第二参考映射产生器233。
118.第二参考映射产生器233可以基于从解压缩器231接收的恢复的像素信息dp和坏像素信息bp来产生新的第二参考映射rm2(new)。即，第二参考映射产生器233可以基于坏像素信息bp来识别恢复的像素组中的坏像素。另外，第二参考映射产生器233可以将恢复的像素值中的坏像素的像素值校正为与邻近像素的像素值相似的值。因此，第二参考映射产生
器233可以通过将像素组中的正常像素的恢复的像素值和坏像素的校正后的像素值加至或更换为第二参考映射rm2来产生新的第二参考映射rm2(new)。下面将参照图9a和图9b给出对此的详细描述。
119.第二参考映射产生器233可以在存储器220中存储产生的新的第二参考映射rm2(new)。解压缩器231可以读取存储在存储器220中的新的第二参考映射rm2(new)，并且基于读取的新的第二参考映射rm2(new)按照下一次序对像素组执行解压缩。
120.解压缩器231和第二参考映射产生器233中的每一个可以实施为软件或硬件或者诸如固件的软件和硬件的组合。当解压缩器231和第二参考映射产生器233实施为软件时，上述功能中的每一种可以实施为编程的源代码，并且可加载至图像处理装置200中包括的存储介质中。图像处理装置200中包括的处理器(例如，微处理器)可以执行软件，因此可以实施解压缩器231和第二参考映射产生器233的功能。当解压缩器231和第二参考映射产生器233实施为硬件时，解压缩器231和第二参考映射产生器233可包括逻辑电路和寄存器，并且可以基于寄存器设置执行上述功能。
121.图9a和图9b是示出根据实施例的图像解压缩方法的概念图。具体地说，图9a和图9b是各自示出通过解码器230执行的解压缩按照拜耳图案的图像数据idt的方法的图。下文中，假设一个像素组设为包括按次序排列的四个像素。另外，将描述其中解码器230解压缩对应于包括像素r7、gr7、r8和gr8的像素组pg的第六比特流bs6并且像素r7是坏像素的实施例。
122.参照图9a，解压缩器231可以通过利用第二参考映射rm2来解压缩第六比特流bs6。这里，第二参考映射rm2可包括在第六比特流bs6之前被解压缩的第一比特流bs1至第五比特流bs5的像素值。
123.解压缩器231可以基于第六比特流bs6的坏像素标示bp flag来识别坏像素。另外，解压缩器231可以执行从正常像素(其不是坏像素)开始的解压缩。
124.在一些实施例中，解压缩器231可以从第二参考映射rm2中选择邻近于像素组pg的至少一个像素或像素组pg的目标像素(其为正常像素)。另外，解压缩器231可以基于选择的像素的像素值确定参考值。这里，确定参考值的方法可以对应于其中压缩器123在产生第六比特流bs6的操作中确定参考值的方法。例如，当压缩器123将第一参考映射rm1中的邻近于目标像素的像素中的位于特定位置处(例如，在目标像素的左侧上)的像素的像素值确定为参考值时，解压缩器231可以通过参照第二参考映射rm2中的邻近于目标像素的像素中的位于特定位置处(例如，在目标像素的左侧上)的像素的像素值来确定参考值。根据实施例，关于其中压缩器123确定参考值的方法的信息可以实施为被包括在比特流bs的报头header中。
125.另外，解压缩器231可以基于确定的参考值和第六比特流bs6中包括的目标像素的差值res来恢复目标像素的像素值。即，解压缩器231可以通过将目标像素的差值res加至确定的参考值来恢复目标像素的像素值。例如，当目标像素为像素gr7时，解压缩器231可以通过将像素gr7的差值res加至参考值来恢复像素gr7的像素值。
126.当正常像素恢复时，解压缩器231可以恢复坏像素的像素值。坏像素的差值res可以不被包括在第六比特流bs6中。因此，解码器230可以计算恢复的正常像素的像素值的平均像素值，并且将计算的平均像素值加至阈值，以恢复坏像素的像素值。阈值可与上面参照
图3描述的坏像素检测操作中使用的阈值相同，但是本发明构思不限于此，并且可以将各种值设为阈值。
127.例如，当坏像素是像素r7时，解码器230可以计算作为恢复的正常像素的像素gr7、r8和gr8的平均像素值，并且将计算的平均像素值加至阈值，以恢复坏像素r7的像素值。其中解码器230恢复坏像素的方法不限于上述示例，并且可以按照各种方法恢复坏像素。
128.当解压缩像素组pg时，第二参考映射产生器233可以通过将解压缩的像素组pg的像素值加至现有的第二参考映射rm2来产生新的第二参考映射rm2(new)。
129.具体地说，当像素组中不包括坏像素时，第二参考映射产生器233可以通过将解压缩的像素值加至现有的第二参考映射rm2来产生新的第二参考映射rm2(new)。
130.相反，当在像素组中包括坏像素时，第二参考映射产生器233可以基于邻近于坏像素的像素的像素值来校正恢复的像素值中的坏像素的像素值。可以与以上参照图3描述的校正坏像素的像素值的方法相似地执行校正坏像素的像素值的方法。
131.例如，参照图9b，第二参考映射产生器233可以将像素r7的像素值校正为对应于与像素r7相同的红色并且位于像素r7的上侧上的像素(例如，r3)的像素值，其中像素r7是具有坏像素的目标像素。作为另一示例，第二参考映射产生器233可以将像素r7的像素值校正为位于像素r7的左侧上的像素(例如，r6)的像素值。作为另一示例，第二参考映射产生器233可以将像素r7的像素值校正为位于像素r7的右侧上的像素(例如，r8)的像素值。作为另一示例，第二参考映射产生器233可以将像素r7的像素值校正为与像素r7对角线定位的像素(例如，r2和r4)的平均像素值。目标像素r7的校正后的值可为新的第二参考映射rm2(new)中所示的像素值r7b。
132.另外，第二参考映射产生器233可以通过将恢复的正常像素的像素值和坏像素的校正后的像素值加至现有的第二参考映射rm2来产生新的第二参考映射rm2(new)。
133.如上所述，当解压缩一个像素组pg时，第二参考映射产生器233可以通过将对应于像素组pg的像素值(即，像素组pg的恢复的正常像素的像素值和坏像素的校正后的像素值)加至现有的第二参考映射rm2来产生新的第二参考映射rm2(new)，以按照下一次序解压缩像素组。
134.图10是示出根据实施例的图像处理系统10a的图。具体地说，图10是示出图1所示的图像处理系统10的另一实施例的图。
135.参照图10，图像处理系统10a可包括相机模块100a和图像处理装置200a。相机模块100a可包括图像传感器110a、编码器120a、存储器130a和接口140a。图像处理装置200a可包括接口210a、存储器220a、解码器230a和isp 240a。
136.与图1的图像处理系统10相比，图10的图像处理系统10a还包括编码器120a中的模式选择器127a，并且其其它配置可以与图1的图像处理系统10的配置基本相同。在图像处理系统10a的配置中，将省略与图1的图像处理系统10的配置重复的配置的描述。
137.根据该实施例，编码器120a可以通过按照多种压缩模式压缩图像数据idt来产生多条压缩数据cdt。这里，所述多种压缩模式中的每一个可基于压缩目标、压缩率、误差率和/或丢失信息进行设置。另外，编码器120a可包括在压缩期间比特流的报头中的模式信息。下面将参照图12a和图12b描述所述多种压缩模式的详细描述。
138.例如，编码器120a可以产生包括未被校正的坏像素的像素值的第一参考映射rm1，
并且可以按照其中利用第一参考映射rm1在压缩操作期间执行用于第一参考映射rm1的坏像素检测操作的第一模式来压缩图像数据idt。在这种情况下，指示第一模式的信息可被包括在比特流的报头中。
139.另外，编码器120a可以根据上面参照图1至图9b所述的方法产生包括坏像素的校正后的像素值的第一参考映射rm1，并且可以按照其中在不进行用于第一参考映射rm1的坏像素检测操作的情况下执行压缩操作的第二模式来压缩图像数据idt。在这种情况下，指示第二模式的信息可被包括在比特流的报头中。
140.本发明构思不限于此，编码器120a可以按照三种或更多种模式来压缩图像数据idt。另外，可与上述实施例不同地设置所述多种压缩模式中的每一种的压缩方法。
141.编码器120a的模式选择器127a可以选择多种模式之一，并且通过接口140a将对应于选择的压缩模式的压缩数据cdt发送至图像处理装置200a。这里，模式选择器127a可为按照软件和/或硬件的形式实施的开关。此外，模式选择器127a可以根据压缩目标、压缩率、误差率和/或丢失信息来选择多种模式中的模式，并且模式信息可被包括在比特流的报头中。例如，可基于用户输入、制造规格等设置压缩率，并且模式选择器127a可以基于预定压缩率选择所述多种模式。在一些实施例中，模式选择器127a可以基于所述多种模式的误差数据来选择所述多种模式之一。这里，误差数据指表示通过按照特定模式恢复压缩数据cdt而获得的数据与图像数据idt之间的差的数据。模式选择器127a可以基于多种模式的误差数据来选择具有最少误差的模式，并且将对应于选择的模式的压缩数据cdt发送至图像处理装置200a。
142.根据本发明构思，解码器230a可以通过按照多种模式解压缩压缩数据cdt来产生多条解压缩数据ddt。具体地说，解码器230a可以基于压缩数据cdt中包括的比特流的报头来检查模式信息。另外，解码器230a可以根据对应于检查的模式信息的解压缩方法来解压缩比特流。
143.例如，当比特流的报头包括指示上述第一模式的模式信息时，解码器230a可以根据对应于第一模式的解压缩方法来解压缩比特流。另外，当比特流的报头包括指示上述第二模式的模式信息时，解码器230a可以根据对应于第二模式的解压缩方法来解压缩比特流。
144.图11是示出根据实施例的编码器120a的图。
145.图11更详细地示出了图10的编码器120a。参照图10和图11，编码器120a可包括坏像素检测器121a、压缩器123a、第一参考映射产生器125a和模式选择器127a。
146.参照图11，坏像素检测器121a、压缩器123a和第一参考映射产生器125a可以通过根据对应于多种模式中的每一种的压缩方法对图像数据idt执行压缩来产生多条压缩数据cdt。另外，压缩器123a可以基于多个压缩数据cdt来产生误差数据ed。在一些实施例中，坏像素检测器121a、压缩器123a和/或第一参考映射产生器125a可以在模式选择器127a的控制下按照所述多种模式中的每一种来压缩图像数据idt。
147.相对于多条压缩数据cdt中的每一条，压缩器123a可以通过恢复多条压缩数据cdt中的每一条来产生恢复的数据，并且计算恢复的数据与图像数据idt之间的误差。另外，压缩器123a可以产生包括所述多种模式的误差的误差数据ed。另外，压缩器123a可以将误差数据ed发送至模式选择器127a。
148.模式选择器127a可以基于误差数据ed识别具有最低误差的模式，并且通过接口140a将对应于识别的模式的压缩数据cdt发送至图像处理装置200a。
149.根据该实施例，压缩器123a可以针对每个像素组产生误差数据ed。即，压缩器123a可以计算形成图像数据idt的n个像素组(其中n是正整数)中的每一个与形成恢复的数据的n个像素组中的每一个之间的误差。另外，压缩器123a可以产生每个像素组的误差数据ed，误差数据ed包括多种模式的误差。模式选择器127a可以基于误差数据ed针对每个像素组识别具有最低误差的模式，并且将对应于识别的模式的比特流发送至图像处理装置200a。例如，模式选择器127a确定其中解码器230a可以解压缩压缩数据cdt的模式，从而当被解压缩时，解压缩数据ddt具有最低误差率。这里，误差可被称作在通过解码器230a恢复压缩的图像数据cdt期间产生的误差。然而，误差不限于此，而是可包括其中相对于原始图像可能发生失真的其它方面或原因。
150.在上述实施例中，尽管描述了坏像素检测器121a、压缩器123a和第一参考映射产生器125a通过根据对应于所述多种模式中的每一种的压缩方法执行压缩来产生多条压缩数据cdt，但是本发明构思不限于此。例如，编码器120a可实施为包括对应于所述多种模式中的每一种的坏像素检测器121a、压缩器123a和/或第一参考映射产生器125a。例如，编码器120a可实施为包括对应于第一模式的坏像素检测器121a、压缩器123a和/或第一参考映射产生器125a，并且包括对应于第二模式的坏像素检测器121a、压缩器123a和/或第一参考映射产生器125a。
151.尽管参照图10和图11，模式选择器127a示为和描述为被包括在编码器120a中，但是本发明构思不限于此。例如，模式选择器127a可以实施为与相机模块100a中的编码器120a分离的配置。
152.图12a和图12b是解释根据本发明构思的示例实施例的压缩信息的表。详细地说，图12a和图12b示出了根据mipi协会提出的标准的压缩模式(压缩方法)。将参照图10和图11一起进行描述。
153.参照图12a，可根据各种压缩模式来压缩按照拜耳图案的图3的图像数据idt。作为压缩模式的示例，可使用基于像素的方向差分(pd)模式、基于对角线方向的差分(dgd)模式、扩展的倾斜的水平或垂直方向的差分(eshv)模式、outlier补偿(out)模式和/或固定量化和无参考(fnr)模式。然而，压缩模式不限于此，并且可包括能够压缩数据的任何其它压缩模式。
154.在pd模式中，可以对按照拜耳图案的图像数据idt执行dpcm。pd模式可根据详细的实施算法分为mode0、mode1、mode2、mode3、mode12和mode13。因为可将4比特分配至指示压缩方法的报头，所以在具有不同的比特值的报头中分别表示十六种压缩模式。例如、可以将mode0表示为比特0000、可以将mode1表示为比特0001、可以将mode2表示为比特0010、可以将mode3表示为比特0011、可以将mode12表示为比特1100，可以将mode13表示为比特1101。
155.在dgd模式中，可以对按照对角线结构的图像数据idt执行dpcm。dgd模式可根据详细的实施算法分为mode4(比特0100)、mode5(比特0101)、mode8(比特1000)、mode9(比特1001)、mode10(比特1010)和mode11(比特1011)。
156.相似地，eshv模式可包括mode14(比特1110)和mode15(比特1111)，out模式可包括mode7(比特0111)，fnr模式可包括mode6(比特0110)。根据实施例，mode7可以指包括处理坏
像素的坏像素(bp)模式的out模式或者饱和模式，但是可以根据操作环境选择两种模式之一(饱和模式或out模式)。
157.在实施例中，模式选择器127a可以按次序评价pd模式、dgd模式、eshv模式、out模式和fnr模式，并且可以根据包括诸如压缩率和丢失信息的指数的压缩评价指数来选择最佳模式。然而，本发明构思不限于上述模式评价次序。
158.参照图12b，呈四格图案的图像数据(图4的idt)可根据各种压缩模式被压缩。本发明构思不限于此，其中红色像素组、蓝色像素组、第一绿色像素组和第二绿色像素组重复排列的图像数据也可以按照各种压缩模式被压缩。例如，图像数据可具有包括按照2n
×
2n或者3n
×
3n(其中n是正整数)排列的像素的红色像素组、蓝色像素组、第一绿色像素组和第二绿色像素组。
159.作为压缩模式，使用了基于平均的方向差分(ad)模式、扩展的水平或垂直方向差分(ehvd)模式、基于倾斜方向的差分(od)模式、扩展的基于多像素的差分(empd)模式、扩展的基于水平或垂直平均的差分(ehva)模式，扩展的outlier补偿(eout)模式或fnr模式。
160.在ad模式中，可以对其中一个像素组pg形成包括多个像素的拜耳组的图像数据idt执行dpcm。ad模式可根据详细实施算法分为mode0、mode1、mode2、mode3。因为可以将4比特分配至指示压缩方法的报头，所以在报头信息中可以将十六种压缩模式分别表示为彼此不同的比特。例如，mode0可表示为比特0000，mode1可表示为比特0001，mode2可表示为比特0010，mode3可表示为比特0011。
161.在od模式中，可对呈对角线结构的图像数据idt执行压缩。od模式可根据详细实施算法分为mode4(比特0100)和mode5(比特0101)。
162.相似地，empd可包括mode8(比特1000)、mode9(比特1001)、mode10(比特1010)和mode11(比特1011)，ehvd模式可包括mode12(比特1100)和mode13(比特1101)，ehva模式可包括mode14(比特1110)，(e)out模式(eout模式或out模式)可包括mode15(比特1111)和mode7(比特0111)，fnr模式可包括mode6(比特0110)。根据实施例，mode7可指包括处理坏像素的bp模式的(e)out模式或者饱和模式，但是可根据操作环境选择两种模式之一(饱和模式或(e)out模式)。
163.在实施例中，模式选择器127a可以按次序评价ad模式、ehvd模式、od模式、empd模式、ehva模式、eout模式和fnr模式，并且可以根据包括诸如压缩率和丢失信息的指数的压缩评价指数来选择最佳模式。然而，本发明构思不限于所述的模式评价次序。
164.图13是示出根据实施例的图像处理系统10b的图。图13示出了图1的图像处理系统10的另一实施例。
165.参照图13，图像处理系统10b可包括相机模块100b和图像处理装置200b。相机模块100b可包括图像传感器110b和接口140b。图像处理装置200b可包括接口210b、存储器220b、解码器230b、isp240b和编码器250b。图13的编码器250b可以对应于图1的编码器120或图10的编码器120a。
166.将图13的图像处理系统10b与图1的图像处理系统10相比，差异在于在图像处理装置200b中而非相机模块100b中包括编码器250b，并且其其它配置可以基本相同。在图像处理系统10b的配置中，将省略与图1的图像处理系统10的配置重复的配置的描述。
167.参照图13，图像传感器110b可以产生图像数据idt。可以通过接口140b将图像数据
idt发送至图像处理装置200b。根据实施例，相机模块100b还可以包括isp。图像数据idt可为通过isp进行图像处理，并且可以将处理后的图像数据idt发送至图像处理装置200b。
168.图像处理装置200b可以通过接口210b接收图像数据idt。编码器250b可以通过利用存储在存储器220b中的第一参考映射rm1通过压缩图像数据idt来产生压缩数据cdt。上面描述了其中编码器250b产生压缩数据cdt的方法，因此，将省略冗余描述。可以将压缩数据cdt存储在存储器220b中，并且可通过解码器230b从存储器220b中读取压缩数据cdt。解码器230b可以通过利用存储在存储器220b中的第二参考映射rm2通过解压缩图像数据idt来产生解压缩数据ddt。其中解码器230b产生解压缩数据ddt的方法与上面参照图10至图11进行的描述基本相同，因此，将省略冗余描述。
169.图14是示出根据实施例的电子装置1000的图。
170.参照图14，电子装置1000可包括相机模块1100、应用处理器(ap)1200、显示装置1300、存储器1400、存储部1500、用户接口1600和无线收发器1700。图14的相机模块1100可以对应于图1的相机模块100、图10的相机模块100a或者图13的相机模块100b。图14的ap 1200可包括图1的图像处理装置200、图10的图像处理装置200a或图13的图像处理装置200b。省略与上面参照图1、图10和图13描述的那些的冗余描述。
171.ap 1200控制电子装置1000的整体操作，并且可设置为驱动应用程序、操作系统等的片上系统(soc)。
172.存储器1400可以存储通过ap 1200处理或执行的程序和/或数据。存储部1500可以实施为诸如nand闪存或电阻存储器的非易失性存储器装置。例如，存储部1500可设为存储卡(多媒体卡(mmc)、嵌入式mmc(emmc)、安全数字(sd)、微sd等。存储部1500可以存储用于执行控制ap 1200的图像处理操作的算法的数据和/或程序，并且当执行图像处理操作时，数据和/或程序可加载至存储器1400中。
173.用户接口1600可为能够接收用户输入的各种装置，诸如键盘、窗帘按键面板、触摸面板、指纹传感器、麦克风等。用户接口1600可以接收用户输入，并且将对应于接收到的用户输入的信号提供至ap 1200。无线收发器1700可包括调制解调器1710、收发器1720和天线1730。
174.图15是示出根据实施例的电子装置2000的一部分的图。图16是示出根据实施例的相机模块的详细配置的图。具体地说，图15是示出作为图14的电子装置1000的一部分的电子装置2000的图，图16是示出图15的第二相机模块2100b的详细配置的图。
175.参照图15，电子装置2000可包括多相机模块2100、ap 2200和存储器2300。存储器2300可以与图14所示的存储器1400执行相同的功能，因此，省略冗余描述。
176.电子装置2000可以利用cmos图像传感器俘获和/或存储对象的图像，并且可以实施为移动电话、平板计算机或便携式电子装置。便携式电子装置可包括笔记本计算机、移动电话、智能电话、平板pc、可穿戴装置等。
177.多相机模块2100可包括第一相机模块2100a、第二相机模块2100b和第三相机模块2100c。多相机模块2100可以与图1的相机模块100、图10的相机模块100a或者图13的相机模块100b执行相同的功能。在图15中，虽然多相机模块2100示为包括三个相机模块(即，第一相机模块2100a、第二相机模块2100b和第三相机模块2100c)，但是本发明构思不限于此，并且在多相机模块2100中可包括各种数量的相机模块。
178.下文中，将参照图16更详细地描述第二相机模块2100b的详细配置，但是以下描述可以等同地适用于根据实施例的其他相机模块(即，第一相机模块2100a和第三相机模块2100c)。
179.参照图16，第二相机模块2100b可以包括棱镜2105、光路折叠元件(下文中，“opfe”)2110、致动器2130、图像感测装置2140和存储部2150。
180.棱镜2105可包括光反射材料的反射表面2107，以改变从外部入射的光l的路径。
181.根据实施例，棱镜2105可将在第一方向x上入射的光l的路径改变为垂直于第一方向x的第二方向y。此外，棱镜2105可绕中心轴1106在a方向或b方向上旋转光反射材料的反射表面2107，从而将在第一方向x上入射的光l的路径改变为垂直于第一方向x的第二方向y。此时，opfe 2110还可以在垂直于第一方向x和第二方向y的第三方向z上移动。
182.例如，opfe 2110可包括具有m(其中m是自然数)个组的光学透镜。m个透镜可以在第二方向y上移动并且改变相机模块2100b的光学变焦比。例如，当相机模块2100b的基本光学变焦比为z并且移动opfe 2110中包括的m个光学透镜时，相机模块2100b的光学变焦比可以改变为3z、5z或者大于5z的光学变焦比。
183.致动器2130可将opfe 2110或一些光学透镜(以下称为光学透镜)移动到特定位置。例如，致动器2130可调整光学透镜的位置，使得图像传感器2142定位在光学透镜的焦距处以进行精确感测。
184.图像传感装置2140可以包括图像传感器2142、逻辑件2144、编码器2145和存储器2146。图像传感器2142可以使用通过光学透镜提供的光l来感测对象的图像。图16的图像传感器2142的功能可以类似于图1的图像传感器110、图10的图像传感器110a或图13的图像传感器110b的功能，因此，将省略其冗余描述。逻辑件2144可以控制第二相机模块2100b的整体操作。
185.编码器2145可对感测的图像数据进行编码。图16的编码器2145可执行与图1的编码器120、图10的编码器120a或图13的编码器250b的功能相似的功能，因此，将省略冗余描述。在图16中，编码器2145被示为包括在逻辑件2144中，但不限于此，并且可以实施为不同于逻辑件2144的单个功能单元。
186.存储器2146可以存储第二相机模块2100b的操作所需的信息，诸如校准数据2147。校准数据2147可以包括第二相机模块2100b通过使用从外部提供的光l产生图像数据所需的信息。例如，校准数据2147可以包括关于上述旋转度的信息、关于焦距的信息、关于光轴的信息等。当第二相机模块2100b以其中焦距根据光学透镜的位置而改变的多状态相机的形式实施时，校准数据2147可以包括用于光学透镜的各个位置(或状态)的焦距值以及与自动聚焦相关的信息。
187.存储部2150可以存储被图像传感器2142感测的图像数据。在一些实施例中，存储部2150可以存储由编码器2145产生的压缩数据。存储部2150可以布置在图像感测装置2140外部，并且可以以与形成图像感测装置2140的传感器芯片堆叠的形式来实施。在一些实施例中，存储部2150可以实施为电可擦除可编程只读存储器(eeprom)，但是本发明构思不限于此。
188.参照图15和图16，在一些实施例中，第一相机模块2100a、第二相机模块2100b和第三相机模块2100c中的每一个可以包括致动器2130(也统称为“相机模块2100a、2100b和
2100c”)。因此，相机模块2100a、2100b和2100c中的每一个可包括校准数据2147，其中，根据包括在相机模块2100a、2100b和2100c中的每一个中的致动器2130的操作，相机模块2100a、2100b和2100c的校准数据2147彼此相同或不同。
189.在示例实施例中，来自相机模块2100a、2100b和2100c中的一个相机模块(例如，第二相机模块2100b)可以是包括如上所述的棱镜2105和opfe 2110的折叠透镜型相机模块，其它相机模块(例如，第一相机模块2100a和第三相机模块2100c)可以是没有棱镜2105和opfe 2110的垂直型相机模块。然而，一个或多个实施例不限于此。
190.在实施例中，相机模块2100a、2100b和2100c中的一个相机模块(例如，第三相机模块2100c)可以是例如通过使用红外线(ir)提取深度信息的垂直型深度相机。在这种情况下，ap 2200可以通过将从这种深度相机提供的图像数据与从另一相机模块(例如，第一相机模块2100a或第二相机模块2100b)提供的图像数据合并来产生3d深度图像。
191.在实施例中，来自相机模块2100a、2100b和2100c中的至少两个相机模块(例如，第一相机模块2100a和第二相机模块2100b)可以具有不同的视野(fov)。在这种情况下，例如，相机模块2100a、2100b和2100c中的至少两个相机模块(例如，第一相机模块2100a和第二相机模块2100b)可以具有不同的光学透镜，但本发明构思不限于此。例如，相机模块2100a、2100b和2100c中的第一相机模块2100a可以比第二相机模块2100b和第三相机模块2100c具有更小的fov。
192.在一些实施例中，相机模块2100a、2100b和2100c可具有彼此不同的fov。在这种情况下，在相机模块2100a、2100b和2100c中包括的光学透镜也可以彼此不同，但是本发明构思不限于此。
193.在一些实施例中，相机模块2100a、2100b和2100c可以在物理上彼此分离。换句话说，相机模块2100a、2100b和2100c可以不被划分和使用一个图像传感器2142的感测区域。相反，可以在相机模块2100a、2100b和2100c中的每一个内部提供独立的图像传感器2142。
194.ap 2200可包括多个子处理器(例如，第一子处理器2210a、第二子处理器2210b和第三子处理器2210c)、图像产生器2200、相机模块控制器2230、存储器控制器2240和内部存储器2250。ap 2200可与相机模块2100a、2100b和2100c分离地实施。例如，ap 2200和相机模块2100a、2100b和2100c可彼此分离地实施为分离的半导体芯片。
195.通过第一相机模块至第三相机模块2100a、2100b和2100c产生的图像数据或者压缩数据可通过彼此分离的第一图像信号线至第三图像信号线isla、islb和islc被分别提供至对应的子处理器2210a、2210b和2210c。例如，从第一相机模块2100a产生的第一图像数据可通过第一图像信号线isla被提供至第一子处理器2210a，从第二相机模块2100b产生的第二图像数据可通过第二图像信号线islb被提供至第二子处理器2210b，从第三相机模块2100c产生的第三图像数据可通过第三图像信号线islc被提供至第三子处理器2210c。可以通过利用基于mipi的相机串行接口来执行图像数据的传输，但是实施例不限于此。
196.在实施例中，可以提供一个子处理器来处理从多个相机模块输出的图像数据。例如，第一子处理器2210a和第三子处理器2210c可一体地实施为单个子处理器，而不是彼此分离地实施，并且从第一相机模块2100a和第三相机模块2100c提供的图像数据可被选择元件(例如，多路复用器)选择并且被提供至集成的子图像处理器。
197.第一子处理器至第三子处理器2210a、2210b和2210c中的每一个可包括图1的解码
器230、图10的解码器230a或者图13的解码器230b。第一子处理器至第三子处理器2210a、2210b和2210c可以解压缩接收到的压缩数据，以产生解压缩数据，并且将产生的解压缩数据输出至图像产生器2220。图像产生器2220可以对应于图1的isp240、图10的isp 240a或者图13的isp 240b。
198.相机模块控制器2230可以将控制信号提供至相机模块2100a、2100b和2100c中的每一个。从相机模块控制器2230产生的控制信号可通过彼此分离的控制信号线csla、cslb和cslc被提供至对应的相机模块2100a、2100b和2100c。
199.虽然已经参照上述实施例具体地示出和描述了本发明构思，但是将理解，在不脱离所附权利要求中所定义的本公开的精神和范围的情况下，可以进行形式和细节上的各种改变。