一种芯片内部图像处理架构的制作方法

1.本实用新型涉及芯片技术领域，具体涉及一种芯片内部图像处理架构。


背景技术：

2.摄像头是一种基于图像的传感器，在机器人感知上面具有非常重要的作用，图像信息包含了大量的数据信息，通过算法也还在不断挖掘图像信息的潜力。未来的应用，系统复杂度越来越高，对摄像头的需求会越来越多，芯片需要支持多个摄像头，而现有的单个芯片内部图像处理架构只支持单个摄像头，在使用多个摄像头时，需要多个图像处理架构进行图像处理，使用成本较高。


技术实现要素：

3.为解决上述问题，本实用新型提供了一种芯片内部图像处理架构，使用成本较低。本实用新型的具体技术方案如下：
4.一种芯片内部图像处理架构，所述芯片内部图像处理架构包括mux模块、isp模块、存储模块和若干输入接口；所述若干输入接口与存储模块相连，用于将不同摄像头输入的图像数据存储到存储模块；mux模块分别与存储模块、isp模块和若干输入接口相连，用于从若干输入接口接收图像数据或从存储模块读取图像数据来进行图像数据融合处理，然后将融合处理后的图像数据发送给isp模块；所述isp模块与mux模块相连，用于接收mux模块拼接后的图像数据，所述isp模块与存储模块相连，用于从存储模块读取图像数据或者将图像数据写入存储模块。
5.进一步地，所述若干输入接口为五个mipi接口，所述五个mipi接口包括两个4通道接口和三个2通道接口。
6.进一步地，所述若干输入接口包括一路并口，所述并口与其中一个mipi接口复用。
7.进一步地，所述若干输入接口输入到存储模块的图像数据的格式为raw8、raw10、raw12或yuv422。
8.进一步地，所述isp模块从存储模块中读取图像数据的方式为直接读取图像数据或者通过配置寄存器读取地址来分时读取存储模块中的图像数据。
9.与现有的技术相比，本实用新型的有益效果在于：本技术的技术方案通过具有mux模块的图像处理架构来复用isp，使芯片在支持多摄像头同时，还减少芯片面积，降低使用成本。
附图说明
10.图1为本实用新型的芯片内部图像处理架构的结构示意图。
具体实施方式
11.下面详细描述本实用新型的实施例，所述的实施例示例在附图中示出，其中自始
至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
12.在本实用新型的描述中，需要说明的是，对于方位词，如有术语“中心”，“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本实用新型的具体保护范围。
13.此外，如有术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明技术特征的数量。由此，限定有“第一”、“第二”特征可以明示或者隐含包括一个或者多个该特征，在本实用新型描述中，“至少”的含义是一个或一个以上，除非另有明确具体的限定。
14.在本实用新型中，除另有明确规定和限定，如有术语“组装”、“相连”、“连接”术语应作广义去理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；也可以是机械连接；可以是直接相连，也可以是通过中间媒介相连，可以是两个元件内部相连通。对于本领域普通技术人员而言，可以根据具体情况理解上述的术语在本实用新型中的具体含义。
15.在实用新型中，除非另有规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一特征和第二特征不是直接接触而是通过它们之间的另外特征接触。而且，第一特征在第二特征“之上”、“之下”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅是表示第一特征水平高度高于第二特征的高度。第一特征在第二特征
ꢀ“
之上”、“之下”和“下面”包括第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。
16.下面结合说明书的附图，通过对本实用新型的具体实施方式作进一步的描述，使本实用新型的技术方案及其有益效果更加清楚、明确。下面通过参考附图描述实施例是示例性的，旨在解释本实用新型，而不能理解为对本实用新型的限制。
17.isp(image signal processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于isp才能在不同的光学条件下都能较好的还原现场细节，isp技术在很大程度上决定了摄像机的成像质量。它可以分为独立与集成两种形式。isp的firmware 包含三部分，一部分是isp 控制单元和基础算法库，一部分是ae/awb/af 算法库，一部分是sensor 库。firmware 设计的基本思想是单独提供3a 算法库，由isp 控制单元调度基础算法库和3a 算法库，同时sensor 库分别向isp 基础算法库和3a 算法库注册函数回调，以实现差异化的sensor 适配。mux (multiplexer) 多路复用器，1. 把两路信号(模拟信号或数字信号)合成为一路，能够在后续电路分离。例如：ofdm、标准fm立体声广播(可将左、右声道信号复用到一路基带信号)、标准电视(视频信号和多路音频信号共享一个信道)以及时分复用(以不同时隙提供信号)。2. 模拟开关矩阵，通常指在一片cmos芯片上，允许一路输入切换到几路输出的任何一路，具体受数字信号控制。复用器还可用于反向数据传输，对于矩阵开关来说，可以将几路输入中的一路切换到输出端，由控制信号决定具体的切换。ddr=double data rate双倍速率,ddr sdram=双倍速率同步动态随机存储器，人们习惯称为ddr，其中，
sdram 是synchronous dynamic random access memory的缩写，即同步动态随机存取存储器。
18.如图1可知，一种芯片内部图像处理架构，所述芯片内部图像处理架构包括mux模块、isp模块、存储模块和若干输入接口；所述若干输入接口与存储模块相连，用于将不同摄像头输入的图像数据存储到存储模块；mux模块分别与存储模块、isp模块和若干输入接口相连，用于从若干输入接口接收图像数据或从存储模块读取图像数据来进行图像数据融合处理，然后将融合处理后的图像数据发送给isp模块；所述isp模块与mux模块相连，用于接收mux模块拼接后的图像数据，所述isp模块与存储模块相连，用于从存储模块读取图像数据或者将图像数据写入存储模块。
19.作为其中一种实施例，所述若干输入接口为五个mipi接口，所述五个mipi接口包括两个4通道接口和三个2通道接口。mipi(mobile industry processor interface)是2003年由arm, nokia, st ,ti等公司成立的一个联盟，目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少手机设计的复杂程度和增加设计灵活性。mipi联盟下面有不同的workgroup，分别定义了一系列的手机内部接口标准，比如摄像头接口csi、显示接口dsi、射频接口digrf、麦克风/喇叭接口slimbus等。
20.作为其中一种实施例，所述若干输入接口包括一路并口，所述并口与其中一个mipi接口复用。并口为并行接口简称，指采用并行传输方式来传输数据的接口标准。1. 以并行方式传输的数据通道的宽度，也称接口传输的位数;2. 用于协调并行数据传输的额外接口控制线或称交互信号的特性。
21.作为其中一种实施例，所述若干输入接口输入到存储模块的图像数据的格式为raw8、raw10、raw12或yuv422。
22.作为其中一种实施例，所述isp模块从存储模块中读取图像数据的方式为直接读取图像数据或者通过配置寄存器读取地址来分时读取存储模块中的图像数据。
23.一种图像处理方法，所述图像处理方法通过上述的芯片内部图像处理架构来进行图像处理，所述图像处理方法包括以下步骤：通过若干输入接口分别接收不同摄像头输入的图像数据；根据控制命令或/和mux模块的工作状态来将输入的图像数据存储到存储模块或/和发送给mux模块；mux模块从存储模块中读取图像数据或接收若干输入接口发送的图像数据，然后对图像数据进行融合处理，并将融合后的图像数据发送给isp模块；isp模块接收mux模发送的图像数据或者从存储模块中读取图像数据，然后对图像数据进行处理，并将处理后的图像数据写入存储模块。
24.作为其中一种实施例，根据控制命令或/和mux模块的工作状态来将输入的图像数据存储到存储模块或/和发送给mux模块，包括以下步骤：若控制命令为将输入的图像数据存储到存储模块中，则直接将图像数据存储到存储模块中；若控制命令为将输入的图像数据发送给mux模块中，则判断mux模块是否处于工作状态；若mux模块处于工作状态，则先将图像数据存储到存储模块中，使mux模块完成工作后再从存储模块中读取图像数据，若mux模块不处于工作状态，则将图像数据同时存储到存储模块和发送到mux模块。
25.作为其中一种实施例，mux模块从存储模块中读取图像数据或接收若干输入接口发送的图像数据，然后对图像数据进行融合处理，包括以下步骤：mux模块从存储模块中读取图像数据或接收若干输入接口发送的图像数据后，将两个不同接口输入的图像数据进行
拼接处理。
26.作为其中一种实施例，isp模块从存储模块中读取图像数据，包括以下步骤：isp模块直接从存储模块中读取图像数据或者通过配置寄存器读取地址来分时读取存储模块中的图像数据。
27.作为其中一种实施例，isp模块接收mux模发送的图像数据或者从存储模块中读取图像数据，然后对图像数据进行处理，包括以下步骤：isp模块对图像数据的处理至少包括有线性纠正、噪声去除、坏点去除、内插、白平衡或自动曝光控制中的任一项。
28.如图1所示，芯片内部图像处理架构在工作时，通过c0至c4接口接收不同摄像头输入的图像数据，然后接口通过自身的crop层对接收的图像数据进行常规的裁剪处理，然后将裁剪处理后的原始数据通过ddr（双倍速率）存储到存储模块memory中（raw data to ddr），其中存储模块为ddr memory，或输送到mux模块中，mux模块接收图像数据或者通过ddr从存储模块memory读取图像数据（ddr data read）后，在3d处理时，将两个接口接收的图像拼接成一个大图，然后输入到isp中进行处理。isp从ddr读取数据处理时，可以配置寄存器读取地址，这样可以先将多路数据存储到ddr，然后分时调用isp进行处理，不同的路的isp配置信息在ddr中进行读取（ddr isp reg read）。5路输入都可以单独输出到ddr中，跟后面进入isp通路是独立的，进入isp，依然可以存储到ddr中。isp模块将处理后的图像数据写入存储模块memory中，即图中的ddr data write。
29.与现有的技术相比，本实用新型的有益效果在于：本技术的技术方案通过具有mux模块的图像处理架构来复用isp，使芯片在支持多摄像头同时，还减少芯片面积，降低使用成本。
30.在说明书的描述中，参考术语“合一个实施例”、“优选地”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点，包含于本实用新型的至少一个实施例或示例中，在本说明书中对于上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或者示例中以合适方式结合。说明书的描述中连接的所述连接方式具有明显的效果和实用效力。
31.通过上述的结构和原理的描述，所属技术领域的技术人员应当理解，本实用新型不局限于上述的具体实施方式，在本实用新型基础上采用本领域公知技术的改进和替代均落在本实用新型的保护范围，应由各权利要求限定之。