一种图像处理装置及终端的制作方法

1.本技术涉及图像处理技术领域，例如涉及一种图像处理装置及终端。


背景技术：

2.目前，在进行图像融合处理时，待融合的图像都要先发送到中央处理器cpu，中央处理器对图像进行融合处理，将进行融合处理后的图像发送到显示单元，显示单元显示经过中央处理器融合处理后的图像。
3.在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：当图像需要进行融合处理时，是由中央处理器对图像进行融合处理，由于中央处理器同时还需要处理其他数据，导致中央处理器处理的数据量过大，从而不能及时对图像进行融合处理，最终导致融合后的图像在显示时具有时延性，降低了用户体验。


技术实现要素：

4.为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
5.本公开实施例提供了一种图像处理装置及终端，以解决不能及时对图像进行融合处理，最终导致融合后的图像在显示时具有时延性，降低了用户体验的技术问题。
6.在一些实施例中，图像处理装置包括：
7.图像获得单元和应用处理器ap中的至少之一；
8.还包括图像融合单元，被配置为基于透明度融合来自图像获得单元和应用处理器中至少之一的至少两个图像，使至少两个图像对应地生成融合图像。
9.在一些实施例中，图像融合单元，被配置为基于至少两个图像的透明度，叠加至少两个图像对应地生成融合图像。
10.在一些实施例中，图像融合单元，被配置为基于至少两个图像的透明度和景深信息，叠加至少两个图像对应地生成融合图像。
11.在一些实施例中，当图像处理装置包括图像获得单元时，
12.图像获得单元，被配置为，获得至少两个原始图像；
13.图像融合单元，被配置为，将至少两个原始图像进行融合，以得到融合图像。
14.在一些实施例中，原始图像包括原始随动图像和原始参考图像中的至少一种。
15.在一些实施例中，当图像处理装置包括图像获得单元和应用处理器时，
16.图像获得单元，被配置为，获得原始图像；
17.应用处理器，被配置为，获得增强图像；
18.图像融合单元还被配置为：将原始图像和增强图像进行融合，以得到融合图像。
19.在一些实施例中，增强图像包括增强化现实图像和虚拟图像中的至少一种；
20.其中，增强化现实图像为基于真实图像增强得到的图像。
21.在一些实施例中，虚拟图像包括虚拟随动图像和虚拟参考图像中的至少一种。
22.在一些实施例中，当图像处理装置包括应用处理器时，
23.应用处理器，被配置为，获得增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种；
24.图像融合单元，被配置为，将增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种图像进行融合，以得到融合图像。
25.在一些实施例中，图像处理装置能够与显示屏通信，所述显示屏，被配置为获得融合图像，显示融合图像。
26.在一些实施例中，图像融合单元设置在显示屏中。
27.在一些实施例中，终端包括上述的图像处理装置。
28.本公开实施例提供的图像处理装置及终端，可以实现以下技术效果：
29.通过在图像处理装置中设置独立于中央处理器的图像融合单元，利用图像融合单元来对至少两个图像进行融合处理，提高了图像融合处理的速度，从而避免了所有待融合图像都要经过中央处理器进行融合处理再进行输出所导致的时延性，降低了用户体验度的问题。
30.以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。
附图说明
31.至少一个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
32.图1是本公开实施例提供的一种图像处理装置的结构示意图；
33.图2是本公开实施例提供的另一种图像处理装置的结构示意图；
34.图3是本公开实施例提供的另一种图像处理装置的结构示意图；
35.图4是本公开实施例提供的第一图像和第二图像进行融合的示意图；
36.图5是本公开实施例提供的第一图像和第三图像进行融合的示意图；
37.图6是本公开实施例提供的第一图像和第四图像进行融合的示意图；
38.图7是本公开实施例提供的另一种图像处理装置的结构示意图；
39.图8是本公开实施例提供的一种终端的结构示意图。
40.附图标记：
41.1：图像处理装置；01：图像获得单元；02：应用处理器；03：图像融合单元；04：第一图像；05：第二图像；051：第二图像的第一区域；052：第二图像的第二区域；06：第一融合图像；07：第三图像；071：第三图像的第一区域；072：第三图像的第二区域；08：第二融合图像；081：第二融合图像的第一区域；082：第二融合图像的第二区域；09：第四图像；091：第四图像的第一区域；092：第四图像的第二区域；10：第三融合图像；101：第三融合图像的第一区域；102：第三融合图像的第二区域；11：显示屏；2：终端。
具体实施方式
42.为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公
开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，至少一个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
43.如图1、图2和图3所示，本公开实施例提供了一种图像处理装置1，包括图像获得单元01和应用处理器02中的至少之一；
44.还包括图像融合单元03，被配置为基于透明度融合来自图像获得单元01和应用处理器02中至少之一的至少两个图像，使至少两个图像对应地生成融合图像。
45.在一些实施例中，图像处理装置1包括图像融合单元03，图像融合单元03用于将至少两个图像进行融合；图像处理装置1还包括图像获得单元01和应用处理器02中的至少之一。
46.如图1所示，为图像处理装置1包括图像融合单元03和图像获得单元01的结构示意图，图像融合单元03，被配置为将来自图像获得单元01的至少两个图像进行融合。
47.如图2所示，为图像处理装置1包括图像融合单元03、图像获得单元01和应用处理器02的结构示意图，图像融合单元03，被配置为将来自图像获得单元01和应用处理器02的至少两张图像进行融合。例如，将来自图像获得单元01的一张图像和来自应用处理器02的一张图像进行融合。可选地，将来自图像获得单元01的一张图像和来自应用处理器02的两张图像进行融合，或将来自图像获得单元01的一张图像和来自应用处理器02的三张图像进行融合，等。
48.如图3所示，为图像处理装置1包括图像融合单元03和应用处理器02的结构示意图，图像融合单元03，被配置为将来自应用处理器02的至少两个图像进行融合。
49.在一些实施例中，上述的图像可以为单个的图像，也可以为采集的视频中包括的图像序列。可选地，至少两个图像中的每个图像可以彼此独立地选择为2d图像或3d图像。
50.在一些实施例中，基于透明度融合至少两个图像，上述的透明度为0-100％。例如可以指完全不透明、半透明和完全透明；其中，半透明的透明度介于完全不透明和完全透明之间。可选地，图像融合单元03可以将至少两个完全不透明图像进行融合。可选地，图像融合单元03可以将至少两个半透明图像进行融合。可选地，图像融合单元03可以将至少两个完全透明图像进行融合。可选地，图像融合单元03可以将不透明图像、半透明图像和完全透明图像中的至少两种进行融合。
51.在一些实施例中，图像融合单元03被配置为，基于透明度融合至少两个图像。基于透明度融合至少两个图像的实现方式可以有两种，第一种为，基于至少两个图像的顺序和透明度对至少两个图像进行融合；第二种为基于至少两个图像的透明度和景深信息对至少两个图像进行融合。
52.在一些实施例中，当采用第一种实现方式对至少两个图像进行融合时，图像融合单元03，被配置为基于至少两个图像的透明度，叠加至少两个图像对应地生成融合图像。
53.在一些实施例中，如图4所示，至少两个图像可以包括第一图像04和第二图像05，第一图像04和第二图像05基于透明度和顺序进行叠加，从而形成第一融合图像06。第一图像04为不透明的图像，图像显示的内容为一片丛林，第二图像05分为第一区域051和第二区域052，其中，第一区域051设置为透明，第二区域052设置为不透明，且第二区域052显示的
图像内容为一把枪，将第一图像04和第二图像05按照一定的顺序叠加，叠加后，基于不同图像的透明度生成第一融合图像06。
54.如图5和图6所示，在一些实施例中，当采用第二种实现方式对至少两个图像进行融合时，图像融合单元03，被配置为基于至少两个图像的透明度和景深信息，叠加至少两个图像对应地生成融合图像。
55.在一些实施例中，如图5所示，至少两个图像可以包括第一图像04和第三图像07，将第一图像04和第三图像07进行融合的融合过程为：先基于不同图像的景深信息将图像进行叠加，如图5所示，基于景深信息，第三图像07在第一图像04的上面，而后再基于透明度进行调整，例如，在第三图像07中，第三图像07的第一区域071为透明区域，第三图像07的第二区域072为不透明区域，第一图像04和第三图像07进行融合生成第二融合图像08，在第二融合图像08中，由于第三图像07的第一区域071为透明区域，则在第二融合图像08的第一区域081显示第一图像04相对应的图像，由于第三图像07的第二区域072为不透明区域，则第二融合图像08的第二区域082显示的内容与第三图像07的第二区域072显示的内容完全相同。
56.在一些实施例中，如图6所示，至少两个图像可以包括第一图像04和第四图像09，将第一图像04和第四图像09进行融合的融合过程为：先基于不同图像的景深信息将图像进行叠加，如图6所示，基于景深信息，第四图像09在第一图像04的上面，而后再基于透明度进行调整，例如，在第四图像09中，第四图像09的第一区域091为透明区域，第四图像09的第二区域092为半透明区域，即，第四图像09的第二区域092的透明度小于第四图像09的第一区域091的透明度，例如，第四图像09的第二区域092展示的图像为玻璃水杯或是透明塑料瓶等。第一图像04和第四图像09进行融合生成第三融合图像10，在第三融合图像10中，由于第四图像09的第一区域091为透明区域，则在第三融合图像10的第一区域101显示第一图像04相对应的图像，由于第四图像09的第二区域092为半透明区域，则第三融合图像10的第二区域102显示的内容为第四图像09的第二区域092与后面的对应位置的第一图像04的融合的内容。
57.在一些实施例中，以下实施例中提及的至少两个图像的融合可以采用上述的融合方法进行融合。
58.在一些实施例中，当图像处理装置1包括图像获得单元01时，
59.图像获得单元01，被配置为获得至少两个原始图像；
60.图像融合单元03，被配置为将至少两个原始图像进行融合，以得到融合图像。
61.在一些实施例中，上述的“获得”可以为主动获取，也可以为被动接收。以下实施例中的“获得”均可以被理解为主动获取或者被动接收。
62.在一些实施例中，图像处理装置1可以包括图像获得单元01和图像融合单元03，图像获得单元01例如为摄像头，图像获得单元01用于获得至少两个原始图像，原始图像可以为不经过任何处理的基于真实场景得到的图像，例如为摄像头对真实场景采集的图像，或者为摄像头对真实场景采集的视频中包括的图像序列。图像融合单元03用于将至少两个原始图像进行融合。
63.在一些实施例中，原始图像包括原始随动图像和原始参考图像中的至少一种。可选地，原始图像可以包括原始随动图像。可选地，原始图像可以包括原始参考图像。可选地，原始图像可以包括原始随动图像和原始参考图像。在一些实施例中，原始随动图像可以为
摄像头获得的基于真实场景的图像(例如：全景图像)。可选地，原始随动图像可以随着用户视角的变化而变化。可选地，原始参考图像可以为摄像头获得的基于真实场景的某一目标物的图像。可选地，原始参考图像可以是固定的或可移动的，可以不随用户视角的变化而变化。
64.在一些实施例中，图像融合单元03在将至少两个原始图像融合时，例如：将至少两个原始随动图像进行融合；将至少两个原始参考图像进行融合；还可以将至少一个原始随动图像和至少一个原始参考图像进行融合。
65.在一些实施例中，当图像处理装置1包括图像获得单元01和应用处理器02时，图像获得单元01，被配置为获得原始图像；
66.应用处理器02，被配置为获得增强图像；
67.图像融合单元03还被配置为：将原始图像和增强图像进行融合，以得到融合图像。
68.可选地，图像处理装置1可以包括图像获得单元01、应用处理器02和图像融合单元03，图像获得单元01用于获得至少一个原始图像；应用处理器02用于获得至少一个增强图像。应用处理器02获得增强图像的方式可以为以下方式中的至少之一：应用处理器02从存储介质中直接获得增强图像；应用处理器02基于某一图像生成增强图像，例如基于原始图像生成增强图像；应用处理器02基于自身逻辑直接生成增强图像。
69.在一些实施例中，原始图像包括原始随动图像和原始参考图像中的至少一种。
70.在一些实施例中，增强图像包括增强化现实图像和虚拟图像中的至少一种。可选地，增强图像可以包括增强化现实图像。可选地，增强图像可以包括虚拟图像。可选地，增强图像可以包括增强化现实图像和虚拟图像。在一些实施例中，增强化现实图像为基于真实图像或现实图像增强得到的图像。例如，增强化现实图像可以为基于真实图像或现实图像(基于真实场景得到的图像)做色彩增强得到的图像。虚拟图像为凭空创造出的图像，例如，凭空创造出的黑洞场景的图像，宇宙飞船外的场景图像或是宇宙飞船船舱内的场景图像，等。可选地，虚拟图像包括虚拟随动图像和虚拟参考图像中的至少一种。可选地，虚拟图像可以包括虚拟随动图像。可选地，虚拟图像可以包括虚拟参考图像。可选地，虚拟图像可以包括虚拟随动图像和虚拟参考图像。在一些实施例中，虚拟随动图像例如为宇宙飞船外的场景图像，可以基于观看者的视角的变化而变化。可选地，虚拟参考图像例如为宇宙飞船船舱内的场景图像，例如：宇宙飞船船舱内的操作台，可以不随观看者的视角的变化而变化。
71.在一些实施例中，图像融合单元03用于将来自于图像获得单元01的原始图像和来自于应用处理器02的增强图像进行融合，原始图像可以包括原始随动图像和原始参考图像中的至少之一，增强图像可以包括增强化现实图像、虚拟随动图像和虚拟参考图像中的至少之一，因此，将原始图像和增强图像进行融合可以为，将原始图像包括的图像中的至少一种图像和增强图像包括的图像中的至少一种图像进行融合，例如：将原始随动图像和增强化现实图像进行融合；将原始参考图像和增强化现实图像进行融合；将原始随动图像和虚拟随动图像进行融合；将原始参考图像和虚拟随动图像进行融合；将原始随动图像和虚拟参考图像进行融合；将原始参考图像和虚拟参考图像进行融合；还可以将原始随动图像、增强化现实图像和虚拟随动图像进行融合；将原始随动图像、增强化现实图像和虚拟参考图像进行融合；将原始随动图像、虚拟随动图像和虚拟参考图像进行融合；将原始参考图像、增强化现实图像和虚拟随动图像进行融合；将原始参考图像、增强化现实图像和虚拟参考
图像进行融合；将原始参考图像、虚拟随动图像和虚拟参考图像进行融合；还可以将原始参考图像、原始随动图像和增强化现实图像进行融合；将原始参考图像、原始随动图像和虚拟随动图像进行融合；将原始参考图像、原始随动图像和虚拟参考图像进行融合；还可以将原始参考图像、原始随动图像、增强化现实图像和虚拟随动图像进行融合；将原始参考图像、原始随动图像、增强化现实图像和虚拟参考图像进行融合；将原始参考图像、原始随动图像、虚拟参考图像和虚拟随动图像进行融合；还可以将原始随动图像、增强化现实图像、虚拟随动图像和虚拟参考图像进行融合；将原始参考图像、增强化现实图像、虚拟随动图像和虚拟参考图像进行融合；还可以将原始随动图像、原始参考图像、增强化现实图像、虚拟随动图像和虚拟参考图像进行融合。
72.在一些实施例中，当图像处理装置1包括应用处理器02时，
73.应用处理器02，被配置为，获得增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种；
74.图像融合单元03，被配置为，将增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种图像进行融合，以得到融合图像。
75.可选地，图像处理装置1可以包括应用处理器02和图像融合单元03，应用处理器02用于获得增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种图像。例如：应用处理器02可以获得增强化现实图像和虚拟随动图像；应用处理器02可以获得增强化现实图像和虚拟参考图像；应用处理器02可以获得虚拟随动图像和虚拟参考图像；应用处理器02还可以获得增强化现实图像、虚拟随动图像和虚拟参考图像。图像融合单元03用于将应用处理器02获得的至少两种图像进行融合，以得到融合图像。
76.如图7所示，在一些实施例中，图像处理装置1能够与显示屏11通信，显示屏11被配置为获得融合图像，显示融合图像。在一些实施例中，显示屏11与图像融合单元03连接，用于将从图像融合单元03获得的融合图像进行显示。可选地，图像融合单元03与显示屏11可以分开独立设置，还可以将图像融合单元03设置在显示屏11中。图7中只是示例性地表示了图像融合单元03和显示屏11分开独立设置的情况。
77.如图8所示，本公开实施例提供了一种终端2，终端2包括上述的图像处理装置1。
78.本公开实施例中，通过在图像处理装置1中设置独立于中央处理器的图像融合单元03，利用图像融合单元03来对至少两个图像进行融合处理，提高了图像融合处理的速度，从而避免了所有待融合图像都要经过中央处理器进行融合处理再进行输出所导致的时延性，降低了用户体验度的问题。
79.以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本技术中时，虽然术语“第一”、“第二”等可能会在本技术中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元
件和第二元件都是元件，但可以不是相同的元件。而且，本技术中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本技术中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本技术中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
80.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
81.本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
82.在附图中，考虑到清楚性和描述性，可以夸大元件或层等结构的宽度、长度、厚度等。当元件或层等结构被称为“设置在”(或“安装在”、“铺设在”、“贴合在”、“涂布在”等类似描述)另一元件或层“上方”或“上”时，该元件或层等结构可以直接“设置在”上述的另一元件或层“上方”或“上”，或者可以存在与上述的另一元件或层之间的中间元件或层等结构，甚至有一部分嵌入上述的另一元件或层。