影像处理装置、影像固定判定方法以及显示系统与流程

1.本发明涉及对帧存储器进行影像数据的写入以及读出的影像处理装置、该影像处理装置的影像固定判定方法、以及具备影像处理装置的显示系统。


背景技术：

2.在显示系统中，在显示装置的显示器上显示的影像(图像)有时会固定(冻结)。影像的固定是指，尽管基于表示动画的影像信号驱动显示器，但不成为由该影像信号表示的动画的影像，反复显示同一帧的图像，结果成为静止画面。其原因各种各样，例如，存在由照相机等的影像源的动作异常、soc(system on a chip：系统级芯片)那样的图形生成部的动作异常产生的影像固定。检测这样的影像固定的方法例如在专利文献1、2中已经如下述那样被提出。
3.在专利文献1中公开了一种车辆用显示系统，判定从车载照相机经由主控制部向显示器输出的多个帧的显示图像中的第一区域内的图像是否发生变化，在判定为第一区域内的图像没有变化的情况下，进一步判定在多个帧的显示图像中比第一区域大的第二区域内的图像是否发生变化，在第二区域内的图像没有变化的情况下判定为冻结。
4.在专利文献2中公开了一种显示装置，将赋予到在显示部(显示器)本次显示的图像的帧的代码和赋予到上次显示的图像的帧的代码进行比较，在各代码一致的情况下画面冻结。
5.专利文献1：日本特开2018-79839号公报；
6.专利文献2：日本特开2016-39508号公报。
7.然而，在现有的显示系统中具备影像处理装置，该影像处理装置输入从照相机等影像源依次供给的影像信号，将其暂时写入帧存储器，而且读出所写入的影像信号并输出到显示装置。在这样的影像处理装置中，例如，进行相对于写入频率调整读出频率的帧率转换。
8.另外，在该现有的影像处理装置中，已知尽管从影像源正常供给动画的影像信号，但很多情况下会发生从帧存储器反复读出同一帧的影像信号这样的影像的固定。
9.即使对这样的影像处理装置中的影像的固定应用引用文献1及2所示的检测影像固定的方法，也存在不知道是由影像处理装置内的帧存储器写入以及读出本身引起的误动作导致的、或者向影像处理装置的输入影像信号是冻结影像的问题。


技术实现要素：

10.因此，本发明的目的在于提供能够判定是否为由影像处理装置本身的误动作引起的影像固定状态的影像处理装置、影像处理装置的影像固定判定方法以及具备该影像处理装置的显示系统。
11.本发明的影像处理装置的特征在于，具备：帧编号生成部，生成帧编号，该帧编号表示依次被供给的影像数据所属的帧且值在连续的帧间变化；写入部，将包含上述影像数
据和与上述影像数据对应的上述帧编号的数据块按每一帧写入帧存储器；读出部，按帧顺序读出写入上述帧存储器的上述数据块；以及影像固定判定部，在由上述读出部读出的上述数据块中的上述帧编号的本次值不从上次值变化的状态持续了规定次数以上的情况下，生成表示影像固定的异常判定信号。
12.本发明的影像处理装置的影像固定判定方法的特征在于，包括如下步骤：帧编号生成部生成帧编号，该帧编号表示依次被供给的影像数据所属的帧且帧在连续的间值变化；写入部将包含上述影像数据和与上述影像数据对应的上述帧编号的数据块按每一帧写入帧存储器；读取部按帧顺序读出写入上述帧存储器的上述数据块；以及固定判定部在由上述读出部读出的上述数据块中的上述帧编号的本次值不从上次值变化的状态持续了规定次数以上的情况下，生成表示影像固定的异常判定信号。
13.本发明的显示系统具备：影像处理装置，将从影像源依次输出的影像数据写入上述帧存储器，将所写入的上述影像数据从上述帧存储器读出；和显示装置，将基于从上述帧存储器读出的上述影像数据的影像显示在显示器上，其特征在于，上述影像处理装置包括：帧编号生成部，生成帧编号，该帧编号表示上述影像数据所属的帧且值在连续的帧间变化；写入部，将包含上述影像数据和与上述影像数据对应的上述帧编号的数据块按每一帧写入帧存储器；读出部，按帧顺序读出写入上述帧存储器的上述数据块；以及固定判定部，在由上述读出部读出的上述数据块中的上述帧编号的本次值不从上次值变化的状态持续了规定次数以上的情况下，生成表示影像固定的异常判定信号。
14.根据本发明的影像处理装置、影像固定判定方法以及显示系统，能够可靠地检测由影像处理装置的误动作引起的影像固定。
附图说明
15.图1是作为本发明的实施例1表示显示系统的结构的框图。
16.图2是表示图1的系统中的影像处理装置的内部结构的框图。
17.图3是表示图2的影像处理装置中用于写入以及读出的数据块的构造的图。
18.图4是表示不进行帧率转换的情况下的图2的装置中的帧编号监视电路的动作的流程图。
19.图5是表示进行帧率转换的情况下的图2的装置中的帧编号监视电路的动作的流程图。
20.图6是作为本发明的实施例2表示图1的系统中的影像处理电路的其它的内部结构的框图。
21.图7是表示图6的影像处理装置中用于写入以及读出的数据块的构造的图。
22.附图标记说明
23.11
…
图形生成部；12
…
影像处理装置；13
…
帧存储器；14
…
显示装置；15
…
mcu；21
…
写入电路；22
…
帧编号生成电路；23
…
读出电路；24
…
定时控制器；25
…
帧编号监视电路；26
…
crc生成电路；27
…
crc运算电路；28
…
判定电路。
具体实施方式
24.以下，参照附图并对本发明的实施例进行详细说明。
25.【实施例1】
26.作为本发明的实施例1，图1表示显示系统的结构。该显示系统是搭载于车辆的显示系统，具备图形生成部11、影像处理装置12、帧存储器13、显示装置14以及mcu(micro controller unit：单片机)15。
27.图形生成部11与影像处理装置12连接。影像处理装置12分别与帧存储器13以及显示装置14连接。mcu15分别与图形生成部11、影像处理装置12以及显示装置14连接。
28.图形生成部11例如生成通过图形表现表示车辆的行驶所需的导航信息等的信息的影像数据。影像处理装置12由lsi(大规模集成电路)构成。影像处理装置12从图形生成部11依次接收影像数据，并将包含该影像数据的数据块写入帧存储器13，另外，依次读出该写入的数据块。影像处理装置12能够相对于写入频率改变读出频率。帧存储器13由具有多个存储区域的ram(随机存取存储器)构成，以便能够存储包含多个帧量的影像数据的数据块。如后所述，在数据块中除了影像数据之外，还包含关于该影像数据的帧编号。
29.显示装置14是包含显示器(未图示)，根据从影像处理装置12供给的影像信号驱动显示器而使影像信号所示的影像显示于显示器的装置。mcu15是控制显示系统整体的控制部。mcu15的控制内容例如包括显示系统的动作的开始以及停止、各部11、12、14的动作定时等。
30.图2表示影像处理装置12的内部结构。如图2所示，影像处理装置12包括写入电路21、帧编号生成电路22、读出电路23、定时控制器24以及帧编号监视电路25。
31.写入电路21与影像处理装置12的输入端子in以及帧存储器13连接，构成将包含从图形生成部11供给的影像数据的数据块依次写入帧存储器13的写入部。帧编号生成电路22构成帧编号生成部，与写入电路21连接，在由写入电路21写入的数据块内生成附加到影像数据的帧编号。对同一帧的影像数据赋予同一帧编号，对一个帧的下一帧的影像数据赋予增加了 1后的帧编号。
32.读出电路23与影像处理装置12的输出端子out、帧存储器13、定时控制器24以及帧编号监视电路25连接，构成依次读出写入帧存储器13的数据块的读出部。定时控制器24控制对读出电路23应读出的数据块的读出定时。另外，读出电路23将读出的数据块中的影像数据经由影像处理装置12的输出端子out向显示装置14输出，将数据块中的帧编号向帧编号监视电路25供给。
33.帧编号监视电路25构成影像固定判定部，监视从读出电路23供给的帧编号，在帧编号发生预先决定的变化的情况下生成正常判定信号。另一方面，在帧编号未发生预先决定的变化的情况下，代替正常判定信号，生成表示帧固定的异常判定信号。帧编号监视电路25所生成的正常判定信号以及异常判定信号被供给到mcu15。
34.在上述的结构的显示系统中，影像数据以数据块为单位从图形生成部11被供给到影像处理装置12的写入电路21。例如，如图3的(a)所示，在是以1920
×
1080像素(像素)为1帧的影像信号的情况下，数据块的影像数据是16位
×
64像素，构成1帧的影像数据的数量为32400。
35.如图3所示，写入电路21形成在影像数据上加上从帧编号生成电路22供给的帧编号后的数据块。帧编号是每当影像信号的一个帧变为下一帧时增加 1的编号，例如，由8位构成。对同一帧内的数据块的每一个附加同一帧编号。赋予了帧编号的数据块被写入帧存
储器13。
36.这样，若在帧存储器13的一个存储区域，一个帧量的数据块的写入完成，则对帧存储器13的另一存储区域开始接着它的一个帧量的数据块的写入。另一方面，写入帧存储器13的一个存储区域的一个帧量的数据块通过读出电路23每次一个数据块地顺次被读出。所读出的数据块中的影像数据被供给到显示装置14，该读出的数据块中的帧编号被供给到帧编号监视电路25。帧编号监视电路25基于被依次供给的帧编号判别帧编号的变化是正常以及异常中的哪一个。即，在影像信号的每一帧期间构成各个不同的帧编号的多个影像数据被依次读出的情况是正常的，构成同一帧的同一帧编号的多个影像数据在影像信号的多个帧的期间反复被读取的情况是帧变化的异常。
37.接下来，对不进行帧率转换的情况，即向帧存储器13的写入频率和读出频率相同且同步的情况下的帧编号监视电路25的动作进行说明。作为具体例，写入和读出的双方的帧率为30fps且相同。
38.在帧编号监视电路25中，如图4所示，每当从读出电路23供给帧编号时将该帧编号设为新的本次的帧编号，将到此为止的本次的帧编号设为上次的帧编号(步骤s11)。而且，判别是否本次的帧编号比上次的帧编号 1(步骤s12)。
39.在连续读出同一帧的数据块的情况下，本次的帧编号与上次的帧编号之差为0。在本次的帧编号比上次的帧编号 1的情况下，将同一帧计数器(未图示)归零(步骤s13)，生成表示影像数据的帧向下一帧变化的正常状态的正常判定信号(步骤s14)。同一帧计数器是一个一个递增计数的计数器，例如，也可以由硬件以及软件的任一个形成。
40.另一方面，如果本次的帧编号不是比上次的帧编号 1，则有可能读出相同的帧的影像数据，因此判别本次的帧编号与上次的帧编号是否为同一帧编号(步骤s15)。在是同一帧编号的情况下，使同一帧计数器递增计数(步骤s16)，判别同一帧编号的状态是否持续了n次以上(步骤s17)。在这里，n是正的整数，是构成1帧的影像数据的数量。若构成1帧的影像数据的数量为多个，则n成为2以上。在写入频率和读出频率相同的情况下，如果正常执行写入以及读出，则在与构成1帧的影像数据的数量n相比－1的次数n－1的范围内，连续读出同一帧的影像数据，其下一个读出的影像数据成为下一帧编号。因而，整数n设定为比较对象值。然而，若考虑允许值，整数n也可以是比构成1帧的影像数据的数量稍微大的值。
41.步骤s17的判别的结果如果是基于同一帧计数器的计数值，同一帧编号的状态持续了少于n次的次数，则有可能不是帧固定而仅依次读出同一帧的影像数据，因此进入步骤s14生成正常判定信号。然而，如果同一帧编号的状态持续n次以上，则生成表示发生帧固定，即影像固定的异常的异常判定信号(步骤s18)。
42.另外，如果在步骤s15中不是同一帧编号，则立即通过步骤s18的执行生成异常判定信号。
43.若帧编号监视电路25生成步骤s15的异常判定信号，则该异常判定信号被供给到mcu15。mcu15响应异常判定信号并使图形生成部11、影像处理装置12以及显示装置14的各个的动作停止。
44.这样，根据实施例1的影像处理装置，对写入帧存储器13的每个影像数据，在同一帧中赋予同一编号的帧编号，若所写入的影像数据成为下一帧的影像数据，则该帧编号增加 1。在帧存储器13中暂时写入了包含影像数据和帧编号的数据块之后，从写入帧存储器
的1帧量的数据块按写入的顺序读出数据块。在本次读出的数据块的帧编号不是比上次读出的数据块的帧编号 1、同一帧编号的状态持续了n次以上的情况下，作为同一帧的影像数据超过1帧而持续的影像固定状态生成异常判定信号。因而，能够可靠地检测由影像处理装置的误动作引起的影像固定。
45.另一方面，在进行帧率转换的情况下，相对于影像处理装置中的向帧存储器13的写入频率，读出频率不相同，因此帧编号监视电路25如图5所示那样进行动作。在该图5的动作中，代替图4的步骤s12以及s17，进行本次的帧编号是否比上次的帧编号 n以下的判别(步骤s12a)、和同一帧编号是否为m次以下的判别(步骤s17a)。在本次的帧编号不是比上次的帧编号 n以下且判定为同一帧编号持续了多于m次的情况下，生成异常判定信号(步骤s18)。在这里，n以及m的各个的数值根据帧率转换的内容来变化。n是正的整数，是读出电路23所读出的数据块的帧编号正常变化时的其变化的大小。在帧编号一个一个地增加的帧的无间隔剔除的读出的情况下为n＝1，在将数据块间隔剔除1帧而读出的情况下为n＝2。m是在读出电路23进行帧率转换时比与应读出同一帧的数据块的次数相比－1的次数或者该应读出的次数－1的次数多允许值的量的值。
46.在针对帧存储器13的读出频率相对于写入频率较大的异步的情况下，作为具体例，写入的帧率为30fps、读出的帧率为60fps的情况下，从帧存储器13反复读出两次各帧的数据块。因而，在帧编号监视电路25中，如果本次的帧编号不是比上次的帧编号 1的状态，即差为0的同一帧编号的状态例如持续了2n次以上(即多于m次)，则生成异常判定信号。
47.这样，若读出的帧率相对于写入的帧率为m(m为2以上的整数)倍，则从帧存储器13反复读出m次各帧的数据块。因而，在帧编号监视电路25中，如果本次的帧编号不是比上次的帧编号 n＝ 1的状态，即差为0的同一帧编号的状态持续多于m次，则生成异常判定信号。
48.相反，在针对帧存储器13的读出频率相对于写入频率较小的异步的情况下，作为具体例，写入的帧率为30fps、读出的帧率为15fps的情况下，从帧存储器13以1帧的间隔剔除读出各帧的数据块。因而，在帧编号监视电路25中，如果本次的帧编号不是比上次的帧编号 2的状态，即0或者 1的状态持续n(＝m 1)次以上，则生成异常判定信号。
49.这样，若读出的帧率相对于写入的帧率为1/m，则从帧存储器13以m－1帧的间隔剔除读出各帧的数据块。因而，在帧编号监视电路25中，如果本次的帧编号不是比上次的帧编号 n＝ m的状态，即0、 1、
···
(m－1)的任一种状态持续多于m次，则生成异常判定信号。
50.此外，在写入的帧率为30fps、读出的帧率为10fps的情况下，从帧存储器13以2帧的间隔剔除读出各帧的数据块。在帧编号监视电路25中，如果是本次的帧编号比上次的帧编号 1、 2、 3的任一种以外的变化，则生成异常判定信号。另外，在写入的帧率为240fps(高速显示器信号)、读出的帧率为60fps的情况下，如果是本次的帧编号比上次的帧编号 1、 2、 3、 4、 5的任一种以外的变化，则生成异常判定信号。
51.因而，在向帧存储器13的读出频率相对于写入频率不相同的情况下，通过适当地设定异常判定的阈值，也能够可靠地检测由影像处理装置的误动作引起的影像固定。
52.【实施例2】
53.作为实施例2，图6表示影像处理装置12的其它的内部结构。如图6所示，影像处理装置12除了写入电路21、帧编号生成电路22、读出电路23、定时控制器24以及帧编号监视电
路25之外，还包括crc(循环冗余校验)生成电路26、crc运算电路27以及判定电路28。写入部与读出电路23一起包括crc生成电路26。固定判定部包括帧编号监视电路25、crc运算电路27以及判定电路28。
54.crc生成电路26与写入电路21以及帧编号生成电路22连接，从写入电路21获得影像数据、所写入的数据块在帧存储器13中的写入坐标，另外，从帧编号生成电路22获得帧编号，基于影像数据、写入坐标、帧编号(影像数据 写入坐标 帧编号)计算crc值。
55.如图7所示，写入电路21在从图形生成部11供给的影像数据上加上从帧编号生成电路22供给的帧编号和crc生成电路26所生成的crc值而形成数据块。这样的结构的数据块被写入帧存储器13。
56.读出电路23与帧编号监视电路25一起与crc运算电路27以及判定电路28连接。读出电路23依次读出写入帧存储器13的数据块，将本次读出的数据块中的影像数据经由影像处理装置12的输出端子out向显示装置14输出，将数据块中的帧编号供给到帧编号监视电路25，将crc值供给到crc运算电路27。另外，在crc运算电路27中除了crc值之外，为了crc运算，从读出电路23供给影像数据、读取坐标、以及帧编号的信息。
57.帧编号监视电路25与上述的第一实施例的帧编号监视电路25相同，基于从读出电路23依次供给的帧编号判别帧编号的变化是正常以及异常中的哪一个。
58.crc运算电路27基于从读出电路23依次供给的crc值进行crc运算，根据crc运算结果进行关于影像数据、写入(读取)坐标、以及帧编号的正常以及异常中的哪一个的判定。在crc运算结果与影像数据 写入(读取)坐标 帧编号一致的情况下是正常，在crc运算结果与影像数据 写入(读取)坐标 帧编号不一致的情况下是异常。
59.判定电路28与帧编号监视电路25以及crc运算电路27连接，若帧编号监视电路25对帧变化进行异常判定且crc运算电路27根据crc运算结果进行了异常判定的情况持续p次(p为1以上的整数)，则生成异常判定信号，在上述以外的情况下生成正常判定信号。若异常判定信号从判定电路28被供给到mcu15，则mcu15响应异常判定信号并使图形生成部11、影像处理装置12以及显示装置14的各个的动作停止。
60.这样，根据实施例2的影像处理装置，在写入帧存储器13的每个影像数据中除了与实施例1同样的帧编号之外还赋予crc值。在帧存储器13中暂时写入了包含影像数据、帧编号以及crc值的数据块之后，从写入帧存储器的1帧量的数据块按写入顺序读出数据块。例如，在不进行帧率转换的情况下，在本次读出的数据块的帧编号比上次读出的数据块的帧编号不是 1的状态持续n次以上且基于crc值的crc运算结果是异常的情况下，作为同一帧的影像数据超过1帧而持续的影像固定状态生成异常判定信号。因而，能够更可靠地检测由影像处理装置的误动作引起的影像固定。
61.此外，在上述的各实施例中，帧编号生成电路22所生成的帧编号依次增加，但也可以依次减少。另外，按影像的帧顺序逐次 1增加帧编号，但也可以在连续的帧间赋予变化 1以外的规定数的帧编号。
62.另外，如图1所示，在实施例中，影像源设为图形生成部11，但在本发明中，当然也可以使用照相机等其它的影像源。