影像传输系统、发送装置、接收装置、发布方法、发送方法、接收方法及计算机程序与流程

1.本公开涉及影像传输系统、影像发送装置、影像接收装置、影像发布方法、影像发送方法、影像接收方法及计算机程序。本技术主张基于2019年5月29日申请的日本技术第2019
‑
100291号的优先权，援引所述日本技术所记载的全部的记载内容。


背景技术：

2.在广播等中，开发出了8k uhdtv(ultra high definition television：超高清电视)(以下，简记为“8k”)这样的用于传输超高分辨率的高精细的影像数据的技术(例如，参照非专利文献1)。
3.超高分辨率影像由于其表现力，可认为在监视用途、防止犯罪用途、建筑物等的外观检查用途等所有的领域中使用的情况今后会快速增加。另一方面，为了其表现力，例如，传输速率会达到数十gbps(gigabits per second：千兆比特每秒)以上，因此，为了传输影像数据而需要高速的通信路。现有技术文献专利文献
4.非专利文献1：“维基百科”，[online]，[平成31年4月8日检索]，互联网<url:http://ja.wikipedia.org/wiki/h.265>非专利文献2：“视线检测技术基本原理”，[online]，2013年4月23日，富士通研究所，[令和2年1月6日检索]，互联网<url:https://www.fujitsu.com/jp/group/labs/resources/tech/techguide/list/eye
‑
movements/p03.html>


技术实现要素：

[0005]
本公开的一实施方案的影像传输系统具备：影像发送装置，对影像数据进行压缩处理，发送已完成所述压缩处理的所述影像数据；影像接收装置，从所述影像发送装置接收已完成所述压缩处理的所述影像数据，进行接收到的所述影像数据的解压处理，所述影像发送装置对所述影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理，对所述关注区域不执行所述规定的压缩处理。
[0006]
本公开的其他实施方案的影像发送装置具备：压缩处理部，对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理；及发送部，将所述规定的压缩处理后的所述影像数据向影像接收装置发送。
[0007]
本公开的其他实施方案的影像接收装置具备：接收部，从影像发送装置接收对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注
区域中的所述非关注区域执行了所述画面内的规定的压缩处理后的影像数据；及解压部，将所述接收部接收到的所述影像数据解压。
[0008]
本公开的其他实施方案的影像发布方法包括以下步骤：影像发送装置对影像数据进行压缩处理，发送已完成所述压缩处理的所述影像数据；及影像接收装置从所述影像发送装置接收已完成所述压缩处理的所述影像数据，进行接收到的所述影像数据的解压处理，在发送所述影像数据的步骤中，所述影像发送装置对所述影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理，对所述关注区域不执行所述规定的压缩处理。
[0009]
本公开的其他实施方案的影像发送方法包括以下步骤：对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理；及将所述规定的压缩处理后的所述影像数据向影像接收装置发送。
[0010]
本公开的其他实施方案的影像接收方法包括以下步骤：从影像发送装置接收对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行了所述画面内的规定的压缩处理的影像数据；及将所述接收部接收到的所述影像数据解压。
[0011]
本公开的其他实施方案的计算机程序使计算机执行以下步骤：对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理；及将所述规定的压缩处理后的所述影像数据向影像接收装置发送。
[0012]
本公开的其他实施方案的计算机程序使计算机执行以下步骤：从影像发送装置接收对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行了所述画面内的规定的压缩处理的影像数据；及将所述接收部接收到的所述影像数据解压。
[0013]
需要说明的是，当然能够使上述计算机程序经由cd
‑
rom(compact disc
‑
read only memory：光盘只读存储器)等计算机能够读取的非暂时性的记录介质、互联网等通信网络而流通。另外，本公开也能够作为实现影像发送装置或影像接收装置的一部分或全部的半导体集成电路来实现。
附图说明
[0014]
图1是示出本公开的实施方式1的影像传输系统的整体结构的图。图2是示出本公开的实施方式1的影像发送装置的结构的框图。图3是示出图像数据的一例的图。图4是示出将图3所示的图像数据分割为小块后的图像数据的一例的图。图5是用于说明从块分割部向差分部及区域指定部的小块的输出顺序的图。图6是用于说明差分处理的图。图7是示出由区域决定部决定出的1画面量(图像数据)的块信息的图。图8是示出下变换处理的一例的图。图9是用于对区域指定部、下变换部及影像整列部执行的处理进行说明的图。
图10是用于对区域指定部、下变换部及影像整列部执行的处理进行说明的图。图11是示出本公开的实施方式1的影像接收装置的结构的框图。图12是示出已压缩影像数据的一例的图。图13是示出影像传输系统的处理工序的一例的序列图。图14是示出压缩处理(图13的步骤s2)的详情的流程图。图15是示出解压处理(图13的步骤s6)的详情的流程图。图16是示出影像发送装置执行的压缩处理(图13的步骤s2)的详情的流程图。图17是用于对区域指定部、下变换部及影像整列部执行的处理进行说明的图。图18是示出影像发送装置执行的压缩处理(图13的步骤s2)的详情的流程图。图19是示出本公开的实施方式4的影像发送装置的结构的框图。图20是示出本公开的实施方式4的影像接收装置的结构的框图。图21是示出影像传输系统的处理工序的一例的序列图。图22是示出压缩处理(图21的步骤s2)的详情的流程图。图23是示出已压缩影像数据的一例的图。图24是示出本公开的实施方式5的影像传输系统的整体结构的图。图25是示出显示装置及相机的一例的图。图26是示出本公开的实施方式5的影像接收装置的结构的框图。图27是用于对关注区域的决定方法进行说明的图。图28是示出影像传输系统的处理工序的一例的序列图。图29是示出关注区域决定处理(图28的步骤s52)的详情的流程图。图30是示意性地示出由无人机进行的影像的拍摄的图。图31是示意性地示出用于操作无人机的控制器和操作控制器的用户的图。图32是示意性地示出用于操作无人机的控制器和操作控制器的用户的图。图33是示出本公开的实施方式6的关注区域决定处理(图28的步骤s52)的详情的流程图。图34是示出显示装置及相机的一例的图。图35是用于对关注区域的决定方法进行说明的图。图36是用于对关注区域及非关注区域的决定方法进行说明的图。
具体实施方式
[0015]
[本公开所要解决的课题]例如，也可考虑将由设置于重型设备(起重机、推土机等)、无人机、机器人等移动体的能够拍摄8k的影像数据的相机(以下，称作“8k相机”)拍摄到的影像数据从影像发送装置向影像接收装置发送并在远处监视影像数据之类的利用方法。
[0016]
然而，“第5代移动通信系统”(以下，简记为“5g”(5th generation))的无线通信的传输能力是数gbps左右。另一方面，要传输8k的双绿(dual green)方式的影像数据，需要24gbps左右的传输能力。因而，难以将8k的影像数据以原样的形式利用5g的无线通信来发送。需要说明的是，在将8k的影像数据利用10千兆位
·
以太网(注册商标)的网络协议来发送的情况下也会产生同样的问题。
[0017]
也可考虑使用在广播等中使用的h.265(iso/iec 23008
‑
2hevc)等方式来将影像数据压缩并传输，但由于压缩处理及解压处理需要数秒左右的时间，所以会产生影像的延迟。
[0018]
另一方面，传输来的影像数据例如被使用于监视可疑人员、人流或入场人员等的监视用途。具体而言，通过对影像数据进行图像识别处理来提取可疑人员等识别对象。在监视用途中重要的影像数据中的区域是识别对象的周围的区域，其以外的区域有时可以降低分辨率。在此以外的应用中，也存在可以降低应该关注的区域以外的区域的分辨率的情况。
[0019]
本公开鉴于这样的情形而完成，目的在于提供能够实现在关注区域中保持了与原始影像的同一性的影像数据的低延迟发布的影像传输系统、影像发送装置、影像接收装置、影像发布方法、影像发送方法、影像接收方法及计算机程序。
[0020]
[本公开的效果]根据本公开，能够实现在关注区域中保持了与原始影像的同一性的影像数据的低延迟发布。
[0021]
[本公开的实施方式的概要]首先，列举本公开的实施方式的概要来说明。(1)本公开的一实施方式的影像传输系统具备：影像发送装置，对影像数据进行压缩处理，发送已完成所述压缩处理的所述影像数据；及影像接收装置，从所述影像发送装置接收已完成所述压缩处理的所述影像数据，进行接收到的所述影像数据的解压处理，所述影像发送装置对所述影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理，对所述关注区域不执行所述规定的压缩处理。
[0022]
根据该结构，能够在对影像数据的画面内的关注区域不执行规定的压缩处理且对非关注区域执行了规定的压缩处理后发送已完成压缩的影像数据。因而，关于关注区域，保持与原始影像的同一性。另外，上述规定的压缩处理是画面内的压缩处理。因而，不容易产生在画面间进行压缩处理的h.265等中产生的影像的延迟。由此，能够实现影像数据的低延迟发布。
[0023]
(2)优选的是，所述关注区域基于所述画面内的用户的视线位置而确定。
[0024]
根据该结构，例如，画面内的用户的视线位置的附近的区域被设为关注区域，其以外的区域被设为非关注区域。因而，在用户正在观察的画面内的区域中，保持与原始影像的同一性，在用户未观察的区域中，执行规定的压缩处理。由此，能够不给观察画面的用户带来违和感地进行影像数据的压缩及低延迟发布。
[0025]
(3)进一步优选的是，所述关注区域基于所述视线位置的规定区域内的持续时间而被固定规定时间。
[0026]
根据该结构，通过用户注视画面内的规定位置或规定位置的附近，能够将关注区域固定规定时间。在此，规定位置的附近例如表示从规定位置起规定距离内的位置。由此，即使在用户进行了上述的注视后一瞬间移开了视线的情况下，关注区域也仍被固定。由此，之后，在用户将视线移回到原来的位置的情况下，能够立即观察与原始影像保持了同一性的影像。
[0027]
(4)另外，可以是，所述用户的数量是多个，所述关注区域针对每个所述用户而确
定。
[0028]
根据该结构，针对每个用户，基于该用户的视线位置来确定关注区域。因而，即使多个用户观察了同一画面上的不同位置，各用户的视线位置的附近的区域也被设为关注区域，在各关注区域中保持与原始影像的同一性。因而，不会给上述多个用户带来违和感。
[0029]
(5)另外，可以是，所述影像发送装置根据表示已完成所述压缩处理的所述影像数据的发送状况的发送状况信息而使所述关注区域的尺寸变化。
[0030]
根据该结构，例如，在影像数据的传输速率下降了的情况下，通过减小关注区域的尺寸，能够减小影像数据的尺寸。由此，能够实现影像数据的低延迟发布。
[0031]
(6)另外，可以是，所述影像数据由搭载于移动体的相机生成，所述关注区域基于所述移动体的行进方向而确定。
[0032]
根据该结构，能够实现关于基于移动体的行进方向而确定的关注区域保持了与原始影像的同一性的影像数据的低延迟发布。由此，例如，能够使移动体稳定地飞行。
[0033]
(7)另外，可以是，所述影像数据包含外观检查的对象物的像，所述关注区域是包含所述对象物的检查部位的区域。
[0034]
根据该结构，能够实现关于外观检查的对象物的检查部位保持了与原始影像的同一性的影像数据的低延迟发布。因而，能够以低延迟来执行对象物的外观检查。
[0035]
(8)另外，可以是，所述关注区域基于所述影像数据的画面间的亮度值的变化量而确定。
[0036]
根据该结构，例如，能够将在画面间亮度值的变化量大的部分优先设为关注区域。由此，例如，在将影像数据使用于监视用途的情况下，能够将包含可疑人员的区域设为关注区域，能够高效地进行图像识别处理。
[0037]
(9)另外，可以是，所述影像接收装置将用于指定所述关注区域的信息向所述影像发送装置发送。
[0038]
根据该结构，能够实现关于指定的区域保持了与原始影像的同一性的影像数据的低延迟发布。例如，在将影像数据使用于预先知道监视对象区域的监视用途的情况下，通过用户将监视对象区域指定为关注区域，能够高效地进行监视处理。
[0039]
(10)另外，可以是，所述规定的压缩处理是削减所述非关注区域内的各像素的色深的处理。
[0040]
根据该结构，能够使非关注区域内的各像素的色深下降，因此能够实现影像数据的低延迟发布。另外，非关注区域相当于用户的视野的周边部，因此即使色深下降也不容易被用户察觉。
[0041]
(11)另外，可以是，所述画面被分割成多个块，所述关注区域及所述非关注区域以块为单位被指定。
[0042]
根据该结构，能够以块为单位执行规定的压缩处理。由此，能够高速执行压缩处理。
[0043]
(12)另外，可以是，所述规定的压缩处理是相对于所述非关注区域内的各块的下变换处理。
[0044]
根据该结构，能够使非关注区域内的分辨率下降，因此能够实现影像数据的低延迟发布。
[0045]
(13)另外，可以是，所述非关注区域包含所述规定的压缩处理中的压缩率不同的多个区域，在该多个区域中与所述关注区域相邻的区域的压缩率最小。
[0046]
根据该结构，能够在非关注区域中越是接近用户的视野的中心部的区域则使压缩率越低且越是远离上述中心部的区域则使压缩率越高地进行压缩处理。因而，能够防止在关注区域与非关注区域的边界部分影像的视觉效果急剧变化，并进行影像数据的低延迟发布。
[0047]
(14)本公开的其他实施方式的影像发送装置具备：压缩处理部，对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理；及发送部，将所述规定的压缩处理后的所述影像数据向影像接收装置发送。
[0048]
根据该结构，能够在对影像数据的画面内的关注区域不执行规定的压缩处理且对非关注区域执行了规定的压缩处理后发送已完成压缩的影像数据。因而，关于关注区域，保持与原始影像的同一性。另外，上述规定的压缩处理是画面内的压缩处理。因而，不容易产生在画面间进行压缩处理的h.265等中产生的影像的延迟。由此，能够实现影像数据的低延迟发布。
[0049]
(15)本公开的其他实施方式的影像接收装置具备：接收部，从影像发送装置接收对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行了所述画面内的规定的压缩处理的影像数据；及解压部，将所述接收部接收到的所述影像数据解压。
[0050]
根据该结构，能够接收对影像数据的画面内的关注区域不执行规定的压缩处理且对非关注区域执行了规定的压缩处理的已完成压缩的影像数据。因而，关于关注区域，保持与原始影像的同一性。另外，对于非关注区域，执行画面内的规定的压缩处理。因而，不容易产生在画面间进行压缩处理的h.265等中产生的影像的延迟。由此，能够实现影像数据的低延迟发布。
[0051]
(16)本公开的其他实施方式的影像发布方法包含以下步骤：影像发送装置对影像数据进行压缩处理，发送已完成所述压缩处理的所述影像数据；及影像接收装置从所述影像发送装置接收已完成所述压缩处理的所述影像数据，进行接收到的所述影像数据的解压处理，在发送所述影像数据的步骤中，所述影像发送装置对所述影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理，对所述关注区域不执行所述规定的压缩处理。
[0052]
在该结构中，包含与上述的影像传输系统所具备的特征性的处理部对应的步骤。因而，根据该结构，能够起到与上述的影像传输系统同样的作用及效果。
[0053]
(17)本公开的其他实施方式的影像发送方法包含以下步骤：对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理；及将所述规定的压缩处理后的所述影像数据向影像接收装置发送。
[0054]
在该结构中，包含与上述的影像发送装置所具备的特征性的处理部对应的步骤。因而，根据该结构，能够起到与上述的影像发送装置同样的作用及效果。
[0055]
(18)本公开的其他实施方式的影像接收方法包含以下步骤：从影像发送装置接收
对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行了所述画面内的规定的压缩处理的影像数据；及将接收到的所述影像数据解压。
[0056]
在该结构中，包含与上述的影像接收装置所具备的特征性的处理部对应的步骤。因而，根据该结构，能够起到与上述的影像接收装置同样的作用及效果。
[0057]
(19)本公开的其他实施方式的计算机程序使计算机执行以下步骤：对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行所述画面内的规定的压缩处理；及将所述规定的压缩处理后的所述影像数据向影像接收装置发送。
[0058]
根据该结构，能够使计算机作为上述的影像发送装置发挥功能。因而，能够起到与上述的影像发送装置同样的作用及效果。
[0059]
(20)本公开的其他实施方式的计算机程序使计算机执行以下步骤：从影像发送装置接收对影像数据的画面内的规定的关注区域和所述画面内的与所述关注区域不同的规定的非关注区域中的所述非关注区域执行了所述画面内的规定的压缩处理的影像数据；及将接收到的所述影像数据解压。
[0060]
根据该结构，能够使计算机作为上述的影像接收装置发挥功能。因而，能够起到与上述的影像接收装置同样的作用及效果。
[0061]
[本公开的实施方式的详情]以下，关于本公开的实施方式，一边参照附图一边说明。需要说明的是，以下说明的实施方式均示出本公开的优选的一具体例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等是一例，并非旨在限定本公开。另外，关于以下的实施方式中的构成要素中的未记载于表示本公开的最上位概念的独立权利要求的构成要素，作为构成更优选的方式的任意的构成要素来说明。
[0062]
另外，对同一构成要素标注同一标号。它们的功能及名称也是同样的，因此适当省略它们的说明。
[0063]
[实施方式1]<影像传输系统的整体结构>图1是示出本公开的实施方式1的影像传输系统的整体结构的图。参照图1，影像传输系统100具备相机1、影像发送装置2、影像接收装置4及显示装置5。
[0064]
相机1拍摄规定的对象。相机1例如是设置于施设等的监视相机等。需要说明的是，相机1也可以安装于重型设备、无人机等移动体。
[0065]
相机1对拍摄对象的高精细影像进行拍摄。在影像数据中包含多个画面。例如，在60fps(frame per second：帧每秒)的影像数据中，每1秒包含60张画面。
[0066]
更详细而言，相机1例如按照双绿(dual green)方式或4:2:2方式等来生成具有8k uhdtv的分辨率的拍摄对象物的影像数据。在该影像数据中，包含每个画面的图像数据。
[0067]
按照双绿方式生成的60fps的影像数据的传输速率例如是23.89gbps或19.91gbps。另外，按照4:2:2方式生成的影像数据的传输速率例如是47.78gbps或39.81gbps。
[0068]
影像发送装置2将相机1拍摄到的影像数据经由网络3而向影像接收装置4发送。
[0069]
影像接收装置4从影像发送装置2接收影像数据，将接收到的影像数据显示于显示装置5。
[0070]
<影像发送装置2的结构>图2是示出本公开的实施方式1的影像发送装置2的结构的框图。
[0071]
参照图2，影像发送装置2具备块分割部21、缓冲部22、差分部23、区域决定部24、区域指定部25、下变换部26、影像整列部27、影像压缩部28、压缩影像整列部29及发送部30。
[0072]
影像发送装置2的一部分或全部由包含asic(application specific integrated circuit：专用集成电路)或fpga(field
‑
programmable gate array：现场可编程门阵列)等集成电路等的硬件实现。
[0073]
需要说明的是，影像发送装置2也能够由具备cpu(central processing unit：中央处理单元)、ram(random access memory：随机存取存储器)及rom(read only memory：只读存储器)等的计算机实现。通过在cpu等运算处理装置上执行计算机程序，各处理部作为功能性的构成要素来实现。
[0074]
块分割部21是以下的处理部：构成为包含通信接口，接受构成相机1拍摄到的影像数据的画面(以下，也称作“图像数据”)，将图像数据分割为规定尺寸的小块。
[0075]
图3是示出图像数据的一例的图。图像数据10例如示出了在空中飞行的飞机11的像。
[0076]
图4是示出将图3所示的图像数据10分割为小块后的图像数据10的一例的图。如图4所示，图像数据10被分割成在左右及上下规则地排列的小块12。需要说明的是，小块12的个数不限定于图示的个数。
[0077]
需要说明的是，块分割部21使从相机1接收到的影像数据暂时存储于缓冲部22。
[0078]
块分割部21按照规定的顺序而将小块12向差分部23及区域指定部25输出。
[0079]
图5是用于说明从块分割部21向差分部23及区域指定部25的小块12的输出顺序的图。如图5所示，图像数据10被分割成在左右及上下规则地排列的大块14。各大块14由2
×
2个小块12构成。块分割部21在图像数据10中，将处理对象的大块14从左上的大块14a到右下的大块14z以光栅顺序扫描。另外，块分割部21在各大块14中，将处理对象的小块12从左上到右下以光栅顺序扫描，输出小块12。例如，块分割部21在大块14z中按照小块12a
→
小块12b
→
小块12c
→
小块12d的顺序扫描，将各小块12向差分部23及区域指定部25输出。需要说明的是，构成大块14的小块12的个数不限定于上述的个数。例如，大块14也可以由3
×
3个小块12构成。
[0080]
差分部23从块分割部21依次接受小块12，按照接受的顺序进行小块12的差分处理。具体而言，差分部23进行从块分割部21接受到的压缩对象的图像数据的小块12与该图像数据的规定帧前(例如，1帧前)的图像数据的同一块位置的小块12的差分处理。
[0081]
图6是用于说明差分处理的图。图6示出了构成影像数据的图像数据10的时间上的排列，示出了从帧1到帧3的在时间上连续的3张图像数据10的排列。帧1的图像数据10在时间上最旧，帧3的图像数据10在时间上最新。设为：差分部23从块分割部21接受了压缩对象的帧3的图像数据10中的小块12。差分部23从存储于缓冲部22的1帧前的帧2的图像数据10读出与从块分割部21接受到的小块12相同的位置的小块12。差分部23在不同帧的相同位置
的2个小块12间针对每个像素计算亮度值的差分。
[0082]
例如，设为：小块12的尺寸是m
×
n像素，将小块12的各像素的亮度值利用i(t,i,j)表示。在此，t是帧编号，(i,j)表示小块12内的坐标，1≤i≤m，1≤j≤n。
[0083]
帧编号t及t
‑
1的小块12间的差分sub由以下的式1表示。在此，t是压缩对象的帧的编号。另外，l是亮度等级数(在亮度值为8位的情况下是256)。
[0084][0085]
需要说明的是，差分处理不限定于在相邻的帧间进行。例如，也可以在帧1的图像数据10和与帧1离开了2帧的帧3的图像数据10之间进行差分处理。
[0086]
区域决定部24通过从差分部23接受小块12间的差分sub并将差分sub与规定的阈值tsub进行比较来决定将正在着眼的小块12设为关注区域还是设为非关注区域。具体而言，在满足以下的式2的情况下，将小块12决定为关注区域，在不满足的情况下，决定为非关注区域。也就是说，区域决定部24将在帧间亮度值的变化大的小块12决定为关注区域，将亮度值的变化小的小块12决定为非关注区域。sub≥tsub
…
(式2)
[0087]
区域决定部24将关注区域或非关注区域的决定结果设为块信息，将块信息和图像数据10上的小块12的位置信息一并向区域指定部25及影像整列部27输出。从块分割部21向差分部23输出的小块12的输出顺序如上述那样事先决定。因而，小块12的位置信息基于输出顺序而决定。小块12的位置只要是能够确定图像数据10上的小块12的位置的信息即可，没有限定，但例如可以是图像数据10上的小块12的左上角坐标，也可以是小块12的输出顺序。
[0088]
区域指定部25基于从区域决定部24接受到的小块12的块信息，将从块分割部21接受到的小块12向下变换部26或影像整列部27输出。
[0089]
接着，对由区域指定部25进行的小块12的输出处理进行说明。图7是示出由区域决定部24决定出的1画面量(图像数据10)的块信息的图。
[0090]
仅记载为b的大块14(例如，大块14b～14d)表示大块14中包含的全部(4个)小块12均为非关注区域(以下，也称作“块b”)。
[0091]
另一方面，被分割成4个小块12的大块14(例如，大块14e～14i)表示仅由关注区域(以下，也称作“块a”)构成的大块14或块a及b混合存在的大块14。例如，大块14e由块a及b混合存在的4个小块12p～12s构成。另外，大块14f由仅为块a的4个小块12构成。
[0092]
区域指定部25在大块14中哪怕包含1个块a的情况下，将该大块14中包含的全部的小块12向影像整列部27输出。例如，图7所示的小块12s被决定为块a。因而，区域指定部25将小块12s所属的大块14e中包含的全部的小块12p～12s向影像整列部27输出。
[0093]
另一方面，区域指定部25在大块14之中的小块12全部是块b的情况下，将该大块14中包含的全部的小块12向下变换部26输出。例如，图7所示的大块14b中的小块12全部是块b。因而，区域指定部25将大块14b中包含的全部的小块12向下变换部26输出。
[0094]
下变换部26作为执行作为规定的前处理的压缩处理的压缩处理部发挥功能，作为前处理压缩处理，进行缩小从区域指定部25接受到的小块12的尺寸的下变换处理。
[0095]
图8是示出下变换处理的一例的图。例如，下变换部26从区域指定部25接受处理对
象的大块14中包含的4个小块12。下变换部26执行将大块14沿纵横分别缩小为1/2的下变换处理，生成缩小块16(以下，也称作“块c”)。下变换部26将生成的缩小块16向影像整列部27输出。
[0096]
影像整列部27从区域指定部25或下变换部26接受小块12或缩小块16，按照与来自区域指定部25的输出对应的顺序整列并输出。另外，影像整列部27将小块12或缩小块16的位置信息及块信息向压缩影像整列部29输出。
[0097]
以下，对区域指定部25、下变换部26及影像整列部27执行的处理进行说明。图9是作为一例而用于说明相对于图7的图像数据10中的大块14b～14d的处理的图。图10是作为一例而用于说明相对于图7的图像数据10中的大块14e～14g的处理的图。
[0098]
图9的上排表示从区域指定部25输出的小块12的顺序，图9的下排表示向影像整列部27输入的小块12的顺序。关于图10也是同样的。
[0099]
参照图9，区域指定部25将大块14b中包含的4个小块12按照光栅顺序从块分割部21依次接受。另外，区域指定部25从区域决定部24将4个小块12的块信息按照光栅顺序接受。区域指定部25根据块信息而判定4个小块12全部是块b。因而，区域指定部25将4个块b向下变换部26输出。下变换部26从区域指定部25接受4个块b，通过对这些块b执行下变换处理来生成缩小块16(块c)。下变换部26将生成的块c向影像整列部27输出。
[0100]
影像整列部27将从下变换部26接受到的缩小块16按照接受的顺序向影像压缩部28输出。另外，影像整列部27将缩小块16的位置信息及块信息向压缩影像整列部29输出。缩小块16的位置信息是成为了缩小块16的生成的基础的大块14b中包含的任一(例如，左上角)的小块12的位置信息。缩小块16的块信息是表示缩小块16通过对小块12进行下变换处理而生成的信息(例如，表示块c的信息)。
[0101]
区域指定部25、下变换部26及影像整列部27关于大块14c及大块14d也依次执行同样的处理。
[0102]
参照图10，区域指定部25将大块14e中包含的4个小块12p～12s按照光栅顺序从块分割部21依次接受。另外，区域指定部25从区域决定部24将4个小块12p～12s的块信息按照光栅顺序接受。区域指定部25根据块信息而判定在4个小块12中包含块a即小块12s。因而，区域指定部25将4个小块12p～12s按照光栅顺序向影像整列部27输出。
[0103]
影像整列部27将从区域指定部25接受到的小块12p～12s按照接受的顺序向影像压缩部28输出。另外，影像整列部27将小块12p～12s的位置信息及块信息向压缩影像整列部29输出。小块12p～12s的位置信息及块信息与从区域决定部24接受到的信息相同。
[0104]
区域指定部25关于大块14f及14g也依次执行同样的处理。
[0105]
影像压缩部28从影像整列部27接受小块12(块a、b)或缩小块16(块c)。影像压缩部28按照接受到的块的顺序对块执行作为影像整体的影像压缩处理，将已压缩块向压缩影像整列部29输出。影像压缩处理是可逆压缩处理或不可逆压缩处理。可逆压缩处理是以能够将压缩后的块恢复为压缩前的块的的方式压缩的处理，一般压缩率低，通过图像而压缩率大幅变动。具体而言，接近噪音的图像的压缩率低。另一方面，锐利的图像的压缩率高。另一方面，不可逆压缩处理是以不能将压缩后的块恢复为压缩前的块的方式压缩的处理。不过，使用了被称作visually lossless compression(视觉无损压缩)或visually reversible compression(视觉可逆压缩)的算法的不可逆压缩处理是具有视觉上的可逆性的压缩方
法。因而，在本实施方式中，例如，影像压缩部28进行基于visually reversible compression的不可逆压缩处理。
[0106]
压缩影像整列部29从影像压缩部28接受已压缩块。压缩影像整列部29按照接受到的块的顺序，对块附加从影像整列部27取得的位置信息及块信息并向发送部30输出。
[0107]
发送部30构成为包含通信接口，将附加有位置信息及块信息的已压缩块编码并作为已压缩影像数据而向影像接收装置4发送。
[0108]
<影像接收装置4的结构>图11是示出本公开的实施方式1的影像接收装置4的结构的框图。
[0109]
参照图11，影像接收装置4具备接收部41、信息提取部42、影像解压部44、影像整列部45、上变换部46及影像合成部47。
[0110]
影像接收装置4的一部分或全部由包含asic或fpga等集成电路等的硬件实现。
[0111]
需要说明的是，影像接收装置4也能够由具备cpu、ram及rom等的计算机实现。通过在cpu等运算处理装置上执行计算机程序，各处理部作为功能性的构成要素而实现。
[0112]
接收部41构成为包含通信接口。接收部41从影像发送装置2接收1画面量的已压缩影像数据，将接收到的数据解码。解码后的数据包含附加有位置信息及块信息的已压缩块。接收部41将已压缩块向信息提取部42及影像解压部44依次输出。
[0113]
信息提取部42从接收部41接受已压缩块。信息提取部42从该块提取位置信息及块信息，并向影像整列部45及影像合成部47输出。
[0114]
影像解压部44从接收部41依次接受已压缩块。影像解压部44按照接受的顺序对已压缩块执行影像解压处理，将解压后的块向影像整列部45输出。影像解压处理是可逆解压处理或不可逆解压处理。影像解压部44执行与影像发送装置2的影像压缩部28的压缩处理对应的解压处理。也就是说，影像解压部44在影像压缩部28执行了可逆压缩处理的情况下，执行与该处理对应的可逆解压处理，在影像压缩部28执行了不可逆压缩处理的情况下，执行与该处理对应的不可逆解压处理。
[0115]
影像整列部45从影像解压部44依次接受已解压块。另外，影像整列部45从信息提取部42接受已解压块的位置信息及块信息。影像整列部45基于位置信息来整列已解压块。也就是说，影像整列部45按照光栅顺序来整列已解压块。影像整列部45基于块信息来判断已解压块的种类。影像整列部45在已解压块是块a或块b的情况下，将该块向影像合成部47输出。影像整列部45在已解压块是块c的情况下，将该块向上变换部46输出。
[0116]
上变换部46从影像整列部45接受块c，执行将块c沿纵横分别扩大为2倍的上变换处理。也就是说，上变换部46进行将块c高分辨率化的处理。上变换部46将生成的已上变换块向影像合成部47输出。
[0117]
影像合成部47从影像整列部45或上变换部46接受块，从信息提取部42接受块的位置信息。影像合成部47通过将各块配置于位置信息所示的位置来合成图像数据。影像合成部47通过将影像数据向显示装置5依次输出来将影像数据向显示装置5输出。
[0118]
接着，关于影像整列部45、上变换部46及影像合成部47执行的处理，举出具体例来说明。图12是示出已压缩影像数据的一例的图。图12示出了将图7所示的图像数据10压缩后的1画面量的数据。
[0119]
图7的图像数据10的第1行的大块14全部由b块构成。因而，图12所示的已压缩影像
数据的第1行全部由c块构成。关于图像数据10的第4行及第5行也是同样的。
[0120]
图像数据10的第2行的开头的3个大块14全部由b块构成。因而，已压缩影像数据的第2行的开头的3个由c块构成。图像数据10的第2行的第4个大块14h和第5个大块14i包含1个以上的a块。因而，已压缩影像数据的第2行的第4个～第11个与大块14h及14i中包含的小块12相同。图像数据10的第2行的第6个～第8个大块14全部由b块构成。因而，已压缩影像数据的第2行的最后的3个由c块构成。
[0121]
关于已压缩影像数据的第3行，也以与图像数据10的第3行对应的方式同样地构成。
[0122]
影像整列部45将构成将图12所示的已压缩影像数据解压后的影像数据的块按照图12所示的位置顺序接受。也就是说，影像整列部45从左上的块c到右下的块c为止按照光栅顺序接受块。
[0123]
影像整列部45在接受到块c的情况下向上变换部46输出。上变换部46将块c上变换并向影像合成部47输出。影像整列部45在接受到块a或b的情况下向影像合成部47输出。
[0124]
影像合成部47通过将从影像整列部45接受到的块a或b和从上变换部46接受到的上变换后的块c合成来生成图7所示的块的排列的图像数据10。
[0125]
<影像传输系统100的处理流程>图13是示出影像传输系统100的处理工序的一例的序列图。
[0126]
参照图13，影像发送装置2从相机1取得影像数据(s1)。
[0127]
影像发送装置2对于取得的影像数据，针对构成影像数据的每个图像数据执行压缩处理(s2)。关于压缩处理的详情后述。影像发送装置2将已压缩影像数据编码(s3)。
[0128]
影像发送装置2将编码后的已压缩影像数据向影像接收装置4发送，影像接收装置4接收该数据(s4)。影像接收装置4将接收到的已压缩影像数据解码(s5)。
[0129]
影像接收装置4将已压缩影像数据针对每个画面进行解压处理(s6)。关于解压处理的详情后述。影像接收装置4将解压后的影像数据向显示装置5输出(s7)。
[0130]
接着，对压缩处理(图13的步骤s2)进行说明。图14是示出压缩处理(图13的步骤s2)的详情的流程图。
[0131]
块分割部21将图像数据分割为规定尺寸的小块12(s11)。由此，如图4所示，图像数据10被分割成小块12。
[0132]
影像发送装置2以图5所示的光栅顺序的大块14为单位反复执行后述的循环b及步骤s17～s21(循环a)。
[0133]
影像发送装置2关于各大块14，以光栅顺序的小块12为单位反复执行后述的步骤s12～s16(循环b)。
[0134]
也就是说，差分部23按照式1而在帧间算出小块12的差分sub(s12)。
[0135]
区域决定部24按照式2来进行差分sub与阈值tsub的比较(s13)。
[0136]
在满足式2的情况下(在s13中为是)，区域决定部24将小块12决定为块a，将小块12的块信息及位置信息向区域指定部25及影像整列部27输出(s14)。在不满足式2的情况下
(在s13中为否)，区域决定部24将小块12决定为块b，将小块12的块信息及位置信息向区域指定部25及影像整列部27输出(s15)。
[0137]
区域指定部25将被决定了种类的小块12向缓冲部22缓冲(s16)。
[0138]
在循环b的处理后，区域指定部25基于从区域决定部24接受到的小块12的块信息来判断在大块14中是否包含块a(s17)。在包含块a的情况下(在s17中为是)，区域指定部25将缓冲于缓冲部22的大块14中包含的4个小块12向影像整列部27输出(s18)。
[0139]
在不包含块a的情况下(在s17中为否)，区域指定部25将缓冲于缓冲部22的大块14中包含的4个小块12向下变换部26输出。下变换部26将4个小块12下变换并将缩小块16向影像整列部27输出(s19)。
[0140]
影像整列部27将从区域指定部25或下变换部26接受到的小块12或缩小块16向影像压缩部28输出，影像压缩部28对该块执行影像压缩处理(s20)。
[0141]
压缩影像整列部29对已压缩块附加位置信息及块信息，并向发送部30输出(s21)。
[0142]
接着，对解压处理(图13的步骤s6)进行说明。图15是示出解压处理(图13的步骤s6)的详情的流程图。
[0143]
影像接收装置4以构成已压缩影像数据的已压缩块为单位反复执行以下的步骤s42～s48(循环c)。
[0144]
信息提取部42从已压缩块提取位置信息及块信息，并向影像整列部45及影像合成部47输出(s42)。
[0145]
影像解压部44对已压缩块执行影像解压处理，将解压后的块向影像整列部45输出(s44)。
[0146]
影像整列部45判断已解压块是否是块c(s45)。在是块c的情况下(在s45中为是)，影像整列部45将该块向上变换部46输出，上变换部46将块c上变换，将已上变换块向影像合成部47输出(s46)。
[0147]
在已解压块是块a或块b的情况下(在s45中为否)，影像整列部45将该块向影像合成部47输出(s47)。
[0148]
影像合成部47从影像整列部45或上变换部46接受块，通过将各块配置于位置信息所示的位置来合成图像数据(s48)。
[0149]
<实施方式1的效果等>如以上说明那样，根据本公开的实施方式1，能够在对影像数据的画面内的关注区域不执行下变换处理且对非关注区域执行了下变换处理后发送已压缩的影像数据。因而，关于关注区域，保持与原始影像的同一性。另外，对于非关注区域，执行画面内的下变换处理。因而，不容易产生在画面间进行压缩处理的h.265等中产生的影像的延迟。由此，能够进行影像数据的低延迟发布。
[0150]
另外，关注区域及非关注区域以块为单位被指定。因而，能够以块为单位执行下变换处理。由此，能够高速执行压缩处理。
[0151]
需要说明的是，在实施方式1中，在大块14中的全部的小块12是b块的情况下，将大块14下变换，但也可以是，在大块14中哪怕包含1个b块的情况下，将大块14下变换。
[0152]
[实施方式2]在实施方式1中，在1个大块14中a块及b块混合存在的情况下，不将大块14中的小
块12下变换。相对于此，在实施方式2中，对关于这样的大块14生成包含不下变换的a块和将大块14下变换后的c块的已压缩影像数据的影像传输系统100进行说明。
[0153]
影像传输系统100的结构与实施方式1是同样的。另外，影像传输系统100的处理工序与实施方式1是同样的。不过，压缩处理(图13的步骤s2)与实施方式1不同。
[0154]
图16是示出影像发送装置2执行的压缩处理(图13的步骤s2)的详情的流程图。关于与图14所示的流程图同样的处理，标注相同的步骤编号。
[0155]
在步骤s14的处理后，区域指定部25将块a向影像整列部27输出(s31)。
[0156]
另外，在循环b的处理后，区域指定部25基于从区域决定部24接受到的小块12的块信息来判断在大块14中是否包含块b(s32)。在包含块b的情况下(在s32中为是)，区域指定部25将缓冲于缓冲部22的大块14中包含的4个小块12向下变换部26输出。下变换部26将4个小块12下变换并将缩小块16向影像整列部27输出(s33)。
[0157]
以下，对区域指定部25、下变换部26及影像整列部27执行的处理进行说明。图17是作为一例而用于说明相对于图7的图像数据10中的大块14e～14g的处理的图。图17的上排表示从区域指定部25输出的小块12的顺序，图17的下排表示向影像整列部27输入的小块12的顺序。
[0158]
参照图17，区域指定部25将大块14e中包含的4个小块12p～12s按照光栅顺序从块分割部21依次接受。另外，区域指定部25从区域决定部24将4个小块12p～12s的块信息按照光栅顺序接受。区域指定部25判定包含块a的小块12s的情况，将小块12s向影像整列部27输出。另外，区域指定部25判定在4个小块12中包含块b的情况。因而，区域指定部25将小块12p～12s按照光栅顺序向下变换部26输出。下变换部26接受小块12p～12s，通过对这些小块执行下变换处理来生成缩小块16(块c)。下变换部26将生成的块c向影像整列部27输出。
[0159]
影像整列部27将从区域指定部25接受到的缩小块16按照接受的顺序向影像压缩部28输出。另外，影像整列部27将缩小块16的位置信息及块信息向压缩影像整列部29输出。缩小块16的位置信息及块信息与从区域决定部24接受到的信息相同。
[0160]
区域指定部25关于大块14f及14g也依次执行同样的处理。
[0161]
解压处理(图13的步骤s6)的流程与图15所示的流程是同样的。不过，图像数据合成处理(图15的步骤s48)一部分不同。也就是说，如图17所示，在实施方式2中，存在关于1个大块14e生成a块及c块的情况。因而，a块和将c块上变换后的块的区域一部分重叠。因而，影像合成部47在配置了a块后将已上变换块向a块的位置配置时，留下a块，将已上变换块除了a块的区域之外而配置。由此，防止a块被已上变换块覆盖。
[0162]
[实施方式3]在实施方式1或实施方式2中，将用于判定将小块12设为关注区域还是设为非关注区域的差分sub的阈值tsub设为了固定，但也能够将阈值tsub设为可变。在实施方式3中，对根据已压缩影像数据的传输状况而使阈值tsub变化的例子进行说明。也就是说，在传输状况发生了恶化的情况下，通过增大阈值tsub来减少关注区域的个数，由此，削减已压缩影像数据的数据尺寸。
[0163]
影像传输系统100的结构与实施方式1是同样的。另外，影像传输系统100的处理工序与实施方式1是同样的。不过，压缩处理(图13
的步骤s2)与实施方式1不同。
[0164]
图18是示出影像发送装置2执行的压缩处理(图13的步骤s2)的详情的流程图。关于与图14所示的流程图同样的处理，标注相同的步骤编号。
[0165]
在步骤s12的处理后，区域决定部24判断蓄积于缓冲部22的未处理的缓冲数据量是否比阈值tdata1大(s33)。需要说明的是，块分割部21使从相机1接收到的影像数据依次存储于缓冲部22，但若在从影像发送装置2向影像接收装置4的已压缩影像数据的传输产生延迟，则缓冲部22的未处理的缓冲数据量增加。也就是说，未处理的缓冲数据量起到作为表示影像数据的发送状况的发送状况信息的作用。
[0166]
在未处理的缓冲数据量比tdata1大的情况下(在s33中为是)，区域决定部24将阈值tsub增大α(正的常数)。由此，能够使得难以生成关注区域。
[0167]
在未处理的缓冲数据量为tdata1以下的情况下(在s33中为否)，区域决定部24判断未处理的缓冲数据量是否为阈值tdata2以下(s35)。在此，tdata2是tdata1以下的值。在未处理的缓冲数据量为阈值tdata2以下的情况下(在s35中为是)，块分割部21将阈值tsub减小β(正的常数)。由此，能够使得容易生成关注区域。需要说明的是，α和β可以相同，也可以不同。
[0168]
在未处理的缓冲数据量比阈值tdata2大的情况下(在s35中为否)，或者在s34或s36的处理后，执行步骤s13以后的处理。
[0169]
根据实施方式3，能够在未处理的缓冲数据量增加了的情况下使被判定为关注区域的小块12的个数减少。若影像数据的传输速率下降，则未处理的缓冲数据量增加。也就是说，根据实施方式2，在影像数据的传输速率下降了的情况下，通过减小关注区域的尺寸，能够减小传输的影像数据的尺寸。由此，能够实现影像数据的低延迟发布。
[0170]
[实施方式4]在实施方式1～实施方式3中，基于小块12间的差分sub来决定关注区域。在实施方式4中，用户指定关注区域。
[0171]
影像传输系统100的结构与实施方式1是同样的。不过，影像发送装置2及影像接收装置4的结构与实施方式1一部分不同。
[0172]
图19是示出本公开的实施方式4的影像发送装置2的结构的框图。
[0173]
参照图19，实施方式4的影像发送装置2具备块分割部21、缓冲部22、区域指定部25、下变换部26、影像整列部27、影像压缩部28、压缩影像整列部29、发送部30及接收部31。处理部21、22及25～30与图2所示的处理部是同样的。
[0174]
接收部31从影像接收装置4接收关注区域信息。关注区域信息是表示影像数据的画面中的关注区域的位置的信息。关注区域信息例如可以包含关注区域的左上角坐标，也可以是与小块12的位置建立了对应的编号。需要说明的是，关注区域信息也可以取代关注区域的位置信息而包含非关注区域的位置信息。另外，关注区域信息也可以包含关注区域的位置信息及非关注区域的位置信息双方。
[0175]
区域指定部25基于接收部31接收到的关注区域信息，将块分割部21分割后的小块12向下变换部26或影像整列部27输出。也就是说，区域指定部25将关注区域的小块12向影像整列部27输出，将非关注区域的小块12向下变换部26输出。
[0176]
图20是示出本公开的实施方式4的影像接收装置4的结构的框图。
[0177]
参照图20，实施方式4的影像接收装置4具备接收部41、信息提取部42、影像解压部44、影像整列部45、上变换部46、影像合成部47、位置信息取得部48、关注区域决定部49及发送部50。处理部41～47与图11所示的处理部是同样的。
[0178]
位置信息取得部48取得用户操作鼠标、键盘等输入单元而输入的关注区域的位置信息，将取得的位置信息向关注区域决定部49输出。需要说明的是，位置信息取得部48也可以从连接于影像接收装置4的处理装置取得关注区域的位置信息。例如，处理装置从影像接收装置4接收影像数据，基于该影像数据，通过进行图像处理来决定关注区域的位置信息，或者使用人工智能来决定关注区域的位置信息。处理装置将决定出的关注区域的位置信息向影像接收装置4输出，由此，影像接收装置4的位置信息取得部48取得该位置信息。
[0179]
关注区域决定部49从位置信息取得部48接受位置信息，生成用于指定关注区域的关注区域信息。例如，关注区域决定部49生成包含关注区域的小块12的左上角坐标或与关注区域的小块12的位置建立了对应的编号的关注区域信息。关注区域决定部49将生成的关注区域信息向发送部50输出。
[0180]
发送部50从关注区域决定部49接受关注区域信息，并向影像发送装置2发送。接着，对影像传输系统100的处理的流程进行说明。
[0181]
图21是示出影像传输系统100的处理工序的一例的序列图。
[0182]
参照图21，影像接收装置4将基于用户输入生成的关注区域信息对影像发送装置2发送，影像发送装置2接收关注区域信息(s8)。
[0183]
在步骤s8的处理后，执行与图13所示的处理同样的步骤s1～s7的处理。不过，压缩处理(步骤s2)的内容一部分不同。
[0184]
图22是示出压缩处理(图21的步骤s2)的详情的流程图。图22所示的流程图从图14所示的示出压缩处理的详情的流程图除去了决定小块12是块a及块b的哪一个的处理(图14的步骤s12～s15)。
[0185]
也就是说，影像发送装置2基于从影像接收装置4接收到的关注区域信息，能够判断小块12是块a及块b的哪一个。因而，能够省略图14的步骤s12～s15的处理。
[0186]
根据实施方式4，能够实现关于用户指定的区域保持了与原始影像的同一性的影像数据的低延迟发布。例如，在将影像数据使用于预先知道监视对象区域的监视用途的情况下，通过用户将监视对象区域指定为关注区域，能够高效地进行监视处理。
[0187]
[实施方式5]在实施方式5中，对基于用户的视线来决定关注区域的例子进行说明。
[0188]
图24是示出本公开的实施方式5的影像传输系统的整体结构的图。参照图24，影像传输系统100a具备相机1、影像发送装置2、影像接收装置4a、显示装置5及相机6。
[0189]
相机1及显示装置5的结构与实施方式1所示的结构是同样的。影像发送装置2的结构与实施方式4所示的结构是同样的。
[0190]
影像接收装置4a与在实施方式4中说明的影像接收装置4同样，从影像发送装置2接收影像数据，将接收到的影像数据显示于显示装置5。不过，结构与影像接收装置4一部分不同。关于影像接收装置4a的结构后述。
[0191]
图25是示出显示装置5及相机6的一例的图。
显示装置5是用于在液晶显示器、有机el(electroluminescence：电致发光)显示器等的画面显示影像的装置。
[0192]
在显示装置5的边框部分内置有相机6。不过，相机6也可以与显示装置5相独立地设置。例如，也可以将相机6安装于显示装置5来使用。需要说明的是，设为：显示装置5的画面与相机6的位置关系预先知道。相机6设置于能够拍摄观察显示装置5的画面的用户61a的脸部的位置。尤其是，相机6设置于能够拍摄用户61a的眼睛的位置。
[0193]
图26是示出本公开的实施方式5的影像接收装置4a的结构的框图。参照图26，实施方式5的影像接收装置4a在图20所示的实施方式4的影像接收装置4的结构中，取代位置信息取得部48及关注区域决定部49而具备影像数据取得部51及关注区域决定部49a。
[0194]
影像数据取得部51从相机6接收相机6拍摄到的影像数据，将接收到的影像数据向关注区域决定部49a输出。
[0195]
关注区域决定部49a从影像数据取得部51接受影像数据，基于该影像数据来决定显示装置5的画面上的用户的视线位置。例如，如图25所示，设为：用户61a将眼睛朝向视线方向71a，正在观察显示于显示装置5的画面的摩托车81。在视线方向71a的检测中，能够使用公知的技术。例如，关注区域决定部49a根据用户61a的影像数据来检测眼睛不动的部分(基准点)和移动的部分(动点)。在此，将基准点设为用户61a的大眼角，将动点设为用户61a的虹膜。关注区域决定部49a基于动点相对于基准点的位置来检测以相机6的光轴的朝向为基准的情况下的用户61a的视线的朝向(例如，参照非专利文献2)。关注区域决定部49a将视线方向71a与画面的交点决定为视线位置72a。视线位置72a例如由显示于画面的影像数据的坐标表示。
[0196]
关注区域决定部49a基于决定出的视线位置72a来决定显示于显示装置5的影像数据内的关注区域。
[0197]
图27是用于对关注区域的决定方法进行说明的图。图27示出了将显示于显示装置5的画面的图像数据10分割成多个小块12的一例。设为：用户61a例如正在观察小块12e内。也就是说，设为：用户61a的视线位置72a存在于小块12e内。关注区域决定部49a根据视线位置72a的坐标而判断视线位置72a包含于小块12e。关注区域决定部49a将由包含小块12e的多个小块12构成的区域决定为关注区域91a。例如，关注区域决定部49a将由小块12e和与小块12e相邻的8个附近的小块12构成的区域决定为关注区域91a。
[0198]
关注区域91a的尺寸是一例，不限定于上述的尺寸。需要说明的是，在人的视觉中，能够准确地确认物体的形状、颜色等的是从视线方向起1～2度左右的被称作中央窝视觉(foveal vision)的范围。因而，在知道了从用户61a到显示装置5为止的大概的距离的情况下，画面上的中央窝视觉也能够定义。因而，也可以将以视线位置72a为中心的中央窝视觉决定为关注区域91a。
[0199]
关注区域决定部49a与关注区域决定部49同样，生成用于指定关注区域的关注区域信息，将生成的关注区域信息向发送部50输出。
[0200]
接着，对影像传输系统100a的处理的流程进行说明。图28是示出影像传输系统100a的处理工序的一例的序列图。
[0201]
参照图28，影像接收装置4a从相机6取得包含正在观察显示装置5的画面的用户
61a的眼睛的图像的影像数据(s51)。
[0202]
影像接收装置4a基于取得的影像数据来决定显示于显示装置5的影像数据中的用户61a的关注区域。
[0203]
影像接收装置4将表示决定出的关注区域的关注区域信息对影像发送装置2发送，影像发送装置2接收关注区域信息(s8)。
[0204]
在步骤s8的处理后，执行与图13所示的处理同样的步骤s1～s7的处理。
[0205]
图29是示出关注区域决定处理(图28的步骤s52)的详情的流程图。
[0206]
参照图29，影像接收装置4的关注区域决定部49a基于在步骤s51中取得的影像数据来决定用户61a的画面上的视线位置72a(s61)。
[0207]
关注区域决定部49a将包含视线位置72a的规定的区域决定为关注区域91a(s62)。
[0208]
接着，对影像传输系统100a的使用形态的一例进行说明。以下，说明相机1安装于移动体(例如，无人机)的例子。
[0209]
图30是示意性地示出由无人机进行的影像的拍摄的图。参照图30，在无人机110搭载有用于拍摄周围的影像的相机1。无人机110一边通过用户的远程操纵而飞行，一边利用相机1来拍摄影像。例如，无人机110拍摄了拍摄范围120a的影像后，通过用户的操作而向其他位置移动，对拍摄范围120b的影像进行拍摄。
[0210]
图31及图32是示意性地示出用于操作无人机110的控制器和操作控制器的用户的图。
[0211]
参照图31，设为：在控制器111内置有影像接收装置4a。另外，控制器111具备用于显示影像的画面112、用于操纵无人机110的操纵杆113及对操作控制器111的用户61c进行拍摄的相机6。通过用户61c操作操纵杆113，能够变更无人机110的行进方向、速度等。
[0212]
设为：在画面112显示有拍摄范围120a的影像。设为：用户61c将眼睛朝向视线方向71c，正在观察显示于画面112的船83，用户61c的视线处于视线位置72c。在该情况下，影像接收装置4a将包含视线位置72c的规定的区域决定为关注区域91c。由此，用户正在观察的船83保持与原始影像的同一性。另一方面，画面112上的关注区域91c以外的区域被设为非关注区域，对非关注区域执行下变换处理。
[0213]
参照图32，设为：用户61c变更视线方向71c而正在观察显示于画面112的船84，用户61c的视线处于视线位置72c。在该情况下，影像接收装置4a将包含视线位置72c的规定的区域决定为关注区域91c。由此，用户正在观察的船84保持与原始影像的同一性。另一方面，画面112上的关注区域91c以外的区域被设为非关注区域，被执行下变换处理。
[0214]
根据实施方式5，例如，显示装置5的画面内的用户的视线位置的附近的区域被设为关注区域，其以外的区域被设为非关注区域。因而，在用户正在观察的画面内的区域中，保持与原始影像的同一性，在用户未观察的区域中，执行规定的压缩处理。由此，能够不给观察画面的用户带来违和感地进行影像数据的压缩及低延迟发布。
[0215]
[实施方式6]在实施方式5中，对根据用户的视线位置来决定关注区域的例子进行了说明。在实施方式6中，对基于视线位置的持续时间而将关注区域固定的例子进行说明。在用户长时间注视着画面上的相同位置的情况下，可认为是因为对该位置的关心高。因而，可认为：即使用户将视线从注视位置移开，再次观察该位置的可能性也高。因而，在长时间注视着相同位
置的情况下，将关注区域固定。
[0216]
实施方式6的影像传输系统的结构与实施方式5是同样的。不过，由影像接收装置4的关注区域决定部49a进行的处理与实施方式5不同。
[0217]
图33是示出本公开的实施方式6的关注区域决定处理(图28的步骤s52)的详情的流程图。
[0218]
参照图27及图33，影像接收装置4的关注区域决定部49a判断关注区域91a是否被固定(s71)。若关注区域91a为固定中(在s71中为是)，则结束关注区域决定处理(图28的步骤s52)。
[0219]
若关注区域91a未被固定(在s71中为否)，则关注区域决定部49a执行步骤s61及s62的处理。这些处理与图29所示的处理是同样的。
[0220]
关注区域决定部49a将在步骤s61中检测到的视线位置的信息与视线位置的检测时刻的信息一起向未图示的存储装置记录(s72)。
[0221]
关注区域决定部49a基于记录于存储装置的视线位置及检测时刻的信息来判定视线位置是否一定时间以上停留于相同的小块(s73)。例如，关注区域决定部49a判定视线位置存在于小块12e内的状态是否持续了一定时间以上。
[0222]
若判定结果为真(在s73中为是)，则关注区域决定部49a之后将关注区域91a固定规定时间(s74)。
[0223]
若判定结果为假(在s73中为否)，则关注区域决定部49a结束关注区域决定处理(图28的步骤s52)。
[0224]
根据实施方式6，通过用户注视画面内的规定位置或规定位置的附近，能够将关注区域固定规定时间。在此，规定位置的附近例如表示属于与规定位置相同的小块的位置。由此，即使在用户进行了上述的注视后一瞬间移开了视线的情况下，关注区域也仍被固定。由此，之后，在用户将视线移回到原来的位置的情况下，能够立即观察与原始影像保持了同一性的影像。不过，规定位置的附近的定义不限定于上述的定义。
[0225]
[实施方式7]在实施方式5及实施方式6中，说明了用户数为1的例子。在实施方式7中，对用户数为多个的例子进行说明。
[0226]
实施方式7的影像传输系统的结构与实施方式5是同样的。不过，影像接收装置4a的关注区域决定部49a决定的关注区域为多个这一点与实施方式5不同。
[0227]
图34是示出显示装置5及相机6的一例的图。图34所示的显示装置5及相机6与图25所示的显示装置5及相机6是同样的。在实施方式7中，设为：与实施方式5不同，多个用户正在观察显示装置5的画面。例如，设为：用户61a及用户61b正在观察显示装置5的画面。例如，设为：用户61a将眼睛朝向视线方向71a，正在观察显示于画面的摩托车81。另外，设为：用户61b将眼睛朝向视线方向71b，正在观察显示于画面的汽车82。
[0228]
影像接收装置4a的关注区域决定部49a从影像数据取得部51接受影像数据，基于该影像数据来决定显示装置5的画面上的用户的视线位置。视线位置的决定方法与实施方式5是同样的。在图34的例子中，关注区域决定部49a将视线方向71a与画面的交点决定为用户61a的视线位置72a。另外，关注区域决定部49a将视线方向71b与画面的交点决定为用户61b的视线位置72b。视线位置72a及视线位置72b例如由显示于画面的影像数据的坐标表
示。
[0229]
关注区域决定部49a基于决定出的视线位置72a及视线位置72b来决定显示于显示装置5的影像数据内的关注区域。
[0230]
图35是用于对关注区域的决定方法进行说明的图。图35示出了将显示于显示装置5的画面的图像数据10分割为多个小块12的一例。设为：用户61a例如正在观察小块12e内。也就是说，设为：用户61a的视线位置72a存在于小块12e内。关注区域决定部49a根据视线位置72a的坐标而判断视线位置72a包含于小块12e。关注区域决定部49a将由包含小块12e的多个小块12构成的区域决定为关注区域91a。例如，关注区域决定部49a将由小块12e和与小块12e相邻的8个附近的小块12构成的区域决定为关注区域91a。
[0231]
设为：用户61b例如正在观察小块12f内。也就是说，设为：用户61b的视线位置72b存在于小块12f内。关注区域决定部49a根据视线位置72b的坐标而判断视线位置72b包含于小块12f。关注区域决定部49a将由包含小块12f的多个小块12构成的区域决定为关注区域91b。例如，关注区域决定部49a将由小块12f和与小块12f相邻的8个附近的小块12构成的区域决定为关注区域91b。
[0232]
关注区域91a的尺寸及关注区域91b的尺寸是一例，不限定于上述的尺寸。需要说明的是，在人的视觉中，能够准确地确认物体的形状、颜色等的范围是从视线方向起1～2度左右的被称作中央窝视觉的范围。因而，在知道了从用户61a或用户61b到显示装置5为止的大概的距离的情况下，画面上的中央窝视觉也能够定义。因而，也可以将以视线位置72a及视线位置72b为中心的中央窝视觉分别决定为关注区域91a及关注区域91b。
[0233]
由此，在影像接收装置4a中，画面上的关注区域91a及关注区域91b以外的区域被设为非关注区域，对非关注区域执行下变换处理。
[0234]
根据实施方式4，针对每个用户，基于该用户的视线位置来确定关注区域。因而，即使多个用户观察了同一画面上的不同位置，各用户的视线位置的附近的区域也被设为关注区域，在各关注区域中保持与原始影像的同一性。因而，不会给上述多个用户带来违和感。
[0235]
需要说明的是，在实施方式4中，根据相机6拍摄到的影像数据来决定多个用户的视线位置，但也可以是，相机6针对每个用户而设置。例如，在图34所示的例子中，分别设置有用于拍摄用户61a的相机6和用于拍摄用户61b的相机6。关注区域决定部49a根据各相机6拍摄到的影像数据来决定关注区域。
[0236]
[实施方式8]在上述的实施方式中，将影像数据的画面内分割为关注区域和非关注区域。在实施方式8中，对将非关注区域进一步分割为2个种类的非关注区域的例子进行说明。
[0237]
实施方式7的影像传输系统的结构与实施方式5是同样的。不过，影像接收装置4a的关注区域决定部49a决定的非关注区域存在2个种类这一点与实施方式5不同。
[0238]
图36是用于对关注区域及非关注区域的决定方法进行说明的图。图36示出了将显示于显示装置5的画面的图像数据10分割为多个小块12的一例。
[0239]
关注区域决定部49a与实施方式5同样，基于用户61a的视线位置72a来决定关注区域91a。接着，关注区域决定部49a将与关注区域91a相邻的区域决定为非关注区域92a。例如，关注区域决定部49a将配置于关注区域91a的周围的16个小块12决定为非关注区域92a。而且，关注区域决定部49a将图像数据10的关注区域91a及非关注区域92a以外的区域决定
为非关注区域92b。
[0240]
关注区域决定部49a生成用于分别指定关注区域91a、非关注区域92a及非关注区域92b的关注区域信息，将生成的关注区域信息向发送部50输出。发送部50向影像发送装置2发送关注区域信息。
[0241]
影像发送装置2的接收部31从影像接收装置4a接收关注区域信息，并向区域指定部25输出。
[0242]
区域指定部25基于接收部31接收到的关注区域信息，将关注区域91a的小块12向影像整列部27输出，将非关注区域92a及非关注区域92b的小块12向下变换部26输出。此时，区域指定部25将非关注区域的辨识信息(辨识非关注区域92a及非关注区域92b的信息)向下变换部26输出。
[0243]
下变换部26基于非关注区域的辨识信息，使小块12的压缩率变化，进行小块12的下变换处理。也就是说，下变换部26以使与非关注区域92a对应的小块12和与非关注区域92b对应的小块12相比压缩率变低的方式决定压缩率，基于决定出的压缩率来进行小块12的下变换处理。需要说明的是，非关注区域92a及非关注区域92b与压缩率的关系也可以事先设定。
[0244]
根据实施方式8，在非关注区域中，能够越是接近用户的视野的中心部的非关注区域92a则使压缩率越低且越是远离上述中心部的非关注区域92b则使压缩率越高而进行压缩处理。因而，能够防止在关注区域与非关注区域的边界部分处影像的视觉效果急剧变化，能够进行影像数据的低延迟发布。
[0245]
需要说明的是，非关注区域的种类不限定于2个种类，也可以是3个种类以上。在该情况下，优选的是，越是接近关注区域91a的非关注区域则压缩率越低。
[0246]
另外，在图2所示的影像发送装置2的区域决定部24中，也可以与关注区域决定部49a同样地决定多个种类的非关注区域。
[0247]
另外，在图20所示的影像接收装置4的关注区域决定部49中，也可以与关注区域决定部49a同样地决定多个种类的非关注区域。
[0248]
[变形例1]在上述的实施方式中，将小块12间的差分按照式1来算出，但差分的算出方法不限定于此。例如，也可以将小块12间的psnr(峰值信噪比)设为小块12间的差分。在该情况下，psnr越大则2个小块12越相似，psnr越小则2个小块12越不相似。因而，影像发送装置2在psnr比规定的阈值小的情况下将小块12决定为块a(关注区域)，在psnr比规定的阈值大的情况下将小块12决定为块b(非关注区域)。
[0249]
[变形例2]在实施方式1～3中，基于小块12间的差分来决定关注区域，但关注区域的决定方法不限定于此。例如，在将相机1安装于无人机的情况下，影像发送装置2也可以基于无人机的行进方向来决定关注区域。例如，也可以将映入有无人机的行进方向的周边的小块12决定为关注区域。需要说明的是，无人机的行进方向可以从无人机的控制装置接收。另外，也可以根据图像中的被拍摄体的动作来求出无人机的行进方向。例如，在将相机1安装于无人机的正面的情况下图像中的被拍摄体正在向左移动的情况下，能够判断为无人机正在向右方向行进。需要说明的是，被拍摄体的动作例如能够通过利用图像处理算出光流来求出。
[0250]
根据变形例2，能够实现关于基于无人机的行进方向而确定的关注区域保持了与原始影像的同一性的影像数据的低延迟发布。由此，例如，能够使无人机稳定地飞行。需要说明的是，相机1的安装对象不限定于无人机，也可以是重型设备等其他的移动体。
[0251]
[变形例3]另外，在影像数据包含外观检查的对象物的像的情况下，也可以将包含对象物的检查部位的区域设为关注区域。关注区域可以是用户按照实施方式4所示的方法来指定，也可以是连接于影像接收装置4的处理装置指定。
[0252]
根据变形例3，能够实现关于外观检查的对象物的检查部位保持了与原始影像的同一性的影像数据的低延迟发布。因而，能够以低延迟来执行对象物的外观检查。
[0253]
[变形例4]在上述实施方式及上述变形例中，将小块12分类成关注区域及非关注区域的任一者，但小块12被分类的区域不限定于这2个种类的区域。
[0254]
例如，也可以将小块12分类成关注区域、周边区域及非传输区域的任一者。在此，周边区域是位于关注区域的周边的区域(例如，与关注区域相邻的区域)。另外，非传输区域是画面内的区域中的关注区域及周边区域以外的区域。
[0255]
周边区域虽然为关注区域的范围外，但为关注区域的周边区域。因而，关于周边区域，不需要详细的影像信息，但需要用户能够识别对象的程度的影像信息。因而，影像发送装置2以对作为上述的非关注区域的周边区域执行下变换处理的方式进行控制。由此，能够关于非关注区域确保一定的目视确认性，并减少从影像发送装置2向影像接收装置4的数据传输量。需要说明的是，影像发送装置2与上述的实施方式同样，对关注区域不执行下变换处理。
[0256]
另外，影像发送装置2将属于非传输区域的小块12不向影像接收装置4传输。因而，能够减少从影像发送装置2向影像接收装置4的数据传输量。另外，通过属于非传输区域的小块12不被传输，影像发送装置2无需对非传输区域执行下变换处理。因而，能够减少影像发送装置2的处理量。需要说明的是，也可以将小块12分类成4个以上的区域。
[0257]
[变形例5]在上述的实施方式1中，在1个大块14中包含的全部的小块12是b块的情况下，对该大块14执行下变换处理而生成了c块(图9)。另外，在1个大块14中哪怕包含1个a块的情况下，对该大块14不执行下变换处理(图10)。
[0258]
相对于此，也可以对构成影像数据的各图像数据中包含的全部的大块14执行下变换处理，之后，决定不执行下变换处理的小块12。
[0259]
也就是说，参照图2，块分割部21将图像数据依次分割为大块14，并向区域指定部25输出。
[0260]
区域指定部25从块分割部21接受大块14，并向下变换部26输出。
[0261]
下变换部26对从块分割部21接受到的大块14执行下变换处理，生成c块。
[0262]
影像整列部27将c块向影像压缩部28输出，将c块的位置信息及块信息向压缩影像整列部29输出。
[0263]
影像压缩部28对从影像整列部27接受到的c块执行影像压缩处理，并向压缩影像
整列部29输出。
[0264]
压缩影像整列部29从影像压缩部28接受已压缩块。压缩影像整列部29按照接受到的块的顺序，对块附加从影像整列部27取得的位置信息及块信息并向发送部30输出。
[0265]
发送部30构成为包含通信接口，将附加有位置信息及块信息的已压缩块编码并作为已压缩影像数据而向影像接收装置4发送。
[0266]
通过到此为止的处理，对构成图像数据的大块14实施了下变换处理后的已压缩影像数据被向影像接收装置4发送。
[0267]
之后，影像发送装置2对相同的图像数据执行与实施方式1同样的处理。不过，在构成大块14的小块12全部是b块的情况下，不进行相对于该大块14的处理。由此，能够防止重复的c块的生成，能够仅将a块或b块向影像接收装置4发送。
[0268]
图23是示出已压缩影像数据的一例的图。图23示出了将图7所示的图像数据10压缩后的1画面量的数据。也就是说，图像数据10中包含的大块14全部被变换为c块，因此已压缩影像数据的第1行～第5行全部被设为c块。
[0269]
另外，已压缩影像数据的第6行由图像数据10的大块14h及14i中包含的小块12构成。
[0270]
而且，已压缩影像数据的第7行由图像数据10的大块14e～14g中包含的小块12构成。
[0271]
[变形例6]影像发送装置2的下变换部26也可以作为规定的压缩处理而是削减非关注区域内的各像素的色深的处理。例如，设为：原始的影像数据的各像素的色深是24bpp(bitsperpixel)的全色。也就是说，设为：各像素的rgb各色的亮度分别由8位表示。下变换部26将各色的亮度变换为由8位中的上述4位表示的12bpp的像素数据。
[0272]
影像接收装置4的上变换部46关于由各色4位表示的像素数据，变换为将各色4位设为上位4位且将下位4位用0填充的各色8位的24bpp的像素数据。
[0273]
根据变形例6，能够使非关注区域内的各像素的色深下降，因此能够实现影像数据的低延迟发布。另外，非关注区域相当于用户的视野的周边部，因此即使色深下降也不容被用户察觉。
[0274]
[附记]需要说明的是，也可以将上述实施方式及上述变形例的至少一部分任意组合。
[0275]
应该认为，本次公开的实施方式在所有方面都是例示而非限制性的内容。本公开的范围不是由上述的含义表示，而是由权利要求书表示，意在包含与权利要求书均等的含义及范围内的全部变更。标号说明
[0276]
1相机2影像发送装置3网络4影像接收装置4a影像接收装置5显示装置
6相机10图像数据11飞机12小块12a小块12b小块12c小块12d小块12p小块12q小块12r小块12s小块14大块14a大块14b大块14c大块14d大块14e大块14f大块14g大块14h大块14i大块14z大块16缩小块21块分割部22缓冲部23差分部24区域决定部25区域指定部26下变换部(压缩处理部)27影像整列部28影像压缩部29压缩影像整列部30发送部31接收部41接收部42信息提取部44影像解压部(解压部)45影像整列部
46上变换部47影像合成部48位置信息取得部49关注区域决定部49a关注区域决定部50发送部51影像数据取得部61a用户61b用户61c用户71a视线方向71b视线方向71c视线方向72a视线位置72b视线位置72c视线位置81摩托车82汽车83船84船91a关注区域91b关注区域91c关注区域92a非关注区域92b非关注区域100影像传输系统100a影像传输系统110无人机111控制器112画面113操纵杆120a拍摄范围120b拍摄范围