接收装置和传输系统的制作方法

1.本公开涉及接收装置和传输系统。


背景技术：

2.近年来，大量海量数据的传输正在增加。大负荷可能施加于传输系统，并且在最坏情况下，存在传输系统故障并且不能执行数据传输的可能性。
3.已知指定要成像的对象，并且仅传输指定对象的切割部分的图像，而不是例如传输所有捕获的图像，以便防止传输系统下降(例如，专利文献1至4)。
4.现有技术文献
5.专利文献
6.专利文献1：日本专利申请公开号2016-201756
7.专利文献2：日本专利申请公开号2014-39219
8.专利文献3：日本专利申请公开号2013-164834
9.专利文献4：日本专利申请公开号2012-209831


技术实现要素：

10.本发明要解决的问题
11.完全没有研究用于有效地显示从捕获图像切割并在显示装置上传输的一些关注区域(roi)的处理。
12.本公开的目的是提供一种接收装置和一种传输系统，该接收装置和传输系统使得能够在显示装置上有效地显示从捕获图像中切割出的一些关注区域(roi)。
13.问题的解决方案
14.根据本公开的一方面的接收装置包括：接收单元，接收传输信号，在该传输信号中，从预定的捕获图像切割出的预定数量的关注区域(roi)的图像数据包括在有效载荷数据中并且与预定数量的roi对应的roi信息包括在嵌入数据中；以及处理单元，被配置为执行恢复处理，该恢复处理基于从嵌入数据中提取的roi信息来恢复roi的图像数据以使得能够在预定的显示装置上显示。
15.根据本公开的一方面的传输系统包括：发送装置，发送装置发送关注区域(roi)的图像数据作为有效载荷数据并且发送roi信息作为嵌入数据；以及接收装置，包括：接收单元，接收传输信号，在该传输信号中，从预定的捕获图像中切割出的预定数量的roi的图像数据包括于有效载荷数据中，并且与预定数量的roi对应的roi信息包括于嵌入数据中；以及处理单元，被配置为执行恢复处理，该恢复处理基于从嵌入数据中提取出的roi信息来恢复预定数量的roi的图像数据以使得能够显示在预定的显示装置上。
附图说明
16.图1为示出视频传输系统的示意性配置示例的图。
17.图2是示出图1的视频发送装置的示意性配置示例的图。
18.图3是示出在捕获图像中包括两个关注区域(roi)的情况下的传输数据生成过程的示例的图。
19.图4是示出分组报头的配置示例的图。
20.图5是示出传输数据的配置示例的图。
21.图6是示出传输数据的配置示例的图。
22.图7是示出长分组的有效载荷数据的配置示例的图。
23.图8是示出图1的视频接收装置的示意性配置示例的图。
24.图9是示出在传输数据中包括两个图像的情况下生成包括在所捕获的图像中的两个roi图像的过程的示例的图。
25.图10是示意性示出指定对象布置在捕获图像中的区域的图。
26.图11是示出为指定对象设置的roi的示例的图。
27.图12是示出传输数据配置示例的图，其中，每个roi图像的位置信息包括在长分组的有效载荷数据中。
28.图13是示意性示出根据本公开的实施方式的捕获图像的示例的图。
29.图14是示出图13中所示的关注区域的坐标和图像大小的图。
30.图15是示出包括图13中示出的关注区域的图像数据的有效载荷数据的示例的图。
31.图16是用于描述根据本公开的实施方式的roi恢复信息中包括的第一坐标数据和第二坐标数据的图。
32.图17是示出根据本公开的实施方式的x坐标顺序数据和y坐标顺序数据的示例的示意图。
33.图18是示出根据本公开的实施方式的视频传输系统的示意性配置的框图。
34.图19是示出根据本公开的实施方式的视频接收装置的示意性配置示例的图。
35.图20是示出根据本公开的本实施方式的视频接收装置中的恢复处理的流程的示例的流程图。
36.图21是示出根据本公开的实施方式的视频接收装置200a中的图像数据替换处理的流程的示例的流程图。
具体实施方式
37.在下文中，将参考附图详细描述用于实施本公开的模式。以下描述是本公开的具体示例，并且本公开不限于以下方面。
38.在下文中，将按照以下顺序描述用于执行根据本公开的技术的模式(在下文中，称为“实施方式”)。
39.1.本公开的基础技术1(用于传输从捕获图像切割的一些关注区域(roi)(具有矩形形状)的技术)
40.2.本公开的基础技术2(用于传输从捕获图像切割的一些关注区域(roi)(具有非矩形形状)的技术)
41.3.本公开的实施方式的恢复处理的原理
42.4.根据本公开的实施方式的视频接收装置和视频传输系统
43.5.根据本公开的实施方式的用于在视频接收中显图像数据的处理
44.6.本发明的实施方式中的恢复处理的变形例
45.1.本公开的基础技术1：
46.[配置]
[0047]
近年来，在诸如智能电话、相机装置等的便携式装置中，所处理的图像数据的容量已经增加，并且对于装置中或不同装置之间的数据传输，存在更高速度和更低功耗的需求。为了满足这样的要求，诸如由mipi联盟设置的c-phy标准和d-phy标准的高速接口标准被标准化为用于便携式装置和相机装置的连接接口。c-phy标准和d-phy标准是通信协议的物理层(phy)的接口标准。此外，作为c-phy标准和d-phy标准的更高协议层，存在用于显示便携式装置的显示串行接口(dsi)和用于相机装置的相机串行接口(csi)。
[0048]
根据本公开的基础技术的视频传输系统1是可根据各种标准发送和接收信号并且可根据例如mipi csi-2标准、mipi csi-3标准或mipidsi标准传输和接收信号的系统。图1示出根据本公开的基础技术的视频传输系统1的概要。视频传输系统1应用于数据信号、时钟信号和控制信号的传输，并且包括视频发送装置100和视频接收装置200。视频传输系统1包括用于传输诸如图像数据的数据信号的数据通道dl、用于传输时钟信号的时钟通道cl、以及用于在视频发送装置100和视频接收装置200之间传输控制信号的相机控制接口cci。尽管图1示出提供一个数据通道dl的示例，但是可提供多个数据通道dl。相机控制接口cci是与集成电路间(i2c)标准兼容的双向控制接口。
[0049]
视频发送装置100是根据mipi csi-2标准、mipi csi-3标准或mipi dsi标准发送信号装置。设置有csi发射器100a和cci从机100b。视频接收装置200包括csi接收器200a和cci主机200b。在时钟通道cl中，时钟信号线连接在csi发射器100a与csi接收器200a之间。在数据通路dl中，时钟信号线连接在csi发射器100a与csi接收器200a之间。在相机控制接口cci中，控制信号线连接在cci从机100b与cci主机200b之间。
[0050]
csi发射器100a例如是差分信号传输电路，其生成差分时钟信号作为时钟信号并且将该差分时钟信号输出到时钟信号线。csi发射器100a可以被配置为不仅能够发送差分时钟信号，还能够发送单端信号或三相信号。csi发射器100a也是差分信号传输电路，其生成差分数据信号作为数据信号，并且将差分数据信号输出到数据信号线。csi接收器200a是经由时钟信号线接收差分时钟信号作为时钟信号并且对所接收的差分时钟信号执行预定处理的差分信号接收电路。csi接收器200a也是经由数据信号线接收作为数据信号的差分数据信号并且对所接收的差分数据信号执行预定处理的差分信号接收电路。
[0051]
(视频发送装置100)
[0052]
图2示出视频发送装置100的配置的示例。视频发送装置100与csi发射器100a的具体示例相对应。例如，视频发送装置100包括成像单元110、图像处理单元120和130和发送单元140。视频发送装置100经由数据通道dl将通过对由成像单元110获得的捕获图像111执行预定处理而生成的传输数据147a发送至视频接收装置200。图3示出生成传输数据147a的过程的一个示例。
[0053]
成像单元110例如将由光学透镜等获得的光学图像信号转换成图像数据。成像单元110包括例如图像传感器，诸如电荷耦合器件(ccd)图像传感器、互补金属氧化物半导体(cmos)图像传感器等。成像单元110包括模拟-数字转换电路，并且将模拟图像数据转换成
数字图像数据。转换后的数据格式可以是其中每个像素的颜色由亮度分量y和色度分量cb和cr表示的ycbcr格式、rgb格式等。成像单元110将通过成像获得的捕获图像111(数字图像数据)输出至图像处理单元120。
[0054]
图像处理单元120是对从成像单元110输入的捕获图像111执行预定处理的电路。在基础技术1中，将描述在从视频接收装置200经由相机控制接口cci输入用于指示切割roi的控制信号的情况下，图像处理单元120对从成像单元110输入的捕获图像111执行预定处理的情况。然而，基础技术1也可应用于视频发送装置100，即，发送侧指定要被切割的roi的坐标的情况。在这种情况下，例如，发送侧被配置为接收诸如从接收侧发送的roi中的待获取的“人”或“对象”的信息，并且确定并指定切割的坐标。结果，图像处理单元120生成各种数据(120a、120b和120c)，并将各种数据输出到发送单元140。图像处理单元130是对从成像单元110输入的捕获图像111执行预定处理的电路。在经由相机控制接口cci从视频接收装置200输入用于指示正常图像的输出的控制信号的情况下，图像处理单元130对从成像单元110输入的捕获图像111执行预定处理。因此，图像处理单元130生成图像数据130a并且将图像数据130a输出至发送单元140。
[0055]
图像处理单元130包括例如编码单元131。编码单元131对捕获图像111进行编码以生成压缩图像数据130a。例如，图像处理单元130以符合联合图像专家组(jpeg)标准等的压缩格式压缩捕获图像111作为压缩图像数据130a的格式。
[0056]
图像处理单元120包括例如roi切割单元121、roi分析单元122、重叠检测单元123、优先级设置单元124、编码单元125和图像处理控制单元126。
[0057]
roi切割单元121指定包括在从成像单元110输入的捕获图像111中的要成像的一个或多个对象，并且为每个指定的对象设置关注区域roi。关注区域roi是例如包括所指定的对象的正方形形状的区域。roi切割单元121从捕获图像111切割每个关注区域roi的图像(例如，图3中的roi图像112)。roi切割单元121还将区域编号作为标识符分配给每个设置的关注区域roi。例如，在捕获图像111中设置了两个关注区域roi的情况下，roi切割单元121将区域编号1分配给一个关注区域roi(例如，图3中的关注区域roi1)，并且将区域编号2分配给另一个关注区域roi(例如，图3中的关注区域roi2)。例如，roi切割单元121将分配的标识符(区域编号)存储在存储单元中。例如，roi切割单元121将从捕获图像111切割的每个roi图像112存储在存储单元中。roi切割单元121例如还将分配给每个关注区域roi的标识符(区域编号)与roi图像112相关联地存储在存储单元中。
[0058]
roi分析单元122针对每个关注区域roi推导捕获图像111中的关注区域roi的位置信息113。位置信息113包括例如关注区域roi的左上端点坐标(xa，ya)、关注区域roi在x轴方向上的长度和关注区域roi在y轴方向上的长度。关注区域roi在x轴方向上的长度例如是关注区域roi在x轴方向上的物理区域长度xla。例如，关注区域roi在y轴方向上的长度是关注区域roi在y轴方向上的物理区域长度yla。物理区域长度指示关注区域roi的物理长度(数据长度)。位置信息113可以包括与关注区域roi的左上端点不同的位置的坐标。roi分析单元122例如将推导出的位置信息113存储在存储单元中。例如，roi分析单元122将位置信息113与分配给关注区域roi的标识符(区域编号)相关联地存储在存储单元中。
[0059]
例如，roi分析单元122可以进一步导出x轴方向上的关注区域roi的输出区域长度xlc和y轴方向上的关注区域roi的输出区域长度ylc作为用于每个关注区域roi的位置信息
113。例如，输出区域长度是在通过稀疏化处理、像素相加等改变关注区域roi的分辨率之后的关注区域roi的物理长度(数据长度)。例如，除了位置信息113之外，roi分析单元122还可以针对每个关注区域roi导出例如感测信息、曝光信息、增益信息、模数(ad)字长、图像格式等，并且将导出的信息存储在存储单元中。
[0060]
感测信息指的是包括在关注区域roi中的对象的计算内容、用于roi图像112的后级信号处理的补充信息等。曝光信息是指关注区域roi的曝光时间。增益信息是指关注区域roi的增益信息。ad字长是指在关注区域roi中经历ad转换的每个像素的数据的字长。图像格式是指关注区域roi的图像的格式。例如，roi分析单元122可以得出包括在所捕获的图像111中的关注区域roi的数量(roi的数量)并且将该数量存储在存储单元中。
[0061]
在捕获图像111中指定要成像的多个对象的情况下，重叠检测单元123基于捕获图像111中的多个关注区域roi的位置信息113检测两个或更多关注区域roi彼此重叠的重叠区域(roo)。即，重叠检测单元123针对每个重叠roo区域导出捕获图像111中的重叠roo区域的位置信息114。例如，重叠检测单元123将所导出的位置信息114存储在存储单元中。例如，重叠检测单元123将所导出的位置信息114与重叠区域roo相关联地存储在存储单元中。重叠区域roo例如是与彼此重叠的两个以上关注区域roi中的最小关注区域roi的大小相同或更小的正方形区域。位置信息114例如包括重叠区域roo的左上端点坐标(xb，yb)、重叠区域roo在x轴方向上的长度、和重叠区域roo在y轴方向上的长度。例如，重叠区域roo在x轴方向上的长度是物理区域长度xlb。在y轴方向上重叠区域roo的长度是例如物理区域长度ylb。位置信息114可包括不同于关注区域roi的左上端点的位置的坐标。
[0062]
优先级设置单元124将优先级115分配给捕获图像111中的每个关注区域roi。优先级设置单元124例如将所分配的优先级115存储在存储单元中。例如，优先级设置单元124将所分配的优先级115与关注区域roi相关联地存储在存储单元中。优先级设置单元124可以与向每个关注区域roi分配的区域编号分开地向每个关注区域roi分配优先级115，或者可以用向每个关注区域roi分配的区域编号代替优先级115。例如，优先级设置单元124可以将优先级115与关注区域roi相关联地存储在存储单元中，或者可以将分配给每个关注区域roi的区域编号与关注区域roi相关联地存储在存储单元中。
[0063]
优先级115是每个关注区域roi的标识符，并且是使得能够确定从捕获图像111中的多个关注区域roi中的哪一个中省略重叠区域roo的确定信息。例如，对于均包括重叠区域roo的两个关注区域roi，优先级设置单元124将1作为优先级115分配给一个关注区域roi，并且将2作为优先级115分配给另一个关注区域roi。在这种情况下，在创建稍后描述的传输图像116时，从优先级115具有较大值的关注区域roi中省略重叠区域roo。注意，优先级设置单元124可以将与分配给每个关注区域roi的区域编号相同的编号分配给关注区域roi作为优先级115。例如，优先级设置单元124将分配给每个关注区域roi的优先级115与roi图像112相关联地存储在存储单元中。
[0064]
编码单元125编码每个传输图像116以生成压缩图像数据120a。例如，编码单元125以符合jpeg标准等的压缩格式压缩每个传输图像116作为压缩图像数据120a的格式。编码单元125在执行上述压缩处理之前生成各发送图像116。编码单元125以使图像118不冗余地包括在从捕获图像111中获得的多个roi图像112中的方式生成通过从捕获图像111中获得的多个roi图像112中省略重叠区域roo的图像118而获得的多个传输图像116。
[0065]
例如，编码单元125基于分配给每个关注区域roi的优先级115确定从多个roi图像112中的哪一个中省略图像118。注意，编码单元125可以通过使用例如分配给每个关注区域roi的区域编号作为优先级115来确定从多个roi图像112中的哪一个中省略图像118。编码单元125将通过从如上所述指定的roi图像112中省略图像118而获得的图像用作传输图像116(例如，图3中的传输图像116a2)。在根据上述确定不包括重叠区域roo的roi图像112或者未从其中省略图像118的roi图像112的情况下，编码单元125使用roi图像112本身作为传输图像116(例如，图3中的传输图像116a1)。
[0066]
图像处理控制单元126生成roi信息120b和帧信息120c，并且将roi信息120b和帧信息120c发送到发送单元140。roi信息120b包括例如每条位置信息113。roi信息120b例如还包括每个关注区域roi的数据类型、包括在捕获图像111中的关注区域roi的数量、每个关注区域roi的区域数量(或优先级115)、每个关注区域roi的数据长度或每个关注区域roi的图像格式中的至少一者。例如，帧信息120c包括分配给每个帧的虚拟频道号、每个关注区域roi的数据类型、每条线的有效载荷长度等。数据类型包括例如yuv数据、rgb数据、原始数据等。数据类型还包括例如roi格式数据或正常格式数据。有效载荷长度例如是包括在长分组的有效载荷中的像素的数量，并且例如是每个关注区域roi的像素的数量。在此，有效载荷指在视频发送装置100与视频接收装置200之间传输的主数据(应用数据)。长分组是指布置在分组报头ph和分组尾pf之间的分组。
[0067]
发送单元140是基于从图像处理单元120和130输入的各种数据(120a、120b、120c和130a)生成并发送传输数据147a的电路。发送单元140将关于捕获图像111中的每个关注区域roi的roi信息120b作为嵌入数据(embeddeddata)发送。此外，在经由相机控制接口cci从视频接收装置200输入用于指示roi的切割的控制信号的情况下，发送单元140发送每个关注区域roi的图像数据(压缩图像数据120a)作为长分组的有效载荷数据(payload data)。此时，发送单元140通过公共虚拟频道发送每个关注区域roi的图像数据(压缩图像数据120a)。此外，发送单元140通过图像数据帧发送每个关注区域roi的图像数据(压缩图像数据120a)，并且通过图像数据帧的报头发送关于每个关注区域roi的roi信息120b。此外，在经由相机控制接口cci从视频接收装置200输入用于指示正常图像的输出的控制信号的情况下，发送单元140发送正常图像数据(压缩图像数据130a)作为长分组的有效载荷数据。
[0068]
发送单元140例如包括链路(link)控制单元141、ecc生成单元142、ph生成单元143、ebd缓存144、roi数据缓存145、正常图像数据缓存146以及组合单元147。链路控制单元141、ecc生成单元142、ph生成单元143、ebd缓存144以及roi数据缓存器145在经由相机控制接口cci从视频接收装置200输入了指示roi的切割的控制信号的情况下，向组合单元147输出。在从视频接收装置200经由相机控制接口cci输入了指示正常图像的输出的控制信号的情况下，正常图像数据缓存器146将正常图像输出到组合单元147。
[0069]
注意，roi数据缓存145也可以用作正常图像数据缓存146。在这种情况下，发送单元140可以包括选择器，该选择器在roi数据缓存145和每一个roi数据缓存145的输出端子与组合单元147的输入端子之间选择roi数据缓存145和roi数据缓存145中的任一个的输出。
[0070]
例如，链路控制单元141针对各行将帧信息120c输出至ecc生成单元142和ph生成
单元143。ecc生成单元142基于例如帧信息120c中的行的数据(例如，虚拟通道号、各个关注区域roi的数据类型、各个行的有效载荷长度等)生成一个行的纠错码。ecc生成单元142将生成的纠错码输出到例如ph生成单元143。ph生成单元143使用例如帧信息120c和ecc生成单元142生成的纠错码，生成各行的分组报头ph。此时，例如，如图4所示，分组报头ph是长分组的有效载荷数据的分组报头。分组报头ph包括例如di、wc和ecc。wc是用于通过视频接收装置200的字数指示分组的结束的区域。wc包括例如有效载荷长度，并且包括例如每个关注区域roi的像素的数量。ecc是用于存储用于校正位错误的值的区域。ecc包括纠错码。di是用于存储数据标识符的区域。di包括虚拟信道(vc)号和数据类型(datatype)(每个关注区域roi的数据类型)。虚拟信道(vc)是为分组流控制引入的概念，并且是用于支持共享同一链路的多个独立数据流的机制。ph生成单元143将生成的分组报头ph输出至组合单元147。
[0071]
ebd缓存144主要存储roi信息120b并且在预定时刻将roi信息120b输出到组合单元147作为嵌入数据。嵌入数据指代可嵌入在图像数据帧的报头或脚注中的附加信息(参见稍后描述的图5)。嵌入分组括例如roi信息120b。
[0072]
roi数据缓存145主要存储压缩图像数据120a并且在预定时刻将压缩图像数据120a输出至组合单元147作为长分组的有效载荷数据。在经由相机控制接口cci从视频接收装置200输入用于指示roi的切割的控制信号的情况下，roi数据缓存145将压缩图像数据120a输出至组合单元147作为长分组的有效载荷数据。正常图像数据缓存146首先存储压缩图像数据130a并且在预定时刻将压缩图像数据130a输出至组合单元147作为长分组的有效载荷数据。在经由相机控制接口cci从视频接收装置200输入用于指示正常图像的输出的控制信号的情况下，正常图像数据缓存146将压缩图像数据130a作为长分组的有效载荷数据输出到组合单元147。
[0073]
在从视频接收装置200经由相机控制接口cci输入用于指示正常图像的输出的控制信号的情况下，组合单元147基于输入数据(压缩图像数据130a)生成传输数据147a。组合单元147将生成的传输数据147a经由数据通道dl输出至视频接收装置200。同时，在经由相机控制接口cci从视频接收装置200输入用于指示roi的切割的控制信号的情况下，组合单元147基于各种输入数据(分组报头ph、roi信息120b和压缩图像数据120a)生成传输数据147a。组合单元147将生成的传输数据147a经由数据通道dl输出至视频接收装置200。即，组合单元147在长分组的有效载荷数据的分组报头ph中包括数据类型(datatype)(各关注区域roi的数据类型)并发送该分组。此外，组合单元147通过公共虚拟频道发送每个关注区域roi的图像数据(压缩图像数据120a)。
[0074]
例如，如图5所示，传输数据147a包括图像数据帧。图像数据帧通常包括报头区域、分组区域和脚注区域。为了方便起见，在图5中省略了脚注区域。传输数据147a的帧报头区域r1包括嵌入数据。此时，嵌入数据包括roi信息120b。在图5中，传输数据147a的分组区域r2包括每个线路的长分组的有效载荷数据，并且还包括在将长分组的有效载荷数据夹在其间的位置处的分组报头ph和分组脚注pf。此外，低功率模式lp包括在将分组报头ph和分组脚注pf夹在其间的位置处。
[0075]
此时，分组报头ph包括例如di、wc和ecc。wc包括例如有效载荷长度，并且包括例如每个关注区域roi的像素的数量。ecc包括纠错码。di包括虚拟频道号(vc)和数据类型(datatype)(每个关注区域roi的数据类型)。在本实施方式中，为每条线路的vc分配公共的
虚拟通道号。此外，在图5中，压缩图像数据147b包括在传输数据147a的分组区域r2中。压缩图像数据147b包括一条压缩图像数据120a或多个压缩图像数据120a。这里，在图5中，更靠近分组报头ph的一组分组包括例如图3中的传输图像116a1的压缩图像数据120a(120a1)，而远离分组报头ph的一组分组包括例如图3中的传输图像116a2的压缩图像数据120a(120a2)。两个压缩图像数据120a1、120a2构成压缩图像数据147b。每行的长分组的有效载荷数据包括压缩图像数据147b中的一行的像素数据。
[0076]
图6示出传输数据147a的配置示例。传输数据147a例如包括帧报头区域r1和分组区域r2。要注意的是，图6详细示出帧报头区域r1的内容。此外，在图6中，省略了低功率模式lp。
[0077]
帧报头区域r1包括例如帧编号f1作为传输数据147a的标识符。帧报头区域r1包括关于包括在分组区域r2中的压缩图像数据147b的信息。帧报头区域r1包括例如包括在压缩图像数据147b中的多个压缩图像数据120a(roi的数量)和关于与包括在压缩图像数据147b中的每条压缩图像数据120a相对应的roi图像112的信息(roi信息120b)。
[0078]
例如，组合单元147针对压缩图像数据120a的每像素行将压缩图像数据147b单独布置在传输数据147a的分组区域r2中。因此，对应于重叠区域roo的图像118的压缩图像数据没有冗余地包括在传输数据147a的分组区域r2中。此外，例如，组合单元147在传输数据147a的分组区域r2中省略不对应于每个传输图像116的捕获图像111的像素行。因此，传输数据147a的分组区域r2不包括不对应于每个传输图像116的捕获图像111的像素行。应注意，在图6中的分组区域r2中由虚线包围的部分对应于重叠区域roo的图像118的压缩图像数据。
[0079]
靠近分组报头ph的分组组(例如图6中的1(n))和远离分组报头ph的分组组(例如图6中的2(1))之间的边界由与接近分组报头ph的分组组(例如图6中的1(n))的压缩图像数据相对应的roi图像112的物理区域长度xla1指定。在与包括于接近分组报头ph的分组群(例如图6中的1(n))的重叠区域roo的图像118对应的压缩图像数据中，由与远离分组报头ph的分组群(例如图6中的2(1))对应的roi图像112的物理区域长度xla2指定分组的开始位置。
[0080]
例如，组合单元147可以在传输数据147a的分组区域r2中，除了例如如图7所示在为每行生成长分组的有效载荷数据时的压缩图像数据147b中的一行的像素数据之外，还包括roi信息120b。即，组合单元147可以将roi信息120b包括在长分组的有效载荷数据中，并且发送有效载荷数据。此时，例如，如图7的(a)至图7的(k)中所示，roi信息120b包括例如每个关注区域roi的数据类型、包括在捕获图像111中的关注区域roi的数量(roi的数量)、每个关注区域roi的区域数量(或优先级115)、每个关注区域roi的数据长度或每个关注区域roi的图像格式中的至少一个。roi信息120b优选配置在长分组的载荷数据中的分组报头ph侧的端部(即，长分组的载荷数据的报头)。
[0081]
(视频接收装置200)
[0082]
接下来，将描述视频接收装置200。图8示出视频接收装置200的配置的示例。图9示出用于在视频接收装置200中生成roi图像223a的过程的示例。视频接收装置200是与视频发送装置100接收根据公共标准(例如，mipi csi-2标准、mipi csi-3标准或mipi dsi标准)的信号的装置。例如，视频接收装置200包括接收单元210和信息处理单元220。接收单元210
是经由数据通道dl接收从视频发送装置100输出的传输数据147a、并对接收到的传输数据147a实施预定的处理以生成各种数据(214a、215a、215b)并输出到信息处理单元220的电路。信息处理单元220是根据从接收单元210接收到的各种数据(214a、215a)生成roi图像223a、并且根据从接收单元210接收到的数据(215b)生成正常图像224a的电路。
[0083]
接收单元210包括例如报头分离单元211、报头解译单元212、有效载荷分离单元213、ebd解译单元214和roi数据分离单元215。
[0084]
报头分离单元211经由数据通道dl从视频发送装置100接收传输数据147a。即，报头分离单元211接收传输数据147a，其中，关于捕获图像111中的每个关注区域roi的roi信息120b包括在嵌入数据中并且每个关注区域roi的图像数据(压缩图像数据120a)包括在长分组的有效载荷数据中。报头分离单元211将接收的传输数据147a分离成帧报头区域r1和分组区域r2。报头解译单元212基于包括在帧报头区域r1中的数据(具体地，嵌入数据)指定包括在分组区域r2中的长分组的有效载荷数据的位置。有效载荷分离单元213基于由报头解译单元212指定的长分组的有效载荷数据的位置，将包括在分组区域r2中的长分组的有效载荷数据与分组区域r2分离。
[0085]
ebd解译单元214将嵌入数据作为ebd数据214a输出到信息处理单元220。ebd解译单元214进一步基于包括在嵌入数据中的数据类型确定包括在长分组的有效载荷数据中的图像数据是roi的图像数据116的压缩图像数据120a还是正常图像数据的压缩图像数据130a。ebd解译单元214将确定结果输出至roi数据分离单元215。
[0086]
在包括在长分组的有效载荷数据中的图像数据是roi的图像数据116的压缩图像数据120a的情况下，roi数据分离单元215将长分组的有效载荷数据作为有效载荷数据215a输出至信息处理单元220(具体地，roi解码单元222)。在有效载荷数据中包括的图像数据是正常图像数据的压缩图像数据130a的情况下，roi数据分离单元215将长分组的有效载荷数据作为有效载荷数据215b输出至信息处理单元220(具体地，正常图像解码单元224)。在roi信息120b被包括在长分组的有效载荷数据中的情况下，有效载荷数据215a包括roi信息120b和压缩图像数据147b的一行的像素数据。
[0087]
信息处理单元220从包括在ebd数据214a中的嵌入数据中提取roi信息120b。信息处理单元220基于由信息提取单元221提取的roi信息120b，从由接收单元210接收的传输数据147a中包括的长分组的有效载荷数据中提取捕获图像111中的每个关注区域roi的图像(roi图像112)。例如，信息处理单元220包括信息提取单元221、roi解码单元222、roi图像生成单元223、以及正常图像解码单元224。
[0088]
正常图像解码单元224对有效载荷数据215b进行解码以生成正常图像224a。roi解码单元222对包括在有效载荷数据215a中的压缩图像数据147b进行解码，以产生图像数据222a。图像数据222a包括一个或多个传输图像116。
[0089]
信息提取单元221从包括在ebd数据214a中的嵌入数据中提取roi信息120b。例如，信息提取单元221从包括在ebd数据214a中的嵌入数据中提取包括在捕获图像111中的关注区域roi的数量、每个关注区域roi的区域数量(或优先级115)、每个关注区域roi的数据长度以及每个关注区域roi的图像格式。即，传输数据147a包括对应于每个传输图像116的关注区域roi的区域编号(或优先级115)，作为能够确定已经从传输数据147a获得的多个传输图像116中的哪一个中省略重叠区域roo的图像118的确定信息。
[0090]
roi图像生成单元223基于由信息提取单元221获得的roi信息120b检测两个或更多关注区域roi彼此重叠的重叠区域roo。
[0091]
例如，信息提取单元221从包括在ebd数据214a中的嵌入数据中提取与roi图像112a1对应的关注区域roi的坐标(例如，左上端点坐标(xa1，ya1))、长度(例如，物理区域长度xla1和yla1)以及区域编号1(或优先级115(＝1))。信息提取单元221进一步从包括在ebd数据214a中的嵌入数据中提取对应于roi图像112a2的关注区域roi的坐标(例如，左上端点坐标(xa2，ya2))、长度(例如，物理区域长度xla2和yla2)以及区域编号2(或优先级115(＝2))。
[0092]
此时，roi图像生成单元223基于提取的这些条信息(在下文中，被称为“提取的信息221a”)导出重叠区域roo的位置信息114。roi图像生成单元223导出例如重叠区域roo的坐标(例如，左上端点坐标(xb1，yb1))和长度(例如，物理区域长度xlb1和ylb1)作为上述重叠区域roo的位置信息114。
[0093]
注意，roi图像生成单元223可以从有效载荷数据215a获取roi信息120b，而不是从包括在ebd数据214a中的嵌入数据获取roi信息120b。在这种情况下，roi图像生成单元223可以基于有效载荷数据215a中包括的roi信息120b检测两个或更多关注区域roi彼此重叠的重叠区域roo。此外，roi图像生成单元223可以从包括在有效载荷数据215a中的roi信息120b提取提取信息221a，并且可以基于以此方式提取的提取信息221a导出重叠区域roo的位置信息114。
[0094]
roi图像生成单元223进一步基于图像数据222a、提取出的信息221a以及重叠区域roo的位置信息114来生成捕获图像111的各关注区域roi的图像(roi图像112a1、112a2)。roi图像生成单元223将生成的图像输出为roi图像223a。
[0095]
[程序]
[0096]
接下来，将参考图3和图9描述在视频传输系统1中的数据传输的过程的示例。
[0097]
首先，成像单元110将通过成像获得的捕获图像111(数字图像数据)输出至图像处理单元120。roi切割单元121指定包括在从成像单元110输入的捕获图像111中的两个关注区域roi1和roi2。roi切割单元121从捕获图像111切割关注区域roi1和roi2中的每个的图像(roi图像112a1和112a2)。roi切割单元121将区域编号1分配给关注区域roi1作为标识符，并且将区域编号2分配给关注区域roi2作为标识符。
[0098]
roi分析单元122针对每个关注区域roi导出捕获图像111中的关注区域roi的位置信息113。roi分析单元122基于关注区域roi1导出关注区域roi1的左上端点坐标(xa1，ya1)、关注区域roi1在x轴方向上的长度(xla1)、以及关注区域roi1在y轴方向上的长度(yla1)。roi分析单元122基于关注区域roi2导出关注区域roi2的左上端点坐标(xa2，ya2)、关注区域roi2在x轴方向上的长度(xla2)以及关注区域roi2在y轴方向上的长度(yla2)。
[0099]
重叠检测单元123基于捕获图像111中的两个关注区域roi1和roi2的位置信息113检测两个关注区域roi1和roi2彼此重叠的重叠区域roo。即，重叠检测单元123导出捕获图像111中的重叠区域roo的位置信息114。重叠检测单元123导出重叠区域roo的左上端点坐标(xb1，yb1)、重叠区域roo在x轴方向上的长度(xlb1)和重叠区域roo在y轴方向上的长度(ylb1)作为捕获图像111中的重叠区域roo的位置信息114。
[0100]
对于两个关注区域roi1和roi2，优先级设置单元124将1作为优先级115分配给一
个关注区域roi1，并且将2作为优先级115分配给另一个关注区域roi2。
[0101]
编码单元125以使图像118不冗余地包括在两个关注区域roi1和roi2中的方式生成通过从捕获图像111中获得的两个roi图像112a1和112a2中省略重叠区域roo的图像118而获得的两个传输图像116a1和116a2。
[0102]
编码单元125基于两个关注区域roi1和roi2的区域编号(或优先级115)确定从两个roi图像112a1和112a2中的哪一个省略图像118。编码单元125从roi图像112a2中省略对应于两个关注区域roi1和roi2中具有较大区域编号(或较高优先级115)的关注区域roi2的图像118，从而生成传输图像116a2。在roi图像112a1对应于两个关注区域roi1和roi2中具有较小区域编号(或较低优先级115)的关注区域roi1的情况下，编码单元125使用roi图像112a1本身作为传输图像116a1。
[0103]
图像处理控制单元126生成roi信息120b和帧信息120c，并且将roi信息120b和帧信息120c发送到发送单元140。发送单元140基于从图像处理单元120和130输入的各种数据(120a、120b、120c和130a)生成并发送传输数据147a。发送单元140经由数据通道dl将生成的传输数据147a发送到视频接收装置200。
[0104]
接收单元210经由数据通道dl接收从视频发送装置100输出的传输数据147a。接收单元210对接收到的传输数据147a实施预定的处理，生成ebd数据214a和有效载荷数据215a，并将所生成的数据输出到信息处理单元220。
[0105]
信息提取单元221从包括在ebd数据214a中的嵌入数据中提取roi信息120b。信息提取单元221从包括在ebd数据214a中的嵌入数据中提取与roi图像112a1对应的关注区域roi的坐标(例如，左上端点坐标(xa1，ya1))、长度(例如，物理区域长度xla1和yla1)以及区域编号1(或优先级115(＝1))。信息提取单元221进一步提取对应于roi图像112a2的关注区域roi的坐标(例如，左上端点坐标(xa2，ya2))、长度(例如，物理区域长度xla2和yla2)以及区域编号2(或优先级115(＝2))。roi解码单元222对包括在有效载荷数据215a中的压缩图像数据147b进行解码，以生成图像数据222a。
[0106]
roi图像生成单元223基于提取的这些条信息(提取的信息221a)导出重叠区域roo的位置信息114。roi图像生成单元223导出例如重叠区域roo的坐标(例如，左上端点坐标(xb1，yb1))和长度(例如，物理区域长度xlb1和ylb1)作为上述重叠区域roo的位置信息114。roi图像生成单元223进一步基于图像数据222a、提取出的信息221a以及重叠区域roo的位置信息114来生成捕获图像111的各关注区域roi的图像(roi图像112a1、112a2)。
[0107]
[效果]
[0108]
接着，对本实施方式的视频传输系统1的效果进行说明。
[0109]
近年来，大量海量数据的传输正在增加。大负荷可能施加于传输系统，并且在最坏情况下，存在传输系统故障并且不能执行数据传输的可能性。
[0110]
传统上，指定要成像的对象，并且仅发送指定的对象的剪切部分的图像，而不是例如发送所有捕获的图像，以便防止传输系统下降。
[0111]
同时，mipi csi-2可用作用于从图像传感器到应用处理器的传输的方法。在尝试使用该方法发送roi的情况下，在一些情况下，由于各种限制，roi的发送不容易。
[0112]
另一方面，在本实施方式中，关于捕获图像111中的每个关注区域roi的roi信息120b作为嵌入数据被发送，并且每个关注区域roi的图像数据作为长分组的有效载荷数据
被发送。因此，已经接收从视频发送装置100发送的传输数据147a的装置(视频接收装置200)可以容易地从传输数据147a中提取每个关注区域roi的图像数据(roi图像112)。因此，关注区域roi甚至可以在各种约束下发送。
[0113]
此外，在本实施方式中，通过共同的虚拟信道发送每个关注区域roi的图像数据(压缩图像数据120a)。因此，可以在同一分组中发送多个roi图像112，并且因此不必在发送多个roi图像112的同时进入lp模式，其结果是可以获得高传输效率。
[0114]
此外，在本实施方式中，将各关注区域roi的数据类型包括在长分组的有效载荷数据的分组报头ph中并进行发送。结果，仅通过访问长分组的有效载荷数据的分组报头ph而不访问嵌入数据，就能够获得各关注区域roi的数据类型。因此，可以提高视频接收装置200中的处理速度，其结果是可以获得高传输效率。
[0115]
此外，在本实施方式中，在roi信息120b被包括在长分组的有效载荷数据中并且被发送的情况下，可以仅通过访问长分组的有效载荷数据而不访问嵌入数据来获得roi信息120b。因此，可以提高视频接收装置200中的处理速度，其结果是可以获得高传输效率。
[0116]
此外，在本实施方式中，从包括在传输数据147a中的嵌入数据中提取关于每个关注区域roi的roi信息120b，并且基于所提取的roi信息120b从包括在传输数据147a中的长分组的有效载荷数据中提取每个关注区域roi的图像(roi图像112)。结果，可以容易地从传输数据147a中提取每个关注区域roi的图像(roi图像112)。因此，关注区域roi甚至可以在各种约束下发送。
[0117]
2.本公开的基础技术2：
[0118]
将参考图1至图9和图10至图12描述用于传输从捕获图像中切割的一些(非矩形)关注区域(roi)的技术。即，将描述用于发送和接收具有不同于正方形(矩形形状)的形状的要捕获的对象的图像的技术。图10是示意性示出指定对象布置在捕获图像111中的区域的图。要注意的是，图10示意性示出在包括15行
×
23列成像元件的成像区域中捕获的捕获图像111，以便于理解。图11是示出为指定对象设置的roi的示例的图。
[0119]
在基础技术2中，与基础技术1相似，将描述在用于指示roi的切割的控制信号经由相机控制接口cci从视频接收装置200输入至视频发送装置100的情况下，对从成像单元110输入的捕获图像111执行预定处理的情况。然而，基础技术2也可应用于视频发送装置100(即，发送侧)指定要被切割的roi的坐标的情况。在这种情况下，例如，发送侧被配置为接收诸如从接收侧发送的roi中的待获取的“人”或“对象”的信息，并且确定并指定切割的坐标。
[0120]
经由相机控制接口cci从视频接收装置200输入用于指示roi的切割的控制信号。结果，如图10所示，roi切割单元121指定包括在捕获图像111中的四个要捕获的对象1至4。对象1例如具有占据捕获图像111中的左上区域的一部分的矩形形状。例如，对象2占据捕获图像111中的对象1的右侧上的部分区域，并且具有其中缺少矩形的相对的上侧角和矩形的下边缘的一部分的形状。例如，对象3占据捕获图像111中的对象2下方的部分区域，并且具有其中缺少矩形的四个角的形状。例如，对象4占据捕获图像111中的对象3下方的部分区域，并且具有其中缺少矩形的相对的上侧角的形状。对象3和对象4彼此部分重叠。
[0121]
如图11所示，roi切割单元121(见图2)将包括指定的对象1至4的最小矩形分别设置为关注区域roi1至roi4。roi切割单元121为对象1设置关注区域roi1并且切割roi图像112a1。此外，roi切割单元121设置针对对象2的关注区域roi2并且切割roi图像112a2。此
外，roi切割单元121设置物体3的关注区域roi3并切割roi图像112a3。此外，roi切割单元121设置针对对象4的关注区域roi4并切割roi图像112a4。
[0122]
roi切割单元121将关注区域roi1和分配给关注区域roi1的区域编号“1”彼此相关联地存储在存储单元中。roi切割单元121将关注区域roi2和分配给关注区域roi2的区域编号“2”彼此相关联地存储在存储单元中。roi切割单元121将关注区域roi3和分配给关注区域roi3的区域编号“3”彼此相关联地存储在存储单元中。roi切割单元121将关注区域roi4和分配给关注区域roi4的区域编号“4”彼此相关联地存储在存储单元中。
[0123]
roi分析单元122(见图2)导出关注区域roi1至roi4中的每一个的位置信息。roi分析单元122导出例如在x轴方向上的物理区域长度xla1和在y轴方向上的物理区域长度yla1作为关注区域roi1的位置信息。roi分析单元122导出例如在x轴方向上的物理区域长度xla2和在y轴方向上的物理区域长度yla2作为关注区域roi2的位置信息。例如，roi分析单元122导出x轴方向上的物理区域长度xla3和y轴方向上的物理区域长度yla3作为关注区域roi3的位置信息。roi分析单元122导出例如x轴方向上的物理区域长度xla4和y轴方向上的物理区域长度yla4作为关注区域roi4的位置信息。例如，roi分析单元122可以进一步导出x轴方向上的关注区域roi的输出区域长度xlc和y轴方向上的关注区域roi的输出区域长度ylc作为用于每个关注区域roi的位置信息113。
[0124]
roi分析单元122导出每个关注区域roi在x轴方向和y轴方向上的长度，从而导出关注区域roi1至roi4中的每一个的大小和总数据量作为后续阶段的信息。因此，对应于后续阶段的视频接收装置200可确保存储器区域。
[0125]
roi分析单元122被配置为在要捕获的对象和关注区域的形状不匹配的情况下导出roi图像112a1至112a4的位置信息而不是关注区域roi的位置信息。roi分析单元122导出每行的左端坐标(xn，yn)和x轴方向上的物理区域长度xln作为roi图像112a1至112a4的位置信息。此外，在roi图像与在roi图像112a2的第二行中一样分离的情况下，roi分析单元122导出每个分离部分的位置信息。roi分析单元122将关注区域roi1至roi4的区域编号和roi图像112a1至112a4的位置信息彼此相关联地存储在存储单元中。
[0126]
此外，除了位置信息之外，roi分析单元122还可以针对每个关注区域roi1至roi4导出例如感测信息、曝光信息、增益信息、ad字长、图像格式等，并且将所导出的信息与区域编号相关联地存储在存储单元中。
[0127]
在要捕获的物体具有矩形形状的情况下，重叠检测单元123(见图2)导出roi图像彼此重叠的区域作为重叠区域，而非关注区域彼此重叠的区域。如图11所示，重叠检测单元123得出重叠区域roo作为roi图像112a3和roi图像123a4彼此重叠的区域。重叠检测单元123将所导出的重叠区域roo与各关注区域roi3和roi4的位置信息相关联地存储在存储单元中。
[0128]
优先级设置单元124(见图2)将优先级“1”分配给关注区域roi1，并且将优先级(1)与关注区域roi1相关联地存储在存储单元中。优先级设置单元124将低于优先级“1”的优先级“2”分配给关注区域roi2，并且将优先级(2)与关注区域roi2相关联地存储在存储单元中。优先级设置单元124将低于优先级“2”的优先级“3”分配给关注区域roi3，并且将优先级(3)与关注区域roi3相关联地存储在存储单元中。优先级设置单元124将比优先级“3”低的优先级“4”分配给关注区域roi4，并且将优先级(4)与关注区域roi4相关联地存储在存储单
元中。
[0129]
编码单元125(参见图2)针对每个roi图像112a1至112a4生成传输图像。由于关注区域roi4的优先级低于关注区域roi3，所以编码单元125通过从roi图像112a4中省略重叠区域roo来生成传输图像。
[0130]
图像处理控制单元126(参见图2)生成roi信息和帧信息，并且将roi信息和帧信息发送到发送单元140(参见图2)。roi信息包括例如roi图像112a1至112a4中的每一个的位置信息。roi信息还包括与要捕获的对象具有矩形形状的情况下的信息相似的信息(例如，各个关注区域roi1至roi4的数据类型、包括在捕获图像111中的关注区域roi1至roi4的数量、关注区域roi1至roi4的区域数量和优先级等)。例如，帧信息包括与要成像的对象具有矩形形状的情况下的信息类似的信息，诸如关注区域roi1至roi4的数据类型。
[0131]
在发送单元140中设置的链路控制单元141(见图2)针对各行将从图像处理控制单元126输入的帧信息和roi信息输出到ecc生成单元142和ph生成单元143(见图2)。ecc生成单元142基于例如帧信息中的线路的数据(例如，虚拟信道数量、关注区域roi1至roi4中的每一个的数据类型、每条线路的有效载荷长度等)生成一个线路的纠错码。ecc生成单元142将生成的纠错码输出到例如ph生成单元143。ph生成单元143通过使用例如由ecc生成单元142生成的帧信息和纠错码来生成每行的分组报头ph(见图4)。
[0132]
ebd缓存144(见图2)首先存储roi信息并且在预定的时刻将roi信息输出至组合单元147(见图2)作为嵌入数据。
[0133]
例如，roi数据缓存145(见图2)主要存储从编码单元125输入的压缩图像数据，并且在经由相机控制接口cci从视频接收装置200输入用于指示roi切割的控制信号的情况下，输出将压缩图像数据120a输出至组合单元147作为长分组的有效载荷数据。
[0134]
在从视频接收装置200经由相机控制接口cci输入了指示roi的切断的控制信号的情况下，组合单元147基于各种输入数据(分组报头ph、roi信息以及经由roi数据缓存145从编码单元125输入的压缩图像数据)来生成传输数据147a。组合单元147将生成的传输数据147a经由数据通道dl输出至视频接收装置200。即，组合单元147在长分组的有效载荷数据的分组报头ph中包括关注区域roi1至roi4中的每一个的数据类型并且发送该分组。此外，组合单元147通过共用虚拟通道发送关注区域roi1至roi4中的每一个的图像数据(压缩图像数据)。
[0135]
在捕获对象不是矩形形状的情况下，将roi图像112a1至112a4的位置信息包括在分组报头ph或长分组的有效载荷数据中。通过ph生成单元143将roi图像112a1至112a4的位置信息包括在分组报头ph中。同时，通过组合单元147将roi图像112a1至112a4中的每一个的位置信息包括在长分组的有效载荷数据中。
[0136]
图12是示出传输数据147a的配置示例的图，其中，每个roi图像112a1至112a4的位置信息包括在长分组的有效载荷数据中。如图12所示，例如，传输数据147a包括帧报头区域r1和分组区域r2。要注意的是，图12详细示出帧报头区域r1的内容。此外，在图12中，省略了低功率模式lp。
[0137]
帧报头区域r1包括例如帧编号f1作为传输数据147a的标识符。帧报头区域r1包括关于包括在分组区域r2中的压缩图像数据的信息。帧报头区域r1包括例如压缩图像数据的条数(roi的数量)和与各压缩图像数据对应的各roi图像112a1至112a4有关的信息(roi信
息)。roi信息包括区域编号、物理区域长度、矩形输出区域大小、优先级、曝光信息、增益信息、ad字长和图像格式。物理区域长度是roi图像的最大长度，并且矩形输出区域大小是关注区域roi的大小。
[0138]
在图12中示出的“信息(info)”表示存储在长分组的有效载荷中的区域信息。例如，roi图像112a1至112a4中的每一个的位置信息被存储在“info”中。roi图像112a1至112a4中的每一个的位置信息被存储在长分组的有效载荷的报头。在roi图像中包括的各个连续像素行在x轴方向上的物理区域长度相同并且具有不同区域编号的roi图像不包括在各像素行中的情况下，区域信息“info”不必存储在包括各像素行中的第二和后续像素行的图像数据的长分组的有效载荷中。在该示例中，在roi图像112a1中，x轴方向上的所有像素行中第一至第四连续像素行的物理区域长度相同，并且具有不同区域编号的roi图像不包括在第一至第四像素行中。因此，区域信息“info”不存储在包括与roi图像112a1中包括的第一至第四连续像素行中的第二和后续像素行对应的第二至第四像素行的图像数据的每个长分组的有效载荷中。此外，在该示例中，在roi图像112a4中，x轴方向上的所有像素行中的第二和第三连续像素行的物理区域长度相同，并且具有不同区域编号的roi图像不包括在第二和第三像素行中。因此，区域信息“info”不存储在包括与roi图像112a4中包括的第二和第三连续像素行中的第二和后续像素行对应的第三像素行的图像数据的长分组的有效载荷中。应注意，即使在x轴方向上的物理区域长度相同并且在每像素行中不包括具有不同区域编号的roi图像的情况下，区域信息“info”也可以存储在每行的有效载荷中。
[0139]
例如，组合单元147在传输数据147a的分组区域r2中划分并布置通过对每像素行压缩roi图像112a1至112a4中的每一个而生成的压缩图像数据。在图12中示出的“1”表示存储在长分组的有效载荷中的roi图像112a1的压缩图像数据。在图12中示出的“2”表示存储在长分组的有效载荷中的roi图像112a2的压缩图像数据。在图12中示出的“3”表示roi图像112a3的压缩图像数据。在图12中示出的“4”表示存储在长分组的有效载荷中的roi图像112a4的压缩图像数据。应注意，在图12中，为了便于理解，以划分方式示出每条压缩图像数据，但是在存储在长分组的有效载荷中的数据中不存在划分。对应于重叠区域roo的图像的压缩图像数据112b未被冗余地包括在传输数据147a的分组区域r2中。此外，例如，组合单元147在传输数据147a的分组区域r2中省略不对应于每个传输图像的捕获图像111的像素行。因此，传输数据147a的分组区域r2不包括不对应于每个传输图像的捕获图像111的像素行。
[0140]
接下来，将描述在接收传输数据147a的情况下的视频接收装置200的操作。
[0141]
设置在接收单元210中的报头分离单元211(参见图8)经由数据通道dl从视频发送装置100接收传输数据147a。即，报头分离单元211接收传输数据147a，其中，在嵌入数据中包括关于捕获图像111中的每个关注区域roi1至roi4的roi信息，并且在长分组的有效载荷数据中包括每个关注区域roi1至roi4的图像数据(压缩图像数据)。报头分离单元211将接收的传输数据147a分离成帧报头区域r1和分组区域r2。
[0142]
报头解译单元212(参见图8)基于包括在帧报头区域r1中的数据(具体地，嵌入数据)指定包括在分组区域r2中的长分组的有效载荷数据的位置。
[0143]
有效载荷分离单元213(参见图8)基于由报头解译单元212指定的长分组的有效载荷数据的位置，将包括在分组区域r2中的长分组的有效载荷数据与分组区域r2分离。
[0144]
ebd解译单元214将嵌入数据作为ebd数据输出到信息处理单元220(参见图8)。ebd
解译单元214进一步基于包括在嵌入数据中的数据类型确定包括在长分组的有效载荷数据中的图像数据是roi的图像数据116的压缩图像数据还是正常图像数据的压缩图像数据。ebd解译单元214将确定结果输出至roi数据分离单元215(参见图8)。
[0145]
在输入作为包括在长分组的有效载荷数据中的图像数据的roi的图像数据的情况下，roi数据分离单元215将长分组的有效载荷数据作为有效载荷数据输出至信息处理单元220(具体地，roi解码单元222(参见图8))。包括roi信息的长分组的有效载荷数据包括roi信息的一行的像素数据和压缩图像数据。
[0146]
设置在信息处理单元220中的信息提取单元221(见图8)从包括在从ebd解译单元214输入的ebd数据中的嵌入数据中提取包括在捕获图像111中的关注区域roi1至roi4的数量(在该示例中为四个)、关注区域roi1至roi4的区域编号1至4和优先级1至4、每个关注区域roi1至roi4的数据长度以及每个关注区域roi1至roi4的图像格式。此外，信息提取单元221从嵌入数据中提取roi图像112a1至112a4中的每一个的位置信息。
[0147]
roi解码单元222对包括在有效载荷数据中的压缩图像数据147b进行解码，提取roi图像112a1至112a4中的每一个的位置信息，并且生成图像数据(从传输图像中生成)。例如，在输入与第六像素行对应的有效载荷数据的情况下，roi解码单元222从有效载荷数据中提取roi图像112a1的一条位置信息和roi图像112a2的两条位置信息，并且生成与第六像素行对应的roi图像112a1和112b1中的每一个的图像数据(传输图像)。
[0148]
例如，在输入与第十像素行相对应的有效载荷数据的情况下，roi解码单元222从有效载荷数据中提取roi图像112a3的一条位置信息和roi图像112a4的一条位置信息，并且生成roi图像112a3和112b4中的每一个的图像数据(传输图像)。
[0149]
roi图像生成单元223(参见图8)基于通过信息提取单元221获得的roi信息、通过roi解码单元222提取的每个roi图像112a1至112a4的位置信息、以及通过roi解码单元222生成的传输图像生成捕获图像111中的关注区域roi1至roi4的roi图像112a1至112a4。例如，在输入从对应于第六像素行的有效载荷数据中提取的roi图像112a1的一条位置信息和roi图像112a2的两条位置信息及其传输图像的情况下，roi图像生成单元223生成对应于五个像素并且在x轴方向上延伸的roi图像112a1、对应于四个像素并且在与roi图像112a1分离五个像素的位置处在x轴方向上延伸的roi图像112a2以及对应于两个像素并且在与roi图像112a2分离两个像素的位置处在x轴方向上延伸的roi图像112a2(见图10)。
[0150]
此外，roi图像生成单元223基于由信息提取单元221获得的roi信息检测关注区域roi3和关注区域roi4彼此重叠的重叠区域roo。roi图像生成单元223基于所检测的重叠区域roo生成从对应于第十像素行的有效载荷数据中提取的roi图像112a3和112a4中的每一个的位置信息和传输图像，在一个像素与roi图像112a3重叠的状态下，roi图像112a3对应于四个像素并且在x轴方向上延伸，并且roi图像112a4对应于三个像素并且在x轴方向上延伸(见图10)。
[0151]
roi图像生成单元223将生成的图像作为roi图像输出到后续阶段中的装置(未示出)。
[0152]
以这种方式，即使在要捕获的对象具有矩形形状以外的形状的情况下，视频发送装置100和视频接收装置200也可以发送和接收roi图像。
[0153]
3.本公开实施方式中的恢复处理原理：
[0154]
接下来，将参考图13至图17描述本公开的实施方式中的恢复处理的原理。本公开的实施方式中的恢复处理(在下文中，被称为本实施方式)是将从视频发送装置输入至视频接收装置的关注区域(roi)的图像数据恢复为可在预定的显示装置上显示的处理。例如，可以通过在视频接收装置中执行恢复处理并恢复关注区域的图像数据来有效地执行与关注区域的图像数据的显示相关的各种类型的处理(例如，写入帧存储器、将关注区域的图像数据输出至预定显示装置等)。
[0155]
3-1.在视频发送装置中发送关注区域的图像数据
[0156]
首先，作为恢复处理的前阶段，将描述直到关注区域的图像数据被输入到视频接收装置的处理。如上所述，从视频发送装置发送从所捕获的图像中切割出的关注区域的图像数据作为有效载荷数据。图13是示意性地示出由视频发送装置的成像单元获得的捕获图像的示例的视图。在图13中，示出与像素坐标相关联的捕获图像α。在该示例中，在捕获图像α中设置多个(在该示例中，三个)关注区域(roi0、roi1和roi2)。在下文中，将使用图13中示出的关注区域roi0至roi2作为具体示例来描述恢复处理。
[0157]
在该示例中，捕获图像α的坐标系是以左上端点部的像素作为原点α_о，以捕获图像α的x轴方向(水平方向)和y轴方向(垂直方向)上形成的xy正交坐标系。此外，如图13所示，捕获图像α的右下端点部(端点)α_e的坐标是(1759，989)。即，该示例的捕获图像α是具有1760个像素的宽度(x轴方向上的长度)和990个像素的高度(y轴方向上的长度)的矩形图像。在该示例中，例如，假设从捕获图像α中切割基于来自视频接收装置的控制信号的指示而设置的三个关注区域(roi0、roi1和roi2)。关注区域roi0至roi2中的每个是矩形区域。此外，关注区域roi0至roi2中的每一个以预定间隔布置而不彼此重叠。此外，在捕获图像α中，未布置关注区域roi的区域被设置为非关注区域oe。
[0158]
图14是示出捕获图像α中的捕获图像α中包括的三个关注区域(roi1、roi2和roi3)中的每一个的坐标和图像大小的图。关于关注区域的坐标，最接近捕获图像α的原点α_о的坐标是左上端点坐标(起始点坐标)，并且最远离原点α_о的坐标是右下端点坐标(结束点坐标)。此外，关注区域的大小包括表示关注区域的宽度的x轴方向上的长度和表示关注区域的高度的y轴方向上的长度。可通过至少使用矩形关注区域的起始点坐标、x轴方向长度和y轴方向长度来获得捕获图像中的排布状态，即，捕获图像中的位置和图像大小。
[0159]
如图14所示，在这个示例中，关注区域roi0布置在捕获图像α中的起始点坐标为起始点x坐标i0＝520和起始点y坐标j0＝300，并且结束点坐标为结束点x坐标k0＝919和结束点y坐标l0＝899的位置处。此外，关注区域roi1布置在起始点坐标为起始点x坐标i1＝1040和起始点y坐标j1＝140，并且结束点坐标俄日结束点x坐标k1＝1439和结束点y坐标l1＝739的坐标位置处。此外，关注区域roi2布置在起始点坐标是起始点x坐标i2＝100和起始点y坐标j2＝100，并且结束点坐标是结束点x坐标k2＝499和结束点y坐标l2＝699的坐标位置处。此外，在该示例中，关注区域roi0至roi2中的每一个在x轴方向具有400个像素的长度并且在y轴方向具有600个像素的长度。
[0160]
如图13和图14所示，在该示例中，在关注区域roi0至roi2的起始点坐标中，关注区域roi2的x坐标i2(100)最接近原点α_о，接着是关注区域roi0的起始点x坐标i0(520)和roi1的起始点x坐标i1(1040)。因此，捕获图像α中的x轴方向上的关注区域roi0到roi2的相对位置按照关注区域roi2、关注区域roi0和关注区域roi1的顺序布置。此外，在该示例中，
在关注区域roi0至roi2的起始点坐标的y坐标中，关注区域roi2的y坐标最接近原点α_о，接着是关注区域roi1的y坐标和关注区域roi0的y坐标。因此，如图13所示，捕获图像α中的y轴方向上的关注区域roi0到roi2的相对位置按照关注区域roi2、关注区域roi1和关注区域roi0的顺序布置。
[0161]
在视频发送装置中，例如，在从视频接收装置输入用于指图13所示的roi0至roi2的切割的控制信号的情况下，确定从成像单元31的成像区域切割图像的切割位置，即，每个关注区域roi0至roi2的起始点坐标和图像大小(x轴方向和y轴方向上的长度)。所确定的起始点坐标和图像大小分别被包括在roi信息中作为位置信息和大小信息。即，roi信息包括与从所拍摄的图像中切割的预定数量的关注区域(roi)相对应的位置信息和大小信息。roi信息被设置为发送数据的帧报头区域中的嵌入数据并且从视频发送装置发送。
[0162]
可以通过传输标准规范等限制在嵌入数据中设置的roi信息。在本实施方式中，通过使用起始点坐标和图像大小分别作为位置信息和大小信息作为使得能够在视频接收装置中确定捕获图像中的关注区域的位置和大小的最小数据来生成roi信息。在本实施方式中，在roi信息中不包括表示关注区域的右下端点的结束点坐标，但是在图14中，为了容易理解，将结束点坐标与起始点坐标一起显示。应注意，本公开可被配置为将关注区域的结束点坐标作为位置信息包括在roi信息中。在本公开中的位置信息可以是指示在关注区域具有矩形形状的情况下的四个角中的任一个的坐标。
[0163]
图15是示出包括关注区域roi0至roi2中的每一个的图像数据的有效载荷数据的示例的图。有效载荷数据被设置在传输数据的分组区域中并且从视频发送装置发送。在本实施方式中，在有效载荷数据的每行中，关注区域的图像数据以像素行为单位，即，以捕获图像中的y轴坐标为单位存储。
[0164]
在本实施方式中，存储关注区域的有效载荷数据仅包括捕获图像中的关注区域的图像数据，而不存储非关注区域oe的图像数据。因此，仅包括捕获图像中的非关注区域oe的图像数据的像素行不包括在有效载荷数据中。此外，有效载荷数据中的关注区域的图像数据以在有效载荷报头ph(对应于上述基础技术1和2中的“分组报头ph”)附近保持对准的状态存储在有效载荷数据中。如图15所示，捕获图像中的关注区域的图像数据以在左上方向，即，朝向捕获图像的原点(在这个示例中，原点α_о)的方向对齐的状态存储在有效载荷数据中。在该示例中，关注区域roi0至roi2的各条图像数据对应于捕获图像α中对应于800个y轴坐标的像素行。因此，在该示例中，存储关注区域roi0至roi2的各条图像数据的有效载荷数据包括从上面依次包括行pl1至pl800的总共800条线，并且形成存储与捕获图像α中的800个y轴坐标对应的像素行的数据组。
[0165]
在该例中，在捕获图像α内的三个关注区域(roi)中，起始点坐标的y坐标最小的区域是关注区域roi2。因此，如图15所示，关注区域roi2的像素行中第一行的图像数据(在该示例中，图像数据roi2(l1))以左对齐方式存储在作为有效载荷数据的顶行的行pl1中。此外，在该示例中，捕获图像α中的三个关注区域中具有起始点坐标的最大y坐标的区域是关注区域roi0。因此，如图15所示，关注区域roi0的像素行中的最终行的图像数据(在此示例中的图像数据roi0(l600))以左对齐方式存储在作为有效载荷数据的最终行的行pl800中。
[0166]
如上所述，该示例的捕获图像α中的关注区域roi0至roi2的图像数据从具有起始点坐标的较小y坐标(y坐标j0至j2)的区域的图像数据开始按顺序左对齐，并且存储在有效
载荷数据的各行中。例如，与关注区域roi2从第一像素行(y坐标＝100)到第140像素行(y坐标＝139)的起始点坐标的y坐标j2对应的图像数据roi2(l1)至roi2(l40)在图15中所示的有效载荷数据的行pl1至pl40中以左对齐方式存储。
[0167]
此外，如上所述，关注区域的图像数据以捕获图像中的y轴坐标(以像素行为单位)为单位被存储在有效载荷数据的每行中。存储在有效载荷数据中的以像素行为单位的关注区域的图像数据被称为roi像素行数据。roi像素行数据包括一组分组，该一组分组包括关注区域的压缩图像数据。在多个关注区域被布置在捕获图像中的相同y坐标处的情况下，各自包括多个关注区域i中的每个的图像数据的多个一组分组以左对齐方式连续存储在roi像素行数据中。
[0168]
此外，例如，如图13所示，关注区域roi2也存在于与捕获图像α中的与关注区域roi1的起始点坐标的y坐标i1(140)相同的y坐标处。因此，如图15所示，在该示例中，作为对应于捕获图像α中的y坐标140的像素行的图像数据，关注区域roi2的第41像素行的图像数据roi2(l41)和关注区域roi1的第一图像行的图像数据roi1(l1)按照该顺序以左对齐方式存储在有效载荷数据的行pl41中。同样地，有效载荷数据的行pl41后，两个关注区域roi2、roi1的图像数据也按照从行pl42(未示出)至行pl200的顺序左对齐存储。
[0169]
此外，例如，如图13所示，关注区域roi2和roi1也存在于与捕获图像α中的关注区域roi0的起始点坐标的y坐标i1(300)相同的y坐标处。因此，如图15所示，在该示例中，作为对应于捕获图像α中的y坐标300的像素行的图像数据，关注区域roi2的第201像素行的图像数据roi2(l201)、关注区域roi0的第一像素行的图像数据roi0(l1)以及关注区域roi1的第161图像行的图像数据roi1(l161)按该顺序以左对齐方式存储在有效载荷数据的行pl201中。类似地，有效载荷数据的行pl201之后，三个关注区域roi2、roi0和roi1的图像数据也从行pl202(未示出)到的行pl600按该顺序左对齐存储。
[0170]
此外，有效载荷数据行pl600包括作为关注区域roi2的最终行的第600像素行的图像数据roi2(l600)，作为关注区域roi2的结束点坐标的y坐标l2(捕获图像α中的y坐标＝699)的图像数据。然后，将两个关注区域roi0和roi1的图像数据按这样的顺序左对齐地存储在有效载荷数据的行pl601至pl640中。此外，有效载荷数据行pl640包括作为关注区域roi1的最终行的第600像素行的图像数据roi1(l600)，作为关注区域roi1的结束点坐标的y坐标i1(捕获图像α中的y坐标＝739)的图像数据。然后，将一个关注区域roi0的图像数据按该顺序左对齐地存储在有效载荷数据的行pl641至pl800中。有效载荷数据行pl800包括作为关注区域roi0的最终行的第600像素行的图像数据roi0(l600)，作为关注区域roi0的结束点坐标的y坐标l0(捕获图像α中的y坐标＝899)的图像数据。以这种方式，生成对应于800行的有效载荷数据，包括该示例的关注区域roi0至roi2的图像数据。
[0171]
这样，存储从预定的捕获图像(在该例子中是捕获图像α)切割的预定数量(在该例子中是3个)的关注区域(roi)的图像数据的有效载荷数据与包括与切割的预定数量的roi对应的roi信息的嵌入数据一起从视频发送装置发送到视频接收装置。
[0172]
3-2.视频接收装置中的恢复处理
[0173]
在本实施方式中，一旦接收到包括关注区域的图像数据的传输数据，视频接收装置就对所接收的传输数据中包括的关注区域的图像数据执行恢复处理。包括图像数据的传输数据以图像数据帧为单位在视频发送装置和视频接收装置之间通信。例如，图像数据帧
的报头区域和分组区域中的每一个中的数据以事务(transaction)为单位发送到视频接收装置。视频接收装置接收指图像数据帧的开始的分组(帧开始(sof))以执行与包括在传输数据中的图像数据相关的各种类型的处理，并且恢复处理也是其示例。
[0174]
在本实施方式的恢复处理中，从接收到的传输数据提取与关注区域对应的roi信息，并且基于所提取的roi信息生成用于恢复处理的roi恢复信息。关注区域的图像数据在视频发送装置中从压缩状态被解码，基于roi恢复信息被恢复为可显示，并且被写入帧存储器中。
[0175]
基于通过执行恢复处理而从嵌入数据中提取的与预定数量的关注区域相对应的roi信息，关注区域的图像数据被恢复为可在预定显示装置上显示(可显示状态)。因此，在所捕获图像中的任意位置和图像大小处切割的关注区域的图像数据可有效地显示在显示装置上。在下文中，为了容易理解，将分别针对信息提取处理和写入处理描述恢复处理。信息提取处理是从提取的roi信息生成用于恢复处理的roi恢复信息的处理，并且写入处理是基于roi恢复信息将关注区域的图像数据写入帧存储器中的处理。
[0176]
[信息提取处理]
[0177]
在信息提取处理中，首先，分析传输数据中的嵌入数据，并且从嵌入数据中提取与从捕获图像中切割的预定数量的关注区域(roi)对应的roi信息。在信息提取处理中，从嵌入数据中提取关注区域的位置信息和大小信息作为roi信息。
[0178]
在本实施方式中，位置信息是表示捕获图像中的关注区域的位置的信息，并且对应于例如表示关注区域的左上端点部的起始点坐标(x坐标和y坐标)。此外，在本实施方式中，大小信息是表示捕获图像中的关注区域的大小(像素数量)的信息，并且例如对应于关注区域在x轴方向上的长度和关注区域在y轴方向上的长度。因此，在本实施方式的信息提取处理中，提取关注区域的起始点坐标作为roi信息中的位置信息。另外，提取x轴方向上的关注区域的长度和y轴方向上的关注区域的长度作为roi信息中的大小信息。
[0179]
在这个示例中，如图13所示，从捕获图像α中切割三个关注区域roi0至roi2。因此，在该示例中，在信息提取处理中，从嵌入数据中提取关注区域roi0至roi2中的每一个的起始点坐标以及关注区域roi0至roi2中的每一个在x轴方向和y轴方向上的长度(参见图14)作为roi信息。
[0180]
(roi恢复信息)
[0181]
在信息提取处理中，一旦提取了roi信息(位置信息和大小信息)，则基于所提取的roi信息生成用于恢复关注区域的图像数据的roi恢复信息。在此，将参考图16详细描述roi恢复信息。图16是用于描述roi恢复信息中包括的第一坐标数据和第二坐标数据的图。在信息提取处理中，在生成roi恢复信息时，基于提取的roi信息(位置信息和大小信息)针对每个关注区域生成图16中示出的第一坐标数据和第二坐标数据。例如，在本示例中，三个关注区域roi0至roi2是恢复处理对象。因此，在本实施方式中，在生成roi复原信息时，生成与三个关注区域roi0至roi2分别对应的第一坐标数据和第二坐标数据。
[0182]
第一坐标数据包括用于识别关注区域的roi识别数据、以及指示关注区域在捕获图像中的相对位置的相对坐标数据。第一坐标数据是roi识别数据与相对坐标数据相互关联的数据。roi识别信息是能够识别作为恢复处理对象的传输数据中的多个关注区域中的每个的信息，并且例如是任意数值或字符串。
[0183]
此外，如图16所示，相对坐标数据包括表示捕获图像中的关注区域的左上端点的起始点坐标以及表示关注区域的右下端点的结束点坐标。具体而言，第一坐标数据所包括的相对坐标数据包括表示起始点坐标的x坐标(起始点x坐标)、起始点坐标的y坐标(起始点y坐标)、结束点坐标的x坐标(结束点x坐标)、结束点坐标的y坐标(结束点y坐标)这4个数值。第一坐标数据中的相对坐标数据例如是表示起始点坐标(x，y)和结束点坐标(x，y)的数值按照图16的上部所示的顺序以逗号分隔的方式排列的数值阵列。
[0184]
如上所述，在本实施方式中，从视频发送装置发送的roi信息包括作为位置信息的起始点坐标的信息，但不包括结束点坐标的信息。因此，在信息提取处理中，在生成第一坐标数据时，根据位置信息中包括的起始点坐标和大小信息中包括的x轴方向和y轴方向上的长度，计算结束点坐标。
[0185]
与第一坐标数据类似，第二坐标数据包括roi识别数据和相对坐标数据。但是，如图16所示，第二坐标数据的相对坐标数据和第一坐标数据的相对坐标数据不同之处在于，第二坐标数据的相对坐标数据包括起始点y坐标和结束点y坐标，而不包括起始点x坐标和结束点x坐标。第二坐标数据的相对坐标数据例如是表示起始点y坐标和结束点y坐标的数值按照图16的下部所示的顺序以逗号分隔的方式排列的数值阵列。
[0186]
在本实施方式的信息提取处理中，一旦生成与作为恢复处理对象的关注区域(roi)对应的第一坐标数据和第二坐标数据，就生成将各关注区域的第一坐标数据按照起始点x坐标的升序重新排列的x坐标顺序数据。另外，生成将第二坐标数据按照起始点y坐标的升序重新排列的y坐标顺序数据。在本实施方式中，x坐标顺序数据和y坐标顺序数据对应于roi恢复信息。
[0187]
如上所述，roi恢复信息是通过重新排列roi信息中的位置信息和大小信息而生成的信息。更具体地讲，roi恢复信息是通过重新排列从位置信息和大小信息生成的数据(第一坐标数据和第二坐标数据)而生成的信息。在本实施方式的信息提取处理中，如上所述，生成x坐标顺序数据和y坐标顺序数据作为roi恢复信息。生成的x坐标顺序数据和y坐标顺序数据临时存储在视频接收装置的预定存储区域(例如，寄存器等)中，并且在恢复处理的后续处理(例如，写入处理)中使用。
[0188]
这里，将参考图17描述x坐标顺序数据和y坐标顺序数据的具体示例。图17是示出与作为该示例中的恢复处理对象的关注区域roi0至roi2对应的x坐标顺序数据和y坐标顺序数据的示例的图。
[0189]
在本实施方式的信息提取处理中，在生成构成x坐标顺序数据和y坐标顺序数据的第一坐标数据和第二坐标数据时，计算关注区域roi0至roi2的结束点坐标。通过“起始点x坐标 x轴方向长度-1”获得关注区域的结束点x坐标。如图14所示，关注区域roi0的起始点x坐标i0的值为“520”，并且在x轴方向上的长度为“400”。因此，端点x坐标k0的值被计算为“919”＝“起始点x坐标i0(520) x轴方向长度(400)-1”。类似地，计算关注区域roi1的结束点x坐标k1的值“1439”和关注区域roi2的结束点x坐标k2的值“499”。
[0190]
此外，通过“起始点y坐标 y轴方向长度-1”获得关注区域的结束点y坐标。如图14所示，关注区域roi0的起始点y坐标j0的值是“300”，并且在x轴方向上的长度是“600”。因此，结束点y坐标l0的值被计算为“899”＝“起始点y坐标i0(300) y轴方向长度(600)-1”。类似地，计算关注区域roi1的端点y坐标i1的值“739”和关注区域roi2的端点y坐标l2的值“699”。以此方式，计算每一关注区域的结束点坐标。
[0191]
在本实施方式的信息提取处理中，一旦计算出结束点坐标，则使用roi信息中包括的起始点坐标信息和计算出的结束点坐标，生成关注区域roi0至roi2的第一坐标数据和第二坐标数据。
[0192]
在这个示例中，关注区域roi0的第一坐标数据由“r0(520，300，919，899)”表示。此处，“r0”是指示关注区域roi0的roi识别信息。类似地，关注区域roi1的第一坐标数据由“r1(1040，140，1439，739)”表示，并且关注区域roi2的第一坐标数据由“r2(100，100，499，699)”表示。在以升序排列关注区域roi0至roi2的起始点x坐标的情况下，以该顺序排列表示关注区域roi2的起始点x坐标i2的值“100”、表示关注区域roi0的起始点x坐标i0的值“520”、以及表示关注区域roi1的起始点x坐标i1的值“1040”。因此，通过按照起始点x坐标的升序(按照关注区域roi2、roi0、roi1的顺序)重新排列关注区域roi0至roi2的第一坐标数据，来生成对应于图17左侧所示的关注区域roi0至roi2的x坐标顺序数据。
[0193]
此外，在这个示例中，关注区域roi0的第二坐标数据由“r0(300，899)”表示。类似地，关注区域roi1的第二坐标数据由“r1(140，739)”表示，并且关注区域roi2的第二坐标数据由“r2(100，699)”表示。在关注区域roi0至roi2的起始点y坐标以升序排列的情况下，表示关注区域roi2的起始点y坐标l2的值“100”、表示关注区域roi1的起始点y坐标l1的值“140”、以及表示关注区域roi1的起始点y坐标l0的值“899”以该顺序排列。因此，通过按照起始点y坐标的升序(按照关注区域roi2、roi1和roi0的顺序)重新排列关注区域roi0至roi2的第二坐标数据，生成与图17的右侧所示的关注区域roi0至roi2对应的y坐标顺序数据。在该示例中，在保持图17所示的顺序的同时，将生成的对应于关注区域roi0至roi2的x坐标顺序数据和y坐标顺序数据存储在寄存器中。
[0194]
注意，在图17中，为了便于理解，x坐标顺序数据和y坐标顺序数据中的布置顺序在左端由1至3的数值表示。另外，在图17中，为了容易理解，将x坐标顺序数据按照以行为单位的起始点x坐标的升序存储关注区域roi0至roi2的第一坐标数据的表格形式进行显示，将y坐标顺序数据按照以行为单位的起始点y坐标的升序存储关注区域roi0至roi2的第二坐标数据的表格形式进行显示。然而，x坐标顺序数据和y坐标顺序数据的存储方式不限于此。在本实施方式中，可以以保持预定数量的关注区域的顺序的方式来存储x坐标顺序数据和y坐标顺序数据。
[0195]
例如，x坐标顺序数据可将各关注区域的第一坐标数据与指示按照起始点x坐标的升序重新排列的情况下的顺序的数值一起存储。另外，同样地，y坐标顺序数据也可以将各关注区域的第二坐标数据和表示以起始点y坐标的升序重新排列的情况下的顺序的数值一起存储。另外，x坐标顺序数据也可以作为将各关注区域的第一坐标数据除以预定的定界符(例如，逗号)而得到的数组来存储。同样地，y坐标顺序数据也可以作为将各关注区域的第二坐标数据除以预定的定界符(例如，逗号)而得到的数组来存储。
[0196]
在该示例的信息提取处理中，可以通过生成与关注区域roi0至roi2相对应的x坐标顺序数据和y坐标顺序数据来确定作为恢复处理对象的关注区域roi0至roi2在捕获图像α(参见图13)中的相对位置。结果，在信息提取处理之后的恢复处理的处理(写入处理)中，可以进行使用关注区域roi0至roi2的相对位置的处理。
[0197]
如上所述，x坐标顺序数据是通过按照与位置信息对应的起始点坐标的x坐标(起
始点x坐标)的值的升序重新排列从捕获图像中切割的预定数量的关注区域(roi)的位置信息和大小信息而获得的数据。更具体地，x坐标顺序数据是通过按照起始点x坐标的升序重新排列根据关注区域的位置信息和大小信息生成的多个相对坐标信息而获得的数据。此外，y坐标顺序数据是通过按与位置信息相对应的起始点坐标的y坐标的值的升序重新排列从捕获图像中切割的预定数量的关注区域的位置信息和大小信息而获得的数据。更具体地，y坐标顺序数据是通过以起始点y坐标的升序重新排列从关注区域的位置信息和大小信息生成的相对坐标信息中的y坐标而获得的数据。
[0198]
可以通过在恢复处理中的信息提取处理中生成roi恢复信息来确定捕获图像中的关注区域的相对位置。结果，可以使用相对位置平滑地执行恢复处理的后续处理(例如，写入处理)。如稍后将详细描述的，每当视频接收装置接收到传输数据并且开始新的信息提取处理时，所存储的x坐标顺序数据和y坐标顺序数据被更新。
[0199]
[写入处理]
[0200]
接下来，将描述恢复处理中的写入处理。写入处理是基于在信息提取处理中生成的roi恢复信息将关注区域的图像数据写入视频接收装置中的存储装置的处理。在本实施方式中，例如，帧存储器被假定为用于写入roi的图像数据的存储装置。帧存储器是能够以屏幕为单位保持要在显示装置(例如，显示器等)上显示的图像数据的存储器ic。
[0201]
在本实施方式中，一旦如上所述通过接收sof开始用于传送传输数据的帧并且在视频发送装置中接收传输数据，首先输入嵌入数据，然后从顶部依次输入有效载荷数据的各个行。上述信息提取处理基于嵌入数据的输入，但恢复处理中的写入处理基于有效载荷数据的各行的输入执行。在本实施方式中的写入处理中，基于roi恢复信息以有效载荷数据为单位将关注区域的图像数据写入帧存储器中。在写入处理中，有效载荷数据的每行的roi像素行数据被写入帧存储器中。
[0202]
在本实施方式中，在恢复处理的写入处理中，基于roi恢复信息针对每个关注区域划分有效载荷数据中的关注区域的图像数据(即，roi像素行数据)。即，基于roi恢复信息，将roi像素行数据划分为针对每个关注区域的一组分组(即，关注区域(roi)的图像数据)。此外，在写入处理中，基于roi恢复信息生成指示帧存储器中的关注区域(roi)的图像数据的写入目的地的地址。将从roi像素行数据划分的每个关注区域的图像数据写入帧存储器中的地址。
[0203]
如稍后将详细描述的，在本实施方式中，基于roi恢复信息，指定帧存储器中与所捕获图像中的每个关注区域的相对位置相对应的恢复位置作为关注区域的图像数据的写入目的地，并且生成指示恢复位置的地址。因此，在帧存储器中恢复捕获图像中的关注区域的相对位置。因此，关注区域的图像数据可显示在与显示器的屏幕上的捕获图像中的相对位置对应的显示位置处。
[0204]
(roi恢复信息的分析)
[0205]
在本实施方式的写入处理中，分析roi恢复信息(x坐标顺序数据和y坐标顺序数据)，基于roi恢复信息提取与有效载荷数据的每行中的roi像素行数据对应的信息，并且生成用于写入的信息(写入信息)。基于从roi恢复信息生成的写入信息，执行对roi像素行数据的划分以及在帧存储器中生成用于指示划分的roi像素行数据的写入目的地的地址。在本实施方式中，例如，生成写入y坐标、写入起始x坐标以及写入大小作为写入信息。在恢复
处理的写入处理中，针对有效载荷数据的各行的各输入提取x坐标顺序数据和y坐标顺序数据以生成写入信息。下面将具体描述写入信息(写入y坐标、写入起始x坐标和写入大小)。
[0206]
(写入y坐标)
[0207]
写入y坐标是在捕获图像中的roi像素行数据的y坐标。写入y坐标用于确定在写入roi像素行数据时在帧存储器中的y轴方向上的位置。存储在有效载荷数据的每行中的roi像素行数据包括与所捕获的图像中的y坐标相同的关注区域的图像数据。因此，写入y坐标具有以有效载荷数据的行为单位的公共值。从roi恢复信息中的y坐标顺序数据生成写入y坐标。例如，一旦有效载荷数据的每行被输入，则从存储顺序(起始点x坐标的升序)中的y坐标顺序数据中提取第二坐标数据。使用所提取的第二坐标数据生成对应于输入有效载荷数据的每行的写入y坐标。
[0208]
在该示例中，在输入有效载荷数据的行pl1(见图15)的情况下，提取与y坐标顺序数据(见图17的右侧)的第一关注区域roi2相关的第二标坐数据，并且生成表示关注区域roi2的起始点y坐标(100)的写入y坐标。即，在输入有效载荷数据的顶部行(第一行)的情况下，如果提取y坐标顺序数据的第一第二坐标数据，并且将第二坐标数据中的起始点y坐标(即，在y坐标顺序数据中具有最小值的起始点y坐标确定为写入y坐标)，那么这是足够的。
[0209]
在输入顶部行之后，写入y坐标的值通过在每次输入有效载荷数据的新行时递增1来更新。此外，在写入y坐标的更新值超过结束点y坐标的值的情况下，从y坐标顺序数据中提取下第二坐标数据。在该示例中，在输入有效载荷数据的第601行的行pl601的情况下，写入y坐标的更新值变为“700”，并且超过关注区域roi2的端点y坐标的值“699”。因此，从y坐标顺序数据中提取与第二关注区域roi1相关的第二坐标数据(见图17的右侧)。
[0210]
一旦提取出新的第二坐标数据，则确定写入y坐标的更新值是否包括在从新提取出的第二坐标数据的起始点y坐标到结束点y坐标的范围内。如果写入y坐标的更新值在该范围内，则写入y坐标的更新值用作对应于输入行的写入y坐标。在这个示例中，确定写入y坐标的更新值“700”在从关注区域roi1的起始点y坐标的值“140”至结束点y坐标的值“739”的范围内。因此，写入y坐标的更新值“700”用作有效载荷数据的行pl601的roi像素行数据的写入y坐标。
[0211]
另一方面，在写入y坐标的更新值不在该范围内的情况下，写入y坐标的更新值不对应于输入行中的roi像素行数据的y坐标。因此，基于新提取的第二坐标数据生成写入y坐标。例如，在写入y坐标的更新值小于新提取的第二坐标数据的起始点y坐标的值的情况下，如果用第二坐标数据的起始点y坐标的值生成写入y坐标就足够了。此外，在写入y坐标的更新值大于新提取的第二坐标数据的结束点y坐标的值的情况下，如果从y坐标顺序数据中提取下一第二坐标数据以生成写入y坐标就足够了。因此，捕获图像中的每个关注区域的y坐标位置可以反映在写入y坐标上。
[0212]
(写入起始x坐标和写入大小)
[0213]
接下来，将描述写入起始x坐标和写入大小的生成。相对于以roi像素行为单位生成的写入y坐标，为每个关注区域生成写入起始x坐标和写入大小。写入起始x坐标指示在捕获图像中在roi像素行数据，即，每个关注区域的图像数据中包括的每个一组分组的x坐标。此外，写入大小指示每个关注区域的图像数据的图像大小(此处，x轴方向上的长度)。基于在写入帧存储器时的写入起始x坐标和写入大小，针对每个关注区域划分roi像素行数据。
因此，写入大小也被称为“划分大小”。
[0214]
此外，写入起始x坐标用于计算在写入每个关注区域的图像数据时与帧存储器中的x轴方向上的每个关注区域相对应的写入起始位置(报头地址)。此外，写入大小用于计算帧存储器中的连续地址，帧存储器用于存储从roi像素行数据中划分的关注区域的图像数据。
[0215]
从roi恢复信息中的x坐标顺序数据生成写入起始x坐标和写入大小。例如，一旦有效载荷数据的每行被输入，就从存储顺序(起始点x坐标的升序)中的x坐标顺序数据中提取第二坐标数据。对于提取的第一坐标数据，确定当前的写入y坐标的值是否包括在从提取的第一坐标数据的起始点y坐标到结束点y坐标的范围内。因此，确定每个关注区域的图像数据是否包括在每行的roi像素行数据中。在此，将与roi像素行数据中包括的图像数据相关联的关注区域称为写入目标roi。应注意，在本实施方式中，在输入有效载荷数据的预定行的情况下，首先，生成(更新)写入y坐标的值，然后，生成写入起始x坐标和写入大小。
[0216]
在该示例中，在输入有效载荷数据的第一行的行pl1(见图15)的情况下，首先提取与x坐标顺序数据(见图17的右侧)的第一关注区域roi2相关的第一坐标数据。此时，如上所述，写入y坐标的值是“100”，并且包括在从关注区域roi2的起始点y坐标的值“100”至结束点y坐标的值“699”的范围内。因此，行pl1的roi像素行数据包括关注区域roi2的图像数据，并且关注区域roi2被确定为写入目标roi。另一方面，写入y坐标的值“100”不包括在与x坐标顺序数据的第二关注区域roi1相关的第一坐标数据的起始点y坐标的值“140”至结束点y坐标的值“739”的范围内。类似地，写入y坐标的值“100”不包括在与x坐标顺序数据的第三关注区域roi0相关的第一坐标数据的起始点y坐标的值“300”至结束点y坐标的值“899”的范围内。因此，判定为关注区域roi0、roi1不是写入对象roi。
[0217]
在本实施方式中，针对确定为写入目标roi的每个关注区域(roi)生成写入起始x坐标和写入大小。具体而言，生成写入目标roi的起始点x坐标作为写入起始x坐标。在这个示例中，生成关注区域roi2的写入起始x坐标作为起始点x坐标的值“100”。此外，通过将写入目标roi的第一坐标数据中的起始点x坐标的值与结束点x坐标的值之间的差加1来生成写入大小。在这个示例中，关注区域roi2的写入大小是“400像素(＝结束点x坐标(499)-起始点x坐标(100) 1)”。
[0218]
在确定关注区域roi0是写入目标roi的情况下，产生关注区域roi0的写入起始x坐标作为起始点x坐标的值“300”，并且关注区域roi0的写入大小是“400像素(＝结束点x坐标(919)-起始点x坐标(520) 1)”。此外，在确定关注区域roi1是写入目标roi的情况下，关注区域roi1的写入起始x坐标被生成为起始点x坐标的值“1040”，并且关注区域roi1的写入大小是“400像素(＝结束点x坐标(1439)-起始点x坐标(1040) 1)”。
[0219]
在该示例中，在输入有效载荷数据的行pl1至pl40的情况下，仅关注区域roi2是写入目标roi。因此，生成关注区域roi2的写入起始x坐标和写入大小。此外，在输入有效载荷数据的行pl41至pl200的情况下，关注区域roi2和roi1是写入对象roi。因此，生成关注区域roi2和roi1中的每一个的写入起始x坐标和写入大小。另外，在输入了有效载荷数据的行pl201至pl600的情况下，关注区域roi2、roi0、roi1是写入对象roi。因此，生成各关注区域roi2、roi0、roi1的写入起始x坐标和写入大小。
[0220]
此外，在输入有效载荷数据的行pl601之后，关注区域roi2不对应于写入目标roi。
因此，生成各关注区域roi0和roi1的写入起始x坐标和写入大小。此外，在输入有效载荷数据的行pl641之后，关注区域roi1不对应于写入目标roi。因此，仅产生关注区域roi0的写入起始x坐标和写入大小。如上所述，在本实施方式中，基于roi恢复信息中的位置信息(在该示例中的x坐标顺序数据)，计算要写入帧存储器中的关注区域(roi)的图像数据的写入大小。
[0221]
(帧存储器中的地址的生成)
[0222]
在本实施方式的恢复处理中的写入处理中，一旦从roi恢复信息生成写入信息(写入y坐标、写入起始x坐标和写入大小)，则基于写入信息指定用于在帧存储器中写入包括在roi像素行数据中的关注区域(写入目标roi)的图像数据的地址。在本实施方式中，如上所述，在帧存储器中生成与表示捕获图像中的关注区域的相对位置的恢复位置相对应的地址。此外，对于写入目标roi的图像数据，按照x坐标顺序数据的存储顺序(起始点x坐标的升序)生成地址。
[0223]
例如，基于以roi像素行为单位共有的写入y坐标，指定关注区域(此处，写入对象roi)的恢复位置中的在帧存储器中的y轴方向上的位置。进而，根据各写入对象roi的写入起始x坐标，指定各写入对象roi的恢复位置中的帧存储器中的x轴方向的报头位置。因此，指定帧存储器中的写入目标roi的图像数据的写入起始位置。
[0224]
在该示例中，假设在输入有效载荷数据的第一行的行pl41(见图15)的情况下，生成roi像素行数据的写入y坐标“140”、关注区域roi2的写入起始x坐标“100”、以及关注区域roi1的写入起始x坐标“140”。在这种情况下，对应于捕获图像α(见图13)中的像素坐标“100，140(x坐标，y坐标)”的位置被确定为帧存储器中的pl41中的roi像素行数据中包括的关注区域roi2的图像数据的写入起始位置。此外，对应于捕获图像α中的像素坐标“520，140(x坐标，y坐标)”的位置被确定为帧存储器中的roi像素行数据中包括的关注区域roi1的图像数据的写入起始位置。
[0225]
如上所述，为每个roi像素行数据写入目标roi确定写入起始位置，从而计算帧存储器中的表示写入起始位置的报头地址。在本实施方式中，例如，与所捕获的图像的像素坐标相等的像素坐标可应用于帧存储器中的图像数据的写入区域。在这种情况下，例如，可以通过指定写入起始位置的坐标来计算表示帧存储器中的坐标的地址。注意，只要根据帧存储器等的规格适当地设计特定地址计算方法(计算公式)，就足够了。
[0226]
此外，使用每个关注区域的报头地址和为每个关注区域生成的写入大小来计算对应于由写入大小指示的像素数量的连续地址。例如，将报头地址的值加(递增)1，直到写入大小所指示的像素的数量。因此，计算对应于由写入大小表示的像素的数量的连续地址。通过将写入对象roi的图像数据的各像素写入连续的地址，能够将一连串的写入对象roi的图像数据写入帧存储器。在帧存储器中，对应于从写入起始位置开始的写入大小的区域以像素行为单位对应于写入目标roi的恢复位置。
[0227]
在该示例中，在输入有效载荷数据的第41行的行pl41(见图15)的情况下，对于关注区域roi2的报头地址，重复用于计算与写入大小“400像素”对应的地址的增加。因此，在帧存储器中生成对应于来自关注区域roi2的报头地址的400个像素的连续地址。类似地，生成关注区域roi1的报头地址的400个像素的连续地址。因此，关注区域roi2和roi1中的每一个的400个像素的图像数据被写入帧存储器中。
[0228]
(图像数据的划分)
[0229]
在本实施方式中的写入处理中，基于roi恢复信息针对每个关注区域来划分和传输有效载荷数据中的关注区域(roi)的图像数据(roi像素行数据)，并且将其写入帧存储器中。具体地，基于从roi恢复信息生成的写入信息(写入y坐标、写入起始x坐标和写入大小)，针对每个关注区域(写入目标roi)划分有效载荷数据的每行中的roi像素行数据。在本实施方式的恢复处理中的写入处理中，基于写入信息中的写入大小针对每个关注区域划分roi像素行数据。
[0230]
例如，按照x坐标顺序数据的存储顺序(起始点x坐标的升序)从roi像素行数据中划分写入目标roi的图像数据。即，从有效载荷报头侧将roi像素行数据按顺序划分成每个写入目标roi的图像数据。针对每个写入目标roi，将以写入目标roi为单位的经划分的图像数据与roi像素行数据分离，并且生成写入目标图像数据。写入目标图像数据被传送至帧存储器并且被写入基于写入信息生成的地址。因此，通过与每个写入目标roi的划分次数相对应的写入次数将roi像素行数据写入帧存储器中。
[0231]
在该示例中，在输入有效载荷数据的第41行的行pl41(见图15)的情况下，基于作为写入对象roi的关注区域roi2和roi1中的每一个的写入大小来划分roi像素行数据。行pl41的像素行数据从roi像素行数据的报头(即，行pl41的有效载荷报头ph)侧开始被分成包括关注区域roi2的图像数据(roi2(l41))和关注区域roi1的图像数据(roi1(l1))的两个图像数据。因此，行pl41的roi像素行数据被写入帧存储器中的次数是2。具体地，在有效载荷数据的第41行的行pl41中，关注区域roi2的划分大小(写入大小)是400个像素，并且关注区域roi1的划分大小是400个像素。因此，划分roi像素行数据中对应于来自报头的400个像素的图像数据，以生成关注区域roi2的写入目标图像数据。此外，关注区域roi1的写入目标图像数据从与roi像素行数据中的其余400个像素相对应的图像数据中生成。
[0232]
例如，按照从roi像素行数据划分的顺序(按照写入起始x坐标的升序)，将针对每个关注区域(写入目标roi)生成的写入目标图像数据传送至帧存储器，并且写入指示对应于每个关注区域(roi)的恢复位置的地址。因此，写入目标roi的写入目标图像数据被写入至帧存储器中的与写入目标roi对应的恢复位置。应注意，在存在一个写入目标roi的情况下(例如，在输入有效载荷数据的第一行的行pl1的情况下)，像素行数据可被传输至帧存储器而不被划分，但是如果适当的话，可根据总线规格和像素行数据的像素数量被划分。
[0233]
上面已经描述了本实施方式的恢复处理中的写入处理。如上所述，每当有效载荷数据的每行被输入时，执行写入目标roi的地址的生成和roi像素行数据的划分，并且有效载荷数据的所有行的多个roi像素行数据被写入帧存储器中。结果，从捕获图像中切割出的关注区域中的每被写入帧存储器中的恢复位置。因此，在视频接收装置中，关注区域的图像数据被恢复为可在预定的显示装置上显示。在该示例中，在帧存储器中，关注区域roi0至roi2被写入对应于捕获图像α中的相对位置的恢复位置(参见图13)。即，关注区域roi0至roi2被恢复为可在对应于预定显示装置的屏幕上的捕获图像α(参见图13)中的相对位置的显示位置处显示。
[0234]
如上所述，在本实施方式中，关注区域的图像数据被恢复为可显示，并且通过恢复处理中的信息提取处理和写入处理被写入帧存储器中，由此图像数据可以被有效地显示在显示装置诸如显示器上。
[0235]
4.本公开的视频传输系统
[0236]
4-1.视频传输系统的概要
[0237]
接下来，参照图18和图19描述根据本实施方式的视频传输系统和视频接收装置。首先，参照图18对本实施方式的视频传输系统的概要结构进行说明。图18是示出视频传输系统(传输系统的示例)2的示意性配置的框图。此外，图19是示出根据本实施方式的视频接收装置200a的配置的示例的框图。
[0238]
如图18所示，视频传输系统2包括视频发送装置(发送装置的示例)100和视频接收装置(接收装置的示例)200a。应注意，实施与根据上述基础技术1和2的视频传输系统1(见图1)的操作和功能相同的操作和功能的部件由相同的参考标号表示，并且省略其描述。
[0239]
在视频传输系统2中，视频发送装置100生成包括嵌入数据和有效载荷数据的传输数据，关注区域的图像数据和正常图像的数据存储在有效载荷数据中。由视频发送装置100生成的传输数据经由数据通道dl发送到视频接收装置200a。一旦接收到传输数据，视频接收装置200a就对传输数据执行预定处理。一旦接收到包括关注区域的图像数据的传输数据，根据本实施方式的视频接收装置200a就对关注区域的图像数据执行恢复处理。
[0240]
此外，在本实施方式中，视频接收装置200a连接到显示装置300。显示装置300例如是包括能够显图像的屏幕的显示装置。视频接收装置200a将包括在传输数据中的图像数据(正常图像的数据和关注区域(roi)的图像数据)输出至显示装置300。因此，例如，从捕获图像中切割并且作为视频发送装置100中的传输数据发送的关注区域的图像数据在视频接收装置200a中经受恢复处理，然后显示在显示装置300的屏幕上。
[0241]
接下来，将描述根据本实施方式的视频接收装置200a。视频接收装置200a与根据基础技术1和2的视频接收装置200(见图8)的不同之处在于视频接收装置200a被配置为能够执行恢复处理。应注意，在视频接收装置200a中实现与根据基础技术1和2的视频接收装置200的那些相同的操作和功能的部件由相同的参考符号表示，并且如果适当的话省略其描述。
[0242]
如图19所示，视频接收装置200a包括，例如，接收单元210、信息处理单元(处理单元的示例)230、以及帧存储器250。如稍后将详细描述的，在本实施方式中，信息处理单元230包括第一信息处理单元230a和第二信息处理单元230b。信息处理单元230(第一信息处理单元230a和第二信息处理单元230b)和帧存储器250经由总线240连接以便能够传送图像数据。此外，第二信息处理单元230b和帧存储器250被连接以便能够在直接存储器访问(dma)控制器20的控制下经由总线240传送图像数据。
[0243]
视频接收装置200a中的接收单元210接收传输信号(在该示例中的传输数据147a)，其中，从预定的捕获图像中切割出的预定数量的关注区域(roi)的图像数据包括在有效载荷数据中，并且与预定数量的关注区域相对应的roi信息包括在嵌入数据中。与基础技术1和2中的视频发送装置100相似，根据本实施方式的传输系统2中包括的视频发送装置100(见图18)发送捕获图像111中的每个关注区域(roi)的图像数据作为长分组的有效载荷数据，并且发送关于关注区域的roi信息120b作为嵌入数据。因此，已经接收从视频发送装置100发送的传输数据147a的装置(视频接收装置200)可以容易地从传输数据147a中提取每个关注区域roi的图像数据(roi图像112)。接收单元210是通过对接收到的传输数据147a实施预定的处理而生成各种数据(214a、215a、215b)并输出到信息处理单元220的电路。在
本实施方式中，一旦接收到表示与视频发送装置100开始图像数据帧的通信的分组(sof)，则接收单元210将表示接收sof的预定信号输出至第一信息处理单元230a。
[0244]
与上述基础技术1和2中的视频接收装置200相似，同样在视频接收装置200a中，接收单元210包括例如报头分离单元211、报头解译单元212、有效载荷分离单元213、ebd解译单元214以及roi数据分离单元215。其中，报头分离单元211和报头解译单元212具有与视频接收装置200的配置类似的配置，并且因此省略其描述。
[0245]
ebd解译单元214基于从有效载荷分离单元213输入的包括在嵌入数据213a中的数据类型，确定包括在传输数据147a的有效载荷数据中的图像数据是roi的图像数据(基础技术1和2中的关注区域的图像数据116的压缩图像数据120a)还是正常图像的数据(压缩图像数据130a)。此外，ebd解译单元214将数据类型确定结果输出至roi数据分离单元215。此外，ebd解译单元214将包括roi信息(表示关注区域的图像数据包括在有效载荷数据中)的嵌入数据输出至第一信息处理单元230a(具体地，第一信息提取单元231)作为ebd数据214a。
[0246]
在基于来自ebd解译单元214的数据类型确定结果确定包括在传输数据147a的有效载荷数据中的图像数据是关注区域的图像数据(图像数据116的压缩图像数据120a)的情况下，roi数据分离单元215针对每行将有效载荷数据的每行作为有效载荷数据215a输出至第一信息处理单元230a(具体地，roi解码单元232)。有效载荷数据215a包括用于一行压缩图像数据147b的像素数据(roi像素行数据)。
[0247]
在本实施方式中，例如，以构成与从视频发送装置100发送的传输数据147a相关的图像数据帧的交易为单位，有效载荷数据的每行被发送到视频接收装置200a。当在接收单元210的报头解析单元212中检测到长分组的载荷数据的各行的报头时，在有效载荷分离单元213中从分组区域r2中分离各行的载荷数据，在roi数据分离单元215中生成包括各行的载荷报头ph、roi像素行数据以及载荷脚pf的载荷数据215a。
[0248]
例如，在分组区域中包括图15中示出的有效载荷数据的图像数据帧从视频发送装置100传输的情况下，由roi数据分离单元215生成的有效载荷数据215a包括有效载荷数据的行pl1至pl800中的一个行的像素数据。此外，此时，roi数据分离单元215从行pl1顺次输出构成图像数据帧的分组区域的行pl1至pl800的多个有效载荷数据作为有效载荷数据215a至roi解码单元232。注意，在roi信息120b被包括在长分组的有效载荷数据中的情况下，roi信息120b可以被包括在有效载荷数据215a中。
[0249]
另一方面，在有效载荷数据中包括的图像数据是作为正常图像的数据的压缩图像数据130a的情况下，roi数据分离单元215将有效载荷数据作为有效载荷数据215b输出至第一信息处理单元230a(具体地，正常图像解码单元236)。另外，roi数据分离单元215将从ebd解读单元214输入的数据类型的确定结果(图像数据是正常图像的数据的判定结果)输出到第一信息处理单元230a(具体地说，正常图像地址生成单元235)。
[0250]
第一信息处理单元230a是进行以下恢复处理的电路：基于从嵌入数据中提取的与预定数量的关注区域(roi)对应的roi信息，将关注区域的图像数据(有效载荷数据215a)恢复为可显示在显示装置300上。此外，第一信息处理单元230a对正常图像的数据(有效载荷数据215b)执行预定处理(正常图像处理)。
[0251]
第一信息处理单元230a包括作为与恢复处理的执行相关的部件的第一信息提取单元231、roi解码单元232、roi图像地址生成单元233和roi图像生成单元234。首先，将描述
用于执行恢复处理的这些部件。
[0252]
第一信息处理单元230a从嵌入数据(ebd数据214a)中提取roi信息。第一信息处理单元230a在恢复处理中执行上述信息提取处理和写入处理，并且执行恢复关注区域(roi)的图像数据并将该图像数据写入帧存储器250中的一系列处理。
[0253]
第一信息提取单元231在恢复处理中执行信息提取处理。具体而言，第一信息提取单元231从包括在嵌入数据(ebd数据214a)中的roi信息(roi信息120b)提取捕获图像中的预定数量的关注区域中的每一个的位置信息和大小信息作为roi信息。在该示例中，第一信息提取单元231提取捕获图像α中的三个关注区域roi0至roi2中的每一个的起始点坐标作为位置信息，并且提取x轴方向和y轴方向上的关注区域roi0至roi2中的每一个的长度作为大小信息。
[0254]
第一信息提取单元231基于所提取的roi信息生成用于恢复关注区域的图像数据的roi恢复信息(x坐标顺序数据和y坐标顺序数据)。具体地，roi信息中的位置信息包括指示关注区域(roi)的左上端点部的x坐标和y坐标。第一信息提取单元231生成x坐标顺序数据，在该x坐标顺序数据中，从捕获图像中切割的预定数量的关注区域的位置信息和大小信息以起始点x坐标的值的升序被重新排列。在该示例中，第一信息提取单元231生成与各关注区域roi0至roi2对应的第一坐标数据(参照图16)，生成将生成的第一坐标数据按照起始点x坐标的值的升序(关注区域roi2、roi0、roi1的顺序)重新排列的x坐标顺序数据(参照图17的左侧)。
[0255]
此外，第一信息提取单元231生成y坐标顺序数据，在该y坐标顺序数据中，从捕获图像中切割的预定数量的关注区域的位置信息和大小信息以起始点y坐标的值的升序重新排列。在该例中，第一信息提取单元231生成与各关注区域roi0至roi2对应的第二坐标数据(参照图16)，生成将生成的第二坐标数据按照起始点y坐标的值由低到高的顺序(关注区域roi2、roi1、roi0的顺序)重新排列的y坐标顺序数据(参照图17的右侧)。一旦产生x坐标顺序数据和y坐标顺序数据，第一信息提取单元231就将例如所产生的x坐标顺序数据和y坐标顺序数据存储在寄存器中作为roi恢复信息。
[0256]
第一信息提取单元231可以在生成roi恢复信息时生成最终行确定信息。例如，基于y坐标顺序数据生成最终行确定信息。例如，第一信息提取单元231可以比较y坐标顺序数据中的第二坐标数据中的结束点y坐标，并且将具有最大值的y坐标存储在寄存器中作为最终行y坐标。因此，第一信息提取单元231可以通过使用最终行确定信息来确定是否已经完成对有效载荷数据中的所有行的关注区域的图像数据的写入。
[0257]
此外，一旦执行信息提取处理中的恢复信息的生成，则第一信息提取单元231随后分析roi恢复信息并且生成写入处理中的写入信息(写入y坐标、写入起始x坐标以及写入大小)。每当有效载荷数据215a被输入至第一信息处理单元230a(具体地，roi解码单元232)时，第一信息提取单元231生成用于输入有效载荷数据215a的写入信息。即，第一信息提取单元231以有效载荷数据为单位生成写入信息。一旦基于在报头解译单元212中有效载荷数据的每行的报头的检测从roi数据分离单元215输入有效载荷数据215a，roi解码单元232将指示输入的预定信号输出至第一信息提取单元231。因此，第一信息提取单元231可以检测有效载荷数据的每行已经被输入。
[0258]
在该示例中，每次将图15中示出的有效载荷数据的行pl1至pl800的每条有效载荷
数据215a输入至roi解码单元232时，第一信息提取单元231生成对应于每行的有效载荷数据215a的写入信息。
[0259]
第一信息提取单元231从roi恢复信息中的y坐标顺序数据生成对应于有效载荷数据215a的写入y坐标作为写入信息。生成写入y坐标的方法如上所述。例如，在检测到与有效载荷数据的行pl1(见图15)对应的有效载荷数据215a的输入的情况下，第一信息提取单元231提取与y坐标顺序数据(见图17的右侧)的第一关注区域roi2有关的第二坐标数据，并且确定关注区域roi2的起始点y坐标的值“100”作为写入y坐标。此后，每当有效载荷数据215a被输入时，第一信息提取单元231更新(增加)写入y坐标的值。在输入有效载荷数据的第601行的行pl601的情况下，第一信息提取单元231从y坐标顺序数据中提取与第二关注区域roi1相关的第二坐标数据，并且使用写入y坐标的更新值“700”作为写入y坐标。
[0260]
此外，第一信息提取单元231根据roi恢复信息中的x坐标顺序数据生成对应于有效载荷数据215a中包括的每个关注区域(写入目标roi)的图像数据的写入起始x坐标和写入大小作为写入信息。生成写入起始x坐标和写入大小的方法如上所述。
[0261]
例如，假设检测到与有效载荷数据的行pl1相对应的有效载荷数据215a的输入，并且第一信息提取单元231生成写入y坐标(y＝100)。在这种情况下，写入y坐标包括在从x坐标顺序数据的第一关注区域roi2的第一坐标数据中的起始点y坐标的值“100”至结束点y坐标的值“699”的范围内。因此，第一信息提取单元231确定关注区域roi2是写入对象roi，将关注区域roi2的起始点x坐标(x＝100)设定为关注区域roi2的图像数据的写入起始x坐标。此外，第一信息提取单元231计算“400个像素(＝结束点x坐标(499)-起始点x坐标(100) 1)”作为关注区域roi2的写入大小。
[0262]
一旦基于x坐标顺序数据确定有效载荷数据215a中的写入目标roi，第一信息提取单元231就针对每个写入目标roi生成写入信息(写入y坐标、写入起始x坐标和写入大小)，并且将所生成的写入信息输出至roi图像地址生成单元233和roi图像生成单元234。
[0263]
按照x坐标顺序数据中的存储顺序(起始点x坐标的升序)，将针对每个写入目标roi的写入信息从第一信息提取单元23输入至roi图像地址生成单元233和roi图像生成单元234。例如，在检测到与有效载荷数据的行pl41(见图15)对应的有效载荷数据215a的输入的情况下，第一信息提取单元231按照关注区域roi2和roi1的顺序将写入目标roi的写入信息输出至roi图像地址生成单元233和roi图像生成单元234。因此，roi图像地址生成单元233和roi图像生成单元234可以按照关注区域roi2和roi1的顺序，即，按照x坐标顺序数据中的存储顺序(按照起始点x坐标(写入起始x坐标)的升序)，执行与恢复处理的写入处理相关的处理(地址生成和roi图像行数据的划分)。
[0264]
roi图像地址生成单元233在恢复处理的写入处理中执行地址生成处理。roi图像地址生成单元233基于roi恢复信息生成指示帧存储器250中的关注区域(roi)的图像数据的写入目的地的地址。roi图像地址生成单元233基于从来自第一信息提取单元231的roi恢复信息生成的写入信息的输入，生成用于将包括在roi像素行数据中的关注区域(写入目标roi)的图像数据写入帧存储器250中的有效载荷数据215a中的地址。
[0265]
在本实施方式中，roi图像地址生成单元233生成的地址是帧存储器250中与指示捕获图像中的关注区域的相对位置的恢复位置相对应的地址。roi图像地址生成单元233基于从第一信息提取单元231输入的用于写入目标roi的写入信息来计算对应于写入目标roi
的恢复位置的地址。如上所述，roi图像地址生成单元233基于写入y坐标和写入起始x坐标来确定表示写入目标roi的写入起始位置的坐标，并且根据写入起始位置计算报头地址。
[0266]
此外，如上所述，roi图像地址生成单元233基于报头地址和写入大小计算与写入目标roi的图像数据的像素数对应的连续地址。如上所述，roi图像地址生成单元233通过使用写入起始位置的坐标和写入大小以帧存储器250中的像素行为单位指定写入目标roi的图像数据的恢复位置，并且生成对应于恢复位置的地址。注意，适当地根据帧存储器250的地址区域的分配来设计特定地址值计算方法。
[0267]
如上所述，针对每个写入目标roi的写入信息以起始点x坐标(写入起始x坐标)的升序从第一信息提取单元231输入至roi图像地址生成单元233。因此，roi图像地址生成单元233按照写入起始x坐标的升序生成各写入对象roi的地址。
[0268]
roi图像地址生成单元233发出包括所生成的地址的地址命令。所发出的地址命令经由总线被传输至帧存储器250。此外，在发出地址命令时，roi图像地址生成单元233将写入目标roi的写入大小，即，写入帧存储器250中的写入目标roi的图像数据的像素数量(传送数量)输出至roi图像生成单元234。
[0269]
roi图像生成单元234基于roi恢复信息以有效载荷数据为单位将关注区域的图像数据写入帧存储器250中。更具体地，roi图像生成单元234在恢复处理的写入处理中划分和写入roi像素行数据。roi图像生成单元234基于roi恢复信息针对每个关注区域(写入目标roi)划分有效载荷数据215a中的roi像素行数据，并且将划分的roi像素行数据写入帧存储器250中。一旦从第一信息提取单元231输入从roi恢复信息生成的写入信息，roi图像生成单元234基于写入信息在有效载荷数据中划分roi像素行数据。roi图像生成单元234生成写入对象图像数据234a(作为从roi像素行数据划分出的写入对象roi的图像数据)，并将该写入对象图像数据234a写入帧存储器250中。
[0270]
从roi解码单元232向roi图像生成单元234输入通过对有效载荷数据215a中的roi像素行数据进行解码而获得的roi解码图像数据232a。roi解码单元232对从roi数据分离单元215输入的有效载荷数据215a中的roi像素行数据(压缩图像数据147b)进行解码，以生成roi解码图像数据232a。应注意，在本实施方式中，roi解码图像数据232a包括有效载荷报头ph和有效载荷脚注pf(见图15)。
[0271]
roi图像生成单元234基于从第一信息提取单元231输入的针对写入对象roi的写入信息，以写入对象roi为单位对roi解码图像数据232a进行划分。roi图像生成单元234基于写入信息中的写入大小针对每个写入目标roi划分roi解码图像数据232a。如上所述，针对每个写入目标roi的写入信息以起始点x坐标(写入起始x坐标)的升序从第一信息提取单元231输入至roi图像生成单元234。因此，roi图像生成单元234按照写入起始x坐标的升序、即从roi解码图像数据232a的有效负荷报头侧依次对每个写入对象roi的图像数据进行分割。例如，roi图像生成单元234从roi解码图像数据232a中以写入对象roi为单位分离图像数据，针对每个写入对象roi生成写入对象图像数据。
[0272]
例如，在输入有效载荷数据的第41行的行pl41(参照图15)的情况下，roi图像生成单元234基于作为写入对象roi的关注区域roi2和roi1中的每一个的写入大小(400个像素)，划分400个像素的roi解码图像数据232a。具体而言，roi图像生成单元234将从roi解码图像数据232a的报头(载荷报头ph侧)起的400个像素的roi解码图像数据232a划分成关注
区域roi2的图像数据，将剩余的400个像素的roi解码图像数据232a划分成关注区域roi1的图像数据。roi图像生成单元234从roi解码图像数据232a中分离划分出的关注区域roi2的图像数据，生成关注区域roi2的写入对象图像数据234a，同样地，生成关注区域roi1的写入对象图像数据234a。
[0273]
一旦生成了写入目标图像数据234a，roi图像生成单元234发出包括写入目标图像数据234a的数据命令。所发出的数据命令经由总线240被传送至帧存储器250。由此，写入对象roi的写入对象图像数据234a被写入帧存储器250。roi图像生成单元234可以压缩写入对象图像数据234a，生成包括压缩后的写入对象图像数据234a的数据命令。该情况下，写入对象图像数据234a以压缩状态写入帧存储器250。
[0274]
在本实施方式中，如上所述，当roi图像地址生成单元233发出地址命令时，传送次数被输入到roi图像生成单元234。另外，roi图像地址生成单元233按照写入对象roi的写入起始x坐标的升序来生成地址。因此，在本实施方式中，与相同的写入目标roi有关的地址命令和数据命令在基本上相同的时刻被传输至帧存储器250。即，在视频接收装置200a中，地址命令的发布和数据命令的发布彼此同步。因此，roi图像生成单元234能够通过响应于来自roi图像地址生成单元233的传输次数的输入而发出数据命令来将一个写入目标roi的写入目标图像数据234a写入指示一个写入目标roi的写入目的地的地址。即，对于由地址命令指示的写入目标roi的每个地址，将包括在数据命令中的写入目标roi的写入目标图像数据234a的每个像素写入帧存储器250中。
[0275]
此外，一旦从roi解码图像数据232a中分离出写入对象roi的所有的图像数据并且以写入对象图像数据234a的有效载荷数据为单位的写入对象图像数据234a的生成完成，则roi图像生成单元234生成写入终止信号并将写入终止信号输出至第一信息提取单元231。例如，roi图像生成单元234从roi解码图像数据232a中分离写入目标roi的所有图像数据，并且一旦检测到指图像数据结束的有效载荷脚注pf(参见图15)，则将写入终止信号输出至第一信息提取单元231。当输入写入终止信号时，第一信息提取单元231可以识别已完成在有效载荷数据的每行中的所有关注区域的图像数据(有效载荷数据215a)的写入。
[0276]
如上所述，根据本实施方式的视频接收装置200a中的第一信息处理单元230a基于生成的roi恢复信息将关注区域的图像数据写入帧存储器250中。此外，第一信息处理单元230a(具体地，roi图像地址生成单元233)基于roi恢复信息在帧存储器250中指定对应于捕获图像中的关注区域的相对位置的恢复位置。此外，第一信息处理单元230a(具体地，roi图像生成单元234)将关注区域的图像数据(写入目标图像数据234a)写入帧存储器250中的恢复位置。如上所述，视频接收装置200a可以通过执行恢复处理恢复关注区域的图像数据以便可显示在预定显示装置上。
[0277]
在本实施方式中，视频接收装置200a的第一信息处理单元230a在恢复处理中执行信息提取处理和写入处理，恢复关注区域的图像数据以便可显示，并且将图像数据写入帧存储器250中，因此，可以在显示装置300上有效地显图像数据(参见图18)。此外，在本实施方式中，第一信息处理单元230a被配置为能够在恢复处理中执行信息提取处理和写入处理的硬件(例如，恢复处理电路)。结果，视频接收装置200a可以加快与关注区域的图像数据的恢复有关的处理，并且可以增加在传输系统2中每单位时间处理的图像数据帧的数量。即，可以实现以高帧速率执行的处理。此外，根据本实施方式的整个视频接收装置200a可以被
配置为硬件(例如，视频接收电路)。在这种情况下，接收包括嵌入数据和有效载荷数据的传输数据147a的接收单元210也被配置为硬件(例如，接收电路)。结果，由视频接收装置200a执行的整个处理能够被加速，并且在传输系统2中每单位时间处理的图像数据帧的数量能够被进一步增加。即，可以实现以更高的帧速率执行的处理。
[0278]
在此，将描述写入写入目标roi的图像数据的帧存储器250。帧存储器250可存储例如由一个地址指示的区域中的一个像素的图像数据(一个字节)。注意，例如，在全色图像数据的情况下，一个像素的数据具有针对rgb元素中的每一个的一个字节的存储器大小，即，总共三个字节。因此，帧存储器250可以被提供用于rgb元素中的每一个，并且可以被配置为逐字节地写入全色图像数据的一个像素(三个字节)。此时，例如，r、g和b中的每一个的帧存储器250可具有共同地址，并且通过指定一个共同地址，一个像素的图像数据可在每个帧存储器的等效位置处写入。
[0279]
此外，例如，在一个帧中从视频发送装置100发送的传输数据147a的内容可被写在与帧存储器250中的图像数据的区域不同的区域中。在本实施方式中，将设置在帧数据147a的帧报头区域内的嵌入数据(ebd数据214a)的内容也写入帧存储器250。例如，第一信息提取单元231响应于有效载荷数据215a中所有关注区域(roi)的图像数据的写入的完成(写入终止信号的输入)，将ebd数据214a输出至roi图像生成单元234。roi图像生成单元234将所输入的ebd数据214a转送到帧存储器250。ebd数据214a作为附加图像信息被存储在帧存储器中。因此，关注区域的图像数据和在一个图像数据帧中发送的嵌入数据存储在帧存储器250中。
[0280]
当将关注区域的图像数据输出到显示装置300时，根据本实施方式的视频接收装置200a使用与图像数据一起存储在帧存储器250中的嵌入数据来执行处理。结果，包括写入帧存储器250中的关注区域的图像数据的显示数据可以更容易识别的状态显示在显示装置300上。
[0281]
此外，如稍后将详细描述的，以帧存储器为单位读取写入帧存储器250中的关注区域的图像数据，从视频接收装置200a输出至显示装置300(参见图18)，并且显示在显示装置300的屏幕中。因此，由第一信息处理单元230a恢复并且被写入帧存储器250中的关注区域的图像数据能够在保持被捕获图像中的相对位置的同时被显示在预定显示装置的屏幕中。结果，关注区域的图像数据可有效地显示在显示装置300上。注意，稍后将描述与显示从帧存储器250读取的眼部区域roi的图像数据有关的处理。
[0282]
接下来，将参考图20描述根据本实施方式的视频接收装置200a中的恢复处理的流程。图20是示出根据本实施方式的视频接收装置200a中的恢复处理的流程的示例的流程图。
[0283]
(步骤s101)
[0284]
一旦从视频发送装置100接收到预定分组，包括在视频接收装置200a中的接收单元210确定该分组是否是指示帧(在该示例中，图像数据帧)的起始的分组(sof)。在确定已经接收到sof的情况下，接收单元210将指示已经接收到sof的控制信号输出至第一信息处理单元230a。第一信息处理单元230a基于控制信号执行步骤s103的处理。另一方面，在确定所接收的数据分组不是sof的情况下，接收单元210以预定间隔重复步骤s101的处理并且等待sof的接收。
[0285]
(步骤s103)
[0286]
第一信息处理单元230a重置先前图像数据帧中的用于恢复处理的信息(roi恢复信息等)，并且进入步骤s105。第一信息处理单元230a擦除寄存器中存储的roi恢复信息(x坐标顺序数据和z坐标顺序数据)或者在寄存器中设置预定值，由此重置先前图像数据帧中的roi恢复信息等。
[0287]
(步骤s105)
[0288]
第一信息处理单元230a确定嵌入数据是否已输入。具体地，包括在第一信息处理单元230a中的第一信息提取单元231确定是否已经从包括在接收单元210中的ebd解译单元214输入包括roi信息的嵌入数据(ebd数据214a)。在确定ebd数据214a已经输入的情况下，第一信息提取单元231前进至步骤s107。另一方面，在确定未输入ebd数据214a的情况下，第一信息提取单元231以预定的间隔重复步骤s105的处理，在输入ebd数据214a之前，等待执行步骤s107以后的处理。
[0289]
(步骤s107)
[0290]
第一信息提取单元231从嵌入数据(ebd数据214a)中提取roi信息(位置信息和大小信息)，进入步骤s109。例如，第一信息提取单元231从ebd数据214a提取与从捕获图像α切割的关注区域roi0至roi2相对应的位置信息的起始点坐标，提取x轴方向和y轴方向的长度作为大小信息。
[0291]
(步骤s109)
[0292]
第一信息提取单元231重新排列提取的roi信息以生成roi恢复信息(x坐标顺序数据和y坐标顺序数据)，并且进入步骤s111。具体地，第一信息提取单元231通过重新排列如上所述基于所提取的roi信息生成的第一坐标数据和第二坐标数据(参见图16)来生成roi恢复信息(x坐标顺序数据和y坐标顺序数据)。此外，第一信息提取单元231生成最终行确定信息以仅roi恢复信息。例如，第一信息提取单元231通过按照起始点x坐标的升序重新排列关注区域roi0到roi2的多个第一坐标数据来生成x坐标顺序数据(见图17的左侧)，并且通过按照起始点y坐标的升序重新排列关注区域roi0到roi2的多个第二坐标数据来生成y坐标顺序数据(见图17的右侧)。此外，第一信息提取单元231生成y坐标顺序数据中具有最大值的关注区域roi0的结束点y坐标(899)作为最终行确定信息。
[0293]
(步骤s111)
[0294]
第一信息提取单元231确定有效载荷数据的报头是否已输入。在本实施方式中，在roi解码单元232中检测到指示有效载荷数据215a已输入的信号的情况下，第一信息提取单元231确定有效载荷数据的报头已输入，并且进行到步骤s113。另一方面，在未检测到表示已经有效载荷数据215a输入的信号的情况下，第一信息提取单元231以预定间隔重复步骤s111的处理，直至检测到信号的输入，即，直至输入了有效载荷数据的报头。
[0295]
(步骤s113)
[0296]
第一信息提取单元231从roi恢复信息生成用于写入关注区域(写入目标roi)的图像数据的写入信息(写入y坐标、写入起始x坐标和写入大小)，并且进入步骤s115。第一信息提取单元231从y坐标阶数据生成写入y坐标，并且通过使用生成的写入y坐标从x坐标阶数据生成写入起始x坐标和写入大小。第一信息提取单元231按照写入起始x坐标的升序将针对每个写入目标roi生成的写入信息输出至roi图像地址生成单元233和roi图像生成单元
234。基于输入的写入信息，roi图像地址生成单元233执行步骤s115的处理，并且roi图像生成单元234执行步骤s117和s119的处理。
[0297]
(步骤s115)
[0298]
roi图像地址生成单元233基于写入信息的输入来计算与帧存储器250中的写入目标roi的恢复位置相对应的地址。计算出的地址作为地址命令被发出并被传送到帧存储器250。此外，roi图像地址生成单元233响应于地址命令的发光将指示写入目标roi的像素的数量的传送次数输出至roi图像生成单元234。
[0299]
(步骤s117)
[0300]
roi图像生成单元234基于从第一信息提取单元231输入的写入信息生成写入对象图像数据234a，进入步骤s119。roi图像生成单元234基于所输入的写入信息，以写入对象roi为单位划分从roi解码单元232输入的roi解码图像数据232a，生成写入对象图像数据234a。
[0301]
(步骤s119)
[0302]
roi图像生成单元234发出包括写入对象图像数据234a的数据命令，经由总线240将写入对象图像数据234a写入帧存储器250中。roi图像生成单元234在从roi图像地址生成单元233输入传送次数的时刻发出数据命令。此外，roi图像生成单元234将指示数据命令已经被发出的预定信号输出至第一信息提取单元231。一旦信号输入，第一信息提取单元231执行步骤s121的处理。在检测到roi解码图像数据232a的有效载荷脚注pf的情况下，roi图像生成单元234向第一信息提取单元231输出写入终止信号。
[0303]
(步骤s121)
[0304]
第一信息提取单元231确定是否已将用于一行的输入有效载荷数据(有效载荷数据215a)中的写入目标roi的所有图像数据(roi解码图像数据232a中的roi像素行数据)写入帧存储器250中。一旦从roi图像生成单元234输入了指示已经发出数据命令的预定信号，第一信息提取单元231执行确定。在从roi图像生成单元234输入写入终止信号的情况下，第一信息提取单元231确定在用于一行的有效载荷数据中的写入目标roi的图像数据的写入已经终止，并且进入步骤s123。另一方面，在未输入写入终止信号的情况下，第一信息提取单元231确定未写入帧存储器250中的写入目标roi的图像数据保留，并且返回至步骤s115。
[0305]
这样，在本实施方式的恢复处理中，按照有效载荷数据的各行的写入对象roi的数量，反复进行步骤s115至步骤s119的处理。其结果，能够以写入起始x坐标的升序将有效载荷数据的各行的全部写入对象roi的图像数据写入帧存储器250。例如，能够将有效负荷数据的行pl600(参照图15)的写入对象roi即关注区域roi2、roi0、roi1的全部图像数据依次写入帧存储器250。
[0306]
(步骤s123)
[0307]
第一信息提取单元231确定是否对有效载荷数据的最终行执行处理。第一信息提取单元231基于写入终止信号的输入将当前写入信息中的写入y坐标的值与最终行确定信息的值进行比较，并且在写入y坐标的值等于最终行确定信息的值的情况下，确定对有效载荷数据的最终行进行处理。另一方面，在写入y坐标的值不等于最终行确定信息的值的情况下，第一信息提取单元231确定不对有效载荷数据的最终行执行处理，并且返回至步骤s111。结果，可以对传输数据147a中存储在分组区域r2中的所有行的有效载荷数据的关注
区域的图像数据执行恢复处理。
[0308]
例如，在执行图15中所示的有效载荷数据的行pl1至pl800的恢复处理的情况下，在写入y坐标的值等于最终行确定信息的值“899”的情况下，第一信息提取单元231确定对有效载荷数据的最终行执行处理。结果，在视频接收装置200a中，针对所有800行、行pl1至pl800和关注区域roi0至roi2的图像数据执行关注区域的图像数据的恢复处理，并且将多个关注区域的图像数据写入帧存储器250中。
[0309]
如上所述，根据本实施方式的视频接收装置200a和视频传输系统2可以对关注区域的图像数据执行恢复处理。
[0310]
接下来，将描述与第一信息处理单元230a中的正常图像处理有关的配置。第一信息处理单元230a包括正常图像地址生成单元235、正常图像解码单元236和正常图像生成单元237作为用于执行正常图像处理的组件。
[0311]
正常图像解码单元236对从roi数据分离单元215输入的有效载荷数据215b进行解码，并且生成正常图像224a。正常图像解码单元236对包括在有效载荷数据215a中的压缩图像数据147b进行解码，并将解码的数据输出到正常图像生成单元237。此外，正常图像地址生成单元235基于从roi数据分离单元215输入指示包括在有效载荷数据中的图像数据是正常图像数据(包括正常图像的数据的有效载荷数据215b已被输出至正常图像解码单元236)的确定结果，生成用于以像素行为单位在帧存储器250中写入正常图像的数据的正常图像地址。
[0312]
在本实施方式中，帧存储器250被配置为能够存储捕获图像(例如，捕获图像α)的整个区域的图像数据。因此，如果正常图像地址生成单元235在每次从roi数据分离单元215输入上述确定结果时以像素行为单位(在x轴方向上从左端到右端)生成捕获图像的地址就足够了。在该示例中，在生成对应于捕获图像α的顶部像素行的正常图像的数据的地址的情况下，正常图像地址生成单元235首先计算与指示捕获图像α的原点α_о的坐标“0，0(x，y)”对应的帧存储器250的地址作为报头地址。此外，一旦计算了头地址，与roi图像地址生成单元233中的地址生成相似，正常图像地址生成单元235基于在x轴方向上以像素行为单位的捕获图像α的写入大小(1760个像素)，生成用于存储捕获图像α的顶部像素行的像素的连续地址。此后，生成正常图像的数据的地址并且发出地址命令就足够了，类似于顶部像素行的地址，同时将y坐标增加1。
[0313]
要注意的是，根据总线240的规格等，可划分正常图像的数据并且将其传输给帧存储器250。在这种情况下，正常图像地址生产单元235可通过以像素行为单位对捕获图像的每个预定数量的像素执行划分来生成和发出地址命令。在这种情况下，如果正常图像地址生成单元235基于地址的划分数量将正常图像的数据传送时的像素数量(传送数量)输出至正常图像生成单元237就足够了。
[0314]
正常图像生成单元237基于从正常图像解码单元236输入的解码正常图像的数据生成并发出用于将数据写入帧存储器250中的数据命令。此外，正常图像生成单元237可以基于从正常图像地址生成单元235输入的传送次数划分正常图像的数据，并且生成和发出包括划分后的正常图像的数据的数据命令。此外，正常图像生成单元237可以压缩正常图像的数据并且生成包括正常图像的压缩数据的数据命令。在这种情况下，将压缩后的正常图像的数据写入帧存储器250中。
[0315]
此外，正常图像地址生成单元235发出预定命令并且将确定从roi数据分离单元215输入的图像数据的数据类型的结果传输给帧存储器250。将确定结果作为附加图像信息存储在帧存储器中。结果，正常图像的数据和指示与在一个图像数据帧中发送的正常图像的数据相对应的数据类型的确定结果被存储在帧存储器250中。
[0316]
5.与视频接收装置中的图像数据的显示相关的处理
[0317]
接下来，将描述与存储在帧存储器250中的图像数据的显示相关的处理。返回至图19，根据本实施方式的视频接收装置200a包括第二信息处理单元230b作为用于执行与存储在帧存储器250中的图像数据的显示相关的处理的组件。第二信息处理单元230b执行图像数据替换处理，例如，作为与关注区域的图像数据的显示相关的处理。
[0318]
5-1.与图像数据替换处理相关的配置
[0319]
如后面将详细描述的，图像数据替换处理是在关注区域的图像数据显示在显示装置300上的情况下，用固定值图像数据替换存储在帧存储器250中的以显示装置300的屏幕为单位的图像数据中不对应于关注区域的图像数据的非roi图像数据的处理。在下文中，将描述第二信息处理单元230b中的图像数据替换处理。
[0320]
在本实施方式中，例如，在以图像数据帧为单位从视频发送装置100(见图18)传输的图像数据(关注区域(roi)的图像数据和正常图像的数据)被写入帧存储器250中的情况下，通过基于图像数据帧写入的dma控制器260依次读取帧存储器250中的数据(附加信息和图像数据)。读取数据被输出至第二信息处理单元230b。
[0321]
根据本实施方式的dma控制器260控制帧存储器250与第二信息处理单元230b之间的数据传输。要注意的是，在本公开中的dma控制器260不限于此，并且可被配置为控制帧存储器250与第一信息处理单元230a之间的数据传输。
[0322]
dma控制器260是用于通过直接存储器访问(dma)经由总线240在帧存储器250和第二信息处理单元230b之间传输数据的控制器。dma控制器260将从帧存储器250读取的附加信息输出到第二信息提取单元271。此外，dma控制器260将作为从帧存储器250读取的显示目标图像数据的显示目标图像数据rd输出到图像数据替换单元272。例如，一旦针对每个地址读取帧存储器250中的图像数据的每个像素，dma控制器260就将图像数据作为显示目标图像数据rd以帧存储器250中的像素行为单位输出至图像数据替换单元272。
[0323]
例如，在帧存储器250可存储每像素行1760个像素(x坐标＝0至1759)的图像数据的情况下，显示目标图像数据rd包括对应于1760个像素的图像数据。注意，从dma控制器260输出到图像数据替换单元272的显示目标图像数据rd不限于以像素行为单位输出，并且例如可以以像素为单位(对于每个像素)输出。此外，dma控制器260可将以像素行为单位的图像数据划分为多个条显示目标图像数据rd，并将多个显示目标图像数据rd输出到图像数据替换单元272。
[0324]
第二信息处理单元230b中的第二信息提取单元271分析从dma控制器260输入的附加信息。具体地，第二信息提取单元271确定输入的附加信息是否是嵌入数据(ebd数据214a)，并且在附加信息是嵌入数据的情况下，基于包括在嵌入数据中的roi信息(roi信息120b)生成roi恢复信息。
[0325]
类似于第一信息处理单元230a中的第一信息提取单元231，第二信息提取单元271从包括在嵌入数据(ebd数据214a)中的roi信息(roi信息120b)提取关注区域的位置信息
(起始点坐标)和大小信息(x轴方向和y轴方向上的长度)，并且生成roi恢复信息(x坐标顺序数据和y坐标顺序数据)。第二信息提取单元271将生成的roi恢复信息存储在预定寄存器中。此外，第二信息提取单元271可以将指示已经生成roi恢复信息的信号输出到图像数据替换单元272。在本实施方式中，由第二信息提取单元271生成roi恢复信息对应于图像数据替换处理中的信息提取处理。
[0326]
在关注区域的图像数据显示在显示装置300上的情况下(参见图18)，第二信息处理单元230b中的图像数据替换单元272用固定值图像数据替换存储在帧存储器250中的以显示装置300的屏幕为单位的图像数据中与关注区域的图像数据不对应的非roi图像数据。在本实施方式中，图像数据替换单元272中的非roi图像数据的替换与图像数据替换处理中的替换处理相对应。
[0327]
这里，固定值图像数据例如是具有固定模式的图像数据。在本实施方式中，固定值图像数据例如是固定颜色(例如，白色)的图像数据。因此，一旦进行本实施方式中的图像数据替换处理，就用白色图像数据替换非roi图像数据。通常，在图像数据帧中传输的图像数据在帧存储器的每个地址区域中被顺序地重写。此外，在以图像数据帧为单位写入图像数据的情况下，通常不执行帧存储器的初始化。因此，在帧存储器中新重写关注区域的图像数据的情况下，在先前图像数据帧中传输的图像数据保留在除了重写图像数据的地址之外的地址中。
[0328]
在显示关注区域的图像数据的情况下，根据本实施方式的视频接收装置200a执行图像数据替换处理以用固定值图像数据来替换非roi图像数据(即，保留在除了图像数据被重写成的地址之外的地址中的图像数据)。因此，视频接收装置200a可以提高要在显示装置300上显示的关注区域的图像数据的可见性。应注意，在关注区域的图像数据被写至帧存储器250中的恢复位置(对应于捕获图像中的相对位置的位置)的情况下，固定值图像数据在显示装置300上显示为指示捕获图像中的非关注区域oe的图像。
[0329]
一旦从第二信息提取单元271输入了指示已经生成roi恢复信息的信号，图像数据替换单元272确定关注区域的图像数据是显示目标，并且关注区域的图像数据被包括在从dma控制器260输入的显示目标图像数据rd中。因此，图像数据替换单元272基于由第二信息提取单元271生成的roi恢复信息对于显示目标图像数据rd执行非roi图像数据的替换(替换处理)。
[0330]
图像数据替换单元272基于在图像数据替换处理的替换处理中由第二信息提取单元271生成的roi恢复信息来指定非roi图像数据。图像数据替换单元272基于x坐标顺序数据和y坐标顺序数据，在存储在帧存储器250中的以屏幕为单位的图像数据中指定非roi图像数据。此外，图像数据替换单元272基于roi恢复信息确定帧存储器250中的以屏幕为单位的图像数据的每个像素是包括在关注区域的图像数据中还是包括在非roi图像数据中。
[0331]
具体地，图像数据替换单元272以屏幕为单位获取图像数据(帧存储器250中的图像数据)的每个像素的坐标位置，并且确定坐标位置是否包括在关注区域中。例如，一旦从帧存储器250读取的以像素行为单位的显示目标图像数据rd被输入，图像数据替换单元272获取显示目标图像数据rd的每个像素的坐标位置。例如，图像数据替换单元272从显示目标图像数据rd的报头(x坐标＝0)(例如，x坐标＝0至1759)按顺序获取每个像素的坐标位置。
[0332]
在本实施方式中，图像数据替换单元272获取使用计数器读取的图像数据(显示目
标图像数据rd)的坐标位置。在本实施方式中，第二信息处理单元230b包括用于各种类型的测量处理的计数器单元。在本实施方式中，第二信息处理单元230b包括水平计数器xct和垂直计数器yct作为计数器单元。水平计数器xct是测量从帧存储器250读取的捕获图像中的显示目标图像数据rd在x轴方向上的位置(水平位置)的计数器。水平计数器xct的计数值对应于捕获图像(例如，捕获图像α)中的x坐标。此外，垂直计数器yct是测量捕获图像中的显示目标图像数据rd在y轴方向上的位置(垂直位置)的计数器。垂直计数器yct的值对应于捕获图像中的y坐标，并且指示捕获图像中的像素行的位置。例如，在水平计数器xct和垂直计数器yct的值是“0”的情况下，指示捕获图像中的原点α_о(0，0)。
[0333]
一旦显示目标图像数据rd被输入，图像数据替换单元272通过参考水平计数器xct的值从头依次获取显示目标图像数据rd的每个像素的坐标。在本实施方式中，视频接收装置200a与预时刻钟信号同步地执行设备中的每个处理。因此，与时钟信号同步地将水平计数器xct的计数器值更新(递增)1。此外，在本实施方式中，一旦水平计数器xct的计数值达到捕获图像的x坐标的末端，即，指示捕获图像的右末端的数值，垂直计数器yct的数值被更新(增加1)。例如，捕获图像α的右端部分的x坐标是“1759”。因此，一旦水平计数器xct的计数器值达到“1759”，则将水平计数器xct的计数器值重置为“0”。此时，垂直计数器yct的值被更新(增加1)。
[0334]
一旦获取显示目标图像数据rd的每个像素的坐标位置，图像数据替换单元272确定基于roi恢复信息(x坐标顺序数据和y坐标顺序数据)获取的坐标位置是否包括在关注区域中。图像数据替换单元272将显示目标图像数据rd的像素中的包括在关注区域中的像素的图像数据输出到显示装置300。另一方面，图像数据替换单元272将显示目标图像数据rd的像素中不包括在关注区域中的像素的数据确定为非roi图像数据，用固定值图像数据替换像素的图像数据，并且将固定值图像数据输出到显示装置300。
[0335]
例如，为了指定非roi图像数据，图像数据替换单元272确定捕获图像中的显示目标图像数据rd的每个像素的y坐标(像素y坐标)和x坐标(像素x坐标)是否包括在关注区域中。例如，图像数据替换单元272首先通过使用roi恢复信息的y坐标顺序数据来确定像素y坐标。
[0336]
这里，将描述在图像数据替换处理的替换处理中确定像素y坐标的示例。图像数据替换单元272例如通过使用指示像素y坐标的垂直计数器yct的计数值和y坐标顺序数据来确定像素y坐标。图像数据替换单元272从y坐标顺序数据的报头(起始点y坐标的升序)按顺序提取第二坐标数据，并且确定垂直计数器yct的计数值是否被包括在提取的第二坐标数据中从起始点y坐标到结束点y坐标的范围(垂直roi范围)内(第一确定条件)。
[0337]
此外，在确定垂直计数器yct的计数值被包括在垂直roi范围中(满足第一确定条件)的情况下，图像数据替换单元272从x坐标顺序数据中提取与第二坐标数据相关联的关注区域(roi)的第一坐标数据，并且确定像素x坐标。另一方面，在确定垂直计数器yct的计数值不包括在y坐标顺序数据的任何第二坐标数据中的垂直roi范围中(不满足第一确定条件)的情况下，图像数据替换单元272确定在显示目标图像数据rd中正被处理的像素不包括在关注区域的图像数据中并且包括在非roi图像数据中。
[0338]
接下来，将描述在图像数据替换处理的替换处理中确定像素x坐标的示例。图像数据置换单元272在满足第一确定条件的情况下，从x坐标顺序数据中提取与第二坐标数据相
关联的第一坐标数据，判定水平计数器xct的计数值是否包括在所提取的第一坐标数据(第二确定条件)中从起始点x坐标到结束点x坐标的范围(水平roi范围)内。以这种方式，图像数据替换单元272通过使用例如指示像素x坐标的水平计数器xct的计数值和x坐标顺序数据来确定像素x坐标。
[0339]
在确定水平计数器xct的计数器值包括在水平roi范围内(满足第二确定条件)的情况下，图像数据替换单元272确定在显示目标图像数据rd中正在被处理的像素包括在关注区域中并且包括在关注区域的图像数据中。即，在满足上述第一确定条件和第二确定条件这两者并且确定显示目标图像数据rd中的处理目标像素(像素是否在关注区域内的确定目标)的坐标位置包括在关注区域中的情况下，图像数据替换单元272确定正在处理的像素包括在关注区域的图像数据中。
[0340]
另一方面，在确定水平计数器xct的计数值不包括在水平roi范围内(不满足第二确定条件)的情况下，图像数据替换单元272确定在显示目标图像数据rd中正在被处理的像素不包括在关注区域的图像数据中并且包括在非roi图像数据中。如上所述，在不满足第一确定条件和第二确定条件中的任一个并且确定正在处理的像素的坐标位置不包括在关注区域中的情况下，图像数据替换单元272确定该像素包括在非roi图像数据中。
[0341]
在图像数据替换处理的替换处理中确定显示目标图像数据rd中正被处理的像素的坐标位置包括在关注区域中的情况下，图像数据替换单元272将像素作为显示目标图像数据输出(发送)到显示装置300。另一方面，在图像数据替换处理的替换处理中确定在显示目标图像数据rd中正被处理的像素的坐标位置不包括在关注区域中而包括在非roi图像数据中的情况下，图像数据替换单元272用固定值图像数据替换像素的数据(显示目标图像数据)并将固定值图像数据输出(发送)到显示装置300。
[0342]
5-2.图像数据替换处理方法
[0343]
接下来，将参考图22描述根据本实施方式的视频接收装置200a中的图像数据替换处理(图像数据替换处理方法)的流程。图21是示出根据本实施方式的视频接收装置200a中的图像数据替换处理的流程的示例的流程图。
[0344]
(步骤s201)
[0345]
在包括在视频接收装置200a中的第二信息处理单元230b中，第二信息提取单元271确定是否已经开始图像数据帧。在本实施方式中，图像数据替换处理中的图像数据帧指示由dma控制器26从帧存储器250读取的一系列数据。即，包括附加信息的一系列读取数据和从帧存储器250顺序读取的图像数据对应于图像数据替换处理中的图像数据帧。
[0346]
在步骤s201中，第二信息提取单元271确定dma控制器260是否开始从帧存储器250读取数据。例如，在响应于来自dma控制器260的预定信号或命令的输入确定已开始从帧存储器250读取数据(已开始图像数据帧)的情况下，第二信息提取单元271前进至步骤s203。另一方面，在确定未开始从帧存储器250读取数据(未开始图像数据帧)的情况下，第二信息提取单元271以预定间隔重复步骤s201的处理，直到开始读取为止。
[0347]
(步骤s203)
[0348]
第二信息提取单元271重置在图像数据替换处理中在读取前一图像数据帧时生成的各条信息，并且进行到步骤s205。第二信息提取单元271擦除寄存器中存储的roi恢复信息(x坐标顺序数据和z坐标顺序数据)或者在寄存器中设置预定值，由此重置先前图像数据
帧中的roi恢复信息等。
[0349]
(步骤s205)
[0350]
第二信息提取单元271确定是否已经输入嵌入数据。具体地，第二信息提取单元271确定是否已从dma控制器260输入包括roi信息作为附加信息的嵌入数据(ebd数据214a)。在确定输入了从帧存储器250读取的ebd数据214a的情况下，第一信息提取单元231前进至步骤s207。另一方面，在确定未输入ebd数据214a的情况下，第二信息提取单元271以预定的间隔重复步骤s205的处理，在输入ebd数据214a之前，等待执行步骤s207以后的处理。
[0351]
要注意的是，在表示与正常图像相对应的数据类型的确定结果作为额外信息从dma控制器260输入到第二信息提取单元271的情况下，如果第二信息处理单元230b执行与正常图像的数据的显示相关的处理，那么这是足够的。稍后将描述该处理。
[0352]
(步骤s207)
[0353]
第二信息提取单元271以与恢复处理中由第一信息提取单元231在步骤s107(见图20)中执行的处理相同的方式从嵌入数据(ebd数据214a)中提取roi信息(位置信息和大小信息)，并且进行到步骤s209。
[0354]
(步骤s209)
[0355]
第二信息提取单元271与在恢复处理中第一信息提取单元231在步骤s109(见图20)中执行的处理相似地重新排列提取的roi信息以生成roi恢复信息(x坐标顺序数据和y坐标顺序数据)，并且进行到步骤s211。此外，此时，第二信息提取单元271将roi恢复信息存储在寄存器中，并且将指示已经生成roi恢复信息的信号输出到图像数据替换单元272。注意，例如，其中存储了在图像数据替换处理中由第二信息提取单元271生成的roi恢复信息的寄存器不同于其中存储了在恢复处理中由第一信息提取单元231生成的roi恢复信息的寄存器。
[0356]
(步骤s211)
[0357]
在包括在视频接收装置200a中的第二信息处理单元230b中，图像数据替换单元272确定是否已经输入有效载荷数据。图像数据替换处理中的有效载荷数据指示由dma控制器260针对每个地址以从帧存储器250读取的像素行为单位的显示目标图像数据rd。在已经从dma控制器260输入了显示目标图像数据rd的情况下，第二信息提取单元271确定已经输入了有效载荷数据，并且进行到步骤s213。另一方面，在没有从dma控制器260输入显示目标图像数据rd的情况下，第二信息提取单元271确定没有输入有效载荷数据，并且以预定间隔(例如，与时钟信号同步的周期)重复步骤s211中的处理，直到输入显示目标图像数据rd。
[0358]
在下文中，步骤s213和步骤s215的处理以及步骤s217或步骤s219的处理是对有效载荷数据(显示目标图像数据rd)中的所有像素执行的处理，即，被执行以覆盖每个像素的处理。因此，图像数据替换单元272重复步骤s213和s215中的处理，直到图像数据替换处理的替换过程中的处理对于显示目标图像数据rd中的所有像素结束(步骤s221中的是)，并且根据步骤s215的结果执行步骤s217或s219中的处理。
[0359]
(步骤s213)
[0360]
图像数据替换单元272获取显示目标图像数据，即，从帧存储器250读取的显示目标图像数据rd中的显示目标像素的坐标，并且进行到步骤s215。图像数据替换单元272获取
垂直计数器yct的计数值作为像素y坐标。此外，图像数据替换单元272获取水平计数器xct的计数值作为像素x坐标。结果，获取每个像素的坐标。在图像数据替换处理中，例如，每当以与时钟信号同步的周期执行步骤s213时，图像数据替换单元272从显示目标图像数据rd中的每个像素的报头(x坐标＝0)顺序地获取坐标。
[0361]
图像数据替换单元272确定在步骤s213中获取的显示目标像素的坐标位置是否包括在关注区域(roi)中。如上所述，图像数据替换单元272基于y坐标顺序数据确定垂直计数器yct的值(像素y坐标)，并且基于x坐标顺序数据确定水平计数器xct的值(像素x坐标)。在确定像素y坐标包括在垂直roi范围内(满足第一确定条件)并且像素x坐标包括在水平roi范围内(满足第二确定条件)的情况下，图像数据替换单元272确定显示目标像素包括在关注区域(roi)中，并且进行到步骤s217。另一方面，在确定不满足第一确定条件和第二确定条件中的任何一个的情况下，图像数据替换单元272确定显示对象像素不包括在关注区域中而是包括在非roi图像数据中，并且进行到步骤s219。
[0362]
(步骤s217)
[0363]
图像数据替换单元272基于显示目标像素被包括在关注区域中的确定向显示装置300(参见图18)输出像素，并且进行到步骤s221。
[0364]
(步骤s219)
[0365]
图像数据替换单元272基于显示目标像素被包括在非roi图像数据中的确定用固定值图像数据替换显示目标像素。具体地，图像数据替换单元272将固定值图像数据输出至显示装置300而不是显示目标像素，并且进行至步骤s221。
[0366]
(步骤s221)
[0367]
图像数据替换单元272确定是否已经输出了有效载荷数据中正在处理的行中的所有图像数据(即，以像素行为单位的显示目标图像数据rd中的所有像素)。在水平计数器xct的计数器值(像素x坐标)已经达到对应于捕获图像中的右端部分的末端x坐标(x轴方向上的末端坐标)的值的情况下，图像数据替换单元272确定已经输出显示目标图像数据rd中的所有像素，并且进行到步骤s223。此时，图像数据替换单元272重置水平计数器xct的计数器值(将计数器值设置为“0”)。例如，假设捕获图像α的右端部分的x坐标是“1759”，并且帧存储器250可存储每像素行1760个像素(x坐标＝0至1759)的图像数据。在这种情况下，在水平计数器xct的计数器值为“1759”的情况下，图像数据替换单元272确定已输出显示目标图像数据rd中的所有像素。如上所述，一旦水平计数器xct被重置，垂直计数器yct的计数值被更新(递增1)。因此，更新以像素行为单位的显示目标图像数据rd中共有的像素y坐标的值。
[0368]
另一方面，在确定水平计数器xct的计数值小于帧存储器250中的结束x坐标的值的情况下，图像数据替换单元272返回至步骤s213。结果，以像素行为单位对显示目标图像数据rd中的所有像素执行图像数据替换处理中的替换处理。
[0369]
(步骤s223)
[0370]
图像数据替换单元272确定有效载荷数据的最终行的处理，即，帧存储器中的所有图像数据的处理(图像数据替换处理的替换过程中的处理)是否已经结束。图像数据替换单元272更新(增加1)垂直计数器yct的值(计数器值)。例如，在垂直计数器yct的值(像素y坐标)已经达到对应于捕获图像的下端部分的y坐标的值的情况下，图像数据替换单元272确定针对从帧存储器250读取的所有条显示目标图像数据rd的处理已经结束，并且结束图像
数据替换处理。此时，图像数据替换单元272以这种顺序重置水平计数器xct和垂直计数器yct(将计数器值设置为“0”)。因此，水平计数器xct和垂直计数器yct两者的计数器值变为“0”。
[0371]
例如，假设捕获图像α的下端部的y坐标是“989”，并且帧存储器250可以存储989像素行的图像数据。在这种情况下，在垂直计数器yct的值是“989”的情况下，图像数据替换单元272确定对从帧存储器250读取的所有条图像数据的处理已经结束，并且结束图像数据替换处理。另一方面，在确定垂直计数器yct的计数值小于捕获图像α的下端部分的y坐标的值的情况下，图像数据替换单元272返回至步骤s211。结果，对于与帧存储器250中的所有像素行对应的显示目标图像数据rd中的所有像素，即，帧存储器250中的所有图像数据片，执行图像数据替换处理中的替换处理。
[0372]
如上所述，根据本实施方式的视频接收装置200a(参见图19)包括：接收单元210，接收从预定捕获图像切割的预定数量的关注区域(roi)的图像数据包括在有效载荷数据中并且roi信息包括在嵌入数据中的传输信号；以及信息处理单元230(具体地，第一信息处理单元230a)，能够基于从嵌入数据中提取的对应于预定数量的关注区域的roi信息，执行恢复关注区域的图像数据以在显示装置300(参见图18)上可显示的恢复处理。结果，关注区域的图像数据可有效地显示在显示装置300上。
[0373]
此外，在关注区域的图像数据显示在显示装置300上的情况下，根据本实施方式的视频接收装置200a中的信息处理单元230(具体地，第二信息处理单元230b)用固定值图像数据替换存储在帧存储器250中的以显示装置300的屏幕为单位的图像数据中不对应于关注区域的图像数据的非roi图像数据。结果，可以提高要在显示装置300上显示的关注区域的图像数据的可视性。
[0374]
此外，在根据本实施方式的视频接收装置200a中，接收单元210和信息处理单元230(第一信息处理单元230a和第二信息处理单元230b)被配置为硬件。结果，视频接收装置200a可以加速与在第一信息处理单元230a中的关注区域的图像数据的恢复和在第二信息处理单元230b中替换图像数据的处理相关的处理，并且可以增加每单位时间处理的图像数据帧的数量。
[0375]
5-3.与正常图像的数据的显示相关的处理
[0376]
接下来，将描述与在第二信息处理单元230b中显示正常图像的数据相关的处理的概要(正常图像显示处理)。在指示对应于正常图像的数据类型的确定结果已经被作为附加信息从dma控制器260输入到第二信息提取单元271的情况下，第二信息处理单元230b执行正常图像显示处理。
[0377]
具体地，在输入的附加信息是指示与正常图像的数据对应的数据类型的确定结果的情况下，第二信息提取单元271将确定结果输出至图像数据替换单元272。一旦输入了确定结果，图像数据替换单元272确定从dma控制器260输入的显示目标图像数据rd是正常图像的数据。在这种情况下，图像数据替换单元272将包括正常图像的数据的显示目标图像数据rd输出到显示装置300而不执行图像数据替换处理。例如，图像数据替换单元272可以以像素为单位(对于每个像素)划分包括正常图像的数据的显示目标图像数据rd并将划分的显示目标图像数据rd输出到显示装置300，或者可以以像素行为单位输出显示目标图像数据rd。如上所述，图像数据替换单元272用作向显示装置300输出图像数据的输出单元。
[0378]
6.恢复处理的变形例
[0379]
6-1.变形例1
[0380]
虽然在本实施方式的恢复处理中执行写入处理的roi图像生成单元234针对每个关注区域(roi)划分roi像素行数据并且将划分的roi像素行数据写入帧存储器250中，但是本公开不限于此。假设用于将roi像素行数据写入帧存储器中的有效载荷数据215a中的各种方法。
[0381]
例如，第一信息处理单元230a中的roi图像生成单元234可以基于roi恢复信息通过突发传输将有效载荷数据215a中的关注区域的图像数据(roi像素行数据)传输至帧存储器250并且写入图像数据。例如，在写入处理中满足预定条件的情况下，roi图像生成单元234将虚拟图像数据插入在有效载荷数据中的两个以上关注区域的图像数据之间，并且生成通过连接两个以上关注区域的图像数据而获得的插入虚拟图像数据234b。然后，例如，roi图像生成单元234可以通过一次指令(例如，发出一次数据命令)将所生成的插入虚拟图像数据234b连续写入帧存储器中。
[0382]
即，roi图像生成单元234可以通过突发传送将生成的插入虚拟图像数据234b传送至帧存储器250，并且将插入虚拟图像数据234b连续地写入帧存储器250中。这里，包括在插入虚拟图像数据234b中的虚拟图像数据可以是例如填充两个或多个关注区域之间的间隙的预定图像数据(例如，与图像数据替换处理等中的固定值图像数据相似的图像数据)。
[0383]
在本变形例中，例如，在有效载荷数据215a的1个roi像素行数据中包括2个写入对象roi的图像数据的情况下，第一信息提取单元231可以根据写入对象roi的图像数据之间的距离、即间隔的长度，确定是否能够进行上述连拍转送。例如，第一信息提取单元231可以在写入对象关注区域(写入对象roi)的图像数据的间隔窄、插入到该间隔中的虚拟图像数据的存储大小(字节数)为规定大小(规定条件的一例)以下的情况下，判断为能够进行连拍传送。该情况下，第一信息提取单元231基于roi复原信息，生成写入对象roi的各图像数据的写入大小以外的虚拟图像大小，作为写入信息。
[0384]
例如，在虚拟图像数据的存储器大小等于或小于128字节的情况下，第一信息提取单元231可以确定可以执行突发传送并且生成虚拟图像大小作为写入信息。注意，例如，根据用于在视频接收装置200a中传输图像数据的总线240的规范，适当地选择用于确定是否能够执行突发传输的虚拟图像数据的存储器大小以及可以进行突发传输的图像数据的大小。要注意的是，在虚拟图像数据的存储器大小超过128字节并且不能进行突发传输的情况下，如果第一信息提取单元231确定写入用于每个写入目标roi的图像数据，那么就足够了，如在上述实施方式中。
[0385]
roi图像生成单元234在从第一信息提取单元231输入包括虚拟图像大小的写入信息时，生成具有虚拟图像大小的虚拟图像数据，例如在两个写入对象roi的各图像数据之间插入虚拟图像数据，生成插入虚拟图像数据234b。此时，如果roi图像生成单元234基于每个关注区域roi的写入大小(划分大小)确定虚拟图像数据的插入位置就足够了。在生成插入虚拟图像数据234b时，roi图像生成单元234发出包括生成的插入虚拟图像数据234b的数据命令，通过连拍传送将多个(例如2个)写入对象roi的图像数据写入帧存储器250。
[0386]
在roi图像生成单元234对两个以上的写入对象roi的图像数据进行连拍转送的情况下，通过一个数据命令转送到帧存储器250的图像数据的大小(连拍转送大小)、即插入虚
拟图像数据234b的图像大小，是将虚拟图像数据的大小(虚拟图像大小)与进行连拍转送的写入对象roi的图像数据的写入大小的总和相加而得到的大小。
[0387]
此外，在第一信息提取单元231确定对多个(例如，两个)写入对象roi的图像数据进行连拍传送的情况下，roi图像地址生成单元233基于包括虚拟图像大小的写入信息以连拍传送为单位生成帧存储器250的地址。在执行插入虚拟图像数据234b的突发传送的情况下，roi图像地址生成单元233基于roi恢复信息生成指示插入虚拟图像数据234b在帧存储器250中的写入目的地的地址。具体地，roi图像地址生成单元233基于包括由第一信息提取单元231生成的虚拟图像大小的写入信息生成表示插入虚拟图像数据234b的写入目的地的地址。
[0388]
在这种情况下，roi图像地址生成单元233基于包括在写入信息中的写入起始x坐标和写入y坐标生成插入虚拟图像数据234b的报头地址。此外，roi图像地址生成单元233根据插入虚拟图像数据234b的写入大小(将虚拟图像大小与写入对象roi的各图像数据的写入大小的总和相加而得到的大小)，对报头地址进行相加。结果，生成以插入虚拟图像数据为单位的用作写入目的地的连续地址。
[0389]
另外，roi图像地址生成单元233将通过连拍传送写入的插入虚拟图像数据234b的图像大小(像素数)作为连拍传送的次数输出到roi图像生成单元234。一旦输入了突发传送次数，roi图像生成单元234发出包括写入插入的具有与突发传送次数相对应的大小的虚拟图像数据234b的数据命令。由此，被插入虚拟图像数据234b被发送到帧存储器250，通过脉冲群传送而被写入。
[0390]
另外，在有效载荷数据215a内包括3个以上的写入对象roi、且关注区域的间隔为2个以上的情况下，第一信息提取单元231针对每个间隔决定虚拟图像数据的存储大小即可。在第一信息提取单元231确定能够将包括有效载荷数据215a中的所有写入对象roi的各图像数据的插入虚拟图像数据234b向帧存储器250转送的情况下(与所有间隔有关的虚拟图像大小为预定数量以下的情况下)，通过一次发出数据命令，将包括所有写入对象roi的各图像数据的插入虚拟图像数据234b写入帧存储器250中。即，插入虚拟图像数据234b被写入帧存储器250中的次数是1。
[0391]
同时，例如，假设虚拟图像大小超过预定数量(例如，128字节)的宽间隙包括在写入目标roi的图像数据之间的多个间隙中(例如，四个写入目标roi的图像数据之间的三个间隙)。在这种情况下，第一信息提取单元231可以通过将有效载荷数据215a中的roi像素行数据分成宽间隙前面的数据和宽间隙后面的数据来确定执行突发传输。例如，也可以生成包括4个写入对象roi中的报头2个写入对象roi的图像数据的插入虚拟图像数据234b-1、和包括剩余的写入对象roi的图像数据(报头第3和第4写入对象roi)的插入虚拟图像数据234b-2。在这种情况下，插入虚拟图像数据234b被写入帧存储器250中的次数是2。
[0392]
另外，第一信息提取单元231也可以针对有效载荷数据215a中的多个写入对象roi的各图像数据，照常决定对预定数量(两个以上)的写入对象roi和其余的写入对象roi的各图像数据以关注区域为单位进行连拍转送。
[0393]
如上所述，通过以roi像素行数据为单位执行突发传送，与以关注区域(roi)为单位将图像数据写入帧存储器中的情况相比，可以减少写入次数并且可以加快写入处理。
[0394]
6-2.变形例2
[0395]
在本实施方式中，由roi图像地址生成单元233生成的地址是在帧存储器250中与指示捕获图像中的关注区域的相对位置的恢复位置相对应的地址，但是本公开不限于此。例如，roi图像地址生成单元233可以被配置为生成指示可以在显示装置300的屏幕中彼此不重叠的情况下显示预定数量的关注区域的图像数据的任意位置(预定位置的示例)的地址。即，roi图像生成单元234可以被配置为写入关注区域的图像数据，使得可以在显示装置300的屏幕中不重叠的情况下显示预定数量的关注区域的图像数据。
[0396]
例如，roi图像地址生成单元233可以生成指示可以在显示装置300的y轴方向上按顺序显示预定数量的关注区域的图像数据的任意位置(任意y轴位置)的地址，以便彼此不重叠。此外，roi图像生成单元234可以被配置为将关注区域的图像数据写入显示装置300的屏幕中的任意y轴位置。在这种情况下，第一信息提取单元231通过使用roi恢复信息的y坐标顺序数据和y坐标顺序数据生成使能根据任意y轴位置进行地址生成的写入信息。例如，第一信息提取单元231使用x轴坐标顺序数据和y轴坐标顺序数据(参见图17)生成用于在显示装置300的任意y轴位置显示关注区域roi0到roi2中的每个(参见图13)的地址生成的写入信息。
[0397]
例如，第一信息提取单元231基于y轴坐标顺序数据确定关注区域roi0到roi2在显示装置300上的显示顺序。例如，第一信息提取单元231确定y轴坐标顺序数据的存储顺序，即，起始点y坐标的升序作为关注区域roi0到roi2的显示顺序。在该示例中，关注区域roi2、roi1和roi0的顺序是显示装置300的屏幕中y轴方向上的显示顺序。
[0398]
一旦确定显示顺序，例如，第一信息提取单元231确定作为当在显示装置300上显示每个关注区域(roi)的图像数据时的报头y坐标的显示开始y坐标。如上所述，以显示装置300的屏幕为单位的图像数据被写入帧存储器250中。因此，显示装置300的屏幕中的显示位置(坐标)对应于帧存储器350中的写入位置。
[0399]
例如，从显示装置300的顶部像素行显示报头位置处显示的关注区域roi2的图像数据。因此，第一信息提取单元231将关注区域roi2的图像数据的写入起始y坐标设置为“0”。另外，关注区域roi1的图像数据以与关注区域roi2的图像数据不重叠的方式被显示在关注区域roi2的图像数据的下方。因此，第一信息提取单元231将关注区域roi1的图像数据的显示开始y坐标设置为“600(＝0 600(关注区域roi2在y轴方向上的长度)”。应注意，通过y坐标顺序数据中的“结束点y坐标-起始点y坐标”计算在y轴方向上的长度。类似地，第一信息提取单元231将显示在关注区域roi1的图像数据下方的关注区域roi0的图像数据的显示开始y坐标设置为“1200(＝600(关注区域roi1的图像数据的显示开始y坐标) 600(关注区域roi1在y轴方向上的长度)”。
[0400]
一旦确定了各个关注区域的图像数据的显示开始y坐标，则第一信息提取单元231然后将1加到与各个关注区域相对应的显示开始y坐标的值，并且每次将各个关注区域的图像数据作为有效载荷数据输入时更新该值。结果，可以生成对应于任意y轴位置的显示开始y坐标。
[0401]
此外，确定显示起始x坐标，该显示起始x坐标是当在显示装置300的屏幕中的任意y轴位置处在显示装置300上显示关注区域的图像数据时的报头x坐标。在本变形例中，各关注区域的图像数据的写入起始x坐标具有统一值。例如，假定在各个关注区域的图像数据被显示在任意y轴位置处的情况下，各个关注区域的图像数据以左对齐方式被显示在显示装
置300的屏幕上。在这种情况下，第一信息提取单元231为每个关注区域生成公共值“0”作为显示起始x坐标。即，在任意y轴位置处显示关注区域的图像数据的情况下，在显示装置300的屏幕的左上端点(原点位置)开始，以左对齐方式从屏幕的上端开始在y轴方向上依次布置各个关注区域的图像数据的同时，显示各个关注区域的图像数据。此外，第一信息提取单元231以类似于上述实施方式的方式生成写入大小。
[0402]
一旦从第一信息提取单元231输入对应于在任意y轴位置处的关注区域的图像数据的显示的写入信息，roi图像地址生成单元233基于写入信息生成用于将关注区域的图像数据写入帧存储器250中的地址。与上述实施方式相似，roi图像地址生成单元233可以通过基于输入的写入信息生成地址来生成与帧存储器250中的任意y轴位置对应的地址。此外，类似于上述实施方式，roi图像生成单元234生成写入目标图像数据234a，并且在与roi图像地址生成单元233的地址发布同步的时刻发布数据命令。结果，roi图像生成单元234能够将关注区域(roi)的图像数据写入到能够在显示装置300的画面上不重叠地沿着y轴方向依次显示预定数量的关注区域的图像数据的任意的y轴位置。
[0403]
应注意，本变形例不限于此，并且例如，roi图像地址生成单元233可以生成指示可以在显示装置300的x轴方向上顺次显示预定数量的关注区域的图像数据的任意位置(任意x轴位置)的地址，以便彼此不重叠。此外，roi图像生成单元234可以被配置为将关注区域的图像数据写入显示装置300的屏幕中的任意x轴位置处。在这种情况下，第一信息提取单元231通过使用roi恢复信息的x坐标顺序数据和y坐标顺序数据生成使能根据任意x轴位置进行地址生成的写入信息。此时，第一信息提取单元231确定每个关注区域的显示顺序作为x坐标顺序数据的存储顺序，即，起始点x坐标的升序(按照关注区域r12、roi0和roi1的顺序)。
[0404]
在任意x轴位置处显示关注区域的图像数据的情况下，从显示装置300的屏幕的左上端点开始，按照从屏幕的左端起的顺序，在x轴方向上显示各个关注区域的图像数据。
[0405]
一旦确定显示顺序，第一信息提取单元231确定显示起始x坐标。例如，在显示装置300中从左上端点位置起显示报头位置处显示的关注区域roi2。因此，第一信息提取单元231将关注区域roi2的显示起始x坐标设置为“0”。另外，在关注区域roi2的右侧以不与关注区域roi2重叠的方式显示关注区域roi0。因此，第一信息提取单元231将关注区域roi0的写入起始x坐标设置为“400(＝0 400(关注区域roi2在x轴方向上的长度)”。应注意，在x轴方向上的长度由x坐标顺序数据中的“结束点x坐标-起始点x坐标”计算。类似地，第一信息提取单元231将显示在关注区域roi0右侧的关注区域roi1的显示起始x坐标设置为“800(＝400(关注区域roi0的图像数据的显示起始x坐标) 400(关注区域roi0在x轴方向上的长度)”。
[0406]
另外，在显示装置300的屏幕上的任意x轴位置处显示关注区域的图像数据的情况下，各个关注区域的图像数据的显示开始y坐标具有统一值。例如，假设在任意x轴位置处显示关注区域的图像数据的情况下，在显示装置300的屏幕上以顶部对准的方式显示各个关注区域的图像数据。在这种情况下，第一信息提取单元231为每个关注区域生成公共值“0”作为显示开始y坐标。此外，第一信息提取单元231对与每个关注区域相对应的显示开始y坐标的值加1，并且每次输入每个关注区域的图像数据作为有效载荷数据时更新该值。结果，可以生成对应于任意x轴位置的显示开始y坐标。此外，第一信息提取单元231以类似于上述
实施方式的方式生成写入大小。
[0407]
一旦从第一信息提取单元231输入对应于在任意x轴位置处的关注区域的图像数据的显示的写入信息，与上述实施方式相似，roi图像地址生成单元233基于所输入的写入信息生成地址。结果，可以生成与帧存储器250中的任意x轴位置相对应的地址。此外，roi图像生成单元234可以将关注区域的图像数据写入到任意x轴位置，在任意x轴位置处，预定数量的关注区域的图像数据可以在x轴方向上被顺序显示而不在显示装置300的屏幕中彼此重叠。
[0408]
如上所述，视频接收装置200a可以通过执行本变形例中的恢复处理恢复关注区域(roi)的图像数据以便可显示在显示装置300中的任意位置(例如，x轴任意位置或y轴任意位置)。因此，关注区域的图像数据可有效地显示在显示装置300上(参见图18)。此外，预定数量的关注区域的图像数据在被布置为在一个方向(x轴方向或y轴方向)上彼此不重叠的同时被显示，结果，例如，可以有效地进行对各个关注区域的图像数据的识别处理和比较处理。
[0409]
6-3.其他变形例
[0410]
此外，在上述实施方式中，视频接收装置200a的第一信息处理单元230a的第一信息提取单元231在恢复处理(从提取的roi信息生成roi恢复信息)中执行信息提取处理，但是本公开不限于此。例如，在根据本公开的视频接收装置200a中，在信息提取过程中，接收单元210的ebd解译单元214可以从嵌入数据中提取roi信息(位置信息和大小信息)。在此情况下，ebd解译单元214将所提取的roi信息输出到第一信息提取单元231就足够了。此外，如果第一信息提取单元231基于输入的roi信息生成roi恢复信息就足够了。
[0411]
此外，在上述实施方式中，作为示例，捕获图像中的关注区域具有矩形形状，但是本公开不限于此。即使在关注区域roi不是矩形的情况下，视频接收装置200a可以执行在上述实施方式中的恢复处理和图像数据替换处理。
[0412]
虽然上面已经参照基础技术、实施方式及其变形例描述了本公开，但是本公开不限于上述实施方式等，并且可以进行各种修改。应注意，本说明书中描述的效果仅是示例。本公开的效果不限于本文中描述的效果。本公开可具有除本文中描述的效果之外的效果。
[0413]
此外，例如，本公开可具有以下配置。
[0414]
(1)
[0415]
一种接收装置，包括：
[0416]
接收单元，接收传输信号，在传输信号中，从预定的捕获图像中切割出的预定数量的关注区域roi的图像数据包括在有效载荷数据中，并且与预定数量的roi相对应的roi信息包括在嵌入数据中；以及
[0417]
处理单元，被配置为执行恢复处理，恢复处理基于从嵌入数据中提取的roi信息来恢复roi的图像数据以使得图像数据能够在预定的显示装置上显示。
[0418]
(2)
[0419]
根据(1)的接收装置，其中，
[0420]
处理单元提取作为roi信息的捕获图像中预定数量的roi中的每一个roi的位置信息和大小信息。
[0421]
(3)
[0422]
根据(2)的接收装置，其中，
[0423]
处理单元重新排列所提取的位置信息和大小信息，以生成用于恢复roi的图像数据的roi恢复信息。
[0424]
(4)
[0425]
根据(3)的接收装置，其中，
[0426]
位置信息包括指示在捕获图像中的roi的左上端点部的x坐标和y坐标，并且
[0427]
处理单元生成通过按照x坐标的值的升序重新排列位置信息和大小信息而获得的x坐标顺序数据、以及通过按照y坐标的值的升序重新排列位置信息和大小信息而获得的y坐标顺序数据，作为roi恢复信息。
[0428]
(5)
[0429]
根据(1)至(4)中任一项的接收装置，还包括：
[0430]
帧存储器，被配置为存储roi的图像数据，其中，
[0431]
处理单元基于从roi信息生成的roi恢复信息来将roi的图像数据写入帧存储器中。
[0432]
(6)
[0433]
根据(5)的接收装置，其中，
[0434]
处理单元基于roi恢复信息以有效载荷数据为单位将roi的图像数据写入帧存储器中。
[0435]
(7)
[0436]
根据(6)的接收装置，其中，
[0437]
处理单元基于roi恢复信息针对每一个roi在有效载荷数据中划分roi的图像数据，并且将所划分的图像数据写入帧存储器中。
[0438]
(8)
[0439]
根据(6)的接收装置，其中，
[0440]
在满足预定条件的情况下，处理单元将虚拟图像数据插入在有效载荷数据中的两个或更多个roi的图像数据之间，以生成连接两个或更多个roi的图像数据的插入虚拟图像数据，并且通过一次指令将所生成的插入虚拟图像数据连续地写入帧存储器中。
[0441]
(9)
[0442]
根据(5)至(8)中任一项的接收装置，其中，
[0443]
处理单元基于roi恢复信息来指定帧存储器中与roi在捕获图像中的相对位置相对应的恢复位置，并且将roi的图像数据写入恢复位置。
[0444]
(10)
[0445]
根据(5)至(8)中任一项的接收装置，其中，
[0446]
处理单元基于roi恢复信息将预定数量的roi的图像数据写入帧存储器中，以使得预定数量的roi的图像数据能够在显示装置的屏幕中彼此不重叠地显示。
[0447]
(11)
[0448]
根据(5)至(10)中任一项的接收装置，其中，
[0449]
处理单元基于roi恢复信息来生成指示roi的图像数据在帧存储器中的写入目的地的地址。
[0450]
(12)
[0451]
根据(8)的接收装置，其中，
[0452]
述处理单元基于roi恢复信息来生成指示插入虚拟图像数据在帧存储器中的写入目的地的地址。
[0453]
(13)
[0454]
根据(5)至(12)中任一项的接收装置，其中，
[0455]
在roi的图像数据显示在显示装置上的情况下，处理单元用固定值图像数据替换存储在帧存储器中的以显示装置的屏幕为单位的图像数据当中不与roi的图像数据对应的非roi图像数据。
[0456]
(14)
[0457]
根据(13)的接收装置，其中，
[0458]
处理单元基于roi恢复信息来指定非roi图像数据。
[0459]
(15)
[0460]
根据(14)的接收装置，其中，
[0461]
处理单元：
[0462]
基于roi恢复信息来确定以屏幕为单位的图像数据的每个像素是包括在roi的图像数据中还是包括在非roi图像数据中。
[0463]
(16)
[0464]
一种传输系统，包括：
[0465]
发送装置，通过有效载荷数据发送关注区域roi的图像数据并且通过嵌入数据发送roi信息；以及
[0466]
接收装置，包括：接收单元，接收传输信号，在传输信号中，从预定的捕获图像中切割出的预定数量的roi的图像数据包括在有效载荷数据中，并且与预定数量的roi相对应的roi信息包括在嵌入数据中；以及处理单元，被配置为执行恢复处理，恢复处理基于从嵌入数据中提取的roi信息来恢复预定数量的roi的图像数据，以使得图像数据能够在预定的显示装置上显示。
[0467]
(17)
[0468]
根据(16)的传输系统，其中，
[0469]
接收装置：
[0470]
由处理单元重新排列作为roi信息提取的捕获图像中的预定数量的roi中的每一个roi的位置信息和大小信息，以生成用于恢复roi的图像数据的roi恢复信息。
[0471]
(18)
[0472]
根据(17)的传输系统，其中
[0473]
接收装置还包括帧存储器，帧存储器被配置为存储roi的图像数据，并且由处理单元基于roi恢复信息将roi的图像数据写入帧存储器中。
[0474]
(19)
[0475]
根据(18)的传输系统，其中
[0476]
在roi的图像数据显示在显示装置上的情况下，接收装置通过处理单元用固定值图像数据替换存储在帧存储器中的以显示装置的屏幕为单位的图像数据当中不与roi的图
像数据对应的非roi图像数据。
[0477]
附图标记列表
[0478]
1、2 视频传输系统
[0479]
31、110 成像单元
[0480]
32、41 控制单元
[0481]
42 图像处理单元
[0482]
100 视频发送装置
[0483]
100a csi发射器
[0484]
100b cci从机
[0485]
111 捕获图像
[0486]
112、112a1、112a2、112a3、112a4、112b1、112b4、123a4、223a roi图像
[0487]
112b 压缩图像数据
[0488]
113、114 位置信息
[0489]
115 优先级
[0490]
116、116a1、116a2 传输图像
[0491]
118 图像
[0492]
120、130 图像处理单元
[0493]
120a、120a1、120a2、130a、147b 压缩图像数据
[0494]
120b roi信息
[0495]
120c 帧信息
[0496]
121 roi切割单元
[0497]
122 roi分析单元
[0498]
123 检测单元
[0499]
124 优先级设置单元
[0500]
125、131 编码单元
[0501]
126 图像处理控制单元
[0502]
140 发送单元
[0503]
141 链路控制单元
[0504]
142 ecc生成单元
[0505]
143 ph生成单元
[0506]
144 ebd缓存
[0507]
145 roi数据缓存
[0508]
146 正常图像数据缓存
[0509]
147 组合单元
[0510]
147a 传输数据
[0511]
200、200a 视频接收装置
[0512]
200a csi接收器
[0513]
200b cci主机
[0514]
210 接收单元
[0515]
211 报头分离单元
[0516]
212 报头解译单元
[0517]
213 有效载荷分离单元
[0518]
214 ebd解译单元
[0519]
214a ebd数据
[0520]
215 roi数据分离单元
[0521]
215a、215b有效载荷数据
[0522]
220 信息处理单元
[0523]
221 信息提取单元
[0524]
221a 提取的信息
[0525]
222、232roi解码单元
[0526]
222a 图像数据
[0527]
223 roi图像生成单元
[0528]
224 正常图像解码单元
[0529]
224a 正常图像
[0530]
230 信息处理单元
[0531]
230a 第一信息处理单元
[0532]
230b 第二信息处理单元
[0533]
231 第一信息提取单元
[0534]
232a roi解码图像数据
[0535]
233 roi图像地址生成单元
[0536]
234 roi图像生成单元
[0537]
234a 写入目标图像数据
[0538]
235 正常图像地址生成单元
[0539]
236 正常图像解码单元
[0540]
237 正常图像生成单元
[0541]
240 总线
[0542]
250 帧存储器
[0543]
260 dma控制器
[0544]
271 第二信息提取单元
[0545]
272 图像数据替换单元
[0546]
300 显示装置
[0547]
cb 色度分量
[0548]
cci 相机控制接口
[0549]
cl 时钟通道
[0550]
rd 显示目标图像数据。