用于传输图像传感器的原始图像数据流的方法与流程

1.本发明涉及一种用于通过在发送器与接收器之间的数据传输连接来传输图像传感器的原始图像数据流的方法。


背景技术：

2.这种方法本身是已知的并且例如用于内窥镜检查中，以便以尽可能少的数据损耗来传输所记录的图像。
3.所述数据传输连接在此可以无线或有线地、光学地或按照其他方式构成。原则上，数据传输连接可能由于环境影响(例如由于磁场或干涉)而被干扰或损害。
4.这种干扰可能导致数据传输连接的带宽降低，从而仅还能以较大的延迟时间来传输原始图像数据流。特别是在外科内窥镜检查中应避免这样的延迟时间。
5.因此，在现有技术中已知的是，不传输原始图像数据流，而是传输经压缩的视频图像数据流。在此可以这样适配压缩率，使得降低延迟时间或将其保持在恒定的水平上。原始图像数据流在此与视频图像数据流的区别在于缺少彩色图像的产生。
6.在产生彩色图像的情况下，使用传感器图案或者传感器或滤色器的图案、例如bayer图案，以便从灰度图或数据区产生彩色图像的不同的颜色通道。
7.然而为此必要的是，在内窥镜的摄像头中产生视频图像，为此需要耗费的且高性能的硬件。此外，一些图像处理仅能利用原始图像数据进行，从而摄像头也必须具有所述图像处理硬件。然而，摄像头的成本和能量需求由此提高。


技术实现要素：

8.因此，本发明的目的在于，使传输原始图像数据流时的延迟时间降低或使其保持恒定。
9.该目的按照本发明通过具有权利要求1的特征的方法以及通过具有权利要求11的特征的装置实现。
10.因此，按照本发明的方法的特征在于如下步骤：
11.查明数据传输连接的当前的延迟时间；以及
12.在发送器上根据所查明的延迟时间来适配原始图像数据流的数据传输率。
13.因此，不像在现有技术中那样更强或更弱地压缩视频图像，而是在发送器方面这样适配、亦即改变原始图像数据流，使得降低要传输的数据传输率。由此，原始图像数据流在接收器方面总还是可供使用，所述原始图像数据流可以用作用于所有图像处理的基础。于是，这些图像处理可以在接收器方面实施。因此，耗费的图像处理硬件可以设置在接收器中。这具有如下优点，即，在发送器、例如在内窥镜的摄像头中无需图像处理硬件。由此也降低发送器的功率耗费。因此，可以更简单且更廉价地制造发送器。
14.根据所查明的延迟时间来适配数据传输率例如可以包括：将延迟时间降低到延迟时间极限值之下和/或将延迟时间恒定保持到预定的目标延迟时间。
15.例如可以通过测量带宽来查明延迟时间。例如也可以通过在原始图像数据流中的嵌入的时间戳来实施运行时间测量。此外，还已知用于查明延迟时间的另外的方法。
16.在一个实施方案中，如果延迟时间超过延迟时间极限值，那么降低数据传输率。因此能够用确保不超过预定的临界的延迟时间。所述延迟时间极限值在此可以根据应用而变化。与在诊断的内窥镜检查中相比，在外科内窥镜检查期间的延迟时间极限值例如可以更小。
17.在一个实施方案中，随着提高的延迟时间而进一步降低所述数据传输率。因此可以确保遵循所述延迟时间极限值。
18.优选地，在延迟时间降低的情况下也进行对数据传输率的适配，从而又增大所述数据传输率。
19.在一个实施方案中，定期地或持续地重复所述方法。这具有如下优点，即，能够对进行改变的延迟时间做出反应。特别是在无线的数据传输连接的情况下，延迟时间可能由于干扰和其他影响而快速改变。例如可以以固定的间隔来查明所述延迟时间，其中，间隔时间典型地可以选择为小于10秒。在此，例如可以以借助单个图像的间隔时间的间距来查明延迟时间。但是也可以观察所述间隔时间的全部或一部分，从而可以查明在间隔时间上的平均的延迟时间值。
20.原则上可以在发送器上或在接收器上查明所述延迟时间。
21.在一个优选的实施方案中在接收器上查明所述延迟时间。在发送器与接收器之间于是可以存在控制连接，接收器通过该控制连接将控制数据传输到发送器上并且在发送器上根据所述控制数据进行数据传输率的适配。由此可以省去在发送器中的耗费的电子设备，从而在接收器中能够简单地查明。此外，在接收器中出现所述延迟时间并且所查明的值因此也是实际值。
22.所述控制数据可以包括所查明的延迟时间和/或操纵数据。发送器在此例如可以具有处理器，所述处理器由所传送的延迟时间产生例如用于图像传感器的相应的操纵指令。
23.然而特别有利的是，这些操纵指令已经在接收器中产生并且作为控制数据传输到发送器上。因此，在发送器方面简单的微控制器可以足够用于转发操纵指令。由此能够实现进一步降低在发送器中的硬件成本。
24.在一个实施方案中，通过改变原始图像数据流的分辨率、颜色深度和/或帧频进行数据传输率的适配。在此可以定义优选地适配哪个参数。例如可以首先使分辨率降低直至确定的第一分辨率。如果需要接着降低数据传输率，那么随后可以将颜色深度降低直至第一颜色深度并且仅在此后可以进一步降低分辨率。总之在此能实现多个不同的策略，这些策略可以根据应用情况而变化。例如在一些应用中可能更重要的是在颜色深度尽可能小的情况下具有完全的分辨率。在另外的应用中，完全的颜色分辨率可能是决定性的，但是帧频是不重要的，因为存在更确切地说静态的情况。
25.在一个实施方案中，对图像中的改变进行局部加权。在此例如可以对不重要的图像部分进行更强烈的降低。
26.优选地，这样的降低策略可以是可预配置的并且能作为预先调整存储、例如存储在接收器中。
27.在一个实施方案中，可以在对图像传感器数据数字化之后进行分辨率的适配。为此可以在软件方面组合单个像素，从而减少要传输的像素的数量。
28.在一个有利的实施方案中，通过重新配置图像传感器、特别是通过像素合并进行分辨率的适配。在此在对图像传感器值数字化之前已经减少像素的数量，从而不产生计算耗费。
29.在一个实施方案中，在数字化之后在发送器中在软件方面、例如在片上系统(soc)中进行颜色深度的适配，其中可以任意降低颜色深度。例如可以用12位对图像传感器值数字化。因此，颜色深度可以事后被减小到11、10、9、8或更少的位。
30.在一个实施方案中，通过用小的位数对颜色值数字化可以进行颜色深度的适配。在此例如可以使用可变的模拟数字转换器。按照这种方式，不再可能发生用于降低颜色深度的事后的计算耗费，因此例如可以省去发送器中的片上系统。
31.在一个实施方案中，对于每个颜色值由发送器通过截断一个或多个低值位来进行颜色深度的适配。在12位值的情况下例如可以截断最低值的三位，从而仅传输九个高值位。因为被截断的位通常包含噪声，所以由此仅产生图像质量的小的损失。由接收器用虚拟噪声来填补缺少的位。在此，优点在于，在上述示例中实际上实现12位分辨率，但是仅必须传输九位。不言而喻地，也可以截断更多或更少的低值位，和/或可以存在更高或更低的初始的颜色深度、例如14位。
32.在一个实施方案中，通过组合特征性地冗余地存在于像素图案中的像素来进行数据传输率的适配。
33.这在每个像素存在多个相同的颜色值的情况下，例如可以通过传输每个像素的相同的颜色值的不是所有、特别是仅一个颜色值进行。在rccc滤色器的情况下例如可以仅传输一个c颜色值或两个c颜色值而不是所有三个c颜色值。由此可以实现数据传输率的可变的降低。
34.在一个示例性的实施方案中，所述图像传感器具有bayer滤色器。bayer滤色器对于每个像素具有红色、蓝色、但是两个绿色的子像素。在此可以通过对于每个像素仅传输一个绿色值来进行数据传输率的适配。如果仅传输这个子像素的值，那么每个像素仅传输三个颜色值而不是四个颜色值。在此，质量损失是小的。为此例如可以传输所述两个绿色值中的一个绿色值或者所述两个绿色值的平均值。
35.在一个实施方案中，所述数据传输连接是无线数据连接、特别是wifi连接。这样的wifi连接可以传输非常高的数据传输率并且能简单地通过标准构件实现。
36.可能存在的控制连接同样可以是无线或有线的，特别是所述控制连接可以利用与数据传输连接相同的传输技术。然而，所述控制连接也可以利用其他传输技术、例如蓝牙，因为在此仅须传输较小的数据量。
37.在一个实施方案中，即使在发送器的蓄电池状态较低的情况下也能够附加地实现数据传输率的降低。较低的数据传输率需要较低的能量需求，从而可以延长剩余运行时间。在此，数据传输率的降低可以根据蓄电池状态自动地进行或者仅在用户确认之后进行。
38.本发明还包括用于通过在发送器与接收器之间的数据传输连接来传输图像传感器的原始图像数据流的装置，其特征在于，用于查明数据传输连接的当前的延迟时间的器件；以及用于在发送器上根据所查明的延迟时间来适配原始图像数据流的数据传输率的器
件。
39.在一个实施方案中，用于查明延迟时间的器件设置在接收器上，并且在发送器与接收器之间存在控制连接，接收器可以通过该控制连接将控制数据传输到用于适配数据传输率的器件上，特别是所述控制数据包括所查明的延迟时间和/或操纵数据。
40.在一个实施方案中，所述发送器具有图像传感器，其中，所述图像传感器能根据控制数据来配置。按照这种方式，像素合并或者另外地降低分辨率或低的颜色深度例如可以在图像传感器层面上、亦即还在对图像传感器值数字化之前配置。由此，发送器可以非常简单地构造并且仅需要少的电子设备、例如成本有利的微控制器。每个图像处理和图像加工以及控制数据的产生因此在接收器中进行。
41.按照本发明的装置的一个有利的设计方案可以规定，器件构成为用于实施按照本发明的方法、特别是如上所述的和/或根据针对方法的各权利要求之一所述的方法。因此例如可以在要求保护的装置中利用要求保护的方法的所述优点。
42.所述图像传感器可以是用于检测电磁辐射的任意传感器。优选地，所述图像传感器适用于位置分辨地检测电磁辐射。这样的图像传感器例如是单光子雪崩二极管(spad)、光多路器、红外传感器、电荷耦合装置(ccd)或cmos图像传感器。所述图像传感器例如可以是rgb传感器、单色传感器或hsi传感器。
43.在一个实施方案中，所述发送器具有多于一个图像传感器、特别是两个图像传感器。这些图像传感器例如可以配置用于立体显示或者覆盖不同的光谱范围。
附图说明
44.以下根据示例参照各附图更详细地阐明本发明。图中：
45.图1示出按照本发明的方法的流程图，
46.图2a示出按照本发明的装置，所述装置包括具有一个图像传感器的发送器和接收器，
47.图2b示出按照本发明的装置，所述装置包括具有两个图像传感器的发送器和接收器，
48.图3示出通过像素合并来降低分辨率的示意图，
49.图4示出通过选择性删去颜色数据来降低颜色深度的示意图，以及
50.图5示出通过截断每个颜色通道的低值位来降低颜色深度的示意图。
具体实施方式
51.图1示出按照本发明的用于通过数据传输连接将原始图像数据流从发送器传输至接收器的方法的流程图。在第一步骤s1中，查明数据传输连接的当前延迟时间。这例如可以通过确定传输率或通过时间戳进行。
52.在外科应用中重要的是，延迟时间小于80ms。然而，如果延迟时间经常改变或波动，那么对于用户同样可能是干扰的。如果延迟时间总体上小，亦即例如在40ms至80ms内不断变化，那么这也可能是干扰的。
53.在第二步骤s2中，现在将所查明的延迟时间与延迟时间极限值相比较。如果所查明的延迟时间大于延迟时间极限值，那么在第三步骤s3中降低原始图像数据流的数据传输
率，并且以第一步骤继续该方法。
54.如果所查明的延迟时间小于延迟时间极限值，那么同样以第一步骤s1继续。
55.备选地，在此可以检查：数据传输率是否已经降低了并且数据传输率是否又增大。
56.为了改变原始图像数据流的数据传输率可以改变所述原始图像数据流的分辨率、颜色深度和/或帧频。表1示例性地示出根据这三个参数的每秒数据传输率和因此用于降低数据传输率的潜在可能。分辨率、颜色深度和帧频的最大值在此可以根据图像传感器而不同并且因此绝不能限制性地理解。因此，例如也存在具有14位颜色深度和/或较高分辨率、例如4k的图像传感器。
57.表1
[0058][0059][0060]
图2a示出按照本发明的装置1，所述装置包括发送器2和接收器3，所述发送器和接收器通过数据传输连接4和控制连接5相互连接。
[0061]
所述装置例如可以是内窥镜，其中，所述发送器2可以是摄像头，而所述接收器可以是摄像机控制单元(ccu)。
[0062]
数据传输连接4和控制连接5可以有线地、光学地或无线地构成。例如两者构成为wifi连接。备选地，控制连接5也可以构成为单独的无线连接、例如构成为蓝牙连接或者构成为在与数据传输连接4不同的带或不同频率上的wifi连接，以便为此提供全部带宽。
[0063]
接收器3(例如内窥镜的ccu)具有图像处理单元10，所述图像处理单元接收原始图像数据流8并且将所述原始图像数据流转换为视频图像数据流11，以用于图像显示单元、例如监视器。图像处理单元10也可以构成用于产生控制数据和/或操纵指令9。
[0064]
按照本发明，所述接收器3还具有用于确定数据传输连接4的延迟时间的器件。该器件例如可以集成在图像处理单元10中，并且例如构成为用于分析原始图像数据流中的时间戳。
[0065]
发送器2(例如内窥镜的摄像头)具有图像传感器6和与图像传感器6连接的操纵单元7。
[0066]
在一个实施方案中，所述操纵单元7是片上系统(soc)，所述片上系统构成用于改变原始图像数据流并且用于操控图像传感器6。
[0067]
在该实施方案中，所述操纵单元7接收图像传感器6的原始图像数据流8并且将所述原始图像数据流通过数据传输连接4传输到接收器3上。操纵单元7通过控制连接5也接收控制数据。操纵单元由所述控制数据确定用于图像传感器的且用于改变原始图像数据流的
操纵指令9。在该实施方案中，操纵单元7可以在将原始图像数据流转发到数据传输连接4之前对所述原始图像数据流进行按照本发明的改变。
[0068]
在该情况下，所述控制数据例如可以包括所查明的延迟时间，操纵单元7于是由所查明的延迟时间实施适合的措施以用于按照本发明地改变数据传输率。
[0069]
在备选的实施方案中，所述操纵单元7是简单的微控制器，所述微控制器构成为用于接收来自接收器的操纵指令9并且将所述操纵指令转发到图像传感器6上并且构成用于接收来自图像传感器6的原始图像数据流8并且将所述原始图像数据流转发到数据传输连接4上。全部的操纵指令9在接收器3中产生。
[0070]
该实施方案具有如下优点，即，在发送器中实际上不存在计算耗费，并且所述操纵单元7因此可以非常简单且成本有利地构成。
[0071]
在两个实施方案中，所述图像传感器6可以构成为能通过操纵指令9来配置。由此，按照本发明例如可以以较小的分辨率(像素合并)、颜色深度或帧频来读取所述图像传感器6。因此，特别是在最后提到的实施方案中，在发送器中的计算性能是不必需或不存在的情况下，能实现数据传输率的可变的降低。
[0072]
在此，哪些可能性可供使用也可以与存在的图像传感器6有关。在这样的情况下，图像传感器的缺少的可配置性可以通过操纵单元7来补偿，所述操纵单元包括soc(片上系统)、isp(图像信号处理器)或fpga(现场可编程门阵列)以用于对原始图像数据流进行信号处理。
[0073]
图2b示出按照本发明的装置1，所述装置基本上相应于图2a的装置。然而在该实施方案中，所述发送器具有两个图像传感器6，所述两个图像传感器的原始图像数据通过数据传输连接4传输。这些图像传感器例如可以配置用于立体显示。然而例如也可能的是，一个图像传感器构成用于实际图像记录、而另一个图像传感器构成用于检测荧光。于是将按照本发明的方法应用到两个图像传感器上。
[0074]
图3示例性地示出用于降低图像传感器的分辨率的方法。通过配置图像传感器或者在数字化之后通过图像处理能够降低分辨率。
[0075]
图3(a)示出具有四个像素12的图像传感器6的一部分。所述图像传感器6例如具有bayer(拜尔)滤色器。因此，每个像素12具有四个子像素13。红色r1至r4、蓝色b1至b4和两个绿色子像素g1.1至g2.4。通过2
×
2像素合并例如将分辨率降低到四分之一。为此，如在图3(b)中所示的那样，所述四个像素12的相应的子像素13分别组合。现在，图3(c)示出如在接收器3上所接收的合成的像素12。
[0076]
按照这种方式也可以将分辨率降低到其他值，例如1
×
2、2
×
1、2
×
2、2
×
3、
…
、n
×
m。
[0077]
图4示出用于降低颜色深度的方法。所述图像传感器6在该示例中也具有bayer滤色器。然而在此，对于每个像素12由发送器2不传输相应的子像素的所述两个绿色值g1和g2，而是仅传送一个绿色值gx。所述一个绿色值gx可以是所述两个绿色值g1或g2中之一或者是所述两个绿色值中的平均值。在接收器3中，对于两个绿色值g1和g2设置该一个绿色值gx，从而又形成bayer图案。然而按照这种方式，对于每个像素仅能传输三个颜色值，而不是四个颜色值，由此可以将数据传输率降低25％。
[0078]
图5示出用于降低颜色深度的另一个方法。例如用12位的颜色深度来量化图像传
感器6的每个子像素13(a)。最低值位通常包含与最终图像无关的图像噪声。为了降低数据传输率，例如截断四个最低值的位(x)并且仅传输高值的八位。在接收器中，将四个被截断的位通过白噪声或者按照其他方式填补和填充。在此优点在于，数据传输率例如降低33％，而不显著损害图像质量。与真正的8位颜色深度相比的优点在于，由于12位数字化引起的更高的分辨率。
[0079]
附图标记列表：
[0080]1ꢀꢀꢀꢀꢀ
装置
[0081]2ꢀꢀꢀꢀꢀ
发送器
[0082]3ꢀꢀꢀꢀꢀ
接收器
[0083]4ꢀꢀꢀꢀꢀ
数据传输连接
[0084]5ꢀꢀꢀꢀꢀ
控制连接
[0085]6ꢀꢀꢀꢀꢀ
图像传感器
[0086]7ꢀꢀꢀꢀꢀ
操纵单元
[0087]8ꢀꢀꢀꢀꢀ
原始图像数据流
[0088]9ꢀꢀꢀꢀꢀ
操纵指令
[0089]
10
ꢀꢀꢀꢀ
图像处理单元
[0090]
11
ꢀꢀꢀꢀ
视频图像数据流
[0091]
12
ꢀꢀꢀꢀ
像素
[0092]
13
ꢀꢀꢀꢀ
子像素