用于观察农业机器工作过程的方法、数字视频系统及农业机器与流程

1.本发明涉及一种用于观察农业机器的工作过程的方法、用于观察农业机器的工作过程的数字视频系统以及一种农业工作机器。


背景技术：

2.多年来，为了观察农业机器、尤其牵引式或自行式收割机、优选用于马铃薯或甜菜挖掘的牵引式或自行式收割机的加工和/或处理收割作物的工作过程，将模拟视频系统用作为用于机器驾驶员的辅助系统。所述视频系统的特征是：始终精确地在监视器上显示与所述监视器相关联的相机拍摄的视频图像。根据相机的定位也显示机器的对于驾驶员不重要的部件。如果用户希望更大地显示图像部分，则为此必须费力地重新放置相机。此外，在此期间不同的制造商提供如下视频系统，其中每个监视器最多可以连接四个相机，并且然后也可以同时显示。在所述相机中，也将相应的机器区域的更精确的观察与相应相机的重新定位关联。
3.此外，从ep 3 437 929 a1中公开一种用于车辆的可视系统，其中在操作员的监视器上进行处于拖拉机周围的相关区域的行驶情况所决定的视野/视界渐显。


技术实现要素：

4.在此背景下，本发明的目的是：改进对收割机的工作过程的监控。
5.该目的通过权利要求1、20和23的主题实现。本发明的有利的设计方案可以从引用所述权利要求的从属权利要求和以下描述中得出。
6.在根据本发明的用于观察农业机器、特别是收割机的对处理和/或加工收割作物的工作过程的方法中，其中所述农业机器具有数字视频系统，所述数字视频系统具有：多个数字图像获取单元；至少一个显示单元；以及优选构成为交换机的网络耦合元件，图像获取单元经由所述网络耦合元件与显示单元连接，图像获取单元记录尤其视频流的图像的图像数据。图像的、尤其视频流的图像的至少一个图像至少部分地在尤其多个可配置的形状中的一个中再现，所述形状包括优选构成为平板pc的edv单元的构成为触摸屏的显示单元上的一个或多个图像再现区域。图像数据的传输从相应的图像获取单元经由交换机、尤其经由以太网交换机朝edv单元进行。数字的视频系统的相应的元件尤其经由网络线缆(以太网线缆)连接。图像获取单元与至少一个显示单元的物理连接因此间接地经由edv单元进行，显示单元与所述edv单元连接或者所述edv单元具有显示单元。因此，显示单元包括至少一个显示器和属于其的电子装置。
7.在此，图像获取单元对准机器的处理和/或加工收割作物的工作过程，进而尤其对准机器元件，例如对准运送收割作物的运输带、落差装置等。同样地，各个相机例如可以对准用于分离收割作物和掺杂物、如石头或土壤的分离设备或对准落差装置。同样地，数字的图像获取单元例如可以对准收割作物收集区域(料仓)、收割作物转交区域或收割作物接收
区域。图像获取单元尤其是数字视频相机，所述数字视频相机输出单个图像，例如以raw格式的单个图像，或者还以mpeg或其他视频格式将完整的、已经压缩的视频流发送到系统中。优选地，其为具有至少1280
×
720个点，优选至少1280
×
800个点的传感器分辨率的高分辨率相机，尤其是例如至少1280
×
1024个点(像素)的130万像素的传感器。
8.视频流图像的数据也可以仅作为之前传输的图像的偏差存在。如上所述，所述数据尤其以线缆连接的方式转发至优选构成为以太网交换机的网络耦合元件，所述网络耦合元件经由一个或多个网络耦合元件将图像获取单元的数据转发给处理数据的edv单元、优选转发给平板pc。在那里，根据显示单元的配置提供数据，其中配置可以通过操作员或也在程序侧标准化地预先设置。视频流的图像的图像数据在edv单元中处理，使得所述图像数据可以在尤其构成为平板pc的edv单元的尤其构成为触摸屏的显示单元上再现，更确切地说可以在限定的形状的相应的图像再现区域中再现。将显示单元的所提供的屏幕平面上的一个或多个图像再现区域的设置称作为形状。
9.连接线缆尤其是以太网线路，例如呈100base-tx或1000base-tx线路形式的以太网线缆，经由所述以太网线缆可以传输足够的数据量。视频系统的各个部件、尤其以太网交换机和edv单元优选设有千兆以太网接口，以便尽可能有效地传输要处理的数据量。
10.形状的再现区域可以配置为，使得所述再现区域再现相同的图像、即相同的视频流。总共优选可以在一个形状中显示直至八个图像再现区域，这意味着可以同时再现直至八个视频流。为此，edv单元尤其配备相应功率强大的图形和/或微处理器。此外，edv单元具有用于存储和处理数据的常用机构、特别是工作和数据存储器、控制器、网络接口和可能的通信接口。此外，下面在相应的根据本发明的改进形式中描述edv单元的其他可能的细节。
11.可以将形状和图像再现区域的配置可存储地存储在edv单元中并且以相应可调用的方式形成，使得对于机器操作员、服务技术员或其他操作人员可以个人地配置显示单元的优选至少12寸大的可见区域。
12.在本发明的一个改进形式中，可以经由机器控制装置的接口传输机器类型的信息，所述接口同样可以连接于交换机并且还可以连接于edv单元。然后，这引起相应形状的预选或提供，所述形状可以以预配置的方式存储。同样地，对于未知的、未存储在edv单元中的机器类型可以提供标准化的形状。同样可行的是：通过存在于edv单元中的接口和借助于便携式存储介质输入各个形状配置或者输出到所述存储介质上。
13.从多个可能的窗口设置中、尤其具有显示单元或其显示器上的纵向格式和横向格式显示的可能的窗口设置中，操作人员现在根据本发明具有如下可行性：精确地以显示的方式获得其想要观看的视频图像。因此，机器操作员尤其在不同的地面条件的情况下可以在工作过程的观察中设置不同的重点。例如，在厚实的、潮湿的地面条件下，可以有针对性地监控收割机的容易堵塞的区域，而在较细、干燥且薄的地面条件的情况下，例如可以加强地重视收割作物分离成不同的批次规模。
14.通过这种设置重点，操作人员可以更快地识别关键的机器状态，并且然后经由尤其不与数字视频系统连接的机器控制装置来消除。由此，数字视频系统可以更简单地加装到现有的机器中。
15.通过由数字视频系统观察到的过程尤其是在机器“内部”发生的过程；因此，其不是指向机器外部环境的图像获取单元，而是指向处理和加工收获作物的机器元件的图像获
取单元。也将在机器的料仓中的仓储理解为收货作物加工。
16.优选地，图像获取单元中的一个的图像至少分别部分地同时再现在一个形状的多个图像再现区域中，其中预先限定图像获取单元的不同的感兴趣区域并且分别可以在所述形状的自身的再现区域中再现。至今为止，一个视频流总是仅可以在屏幕的一个再现区域再现。通过将数据包同时发送给在edv单元中的多个参与者(多播)，现在仅针对至少两个再现区域提供数据。在此，可以在另一高性能的图像处理单元中继续计算视频流。
17.根据本发明，视频流的要再现的区域的限定可以在系统运行期间经由触摸屏或在基于静止图像的配置掩码中进行。在此，例如，可以及经由单指或两指手势如从移动电话中已知的那样选择图像区域作为感兴趣的区域，所述图像区域然后相应地尤其在自身的图像再现区域中显示。
18.如果应在相同的图像再现区域中显示相应的部分，则系统在技术上设计为，使得放大地显示所选择的图像部分(感兴趣区域)。因此，图像获取单元的图像(或其显示)可以在形状的相应的图像再现区域内缩放。然后，感兴趣区域的选择伴随相应的图像部分的放大，特别是经由两指输入放大。因此可以有针对性地并且必要时局部地放大地显示不同的视频流，使得还可以更好地观察尤其关键的工作区域。因此，例如，在整体定向于分离层次的图像检测的情况下，可以有针对性地放大输入区域和输出区域，并且在相同的形状中分别放大地在于是总共三个图像再现区域(整体视图、输入区域、输出区域)中显示。
19.优选地，可以将在相应的图像再现区域内选择的图像或图像部分存储在存储单元中。所述存储单元可以本地地存在于edv单元中，例如以易失性永久存储器的形式存在，其也可以是可经由edv单元的相应接口连接的便携式存储介质。
20.此外，该系统优选地配置成，使得通过在相应图像再现区域上的触摸屏输入显示选择菜单，经由所述选择菜单可以发起相应显示的(尤其也缩放的进而部分显示的)视频流的存储。替选地或补充地，所述过程同样可以经由具有可能的子菜单的通用设置菜单来发起。
21.此外，该系统优选地配置成，使得同时地、优选地同样以在屏幕上可见的设置尤其在便携式媒体上存储两个或更多个图像再现区域、特别是所有图像再现区域和在所述图像再现区域中显示的视频流，以便也可以后续同时观察存在于机器不同部位处的工作过程，而为此不必并排地注意单独的视频流的同时播放。因此，edv单元提供基于在显示单元上显示的内容方便地创建共同的视频流。将可临时地经由硬件接口与edv单元连接的存储介质理解为“便携式介质”，所述存储介质对于edv单元的运行不是必需的并且尤其仅用于数据传输。例如，在此其为usb盘。当然，其也可以是云存储器，所述云存储器优选由机器制造商提供，并经由机器和/或拖拉机的接口提供。
22.特别是当在至少一个图像再现区域中减慢地再现图像获取单元的视频流的暂存在优选易失性或半永久性缓冲存储器中的图像时，尤其改进对工作过程的观察和监控，特别地其中在相同形状的另一图像再现区域中不减慢地或以不同方式减慢地完整地或缩放地再现相同的视频流。在此，到达的视频流尤其被减慢到实时的25％，其中在尤其可预设的时间之后、例如在4秒之后，再现跳转到当前图像，并且然后后续的视频流相应地又被减慢地再现。这实现对尤其快速移动的、尤其转动的机器部件的非常良好的监控。
23.该系统尤其设计成，使得在一个形状的至少两个图像再现区域中再现减慢的视频
流。
24.优选地，一个或多个图像再现区域和/或图像获取单元的尤其构成为视频流的图像无线地借助于尤其经由附加交换机、例如以太网交换机连接的通信单元传递到远程的、尤其移动的终端设备或用户终端设备上。除了在拖拉机或车主驾驶室中的监视器或显示单元上传输图像外，还可以将视频图像传输到移动终端设备上。为此，终端设备用户将其移动终端设备优选地与经由机器通信单元提供的wlan连接。于是，终端设备用户可以在移动终端设备上启动的程序中用多个图像获取单元中的一个的至少一个视频流来显示匹配于终端设备的各个形状。替选地，终端设备用户可以访问数字视频系统的网站，所述网站优选地托管在edv单元上，并且经由所述网站可以为远程的特别是移动的用户终端设备提供特别可配置的形状，其中图像再现区域优选地同样在服务器侧预先限定和/或可在服务器侧配置。
25.因此，例如对于卸料车辆的驾驶员而言，可以在一个形状中显示如下图像再现部分，所述图像再现部分显示料仓填充的视频流。同样地，经由此在马铃薯挖掘机的情况下，通过挖掘机上的采摘人员以显示的方式获得从采摘台无法看见的分离设备视频图像的方式，对于在采摘台处收获期间工作的采摘人员提高工作安全性和舒适度。可能的设置于是可以由操作人员直接从采摘台操作终端处执行，其中调节的结果可以直接在移动用户终端设备上查看。驾驶员因此从监控以及调节任务中解脱，并且由此可以专注于收割机的驾驶。同样地，例如，农场运营管理员在收获期间可以检查机器的功能，而无需爬上机器。在远程的、尤其是移动用户终端设备上的再现尤其在不干扰驾驶台中的显示单元上的再现的情况下进行。
26.形状的一个或多个图像再现区域的图像、特别是所有图像再现区域有利地被存储，使得形成或存储优选可设置长度的分别依次相继的片段。通过随之产生的对所形成的片段大小的限定，可以简化后续处理和查看在特定的、例如关键的时间点形成的各个片段，该片段优选自动化地设有命名的时间戳。
27.不言而喻，上面和下面描述的方法步骤可以借助在edv单元的工作存储器中运行的计算机程序来实现。其同样也可以是在同一edv单元上或在edv单元、例如cpu和gpu的同一存储器或不同存储器上运行的多个嵌套程序。
28.优选地，在图像再现区域的配置步骤中选择直至至少24个图像获取单元、尤其数字相机、优选直至最多48个图像获取单元中的一个，所述图像获取单元经由多个依次连接的交换机相互连接。通过级联交换机，特别是当在相应的交换机上针对至少一个另外的交换机开放相应的端口时，可以扩展系统，尤其也可以后续简单地扩展系统。为了避免传输线路上的数据瓶颈，数字视频系统的网络中所需的带宽优选地通过如下方式减小：即仅在恰好活动的形状中显示的相机进行流式传输。
29.优选地，根据由机器控制装置识别到的与正常运行的偏差、机器功能的激活和/或在经由操作终端改变机器设置的情况下，在图像再现区域中再现地以叠加之前的图像再现区域的方式成像相应的图像屏幕信号和/或至少一个所属的机器元件。为此可以自动切换形状。而对于所述方法需要机器控制装置的接口，所述接口同样经由以太网交换机、另一以太网交换机或与edv单元的直接连接来提供。相应的屏幕信号尤其可以在仅针对所述屏幕信号配置的形状中再现。操作终端典型地位于驾驶室中，以及例如在马铃薯挖掘机的采摘
台处位于采摘台处。
30.因此在偏离正常运行、激活机器功能的情况下和/或在机器设置改变的情况下，从一个或多个视频流自动切换到为此配置的形状。在所述形状中，然后优选以一个或多个视频流的感兴趣区域的形式显示一个或多个图像部分，使得有针对性地通知操作人员可能的关键情况，并且可以基于此采取对策或检查。优选地，特别是在与正常运行偏差的情况下或在关键运行状态中、例如在单个区域负荷过高的情况下，同时进行颜色突出显示。特别是在机器部件快速移动或转动的情况下，可以在这种形状中也进行重要视频流的减慢的再现。同样地，根据本发明有利的是：形状的这种重合或显示可以通过屏幕输入、尤其滑动移动形式的屏幕输入再次淡出，以便返回先前的视图或先前的形状。
31.必须以从相机透镜到显示单元的尽可能低的等待时间(延迟时间)显示视频流。延迟时间《100毫秒是可取的。为此，优选将时间与各个图像相关联。为此，可以为一个部件处的图像中的至少多个图像设有时间戳，并且(数字视频)系统的另一部件处的时间和/或在接收到可再次识别的图像时的时间在系统的不同部件处记录，以便在时间延迟过大的情况下标识所属的图像再现区域，例如使其变黑和/或为其设有红色感叹号。
32.动画图形(例如转动的齿轮)优选地显示在同时也为操作单元的显示单元上，以便识别系统正常工作并且未处于停止状态(冻结)。
33.同样地，对于图像再现区域中的一个的配置，有利地首先打开弹出对话框，所述弹出对话框以缩小的形式显示活动的图像再现区域，优选地在可以执行设置之前进行。这用于确保和检查期望的和要执行的变化，以便不意外配置另一图像再现区域。因此，通常在现场工作中出现的振动不会导致或少量地导致在构成为触摸屏的显示单元上的不期望的输入。
34.根据本发明的另一有利的设计方案，形状具有至少一个并且优选地直至8个特别是矩形的图像再现区域，优选地其中图像再现区域的设置根据所选择的感兴趣区域的形状和大小和/或图像获取单元在收割作物流中的位置借助于在edv单元上可用的算法来建议。在此，这是最佳利用和设置可用的面的简单的优化问题，如果操作人员希望将所述优化问题留给系统的话。
35.在多个形状的情况下，如果形状自动切换到特别是在可预限定的时间间隔中以便顺序地观察不同的机器区域，则本发明的另一实施例是有利的。
36.有利地，还根据机器控制装置对于运行状态道路行驶、现场作业和倒车行驶所传输的信号使用预设的形状。因此，例如，在道路行驶时，可以显示如下形状，所述形状显示要折起或要取下的可能的机器部件的视图，而对于现场作业相应地考虑期望的工作过程，所述工作过程改变作物流。类似的内容适用于在倒车行驶时的形状视图。
37.至少一个图像获取单元的图像也有利地作为网络视频流经由远程连接显示，特别地其中形状视图的分辨率或重复频率匹配于例如由移动终端设备报告的连接带宽。所述系统也可以完全独立于显示单元上的显示器而在edv单元上实现，以避免干扰操作人员。
38.特别地，该系统不构造成用于进行机器控制，即所述系统不干预机器的控制，而仅用于监控过程。
39.开头提出的目的还通过一种用于观察农业机器、特别是收割机的处理和/或加工收割作物的工作过程的数字视频系统实现，所述视频系统具有：多个数字图像获取单元，以
及尤其构成为平板pc的edv单元的至少一个尤其构成为触摸屏的显示单元，以及所述适配系统设有优选构成为交换机、尤其以太网交换机的网络耦合元件，经由所述网络耦合元件将图像获取单元与显示单元连接。在此，系统构成用于执行根据前述权利要求中任一项所述的方法，如上所描述的那样借助于一个或多个计算机程序来执行该方法。
40.为了系统的可扩展性，所述系统优选地设有呈(以太网)交换机形式的多个网络耦合元件，其中至少一个图像获取单元经由串联联网的交换机与edv单元连接。
41.优选地，在更换相机时，所述相机尤其当涉及原始部件更换时自动地由系统识别、配置和再次投入运行。
42.当直接与edv单元连接的交换机与用于can-bus和/或机器的通信单元的接口连接时，才尤其可以改进地实现机器控制装置的期望的信号的传输。替选地，如果所述edv单元设有相应的接口，则也可以将can-bus或通信单元直接结合于edv单元。
43.同样地，开头提出的目的通过农业工作机器、特别是收割机来实现，其具有上文或下文描述的视频系统。
附图说明
44.本发明的其他的优点和细节可在以下附图描述中得出。示意地示出：
45.图1示出呈牵引式收割机形式的根据本发明的主体，
46.图2示出根据图1的根据本发明的主体的部件，
47.图3示出另一根据本发明的主体，
48.图4示出形状的九种变型形式，
49.图5示出实现根据本发明的方法的计算机程序的程序层级，
50.图6示出另一形状，
51.图7示出根据图6的形状的所属的配置视图。
具体实施方式
52.下面描述的实施例的各个技术特征也可以与上述实施例以及独立权利要求和任何其他权利要求的特征组合成根据本发明的主体。只要是有意义的，功能上起相同作用的元件就设有相同的附图标记。
53.根据图1，根据本发明的设备构成为由拖拉机1牵引的且构成为马铃薯挖掘机的收割机2。属于根据本发明的收割机2的edv单元与构成为触摸屏的显示单元3设置在拖拉机1的驾驶室5中。所述edv单元经由未示出的以太网线缆与收割机上的交换机连接。由数字图像获取单元4记录的图像数据在显示单元3上再现，所述图像获取单元在此示意地与用于收获作物的各个处理级相关联。
54.图像获取单元4是数码相机，所述数码相机通常在根据本发明的系统中将数据经由以太网线缆6传输到构成为以太网交换机的交换机7。然后，数据从那里同样优选地通过以太网线缆6传输给构成为平板pc8的edv单元。可选地，可以连接另一平板pc8，在所述另一平板pc的显示单元上同样可以显示一系列可配置的形状。然后在主平板pc(主控)的所属的配置程序中可以选择：在所述主平板pc上显示哪个相机并且在下级的、可选的平板pc(从控，经由虚线的以太网线缆6形式的数据线路连接)上显示哪个相机。
55.同样地，存在呈到以太网网关9的can形式的用于机器控制的接口。经由此提供对wlan以及对经由can-bus线路11连接的机器控制单元12的访问。并行地，例如，仍然可以经由iso-bus线路13(以虚线显示)访问相应的总线系统。在该情况下，网关9附加地包括相应的isobus接口。
56.然而，根据图2的实施例，数字图像获取单元4结合在仅一个以太网交换机7上，所述以太网交换机优选在牵引式收割机2中设置在收割机侧，根据图3的实施变型形式总共具有四个交换机7，所述交换机中的在附图中上方的交换机与拖拉机1相关联，而直接与数字图像获取单元4连接的交换机7设置在收割机2的侧上。虚线14表示两个在附图中作为方框示出的拖拉机1和收割机2的分离。
57.因此，在图4中设置在右侧的收割机侧的交换机7处的光学的图像获取单元4经由总共四个交换机7与附图中左侧的主控平板pc8以及在附图中右侧处于旁边的另一平板pc(从控)8连接。附加地，在所述实施例中存在iso-bus接口15。经由所述iso-bus接口接收机器信号或控制信号，所述机器信号或控制信号根据信号的类型使得自动地调用引起机器驾驶员注意的形状，经由所述形状在显示单元上显示与控制信号相关联的光学图像获取单元4的视频流。相同的内容适用于到以太网网关10的can。所述can存储在edv单元上运行的程序的设置中。
58.可经由网关10结合的路由器向远程和移动的用户终端设备17提供wlan连接16，在所述用户终端设备上同样可以配置形状或者经由在主控平板pc上运行的网络服务器调用形状。附加地，将诊断接口18和一个或多个其他的传输控制信号的设备20连接于拖拉机侧的以太网交换机7。
59.在配置程序部段、即在主控平板pc8上运行的软件程序的设置中，例如可以配置图4中描绘的九种形状。因此，一到八个之间的图像再现区域19可以配备光学图像处理单元4的视频流。
60.在图5的实施例中，针对所示的实施例显示所属的计算机程序的层级。在左上存在相应的形状的工作视图21，从所述工作视图起可以根据方框22处理各个图像再现区域19。此外，工作视图21与触摸屏上的输入选项相关联，经由所述输入选项操作人员到达设置层级23，从所述设置层级起可以到达形状管理装置24、相机管理装置25、序列管理装置26以及网络服务器管理装置27和用户设置装置28。
61.形状在形状管理装置24中配置。在相机管理装置25中可以执行图像获取单元4的就此存在的设置，例如颜色设计、压缩或分辨率。序列管理装置26实现存储各个图像再现部段19或管理各个视频流。在网络服务器管理装置27中相应地配置用于各个形状的网站显示，特别地经由此可以配置访问管理装置，借助所述访问管理装置，第三方由优选移动的、然而至少远离收割机的用户终端设备可以仅以密码保护的方式在edv单元的网络服务器上登陆。最后，可以在用户管理装置28中存储或调用用户配置文件。同样还能够可以设置：系统是否总是以最后使用的用户配置文件启动或以标准配置启动。
62.按照根据图6的实施例，形状用于根据五个图像再现区域19复现五个视频流。借助于相应占用的图标29可以直接调用形状的所属的配置表面。在此，根据图7，首先又构成自身的图像再现区域19，所述图像再现区域尽管被缩小，但是在其他方面对应于图6的图像再现区域。例如，最上方的图像再现区域19缩小地显示图6左上角的图像再现区域的视频流，
图7中在第二行中处于图像再现区域下方的图像再现区域19显示在该行上方的根据图6从左起第二视频流等等。用可用的光学的图像获取单元4占据图像再现区域4经由可通过手指操作的区31进行。点击所述区或另一区31显示下拉列表，经由所述下拉列表然后可以选择系统中已知的相机。触摸屏的位于图7左下的区域是跳回上一对话框(按键32)的按键、帮助按键33和信息按键34。