自动相机配置系统和方法与流程

自动相机配置系统和方法
1.相关申请的交叉引用
2.本技术要求题为“自动相机配置系统和方法”(2020年12月8日提交)的美国临时申请no.63/122,701的优先权，其全部公开内容通过引用结合于此。
技术领域
3.本文所述的主题涉及与配置相机一起使用的系统和方法，例如，与用于车辆的操作和/或分析的一个或多个相机结合使用的系统和方法。


背景技术：

4.相机可与车辆的操作结合使用，相机的各个方面根据其预期用途进行配置。常规方法依靠安装人员手动确定或选择配置参数。手动配置可能成本高、耗时和/或容易出错。


技术实现要素：

5.根据一个示例或方面，一种系统可包括相机和至少一个处理器。所述相机具有视野，并可获取所述视野内的成像信息。所述至少一个处理器可操作地耦接到所述相机并可从所述相机获取所述成像信息。所述至少一个处理器可基于所述视野内的所述成像信息自主地设置车辆配置参数，以将所述相机与车辆一起使用。
6.根据一个示例或方面，一种方法可包括：将具有视野的相机定位在安装位置。所述相机可获取所述视野内的成像信息。所述方法可还包括：使用可操作地耦接到所述相机的至少一个处理器，从所述相机获取所述成像信息。此外，所述方法可包括：基于所述视野内的所述成像信息，使用所述至少一个处理器自主地设置车辆配置参数，以将所述相机与车辆一起使用。
7.根据一个示例或方面，一种系统可包括车辆、相机和至少一个处理器。所述相机可布置在所述车辆上。所述相机可具有视野，并且可获取所述视野内的成像信息。所述至少一个处理器可操作地耦接到所述相机并可从所述相机获取所述成像信息。所述至少一个处理器被配置为基于所述视野内的所述成像信息自主地设置车辆配置参数，以将所述相机与所述车辆一起使用。
附图说明
8.参考附图，阅读以下非限制性实施例的描述可以理解本发明的主题，其中：
9.图1示出了系统的方框示意图；
10.图2提供了采集图像的显示器(display)的示例视图；以及
11.图3示出了一种方法的流程图。
具体实施方式
12.本文所述主题的实施例涉及配置用于车辆的相机的系统和方法。各种实施例利用
视频分析来基于使用相机获得的成像信息自动确定相机的位置和/或方位(orientation)。因此，在相机连接到系统之后，可以在没有人交互的情况下确定各种配置方案。可配置和/或验证的项目示例包括相机位置、相机安装位置和相机方位。
13.各种实施例提供了用于车辆的相机的高效和准确配置。
14.虽然本文中的各种示例可结合轨道车辆进行讨论，但应注意，并非本文中描述的所有实施例均限于轨道车辆系统。除非明确否认或另有说明，否则本文所述的发明主题延伸至其他类型的车辆系统，例如汽车、卡车(带有或不带拖车)、公共汽车、船舶、飞机、采矿车辆、农用车辆或其他非公路车辆。本文所述的车辆系统(轨道车辆系统或不在轨道或轨迹上行驶的其他车辆系统)可以由单个车辆或多个车辆构成。对于多车辆系统，车辆可相互机械耦接(例如，通过耦接器)、或逻辑耦接但不机械耦接。例如，当单独的车辆相互通信以协调车辆彼此之间的移动，从而使车辆一起行驶(例如，作为车队)时，车辆可能在逻辑上而不是机械上耦接。
15.图1示出了系统100的示意图。该系统包括车辆102和相机系统110。相机系统依次包括相机120和处理单元130。可以注意到，虽然为了便于说明，在所描绘的示例中仅示出了一个车辆、相机和处理单元，但是在各种实施例中可以使用附加的车辆、相机和/或处理单元。
16.例如，车辆可以是轨道车辆，如机车。在所示的实施例中，车辆是机车104，机车104布置在路线105上并具有短发动机罩106(或前向部分)和长发动机罩108(或后向部分)。
17.所描绘的相机布置在车辆上，并具有视野122。相机可以获取视野内的成像信息。在所示的示例中，相机安装在车辆上，朝向车辆前部，靠近短发动机罩，并朝向车辆前部的位置。在所描绘的示例中，示出了位于车辆外部的相机；然而，在实践中，为了获得外部景观(exterior view)，相机也可以放置在车辆内部，并通过窗户朝向外部景观。可利用附加或替代位置和/或方位。例如，相机可以安装在长发动机罩上和/或朝向车辆后面的景观，或者作为另一个示例，相机可以提供车辆侧面的景观。作为另一个示例，相机可位于车辆的内表面(例如，墙壁、地板、天花板)或其他内部部分上，相机朝向车辆内的所需位置(例如，朝向工程师或操作员、朝向一组乘客座椅等)。
18.处理单元耦接到相机，并且可以从相机获取成像信息。处理单元可以基于视野内的成像信息自主地设置车辆配置参数，以将相机与车辆一起使用。处理单元可与车辆的一个或多个附加系统通信耦接，使得相机的车辆配置参数一旦被确定和/或设置，就可被提供给车辆的一个或多个系统以与车辆一起使用(例如，在车辆的运行期间，或作为车辆性能分析的一部分)。所描绘的示例车辆包括事件记录器140。处理单元与事件记录器通信耦接，并将经由相机获取的成像信息提供至事件记录器。因此，相机的车辆配置参数可与用于分析事故或其他事件的事件记录器结合使用。应注意，相机的车辆配置参数可在安装时确定或设置，和/或在不同时间更新或调整(例如，作为定期维护的一部分，或响应于条件变化)。
19.在各种实施例中，处理单元可基于视野内的成像信息，使用预定模型或其他分析技术确定和设置一个或多个车辆配置参数。在各种实施例中，预定模型可利用神经网络来训练模型，以识别与特定期望配置参数相对应的成像信息的结构、模式或其他方面。例如，经训练的模型或其他视频分析技术可被用于将从相机的视野获取的成像信息内的识别对象或方面与对应于与车辆相关联的已知位置和方位的一个或多个场景的预期结果进行比
较。如果从视野获取的成像信息匹配或对应于给定已知位置和方位所预期的对象或方面，则处理单元随后设置一个或多个车辆配置参数以对应于该位置和方位的预定参数，和/或基于该位置和方位的预定要求。
20.例如，车辆配置参数可以描绘、描述、对应于或以其他方式与车辆的各方面相关，或者作为另一个示例，与相机的性能或设置相关。在各种实施例中，相机的车辆配置参数可提供关于相机的信息和/或由相机获取的成像信息。例如，在各种实施例中由处理单元自主设置的车辆配置参数包括帧速率设置、分辨率设置、质量设置或压缩设置中的一个或多个。作为一个示例，对于相机的给定位置和方位，可以预先知道期望的帧速率设置和分辨率设置。一旦处理单元确定了相机处于该特定位置和方位，则处理单元可以相应地设置帧速率设置和分辨率设置。附加地或可选地，可以基于来自相机的成像信息(例如，视野中可用的光量或视野中的运动量)来设置和/或调整此类设置。
21.如上所述，相机的车辆配置参数可提供有关车辆的相机信息，其可用于车辆的操作。例如，在各种实施例中由至少一个处理器自主设置的车辆配置参数包括相机位置、安装位置或方位中的一个或多个。作为一个示例，车辆配置参数可指定短发动机罩(安装在车辆的上表面上的特定预定义位置)上或附近的相机位置以及车辆前方的方位。于是，如果要分析发生在车辆前方的事件，事件记录器系统可以使用相机的车辆配置参数将相机识别为具有潜在有用信息的相机，获取成像信息(例如，存储的来自相机的成像信息，对应于事件的相关时间帧)，并使用成像信息分析事件。在各种实施例中，由车辆配置参数指定的其他示例位置包括车辆内部，示例安装位置包括天花板或墙壁。360度或“鱼眼”相机可被用于各种实施例中，例如用于朝向车辆内部的相机。
22.在各种实施例中，处理单元还可以通过将使用相机获取的成像信息与预定目标标准进行比较来确定相机是否符合目标规范。例如，对于布置在车辆内部的前向相机，其被用于获取车辆外部的场景，可以确定相机是否正确地朝向窗外，以具有所需的视野。作为另一个示例，对于内向相机，可以确定视野是否充分捕捉工程师和/或导线位置。
23.图2提供了示例显示器。所示实施例的示例显示器对应于期望具有包括座椅202(例如，用于导体的座椅)的目标视野210(由双虚线示出)的相机。然而，如由相机提供的成像信息确定的，由相机提供的实际视野220由虚线表示，并且与目标视野偏移。在各种实施例中，处理单元可确定期望的目标规范(例如，目标视野)未得到满足。例如，处理单元可以识别每个视野中的座椅，并确定座椅在每个视野中不在相同的相对位置，并且相应地确定实际视野偏离目标视野。
24.在各种实施例中，处理单元可响应于确定相机不符合目标规范而执行响应动作。在一些实施例中，处理单元通过向操作员提供指令以使相机符合目标规范来执行响应动作。例如，结合图2的示例，处理单元可以确定实际视野偏离或未对准目标视野的程度和方向，并向操作员提供指令，以调整相机的方位以解决偏离或未对准问题。在操作员进行调整之后，处理单元可以分析来自新调整的相机的所得视野，并确认方位现在与目标规范匹配(例如，在目标或预定公差度量内匹配)，或者，如果不匹配，提供附加指令以进一步调整而使视野符合要求。可选地或附加地，响应动作可包括向操作员和/或其他人员提供警报，或者，作为另一示例，改变相机的设置(例如，帧速率设置)。
25.继续参考图1，可注意到，在各种实施例中，处理单元(或其方面)可以布置在单独
的单元中、集成到车辆系统中、和/或集成到相机本身中。例如，处理单元在图1中被描绘为单个独立单元。然而，在各种实施例中，处理单元(或其方面)可布置在事件记录器(或车辆的其他系统)上。
26.所描绘的处理单元包括存储器132。处理单元被描绘为包括单个处理单元；然而，用于处理单元的块可以理解为表示一个或多个处理器，所述一个或多个处理器在一些实施例中可以彼此分布或远离。各种实施例中的处理单元包括执行本文讨论的一个或多个任务、功能或步骤(例如，方法300或其方面)的处理电路。可注意到，本文中使用的“处理单元”并不一定限于单个处理器或计算机。例如，处理单元可包括多个处理器和/或计算机，这些处理器和/或计算机可以集成在公共外壳或单元中，或者可以分布在各个单元或外壳之间。
27.通常，处理单元的各个方面(例如，编程模块)单独地或与其他方面协同地动作，以执行本文所讨论的方法、步骤或过程的一个或多个方面(例如，方法300或其方面)。在所描绘的实施例中，存储器包括有形的非暂时性计算机可读介质，其上存储了用于执行本文所讨论的方法、步骤或过程的一个或多个方面的指令。
28.图3示出了方法300的流程图。图3的操作可以由一个或多个处理器(例如，处理单元)执行存储在存储器中的程序指令来实现。例如，方法300可采用本文讨论的各种实施例(例如，系统和/或方法)的结构或方面，例如系统和/或相机系统。在各种实施例中，可以省略或添加某些步骤(或操作)，可以组合某些步骤，可以同时执行某些步骤，可以同步执行某些步骤，可以将某些步骤拆分为多个步骤，可以以不同的顺序执行某些步骤，或者可以以迭代方式重新执行某些步骤或一系列步骤。在各种实施例中，所述方法的部分、方面和/或变体可被用作一个或多个算法，以指导硬件执行本文所述的一个或多个操作。应注意，根据本文的实施例，可以使用其他方法。
29.在步骤302，将相机(例如，结合图1描述和讨论的相机)定位在安装位置。例如，安装位置可在车辆上(例如，车辆的内部)。相机具有视野，并且可以获取视野内的成像信息。各种实施例中的相机位于车辆上的预定安装位置(例如，安装至车辆的外表面或车辆的内表面)，具有预定的目标方位，以提供成像信息，用于结合操作车辆和/或分析车辆的操作。各种实施例中的相机定位为原始安装的一部分。附加地或可选地，作为维护程序的一部分，可以调整或更改已安装相机的位置。
30.在步骤304，从相机获取成像信息。例如，成像信息可以由耦接到相机的至少一个处理器(例如，如结合图1描述和讨论的处理单元)获取或提供给所述至少一个处理器。成像信息可以包括单个图像或一系列图像。
31.在步骤306，基于视野内的成像信息设置相机的车辆配置参数。车辆配置参数被用于将相机用于车辆。各种实施例中的车辆配置参数由至少一个处理器(例如，如结合图1描述和讨论的处理单元)自主设置。在各种实施例中，可以使用相机的不同类型的车辆配置参数。
32.例如，在所示的实施例中，在步骤308，设置车辆配置参数包括自主设置相机位置、安装位置或方位中的至少一个。在各种实施例中，也如上所述，分析使用相机获取的成像信息以确定或识别相应的已知相机位置、安装位置和/或方位(例如，与成像信息相关联的已知位置、安装位置和/或方位，该成像信息与由给定相机获取的成像信息相匹配)，将所确定的相应的已知相机位置设置为给定相机的配置参数。可选地或附加地，可设置不同的车辆
配置参数。例如，在所示的实施例中，在步骤310，设置车辆配置参数包括自主地设置帧速率设置、分辨率设置、质量设置或压缩设置中的至少一项。
33.在步骤312，自主地确定相机是否符合目标规范。在所示的实施例中，将使用相机获取的成像信息与预定目标标准进行比较。如果在步骤314确定了目标不符合，所述方法进行至步骤316，并执行响应动作。响应动作可包括，例如，向操作员提供指令以使相机符合目标规范。在执行响应动作之后，所述方法返回到步骤312以确定相机是否符合目标规范。
34.如果相机符合目标规范，所述方法进行至步骤318，并且使用相机的车辆配置参数操作车辆。可注意到，所述方法的各个步骤可以以附加或不同的顺序执行，或者以迭代的方式执行。例如，在确认目标规范的第二方面的符合性之前，可确认目标规范的第一方面的符合性，和/或可在确认第一参数的符合性之后设置或确定第二参数。
35.根据一个示例或方面，一种系统可包括相机和至少一个处理器。所述相机具有视野，并可获取所述视野内的成像信息。所述至少一个处理器可操作地耦接到所述相机并可从所述相机获取所述成像信息。所述至少一个处理器可基于所述视野内的所述成像信息自主地设置车辆配置参数，以将所述相机与车辆一起使用。
36.可选地，由所述至少一个处理器自主设置的所述车辆配置参数包括相机位置、安装位置或方位中的至少一个。
37.可选地，由所述至少一个处理器自主设置的所述车辆配置参数包括帧速率设置、分辨率设置、质量设置或压缩设置中的至少一个。
38.可选地，所述至少一个处理器可通过将使用所述相机获取的成像信息与预定目标标准进行比较来确定所述相机是否符合目标规范。例如，所述至少一个处理器可响应于确定所述相机不符合所述目标规范而执行响应动作。可选地，执行所述响应动作可包括：向操作员提供指令以使所述相机符合所述目标规范。例如，所述指令可包括使所述操作员调整所述相机的方位的指令。
39.可选地，所述至少一个处理器可布置在所述车辆的事件记录器上，所述相机被配置为与所述车辆一起使用。
40.根据一个示例或方面，一种方法可包括：将具有视野的相机定位在安装位置。相机可获取所述视野内的成像信息。所述方法可还包括：使用可操作地耦接到所述相机的至少一个处理器，从所述相机获取所述成像信息。此外，所述方法可包括：基于所述视野内的所述成像信息，使用所述至少一个处理器自主地设置车辆配置参数，以将所述相机与车辆一起使用。
41.可选地，自主设置所述车辆配置参数的步骤可包括：自主设置相机位置、安装位置或方位中的至少一个。
42.可选地，自主设置车辆配置参数的步骤可包括：自主设置帧速率设置、分辨率设置、质量设置或压缩设置中的至少一个。
43.可选地，所述方法可还包括：通过将使用所述相机获取的所述成像信息与预定目标标准进行比较，使用所述至少一个处理器自主确定所述相机是否符合目标规范。此外，所述方法可包括：响应于确定所述相机不符合所述目标规范，执行响应动作的步骤。例如，执行所述响应动作可包括：向操作员提供指令以使所述相机符合所述目标规范。
44.根据一个示例或方面，一种系统可包括车辆、相机和至少一个处理器。所述相机可
布置在所述车辆上。所述相机具有视野，并且可获取所述视野内的成像信息。所述至少一个处理器可操作地耦接到所述相机并可从所述相机获取所述成像信息。所述至少一个处理器可基于所述视野内的所述成像信息自主地设置车辆配置参数，以将所述相机与所述车辆一起使用。
45.可选地，由所述至少一个处理器自主设置的所述车辆配置参数包括相机位置、安装位置或方位中的至少一个。
46.可选地，由所述至少一个处理器自主设置的所述车辆配置参数包括帧速率设置、分辨率设置、质量设置或压缩设置中的至少一个。
47.可选地，所述至少一个处理器可通过将使用所述相机获取的所述成像信息与预定目标标准进行比较来确定所述相机是否符合目标规范。此外，所述至少一个处理器可响应于确定所述相机不符合所述目标规范而执行响应动作。
48.可选地，所述车辆包括事件记录器，并且所述至少一个处理器被布置在所述事件记录器上。
49.如本文所使用的，术语“处理器”和“计算机”以及相关术语，例如“处理设备”、“计算设备”和“控制器”可不仅限于本领域中称为计算机的那些集成电路，而是指微控制器、微型机、可编程逻辑控制器(plc)、现场可编程门阵列、专用集成电路和其他可编程电路。合适的存储器可包括例如计算机可读介质。计算机可读介质可是例如随机存取存储器(ram)、计算机可读非易失性介质(例如闪存)。术语“非暂时性计算机可读介质”表示实现用于短期和长期存储信息的基于计算机的有形设备，例如计算机可读指令、数据结构、程序模块和子模块、或任何设备中的其他数据。因此，本文描述的方法可被编码为体现在有形的、非暂时性的、计算机可读介质中的可执行指令，包括但不限于存储设备和/或存储器设备。在由处理器执行时，这样的指令使得处理器执行本文所描述的方法的至少一部分。因此，该术语包括有形的计算机可读介质，包括但不限于非暂时性计算机存储设备，包括但不限于易失性和非易失性介质，以及可移动和不可移动介质，例如固件、物理和虚拟存储器、cd-rom、dvd和其他数字源，例如网络或互联网。
50.在一个实施例中，所述处理单元可以部署本地数据收集系统，该系统可以使用机器学习来实现基于推导的学习结果。所述处理单元可通过进行数据驱动的预测并根据数据集进行调整，从一组数据(包括由各种传感器提供的数据)中学习并做出决策。在实施例中，机器学习可涉及通过机器学习系统执行多个机器学习任务，例如有监督学习、无监督学习和强化学习。有监督学习可包括向机器学习系统呈现一组示例输入和期望输出。无监督学习可包括通过诸如模式检测和/或特征学习等方法构造其输入的学习算法。强化学习可包括在动态环境中执行的机器学习系统，然后提供关于正确和错误决策的反馈。在示例中，机器学习可包括基于机器学习系统的输出的多个其他任务。在示例中，任务可以是机器学习问题，例如分类、回归、聚类、密度估计、降维、异常检测等。在示例中，机器学习可以包括多种数学和统计技术。在示例中，许多类型的机器学习算法可包括基于决策树的学习、关联规则学习、深度学习、人工神经网络、遗传学习算法、归纳逻辑编程、支持向量机(svm)、贝叶斯网络、强化学习、表示学习、基于规则的机器学习、稀疏字典学习、相似性和度量学习、学习分类器系统(lcs)、逻辑回归、随机森林、k均值、梯度提升、k近邻(knn)、先验算法等。在实施例中，可使用某些机器学习算法(例如，用于解决可基于自然选择的有约束和无约束优化问
题)。在示例中，该算法可被用于解决混合整数规划问题，一些组成被限制为整数值。算法以及机器学习技术和系统可被用于计算智能系统、计算机视觉、自然语言处理(nlp)、推荐系统、强化学习、构建图形模型等。在示例中，机器学习可被用于车辆性能和行为分析等。
51.在一个实施例中，所述处理单元可包括可应用一个或多个策略的策略引擎。这些策略可至少部分基于给定设备或环境项目的特征。关于控制策略，神经网络可以接收大量环境和任务相关参数的输入。这些参数可包括确定的车辆组行程计划标识、来自各种传感器的数据以及方位和/或位置数据。可以训练神经网络，以基于这些输入生成输出，该输出表示动作或动作序列。在一个实施例的操作期间，可以通过处理通过神经网络的参数的输入以在输出节点处生成将该动作指定为期望动作的值来进行确定。该动作可转化为使车辆运行的信号。这可以通过反向传播、前馈过程、闭环反馈或开环反馈来实现。或者，机器学习系统可以使用进化策略或技术来调整神经网络的各种参数，而不使用反向传播。处理单元可使用神经网络架构，其中，函数可不总是可以使用反向传播来求解，例如非凸函数。在一个实施例中，神经网络具有表示其节点连接的权重的一组参数。生成该网络的多个副本，然后对参数进行不同的调整，并进行模拟。一旦获得了各种模型的输出，就可以使用确定的成功指标对其性能进行评估。选择该模型，并且处理单元执行该计划。此外，成功度量可以是优化结果的组合，其可以相对于彼此加权。
52.如本文所用的，以单数形式叙述并以词语“一”或“一个”开头的元素或步骤不排除所述元素或操作的复数形式，除非明确说明此类排除。此外，对本发明的“一个实施例”的引用并不排除包含所述特征的附加实施例的存在。此外，除非明确说明相反，否则“包括”、“包含”、或“具有”具有特定属性的元素或多个元素的实施例可包括不具有该属性的附加的这些元素。在所附权利要求中，术语“包括”和“其中”被用作各自术语“包括”和“其中”的纯英语等价物。此外，在以下条款中，术语“第一”、“第二”和“第三”等仅被用作标签，并且不对其对象施加数字要求。此外，所附权利要求的限制并非以手段加功能的形式书写，也不打算基于《美国法典》第35卷第112(f)节进行解释，除非且直至此类权利要求限制明确使用短语“手段”，然后是没有进一步结构的功能声明。
53.以上描述是说明性的，并没有限制性。例如，上述实施例(和/或其方面)可以彼此组合使用。此外，可以进行许多修改以使特定情况或材料适应本发明主题的教导而不脱离其范围。虽然本文描述的材料的尺寸和类型定义了本发明主题的参数，但它们是示例性实施例。在回顾上述描述后，其他实施例对本领域的普通技术人员来说将是显而易见的。因此，应当参考所附权利要求书以及这些条款有权获得的全部等价物范围来确定发明主题的范围。
54.本书面描述使用示例来公开实施例，包括最佳模式，并使本领域的普通技术人员能够实践实施例，包括制造和使用任何装置或系统以及执行任何合并的方法。本发明的专利范围由权利要求限定，并包括本领域的普通技术人员可想到的其他示例。如果这些其他示例具有与权利要求的文字语言没有区别的结构元件，或者如果它们包括与权利要求的文字语言没有实质性区别的等效结构元件，则这些示例应落入权利要求的范围内。