用于操作机动车辆的方法与流程

1.本发明涉及一种用于操作机动车辆的方法。


背景技术：

2.电子控制单元(ecus)或电子控制模块(ecms)(在这里被称为ecus)是在机动车辆中使用的所有可想到的电子领域中的电子模块，例如用于控制高级驾驶辅助系统(adas)的功能。驾驶员辅助系统被定义为机动车辆中用于在某些驾驶情况下协助驾驶员的辅助电子设备。这样的驾驶员辅助系统半自主地或自主地参与机动车辆的驱动装置(例如加速器、制动器)、控制装置(例如停车转向辅助)、或信号装置，或者在紧急情况之前或在紧急情况期间通过合适的人机界面提醒驾驶员。
3.通过使用人工智能(ai)，这样的ecus可以设计用于展示智能行为，例如通过机器学习。
4.深度学习指的是一种机器学习方法，深度学习使用包含在输入层和输出层之间的许多隐藏层的人工神经网络(anns)。
5.这样的深度学习方法为机动车辆的系统控制单独留有改进的空间。此外，用基于ai的ecus替换现有的ecus可能会有挑战，并且在实际交通场景中用提供控制功能的ecus来训练ai算法并不总是可能的。
6.文件us 10 248 693 b2公开一种用于生成用于训练和验证采集模型的模拟传感器信号的方法。
7.文件us 10 678 244 b2公开一种用于自主控制系统的数据合成的方法。
8.文件us 10 019 011 b1公开一种包含机器学习模型的自主车辆。
9.文件us 2020/0134379 a1公开一种用于通过综合分析和无监督域匹配来自动标记驾驶数据的方法。


技术实现要素：

10.本公开的实施例可以提供一种用于操作机动车辆的方法，方法包括以下步骤：在采集阶段采集当前运行数据以便获取存档的运行数据；在模拟阶段评估存档的运行数据以便获取用于人工智能的标记的训练数据；在训练阶段通过标记的训练数据训练人工智能；以及在预测阶段通过人工智能激活或停用机动车辆的ecu或ecu的控制功能。
11.运行数据代表在机动车辆运行期间出现的值的时间序列。运行数据可以在无线数据传输之后缓存在云平台或另一中央存储器中。
12.在模拟阶段，这些数据用于优化ecu。结果，可使用适合用于分类的标记的训练数据(标记数据)。标记的训练数据是二进制控制信号，该二进制控制信号只能假设逻辑一和逻辑零的值。在这种情况下，逻辑一的值代表激活的ecu或该ecu的激活的控制功能，而逻辑零的值代表停用的ecu或该ecu的停用的控制功能。
13.然后通过标记的训练数据例如借助于监督式学习来训练比如实体这样的人工智
能，实体训练用于机器学习。人工智能可以学习示例并且可以在学习阶段结束后概括它们。为了这个目的，例如机器学习中的算法创建统计模型，该统计模型是以训练数据为基础的。这意指示例不是简单地被记住，而是在训练数据中识别模式和规律。因此，人工智能还可以评估未知数据(学习迁移)。
14.在预测阶段，一组二进制控制信号现在由各个二进制控制信号形成并且用于激活或停用ecu或该ecu的控制功能。因此，ecu的实际控制功能不受人工智能的影响；仅在某些情况下根据该组二进制控制信号停用ecu的实际控制功能，该组二进制控制信号也可以被解释为一组规则。
15.根据一个实施例，在模拟阶段可以在x在环(xil)环境中执行模拟。xil环境可以是例如硬件在环(hil)环境、软件在环(sil)环境、或模型在环(mil)环境。因此可以集成ecus或ecu的硬件和/或软件组件。
16.根据另一实施例，可以在训练阶段使用存档的运行数据，特别是存档的车辆数据和/或gps(全球定位系统)数据。存档的运行数据可以是通过比如can(控制器局域网络)总线的机动车辆内部数据总线传输的数据或数据集，而gps数据可以是通过机动车辆的导航装置提供并且指示机动车辆的位置的数据或数据集。因此可以提高训练效果。
17.根据另一实施例，递归神经网络可以用作为人工智能。人工神经网络(anns)包含多个人工神经元，在深度神经网络的情况下，人工神经元设置在输入层和输出层之间的许多隐藏层中。递归神经网络或反馈神经网络(rnns)是这样的神经网络，与前馈网络相比，该递归神经网络或反馈神经网络是以从一层的神经元到同一层的神经元或前一层的神经元的连接为特征的。因此，同一层的神经元或不同层的神经元是反馈。通过这些反馈，可以从数据获取时间编码信息。
18.本公开进一步地涉及具有存储在其上的配置成执行方法的计算机可执行指令的非暂时性计算机可读存储介质、系统、用于机动车辆的ecu、以及包含这样的ecu的机动车辆。
附图说明
19.现在将借助于附图解释本公开。在下面显示：
20.图1是用于操作机动车辆的系统的部件的示意图；
21.图2是在图1中描绘的系统的xil环境的示意图；
22.图3是在图1中描绘的人工智能的细节的示意图；
23.图4是在图1中描绘的系统的操作顺序的流程图；
24.图5是用于操作在图1中描绘的系统的方法序列的示意图；
25.图6是在图5中描绘的方法序列的细节的流程图。
具体实施方式
26.首先将参考图1。
27.描绘一种用于操作机动车辆4的系统2。
28.在本示例实施例中，机动车辆4设计为乘用车并且包含ecu 6，该ecu6控制机动车辆2的驾驶员辅助系统的控制功能a和系统关键控制功能x。本公开不限于两个控制功能，并
且在其他实施例中，ecu 6还可以只控制单个控制功能或两个以上控制功能。
29.机动车辆4的其他描绘的部件包括人工智能8、调制解调器12、以及can总线14。在图1中显示作为系统2的组成部分的云10。
30.ecu 6通过can总线14读入机动车辆4的当前运行数据abd并且评估该数据以便接着启动驾驶员辅助系统的控制功能a和/或系统关键控制功能x，其中为了这个目的将驱动信号馈入到can总线14中。
31.此外，系统2配置成在采集阶段i(参照图5)采集这个机动车辆4以及其他机动车辆的运行数据并且在模拟阶段ii(同样参照图5)评估存档的运行数据ard以便获取用于人工智能8的标记的训练数据td，在后面将详细地解释两者。人工智能8可以设计为单元或设计为具有其自身硬件和/或软件组件的部件。在这种情况下，人工智能设置在机动车辆4中，使得在现场即在机动车辆4中进行数据处理是可能的。
32.在本示例实施例中，标记的训练数据td存档在云10中并且可以通过调制解调器12无线地读入并且提供给人工智能8以便在训练阶段iii(同样参照图5)训练人工智能8。
33.在训练阶段iii之后，在预测阶段iv，人工智能8通过can总线14读入机动车辆4的当前运行数据abd、评估该数据、以及将一组二进制控制信号提供为输出as，该输出as激活或停用ecu 6或其控制功能a和/或x。
34.因此，ecu 6的实际控制功能a和/或x不直接受人工智能8的影响；只在某些情况下根据输出as停用ecu 6的实际控制功能a和/或x。
35.此外，系统2配置成在预测阶段iv(同样参照图5)影响ecu 6的激活或停用，如同样将在后面详细地解释。
36.对于这些任务和控制功能以及在下面描述的任务和控制功能，系统2、机动车辆4、以及它们各自的部件可以各自包含硬件和/或软件组件。
37.此外，现在将参考图2。
38.描绘包含多个用于在模拟阶段ii执行模拟的xil组件18的xil环境16，以便评估本示例实施例中的存档的运行数据ard，因此能够提供标记的训练数据td。
39.在本实施例中，使用监督式机器学习算法，该监督式机器学习算法需要这样的数据用于分类任务。模拟的输出数据，即标记的数据，也可以被解释为控制信号或“控制标记”，该控制信号或“控制标记”激活或停用ecu 6或其控制功能a和/或b。
40.如果输出as的控制信号具有例如值逻辑零，则将在控制装置中停用例如a或x的特定控制功能。然而，如果值是逻辑一，则启动控制功能a或x。输出as的控制信号的数量取决于ecu 6中的控制功能的数量。
41.xil环境16例如可以是硬件在环(hil)环境、软件在环(sil)环境、或模型在环(mil)环境。因此，可以集成ecu 6或ecu 6的硬件和/或软件组件。
42.xil环境16具有到云10的接口，因此可以读入存档的运行数据ard。接口例如可以是usb(通用串行总线)、以太网、wi-fi(无线保真)接口、或到移动网络(3g、4g、5g)的接口。xil环境16还在云10中存储模拟结果(控制器标记)。可以使用物理硬盘或其他数据存储装置代替云10。
43.xil模拟可以是车辆模拟以及它们子部件的模拟，包括动力传动系统、电气/电子架构(e/e系统)、车架、车身、悬架、以及转向系统的模拟。还可以提供传感器模拟(例如
lidar(激光雷达)或radar(雷达)系统、摄像机系统)、交通模拟、或驾驶环境模拟(在虚拟驾驶环境中)。完整的模拟系统并不总是必要的，因为采集的运行数据bd包含ecu 6的大部分可用的信号。结果，模拟完整的车辆系统并不总是必要的，而只模拟生成控制信号所需的那些车辆系统。
44.此外，现在将参考图3。
45.图3描绘人工智能8的组件。在本实施例中，人工智能8包括配置为递归神经网络的人工神经网络。
46.人工神经网络或anns，是人工神经元的网络。人工神经网络的这些神经元(也称为节点)设置在层中并且通常在固定的层次结构中互相连接。神经元通常连接在两层之间，但在极少数情况下也在一层中连接。
47.递归神经网络(rnns)是人工神经网络，与前馈神经网络相比，该递归神经网络是以从一层的神经元到同一层的神经元或前一层的神经元的连接为特征的。还可以使用门控循环单元(grus)或卷积神经网络代替递归神经网络。
48.在这种情况下，在本示例实施例中，人工神经网络的中间层的所有神经元都是长短期记忆网络(lstm)单元(cell)24a、24b
…
24n，该长短期记忆网络单元在每种情况下都配置有输入逻辑门、遗忘逻辑门、以及输出逻辑门，并且连接在相应输入单元22a、22b
…
22n的下游。每个lstm单元24a、24b
…
24n都是包含多个隐藏层的神经网络。
49.lstm单元24a、24b
…
24n用于将重量信息gw传输至相应的下一时间点t＝n、n 1
…
n m。这个重量信息gw代表单元状态以及隐藏状态变量，导致特别稳健的神经网络20。包含lstm单元24a、24b
…
24n的神经网络20还可以配置为是双向的，使得用于训练的反向传播算法以前向和反向运行。
50.在训练阶段iii，标记的训练数据td与在模拟阶段ii确定的输出as的控制信号一起供应给神经网络20。在本示例实施例中，通过监督学习进行训练。因此神经网络20从输出as的控制信号的模拟中学习。
51.为了这个目的，在训练阶段iii，在每个时间步长，例如在时间点t＝n、n 1
…
n m，为各自lstm单元24a、24b
…
24n供应标记的训练数据td以及输出as的相关控制信号。换句话说，标记的训练数据td是多个数据集，其中在每种情况下一个数据集分配至一个时间点t＝n、n 1
…
n m。
52.在预测阶段iv，一组相应的当前运行数据abd供应给训练后的神经网络20。作为输出信号as，神经网络20提供一组二进制控制信号，该组二进制控制信号也可以被解释为一组规则。换句话说，输出as是多个数据集，其中在每种情况下一个数据集再次分配至时间点t＝n、n 1
…
n m。
53.复杂的人工智能8例如可能在每个lstm单元24a、24b
…
24n中需要计算量更大的神经网络20。lstm序列的长度将取决于控制器自身以及其执行的任务。例如lstm序列可以在100ms时间间隔内具有10000ms的长度，导致n＝100lstm单元。用于ecu 6的从hmi(人机界面)控制单元接收输入的人工智能8可能需要1000ms的时间间隔，然而对于dat控制单元来说时间间隔可能是10ms。
54.因此，在预测阶段iv，训练后的神经网络20用于生成预测输出。预测输出是在0和1之间的值的列表。预测输出经过后处理以生成控制信号列表，该控制信号列表包含具有布
尔变量的二进制数据。每个控制信号激活或停用相应ecu 6的基于规则的常规控制逻辑。
55.此外，现在将参考图4。
56.具有人工智能8的ecu 6设计用于执行控制功能a和/或系统关键控制功能x。控制功能a是设计用于特定gps坐标(例如在高速公路上)的基于位置的控制功能。
57.当传统ecu 6在每个时间步长t1、t2、t3按顺序连续地执行控制功能a和控制功能x时，根据本公开的控制功能a的执行现在取决于输出as。另一方面，不变地执行控制功能a。
58.此外，现在参考图5以便解释用于操作系统2的方法序列。
59.方法从采集阶段i开始，在采集阶段i，采集机动车辆4以及其他机动车辆的运行数据。
60.例如，运行数据通过can总线14被读出并且在云10中存档为存档的运行数据ard。
61.因此，运行数据或存档的运行数据ard可以是机动车辆4的gps数据gps以及相应的车辆数据fd。例如，gps数据gps包括代表机动车辆4的车速、机动车辆4的经纬度坐标、机动车辆4的加速度、时间信息(utc)、行程信息(行程起点、行程终点、行程编号)、以及机动车辆4的状态(移动/停止)的数据。例如，车辆数据fd包括来自机动车辆4的can总线14或来自其他网络的通信信息(例如高速和低速can数据、3g、4g、5g数据)。例如，这可以包括来自发动机ecu的数据(例如发动机温度、扭矩)或来自dat传感器的数据(例如道路类型、交通标志、速度限制)，以及来自hmi单元的数据(天气、行驶频率、行驶的持续时间、目的地位置)。数据还可以包括要优化的目标控制器的输出。数据还被记录为时间序列。
62.在模拟阶段ii，存档的运行数据ard被评估以便获取用于训练人工智能8的标记的训练数据td。为了这个目的，在模拟阶段ii，在xil环境16中进行模拟。在这种情况下，人工智能8使用递归神经网络。
63.在训练阶段iii，用标记的训练数据td训练人工智能8。此外，存档的运行数据ard，特别是记录的车辆数据fd和/或gps数据gps、比如存档的gps数据gps和车辆数据fd，在训练阶段iii用于训练。
64.在预测阶段iv，为训练后的人工智能8提供当前运行数据abd、特别是当前gps数据gps和车辆数据fd。然后根据由人工智能8提供的输出as通过人工智能8来激活或停用机动车辆4的ecu 6。
65.输出as然后供应给数据处理单元26进行数据后处理，该数据处理单元26提供预测控制信号vss。预测控制信号vss可以是包含具有布尔变量的二进制数据的控制信号列表。
66.预测控制信号vss然后与当前运行数据abd一起供应给ecu 6，ecu6然后根据优化的输出y来激活或停用控制功能a和/或控制功能x。
67.换句话说，执行控制功能f(a,x)＝y，其中当前运行数据abd、特别是当前gps数据gps和车辆数据fd，在每种情况下都作为输入提供给控制功能a和x。
68.此外，现在参考图6以便解释方法序列的更多细节。
69.在图6中，在采集阶段i执行第一步骤s100，在模拟阶段ii和训练阶段iii执行步骤s200到s600，并且在预测阶段iv执行步骤s700到s1200。
70.在步骤s100中，采集并且存档运行数据ard。
71.在步骤s200中，在步骤s100中存档的运行数据ard提供给xil环境16，并且在另一步骤s300中，执行模拟并且模拟结果暂时地存储在云10中。
72.在另一步骤s400中，配置人工智能8的递归神经网络，并且在另一步骤s500中，在云10中训练本示例实施例中的人工智能8。在另一步骤s600中，根据模拟的结果调整ecu 6。
73.在另一步骤s700中，读入当前运行数据ard，并且在另一步骤s800中，为训练后的人工智能8提供当前运行数据ard以便获取输出as。
74.在另一步骤s900中，提供预测控制信号vss，在另一步骤s1000中预测控制信号vss传输至ecu 6。
75.在另一步骤s1000中，ecu 6读入当前运行数据abd并且接着使用预测控制信号vss来提供优化的输出，根据优化的输出激活或停用控制功能a和/或控制功能x。
76.此外，在预测阶段iv，可以通过人工智能8评估机动车辆4的ecu 6的激活或停用以用于进一步地训练人工智能8。为了这个目的，为人工智能8提供表示激活或停用的ecu 6、或激活或停用的控制功能a和/或x的数据。
77.在不背离本公开的保护范围的情况下，在一个或多个实施例中，步骤的顺序也可以是不同的。此外，还可以同一时间或同时执行几个步骤。此外，在其他实施例中，还可以跳过或忽略单个步骤。
78.有利地，全部保留ecu 6的控制功能a和x。
79.附图标记列表
[0080]2ꢀꢀꢀꢀꢀꢀꢀ
系统
[0081]4ꢀꢀꢀꢀꢀꢀꢀ
机动车辆
[0082]6ꢀꢀꢀꢀꢀꢀꢀ
ecu
[0083]8ꢀꢀꢀꢀꢀꢀꢀ
人工智能
[0084]
10
ꢀꢀꢀꢀꢀꢀ
云
[0085]
12
ꢀꢀꢀꢀꢀꢀ
调制解调器
[0086]
14
ꢀꢀꢀꢀꢀꢀ
can总线
[0087]
16
ꢀꢀꢀꢀꢀꢀ
xil环境
[0088]
18
ꢀꢀꢀꢀꢀꢀ
xil组件
[0089]
20
ꢀꢀꢀꢀꢀꢀ
神经网络
[0090]
22a
ꢀꢀꢀꢀꢀ
输入单元
[0091]
22b
ꢀꢀꢀꢀꢀ
输入单元
[0092]
22n
ꢀꢀꢀꢀꢀ
输入单元
[0093]
24a
ꢀꢀꢀꢀꢀ
lstm单元
[0094]
24b
ꢀꢀꢀꢀꢀ
lstm单元
[0095]
24n
ꢀꢀꢀꢀꢀ
lstm单元
[0096]
26
ꢀꢀꢀꢀꢀꢀ
数据处理单元
[0097]aꢀꢀꢀꢀꢀꢀꢀ
控制功能
[0098]
abd
ꢀꢀꢀꢀꢀ
当前运行数据
[0099]
ard
ꢀꢀꢀꢀꢀ
存档的运行数据
[0100]
as
ꢀꢀꢀꢀꢀꢀ
输出
[0101]
fd
ꢀꢀꢀꢀꢀꢀ
车辆数据
[0102]
gps
ꢀꢀꢀꢀꢀ
gps数据
[0103]
gw
ꢀꢀꢀꢀꢀꢀ
重量信息
[0104]
td
ꢀꢀꢀꢀꢀꢀ
训练数据
[0105]
vss
ꢀꢀꢀꢀꢀ
预测控制信号
[0106]
x
ꢀꢀꢀꢀꢀꢀꢀ
控制功能
[0107]yꢀꢀꢀꢀꢀꢀꢀ
优化的输出
[0108]
t1
ꢀꢀꢀꢀꢀꢀ
时间步长
[0109]
t2
ꢀꢀꢀꢀꢀꢀ
时间步长
[0110]
t3
ꢀꢀꢀꢀꢀꢀ
时间步长
[0111]
t＝n
ꢀꢀꢀꢀ
时间点
[0112]
t＝n 1
ꢀꢀ
时间点
[0113]
t＝n m
ꢀꢀ
时间点
[0114]iꢀꢀꢀꢀꢀꢀꢀ
采集阶段
[0115]
ii
ꢀꢀꢀꢀꢀꢀ
模拟阶段
[0116]
iii
ꢀꢀꢀꢀꢀ
训练阶段
[0117]
iv
ꢀꢀꢀꢀꢀꢀ
预测阶段
[0118]
s100
ꢀꢀꢀꢀ
步骤
[0119]
s200
ꢀꢀꢀꢀ
步骤
[0120]
s300
ꢀꢀꢀꢀ
步骤
[0121]
s400
ꢀꢀꢀꢀ
步骤
[0122]
s500
ꢀꢀꢀꢀ
步骤
[0123]
s600
ꢀꢀꢀꢀ
步骤
[0124]
s700
ꢀꢀꢀꢀ
步骤
[0125]
s800
ꢀꢀꢀꢀ
步骤
[0126]
s900
ꢀꢀꢀꢀ
步骤
[0127]
s1000
ꢀꢀꢀ
步骤
[0128]
s1100
ꢀꢀꢀ
步骤
[0129]
s1200
ꢀꢀꢀ
步骤