1.本发明涉及用于训练量化分类器的方法、用于运行量化分类器的方法、用于操控执行器或显示设备的方法、计算机程序和机器可读存储介质。
背景技术：
：：2.从未预公开的de102020203998.4中已知一种用于基于量化来训练分类器的方法。3.发明优点尤其是在对图像数据或音频数据进行分类时以各种各样的方式使用分类器。为了分类，分类器典型地包括权重，可以在训练方法中使所述权重适配于期望的数据组，使得在通过分类器对数据组的数据进行分类时确定期望的输出。尤其是神经网络是利用这种方案的分类器的具体表现形式。4.分类器的使用典型地引起分类器的分类能力（klassifikationsleistung）（也即性能（performanz））相对于分类器所需要的能量消耗和/或存储需求的权衡。在这里，性能可以被理解为速率或精度，分类器以所述速率或精度确定针对传送给分类器的输入数据所期望的类别。5.尤其是当在嵌入式硬件上使用分类器时，典型地得出以下情形：分类器需要低能量消耗和存储需求。为了仍然获得合适的性能，所谓的量化方法已经证明是特别适当的。这些方法能够减少为了计算分类器的运算所需要的比特（bit）数。6.为了更加进一步降低能量消耗和/或存储需求，但是使性能保持合适，de102020203998.4公开一种方法，利用该方法可以对于不同的量化类型、即尤其是对于不同的比特数对分类器的参数进行量化，而分类器的性能不显着地变化。7.具有根据本发明的独立权利要求1的特征的方法的优点是分类器可以被训练为使得可以对于不同的量化类型对分类器的计算运算进行量化，并且性能保持合适。为了训练，分类器可以有利地借助于另一量化类型构建在处于该训练之前的另一训练上，由此分类器的较少参数必须被适配。由此，该方法可以有利地相对于现有技术在较短的时间内训练分类器，因为分类器的较少参数被改变。相反地，这意味着在相同的时间耗费下，可以利用更多的数据训练分类器，并且从而获得更好的性能。技术实现要素：8.在第一方面中，本发明涉及一种用于训练分类器的计算机实现的方法，其中所述分类器被构造用于对于输入数据确定输出，其中所述输出表征输入数据的分类并且分类器包括多个权重，基于所述权重来确定输出，其中多个权重中的至少一个权重被量化到预给定第一数量的第一值，其中两个相继的第一值分别相差一距离值，此外其中为了训练，对距离值进行适配，而不对多个权重进行适配。9.分类器尤其是可以被构造用于作为输入数据接受一个传感器或多个传感器的传感器数据。10.例如，分类器可以被构造用于对图像数据进行分类。在这种情况下，分类器可以例如给图像分配至少一个类别，所述类别表征图像的内容。尤其是，分类也可以是对象探测。在这种情况下，分类可以表征对象的存在以及其在图像中的位置。另一典型的分类形式是语义分割。在这里，图像的像素被分配给类别。例如，在街道状况的图像上，根据像素在图像中属于哪个对象，可以对类别街道、街道参与者或街道指示牌之一的像素进行排序。11.可替代地或附加地，分类器可以被构造用于对音频数据进行分类。例如，分类器可以对于音频信号确定：该信号是否包含预给定的音频事件。例如，分类器可以被用作至少部分自主的车辆的一部分，其中利用分类器对车辆的环境的音频信号进行分类。然后，分类器例如可以确定：在车辆的环境中是否能够听到执勤车的警笛，并且如果这是这种情况，则操控车辆，使得所述车辆不阻塞执勤车的车道。12.可替代地或附加地，分类器可以被构造为使得所述分类器可以对不以图像数据或音频数据的形式存在的传感器信号进行分类。例如，分类器可以被用作建筑控制装置的一部分。例如可设想的是，分类器接受温度传感器和空气湿度传感器的传感器信号作为输入数据并且确定输出，所述输出表征用于空调单元的操控信号。然后可以借助于输出相应地操控空调单元。13.为了确定输出，分类器使用由其包括的权重。权重可以如下被理解为所述权重映射具体函数，分类器使用所述函数用来从传送给所述分类器的输入数据中确定输出。14.尤其是，例如当分类器包括神经网络并且神经网络包括权重时，权重可以例如以相继的层来布置。例如，层可以接收输入数据或分类器的层的输出、即层输出作为输入。根据输入和由层包括的权重，于是层又可以例如根据公式来确定层输出，其中s是层输出，是层的权重的矩阵，并且是层的输入。可替代地，也可想象的是，该层执行离散卷积，其中层包括离散卷积的至少一个过滤器形式的权重。15.然后例如可以将分类器的最后一层的层输出用作分类器的输出。16.分类器的权重可以在运行或训练分类器的计算机内以二进制数的形式被表示，例如根据标准ieee754作为二进制浮点数来表示。为了能够使分类器变得能量高效的，可以降低权重的分辨率。可以将如下值理解为分辨率，所述值表征作为权重是可能的值的数量。17.分辨率的这种降低通常也已知为量化。所述量化具有的目的是：将为了计算输出所需要的可能值的数量减小到小的数量。对于该小的数量，于是可以经由例如转化表（英文：lookup-tables（查找表））非常高效地实现如乘法或加法之类的计算运算。18.因此，分类器的量化可以被理解为分类器的权重的量化。分类器的量化引起：分类器可以在具有对应于量化的分辨率的计算单元上被执行，所述计算单元通常比具有较高分辨率的计算单元消耗较少的能量。19.有利的是，将期望的降低的分辨率一起包含到分类器的训练中，因为对在无量化的情况下训练的分类器的事后量化导致巨大的性能损失。20.同样，在训练期间以预给定的分辨率量化的分类器应该在推论时间、也即在完成训练的分类器的运行时间以相同的分辨率被运行，因为否则同样发生巨大的性能损失。21.例如，可以选择等距量化用于量化。等距量化可以理解为第一值具有相等距离的量化。然而，第一值之间的其他距离也是可设想的。例如，第一值之间的距离可以遵循对数函数。可替代地同样可设想的是，两个相继的第一值之间的距离可以分别自由地被选择。22.可以根据公式对权重进行量化，其中∙是到下一较小或相等的整数上的四舍五入函数，w是应该被量化的权重，是量化的值，该值已知为步长，是符号函数，以及q(w)是经量化的权重。于是例如可以使用如此量化的权重用于确定层输出。23.如果权重w小于值xmin，则典型地所述权重w被设置为值xmin，或者如果该权重大于值xmax，则所述权重w被设置为值xmax。可以从以比特为单位的分辨率和步长之间的以下关系中来确定在xmin和xmax之间的区间：。24.优选地，xmax和xmin可以被选择为使得量化尽可能好地以值0为中心。例如，xmax可以根据公式被选择，以及xmin然后根据被选择。25.量化类型可以通过预给定的分辨率和预给定的步长表征。根据量化类型对分类器进行量化于是可以被理解为借助于分辨率和步长对分类器进行量化。26.在用于训练的方法中，第一数量可以被理解为量化类型的分辨率，并且第二值可以被理解为量化类型的步长，所述分类器利用所述步长被训练。27.可想象的是，分类器的多个权重在处于训练之前的预训练中被确定并且被提供给分类器用于训练。例如可设想的是，权重首先在无量化的情况下通过预训练被确定。术语“在无量化的情况下”在此情况下应该如此来理解，即在训练期间不将权重量化到预给定的分辨率，而是根据其最初分辨率来训练权重。28.在紧接预训练的训练中，然后在保持在预训练中确定的权重情况下可以预给定期望的量化类型的分辨率，并且对距离值进行训练，使得利用该量化类型量化的分类器达到尽可能好的性能。29.因为仅仅必须对第二值进行适配，所以这种方式的优点是分类器可以对于不同的分辨率非常快速地通过训练确定适当的第二值。在可供使用的相同时间情况下，这意味着可以利用更多数据训练分类器，由此改善分类器的性能。30.此外，分类器的权重以及分类器的计算所需要的存储需求可以有利地被减少，其方式是对权重进行量化并且存储经量化的权重。31.可替代地，权重也可以以不经量化的方式被存储，并且只有在分类器运行时间才被量化。在利用上述训练方法训练的分类器的情况下，这提供以下优点：在性能保持合适期间，分类器可以在运行时间（也为推论时间）期间对于不同的分辨率被量化。32.例如，如果运行分类器的电池运行式系统根据电池的充电状态来选择量化类型，则可能是有利的。在电池的高电荷的情况下，可以使用具有高（并且因此从分类的角度来看耗能的）分辨率的量化类型来量化分类器，而在低电荷的情况下，可以选择具有低分辨率的量化类型。33.此外可设想的是，可以根据分类任务的荷重（schwere）来选择量化类型。分类任务的荷重可以例如借助于数据组来确定，其中数据组包含表征分类任务的数据。例如，分类器关于数据组的数据的性能可以表征数据组的荷重。34.例如可想象的是，远距离的和相应小的对象的对象探测比附近的对象的探测困难得多。可设想的是，对于远距离的对象的情况，必须选择具有高分辨率的量化类型，以便实现期望的性能。此外，可想象的是，已经为简单的分类任务可以选择低分辨率的量化类型，以便实现相应的期望的性能。例如，可想象的是，应该基于图像数据来判定是白天还是夜晚的分类器已经可以利用非常低分辨的量化类型实现适度的性能。35.此外，可想象的是，分类器的多个权重中的至少部分基于在训练之前的预训练被提供。36.因此，可以在预训练中确定分类器的权重，使得可以将所述权重用作许多不同量化类型的基础。37.此外，可设想的是，在预训练时，基于将多个权重中的至少部分量化到预给定的第二数量的第一值来确定多个权重中的至少部分。38.该实施方式可以被理解为使得对于预训练使用与对于后续训练不同的分辨率的量化类型。这引起：给分类器提供适用于多个不同量化类型的多个权重。为了根据多个量化类型中的一种量化类型对分类器进行量化，可以简单地将期望的量化类型的步长用作第二值。39.这具有以下优点：分类器的权重可以对于不同分辨率的量化类型被量化，其中尽管量化到不同的分辨率，分类器的性能仍然保持合适。40.此外可想象的是，使用输入数据的数据组用于训练，其中对于至少一个输入数据存在期望的输出，其中分类器对于输入数据确定输出，并且随后基于所确定的输出与期望的输出之间的差异对距离值进行适配。41.此外可想象的是，借助于分类器并且基于在预训练时确定的权重来确定期望的输出。42.该实施方式的优点是，不必手动地确定期望的输出，而是可以借助于在预训练时确定的权重由分类器自动化地确定所述期望的输出。这种自动化做法能够在与这手动地将会可能的相比明显更少的时间内确定多个期望的输出。因此可以确定大得多的数据组用于训练分类器。通过该较大的数据组，可以利用更多的数据对分类器进行训练，由此进一步提高性能。附图说明43.下面参照所附附图更详细地阐述本发明的实施方式。在附图中：图1示意性地以流程图的形式示出用于训练分类器的方法；图2示意性地示出用于操控执行器的控制系统的结构；图3示意性地示出用于控制至少部分自主的机器人的实施例；图4示意性地示出用于控制生产系统的实施例；图5示意性地示出用于控制访问系统的实施例；图6示意性地示出用于控制监控系统的实施例；图7示意性地示出用于控制个人助理的实施例；图8示意性地示出用于控制医学成像系统的实施例；图9示意性地示出用于训练分类器的训练系统。具体实施方式44.图1示出用于训练分类器的方法的流程图。在该实施例中，通过神经网络给出分类器。神经网络包括按层布置的权重。45.在第一步骤（1）中，训练神经网络，其方式是对神经网络的权重进行适配。在该实施例中使用梯度下降法用于适配权重。在该实施例中，权重是ieee754格式的二进制浮点数。46.为了确定对于梯度下降法所需要的多个梯度，将第一训练数据组的多个输入数据输送给神经网络，其中对于每个输入数据存在期望的输出，所述期望的输出与输入数据相对应。神经网络对于输入数据分别确定输出。为了确定输出，根据预给定的第一量化类型来量化相应的计算运算。对于该实施例，在此选择8比特的第一量化类型的分辨率。在替代的实施例中，也可以选择其他分辨率。47.在该实施例中，在训练期间对步长进行适配，以便为第一量化类型确定适当的步长。在替代的实施例中，也将会是可设想的是，将步长设置到固定的值。在该实施例中，分别使用相同的步长来量化权重。在替代的实施例中，也可设想的是，对于不同的权重使用不同的步长。48.然后经由损失函数将期望的输出与由神经网络确定的输出进行比较，其中损失函数确定损失值，所述损失值表征所确定的输出与期望的输出的偏差。在这里尤其是可以使用负似然函数（英文：negativelog-likelihoodfunction（负对数似然函数））作为损失函数。然后基于损失函数确定关于多个权重和损失值的多个梯度，并且根据其负梯度来适配权重。也确定关于损失函数的步长的梯度，并且根据负梯度适配步长。49.为了确定梯度，通过神经网络执行损失值的所谓反向传递（英语：backwardpass）。在反向传递时，神经网络的权重不被量化。在该实施例中，神经网络的权重在训练期间以ieee754格式被存储。50.在替代实施例中，迭代地重复第一步骤（1），直至已经达到预给定迭代次数或者所确定的损失值低于预给定阈值。在每次迭代中，在此可以从训练数据组中随机地确定新的多个输入数据，并且从而可以对神经网络进行训练。可选地，也可以基于所有训练数据的梯度来确定权重。51.在第二步骤（2）中，然后使用在第一步骤（1）中训练的神经网络，以便分别为第二训练数据组的多个输入数据确定输出。为输入数据确定的输出在用于该输入数据的训练数据组中作为期望的输出被提供。在替代的实施例中，也可设想的是，手动地而不是借助于神经网络来确定期望的输出。52.在第三步骤（3）中，适配神经网络，使得所述神经网络能够对于第二量化类型实现合适的性能。对于该实施例，为第二量化类型选择4比特的分辨率。然而，在替代的实施例中，在此处也可以选择其他分辨率。对于第三步骤（3）中的训练，神经网络使用在第一步骤（1）中确定的权重。对于第三步骤（3）中的训练，分别不适配权重，而第二量化类型的第二步长被确定为使得所述第二步长关于在第二步骤中确定的第二训练数据组在使用第二量化类型的情况下能够实现尽可能好的性能。53.为此目的，给神经网络提供多个输入数据和第二训练数据组的与输入数据相对应的多个期望的输出。然后，神经网络对于多个输入数据确定多个输出，其中分别根据第二量化类型对权重进行量化用于确定输出。54.随后，借助于损失函数来确定损失值，所述损失值表征在多个期望的输出与多个所确定的输出之间的差异。也在第一步骤（1）中使用的相同的损失函数在这里可以被用作损失函数。然后确定关于损失值的第二步长的梯度，并且根据负梯度适配第二步长。55.在替代的实施例中，迭代地重复第三步骤（3），直至达到了预给定的迭代次数或者所确定的损失值低于预给定的阈值。在每次迭代中，在此可以从第二训练数据组中随机地确定新的多个输入数据，并且从而对神经网络进行训练。可选地，也可以基于所有训练数据的梯度来确定权重。56.在训练之后，提供经训练的神经网络以及第二步长作为训练的结果，之后用于训练的方法结束。57.图2示出使用在图1的实施例中描述的分类器（60）用于操控环境（20）中的执行器（10）的控制系统。以优选地规则的时间间隔，在传感器（30）、尤其是成像传感器、例如视频传感器中检测环境（20），所述传感器也可以通过多个传感器、例如立体相机给出。传感器（30）的传感器信号（s）——或者在多个传感器的情况下每一个传感器信号（s）——被传送给控制系统（40）。控制系统（40）因此接收传感器信号（s）的序列。控制系统（40）从中确定操控信号（a），所述操控信号（a）被传输给执行器（10）。58.控制系统（40）在可选的接收单元（50）中接收传感器（30）的传感器信号（s）的序列，所述接收单元（50）将传感器信号（s）的序列转换成输入图像（x）的序列（可替代地，传感器信号（s）分别也可以直接作为输入图像（x）被接管）。例如，输入图像（x）可以是传感器信号（s）的片段或进一步处理。输入图像（x）包括视频记录的各个帧。换句话说，根据传感器信号（s）确定输入图像（x）。输入图像（x）的序列被输送给分类器（60）。59.分类器（60）优选地通过参数被参数化，所述参数包括权重和第二步长并且存放在参数存储器（p）中并且由所述参数存储器提供。60.分类器（60）从输入图像（x）中确定输出（y），其中为了确定输出（y）需要的计算运算基于第二步长和第二量化类型的分辨率被量化。输出（y）被输送给可选的变换单元（80），所述变换单元从中确定操控信号（a），所述操控信号（a）被输送给执行器（10），以便相应地操控执行器（10）。在该实施例中，分类器（60）被构造用于在输入图像（x）中探测对象，并且输出（y）包括关于传感器（30）已检测的对象的信息。61.执行器（10）接收操控信号（a），被相应地操控并且执行相应的动作。在此情况下，执行器（10）可以包括（不一定在结构上集成的）操控逻辑电路，所述操控逻辑电路从操控信号（a）中确定第二操控信号，然后利用该操控信号对执行器（10）进行操控。62.在另一实施例中，控制系统（40）包括传感器（30）。在又一实施例中，控制系统（40）可替代地或附加地还包括执行器（10）。63.在另一优选实施方式中，控制系统（40）包括至少一个处理器（45）和至少一个机器可读存储介质（46），指令存储在所述机器可读存储介质上，如果所述指令在至少一个处理器（45）上被执行，则所述指令促使控制系统（40）执行根据本发明的方法。64.在可替代的实施方式中，替代于或附加于执行器（10），设置显示单元（10a）。65.图3示出可以如何使用控制系统（40）来控制至少部分自主的机器人、在这里至少部分自主的机动车（100）。66.传感器（30）可以例如是优选地布置在机动车（100）中的视频传感器。67.分类器（60）被设立用于从输入图像（x）中标识对象。68.优选地布置在机动车（100）中的执行器（10）可以例如是机动车（100）的制动器、驱动装置或转向装置。于是操控信号（a）可以被确定为使得该执行器（10）被操控，使得机动车（100）例如防止与由分类器（60）标识的对象碰撞，尤其是当是特定类别的对象，例如是行人时。69.可替代地，至少部分自主的机器人也可以是其他移动机器人（未绘出），例如是通过飞行、游泳、潜水或行进来向前移动的这样的机器人。移动机器人也可以例如是至少部分自主的割草机或至少部分自主的清洁机器人。即使在这些情况下，操控信号（a）也可以被确定为使得移动机器人的驱动装置和/或转向装置被操控为使得至少部分自主的机器人例如防止与由分类器（60）标识的对象碰撞。70.可替代地或附加地，可以利用操控信号（a）操控显示单元（10a）并且例如显示输入图像（x）以及在输入图像（x）上由分类器（60）探测的对象。例如在具有非自动转向装置的机动车（100）的情况下可能的是，显示单元（10a）利用操控信号（a）被操控为使得当确定出机动车（100）即将发生与可靠地标识的对象之一碰撞时，所述显示单元输出光学或声学警告信号。71.图4示出一种实施例，其中使用控制系统（40）来操控生产系统（200）的生产机器（11），其方式是对控制所述生产机器（11）的执行器（10）进行操控。生产机器（11）可以例如是用于冲压、锯切、钻孔和/或切割的机器。72.传感器（30）于是可以例如是光学传感器，所述光学传感器例如检测生产产品（12a、12b）的特性。可能的是，这些生产产品（12a、12b）是可移动的。可能的是，控制生产机器（11）的执行器（10）根据所检测的生产产品（12a、12b）的分配被操控，以便生产机器（11）相应地执行正确的生产产品（12a、12b）中的后续加工步骤。也可能的是，通过标识生产产品（12a、12b）中的相同生产产品的正确特性（即没有误分配），生产机器（11）相应地适配相同的生产步骤用于对后续生产产品进行加工。73.图5示出一种实施例，其中使用控制系统（40）来控制访问系统（300）。访问系统（300）可以包括物理访问控制器、例如门（401）。视频传感器（30）被设立用于检测人员。可以借助于分类器（60）来解释该所检测的图像。如果同时检测多个人员，则可以例如通过彼此分配人员（即对象），例如通过分析其运动来特别可靠地确定人员的身份。执行器（10）可以是锁，根据操控信号（a）来释放或不释放访问控制器，例如打开或不打开门（401）。为此，可以根据分类器（60）的对象探测、例如根据人员的所确定的身份来选择操控信号（a）。代替物理访问控制器，也可以设置逻辑访问控制器。74.图6示出一种实施例，其中使用控制系统（40）来控制监控系统（400）。该实施例与在图5中所示的实施例不同之处在于，代替执行器（10），设置显示单元（10a），所述显示单元由控制系统（40）操控。例如，可以由分类器（60）可靠地确定由视频传感器（30）记录的物件的身份，以便例如据此推断出哪些变得可疑，并且于是可以选择操控信号（a），使得由显示单元10a以色彩突出的方式表示该物件。75.图7示出一种实施例，其中使用控制系统（40）来控制个人助理（250）。传感器（30）优选地是接收用户（249）的手势的图像的光学传感器。76.根据传感器（30）的信号，控制系统（40）确定个人助理（250）的操控信号（a），例如其方式是分类器（60）执行手势识别。该所确定的操控信号（a）然后被传送给个人助理（250）并且所述个人助理因此相应地被操控。该所确定的操控信号（a）可以尤其是被选择为使得所述操控信号对应于通过用户（249）的推测的期望操控。可以根据由人工神经网络（60）识别的手势来确定该推测的期望操控。控制系统（40）然后可以根据所推测的期望操控来选择操控信号（a）以传送给个人助理（250）和/或根据所推测的期望操控（250）来选择操控信号（a）以传送给个人助理。77.该相应的操控可以例如包含：个人助理（250）从数据库中调用信息并且以可接受的方式为用户（249）再现所述信息。78.代替个人助理（250），也可以设置家用电器（未绘出）、尤其是洗衣机、灶台、烤炉、微波炉或洗碗机，以便相应地被操控。79.图8示出一种实施例，其中使用控制系统（40）来控制医学成像系统（500）、例如mrt、x射线或超声设备。传感器（30）可以例如通过成像传感器给出，通过控制系统（40）对显示单元（10a）进行操控。例如，可以由分类器（60）确定：由成像传感器记录的区域是否是显眼的，并且然后可以选择操控信号（a），使得由显示单元（10a）以色彩突出的方式表示该区域。80.图9示出训练系统（140）的实施例，所述训练系统被构造用于例如根据图1中所示的方法来对分类器（60）进行训练。为了训练，训练数据单元（150）访问计算机实现的数据库（st2），其中数据库（st2）包括至少一个训练数据组（t），其中训练数据组（t）包括多个传感器记录（xi），其中对于传感器记录（xi），在训练数据组中分别存在与传感器记录（xi）相对应的期望的输出（yi）。81.由模型参数存储器（st1）给分类器（60）提供参数（），其中参数（）包括用于神经网络（60）的多个权重和量化类型的步长。82.训练数据单元（150）从训练数据组（t）中确定至少一个传感器记录（xi）及其相对应的期望的输出（yi），并且将传感器记录（xi）传送给分类器（60）。分类器（60）基于传感器记录（xi）确定输出，其中为了确定输出，借助于预给定的分辨率并且借助于步长对分类器进行量化。83.期望的输出（yi）和所确定的输出被传送给改变单元（180）。84.基于所确定的输出和期望的输出（yi），于是由改变单元（180）确定新的参数（），其中新的参数（）包含与初始的参数（）相同的权重，并且步长被改变。为此，改变单元（180）借助于损失函数将所确定的输出与期望的输出（yi）进行比较。损失函数确定损失值，所述损失值表征所确定的输出偏离期望的输出（yi）有多远。85.改变单元（180）基于所确定的损失值确定新的参数（）。在该实施例中，这借助于梯度下降法、优选地随机梯度下降或adam来实现。86.所确定的新模型参数（）被存储在模型参数存储器（st1）中。87.在其他实施例中，所描述的训练迭代地针对预定义数量的迭代步骤被重复，或者迭代地被重复直至度量低于预定义的阈值。在迭代中的至少一个中，将在先前迭代中确定的新的参数（）用作神经网络的参数（）。88.此外，训练系统（140）可以包括至少一个处理器（145）和至少一个机器可读存储介质（146），所述机器可读存储介质包含指令，当由处理器（145）执行所述指令时，所述指令促使训练系统（140）执行根据本发明的方面之一所述的训练方法。89.术语“计算机”包括用于处理可预给定的计算准则的任意设备。这些计算准则可以以软件的形式存在，或者可以以硬件的形式或者也以由软件和硬件组成的混合形式存在。当前第1页12当前第1页12
背景技术：
：：2.从未预公开的de102020203998.4中已知一种用于基于量化来训练分类器的方法。3.发明优点尤其是在对图像数据或音频数据进行分类时以各种各样的方式使用分类器。为了分类，分类器典型地包括权重，可以在训练方法中使所述权重适配于期望的数据组，使得在通过分类器对数据组的数据进行分类时确定期望的输出。尤其是神经网络是利用这种方案的分类器的具体表现形式。4.分类器的使用典型地引起分类器的分类能力（klassifikationsleistung）（也即性能（performanz））相对于分类器所需要的能量消耗和/或存储需求的权衡。在这里，性能可以被理解为速率或精度，分类器以所述速率或精度确定针对传送给分类器的输入数据所期望的类别。5.尤其是当在嵌入式硬件上使用分类器时，典型地得出以下情形：分类器需要低能量消耗和存储需求。为了仍然获得合适的性能，所谓的量化方法已经证明是特别适当的。这些方法能够减少为了计算分类器的运算所需要的比特（bit）数。6.为了更加进一步降低能量消耗和/或存储需求，但是使性能保持合适，de102020203998.4公开一种方法，利用该方法可以对于不同的量化类型、即尤其是对于不同的比特数对分类器的参数进行量化，而分类器的性能不显着地变化。7.具有根据本发明的独立权利要求1的特征的方法的优点是分类器可以被训练为使得可以对于不同的量化类型对分类器的计算运算进行量化，并且性能保持合适。为了训练，分类器可以有利地借助于另一量化类型构建在处于该训练之前的另一训练上，由此分类器的较少参数必须被适配。由此，该方法可以有利地相对于现有技术在较短的时间内训练分类器，因为分类器的较少参数被改变。相反地，这意味着在相同的时间耗费下，可以利用更多的数据训练分类器，并且从而获得更好的性能。技术实现要素：8.在第一方面中，本发明涉及一种用于训练分类器的计算机实现的方法，其中所述分类器被构造用于对于输入数据确定输出，其中所述输出表征输入数据的分类并且分类器包括多个权重，基于所述权重来确定输出，其中多个权重中的至少一个权重被量化到预给定第一数量的第一值，其中两个相继的第一值分别相差一距离值，此外其中为了训练，对距离值进行适配，而不对多个权重进行适配。9.分类器尤其是可以被构造用于作为输入数据接受一个传感器或多个传感器的传感器数据。10.例如，分类器可以被构造用于对图像数据进行分类。在这种情况下，分类器可以例如给图像分配至少一个类别，所述类别表征图像的内容。尤其是，分类也可以是对象探测。在这种情况下，分类可以表征对象的存在以及其在图像中的位置。另一典型的分类形式是语义分割。在这里，图像的像素被分配给类别。例如，在街道状况的图像上，根据像素在图像中属于哪个对象，可以对类别街道、街道参与者或街道指示牌之一的像素进行排序。11.可替代地或附加地，分类器可以被构造用于对音频数据进行分类。例如，分类器可以对于音频信号确定：该信号是否包含预给定的音频事件。例如，分类器可以被用作至少部分自主的车辆的一部分，其中利用分类器对车辆的环境的音频信号进行分类。然后，分类器例如可以确定：在车辆的环境中是否能够听到执勤车的警笛，并且如果这是这种情况，则操控车辆，使得所述车辆不阻塞执勤车的车道。12.可替代地或附加地，分类器可以被构造为使得所述分类器可以对不以图像数据或音频数据的形式存在的传感器信号进行分类。例如，分类器可以被用作建筑控制装置的一部分。例如可设想的是，分类器接受温度传感器和空气湿度传感器的传感器信号作为输入数据并且确定输出，所述输出表征用于空调单元的操控信号。然后可以借助于输出相应地操控空调单元。13.为了确定输出，分类器使用由其包括的权重。权重可以如下被理解为所述权重映射具体函数，分类器使用所述函数用来从传送给所述分类器的输入数据中确定输出。14.尤其是，例如当分类器包括神经网络并且神经网络包括权重时，权重可以例如以相继的层来布置。例如，层可以接收输入数据或分类器的层的输出、即层输出作为输入。根据输入和由层包括的权重，于是层又可以例如根据公式来确定层输出，其中s是层输出，是层的权重的矩阵，并且是层的输入。可替代地，也可想象的是，该层执行离散卷积，其中层包括离散卷积的至少一个过滤器形式的权重。15.然后例如可以将分类器的最后一层的层输出用作分类器的输出。16.分类器的权重可以在运行或训练分类器的计算机内以二进制数的形式被表示，例如根据标准ieee754作为二进制浮点数来表示。为了能够使分类器变得能量高效的，可以降低权重的分辨率。可以将如下值理解为分辨率，所述值表征作为权重是可能的值的数量。17.分辨率的这种降低通常也已知为量化。所述量化具有的目的是：将为了计算输出所需要的可能值的数量减小到小的数量。对于该小的数量，于是可以经由例如转化表（英文：lookup-tables（查找表））非常高效地实现如乘法或加法之类的计算运算。18.因此，分类器的量化可以被理解为分类器的权重的量化。分类器的量化引起：分类器可以在具有对应于量化的分辨率的计算单元上被执行，所述计算单元通常比具有较高分辨率的计算单元消耗较少的能量。19.有利的是，将期望的降低的分辨率一起包含到分类器的训练中，因为对在无量化的情况下训练的分类器的事后量化导致巨大的性能损失。20.同样，在训练期间以预给定的分辨率量化的分类器应该在推论时间、也即在完成训练的分类器的运行时间以相同的分辨率被运行，因为否则同样发生巨大的性能损失。21.例如，可以选择等距量化用于量化。等距量化可以理解为第一值具有相等距离的量化。然而，第一值之间的其他距离也是可设想的。例如，第一值之间的距离可以遵循对数函数。可替代地同样可设想的是，两个相继的第一值之间的距离可以分别自由地被选择。22.可以根据公式对权重进行量化，其中∙是到下一较小或相等的整数上的四舍五入函数，w是应该被量化的权重，是量化的值，该值已知为步长，是符号函数，以及q(w)是经量化的权重。于是例如可以使用如此量化的权重用于确定层输出。23.如果权重w小于值xmin，则典型地所述权重w被设置为值xmin，或者如果该权重大于值xmax，则所述权重w被设置为值xmax。可以从以比特为单位的分辨率和步长之间的以下关系中来确定在xmin和xmax之间的区间：。24.优选地，xmax和xmin可以被选择为使得量化尽可能好地以值0为中心。例如，xmax可以根据公式被选择，以及xmin然后根据被选择。25.量化类型可以通过预给定的分辨率和预给定的步长表征。根据量化类型对分类器进行量化于是可以被理解为借助于分辨率和步长对分类器进行量化。26.在用于训练的方法中，第一数量可以被理解为量化类型的分辨率，并且第二值可以被理解为量化类型的步长，所述分类器利用所述步长被训练。27.可想象的是，分类器的多个权重在处于训练之前的预训练中被确定并且被提供给分类器用于训练。例如可设想的是，权重首先在无量化的情况下通过预训练被确定。术语“在无量化的情况下”在此情况下应该如此来理解，即在训练期间不将权重量化到预给定的分辨率，而是根据其最初分辨率来训练权重。28.在紧接预训练的训练中，然后在保持在预训练中确定的权重情况下可以预给定期望的量化类型的分辨率，并且对距离值进行训练，使得利用该量化类型量化的分类器达到尽可能好的性能。29.因为仅仅必须对第二值进行适配，所以这种方式的优点是分类器可以对于不同的分辨率非常快速地通过训练确定适当的第二值。在可供使用的相同时间情况下，这意味着可以利用更多数据训练分类器，由此改善分类器的性能。30.此外，分类器的权重以及分类器的计算所需要的存储需求可以有利地被减少，其方式是对权重进行量化并且存储经量化的权重。31.可替代地，权重也可以以不经量化的方式被存储，并且只有在分类器运行时间才被量化。在利用上述训练方法训练的分类器的情况下，这提供以下优点：在性能保持合适期间，分类器可以在运行时间（也为推论时间）期间对于不同的分辨率被量化。32.例如，如果运行分类器的电池运行式系统根据电池的充电状态来选择量化类型，则可能是有利的。在电池的高电荷的情况下，可以使用具有高（并且因此从分类的角度来看耗能的）分辨率的量化类型来量化分类器，而在低电荷的情况下，可以选择具有低分辨率的量化类型。33.此外可设想的是，可以根据分类任务的荷重（schwere）来选择量化类型。分类任务的荷重可以例如借助于数据组来确定，其中数据组包含表征分类任务的数据。例如，分类器关于数据组的数据的性能可以表征数据组的荷重。34.例如可想象的是，远距离的和相应小的对象的对象探测比附近的对象的探测困难得多。可设想的是，对于远距离的对象的情况，必须选择具有高分辨率的量化类型，以便实现期望的性能。此外，可想象的是，已经为简单的分类任务可以选择低分辨率的量化类型，以便实现相应的期望的性能。例如，可想象的是，应该基于图像数据来判定是白天还是夜晚的分类器已经可以利用非常低分辨的量化类型实现适度的性能。35.此外，可想象的是，分类器的多个权重中的至少部分基于在训练之前的预训练被提供。36.因此，可以在预训练中确定分类器的权重，使得可以将所述权重用作许多不同量化类型的基础。37.此外，可设想的是，在预训练时，基于将多个权重中的至少部分量化到预给定的第二数量的第一值来确定多个权重中的至少部分。38.该实施方式可以被理解为使得对于预训练使用与对于后续训练不同的分辨率的量化类型。这引起：给分类器提供适用于多个不同量化类型的多个权重。为了根据多个量化类型中的一种量化类型对分类器进行量化，可以简单地将期望的量化类型的步长用作第二值。39.这具有以下优点：分类器的权重可以对于不同分辨率的量化类型被量化，其中尽管量化到不同的分辨率，分类器的性能仍然保持合适。40.此外可想象的是，使用输入数据的数据组用于训练，其中对于至少一个输入数据存在期望的输出，其中分类器对于输入数据确定输出，并且随后基于所确定的输出与期望的输出之间的差异对距离值进行适配。41.此外可想象的是，借助于分类器并且基于在预训练时确定的权重来确定期望的输出。42.该实施方式的优点是，不必手动地确定期望的输出，而是可以借助于在预训练时确定的权重由分类器自动化地确定所述期望的输出。这种自动化做法能够在与这手动地将会可能的相比明显更少的时间内确定多个期望的输出。因此可以确定大得多的数据组用于训练分类器。通过该较大的数据组，可以利用更多的数据对分类器进行训练，由此进一步提高性能。附图说明43.下面参照所附附图更详细地阐述本发明的实施方式。在附图中：图1示意性地以流程图的形式示出用于训练分类器的方法；图2示意性地示出用于操控执行器的控制系统的结构；图3示意性地示出用于控制至少部分自主的机器人的实施例；图4示意性地示出用于控制生产系统的实施例；图5示意性地示出用于控制访问系统的实施例；图6示意性地示出用于控制监控系统的实施例；图7示意性地示出用于控制个人助理的实施例；图8示意性地示出用于控制医学成像系统的实施例；图9示意性地示出用于训练分类器的训练系统。具体实施方式44.图1示出用于训练分类器的方法的流程图。在该实施例中，通过神经网络给出分类器。神经网络包括按层布置的权重。45.在第一步骤（1）中，训练神经网络，其方式是对神经网络的权重进行适配。在该实施例中使用梯度下降法用于适配权重。在该实施例中，权重是ieee754格式的二进制浮点数。46.为了确定对于梯度下降法所需要的多个梯度，将第一训练数据组的多个输入数据输送给神经网络，其中对于每个输入数据存在期望的输出，所述期望的输出与输入数据相对应。神经网络对于输入数据分别确定输出。为了确定输出，根据预给定的第一量化类型来量化相应的计算运算。对于该实施例，在此选择8比特的第一量化类型的分辨率。在替代的实施例中，也可以选择其他分辨率。47.在该实施例中，在训练期间对步长进行适配，以便为第一量化类型确定适当的步长。在替代的实施例中，也将会是可设想的是，将步长设置到固定的值。在该实施例中，分别使用相同的步长来量化权重。在替代的实施例中，也可设想的是，对于不同的权重使用不同的步长。48.然后经由损失函数将期望的输出与由神经网络确定的输出进行比较，其中损失函数确定损失值，所述损失值表征所确定的输出与期望的输出的偏差。在这里尤其是可以使用负似然函数（英文：negativelog-likelihoodfunction（负对数似然函数））作为损失函数。然后基于损失函数确定关于多个权重和损失值的多个梯度，并且根据其负梯度来适配权重。也确定关于损失函数的步长的梯度，并且根据负梯度适配步长。49.为了确定梯度，通过神经网络执行损失值的所谓反向传递（英语：backwardpass）。在反向传递时，神经网络的权重不被量化。在该实施例中，神经网络的权重在训练期间以ieee754格式被存储。50.在替代实施例中，迭代地重复第一步骤（1），直至已经达到预给定迭代次数或者所确定的损失值低于预给定阈值。在每次迭代中，在此可以从训练数据组中随机地确定新的多个输入数据，并且从而可以对神经网络进行训练。可选地，也可以基于所有训练数据的梯度来确定权重。51.在第二步骤（2）中，然后使用在第一步骤（1）中训练的神经网络，以便分别为第二训练数据组的多个输入数据确定输出。为输入数据确定的输出在用于该输入数据的训练数据组中作为期望的输出被提供。在替代的实施例中，也可设想的是，手动地而不是借助于神经网络来确定期望的输出。52.在第三步骤（3）中，适配神经网络，使得所述神经网络能够对于第二量化类型实现合适的性能。对于该实施例，为第二量化类型选择4比特的分辨率。然而，在替代的实施例中，在此处也可以选择其他分辨率。对于第三步骤（3）中的训练，神经网络使用在第一步骤（1）中确定的权重。对于第三步骤（3）中的训练，分别不适配权重，而第二量化类型的第二步长被确定为使得所述第二步长关于在第二步骤中确定的第二训练数据组在使用第二量化类型的情况下能够实现尽可能好的性能。53.为此目的，给神经网络提供多个输入数据和第二训练数据组的与输入数据相对应的多个期望的输出。然后，神经网络对于多个输入数据确定多个输出，其中分别根据第二量化类型对权重进行量化用于确定输出。54.随后，借助于损失函数来确定损失值，所述损失值表征在多个期望的输出与多个所确定的输出之间的差异。也在第一步骤（1）中使用的相同的损失函数在这里可以被用作损失函数。然后确定关于损失值的第二步长的梯度，并且根据负梯度适配第二步长。55.在替代的实施例中，迭代地重复第三步骤（3），直至达到了预给定的迭代次数或者所确定的损失值低于预给定的阈值。在每次迭代中，在此可以从第二训练数据组中随机地确定新的多个输入数据，并且从而对神经网络进行训练。可选地，也可以基于所有训练数据的梯度来确定权重。56.在训练之后，提供经训练的神经网络以及第二步长作为训练的结果，之后用于训练的方法结束。57.图2示出使用在图1的实施例中描述的分类器（60）用于操控环境（20）中的执行器（10）的控制系统。以优选地规则的时间间隔，在传感器（30）、尤其是成像传感器、例如视频传感器中检测环境（20），所述传感器也可以通过多个传感器、例如立体相机给出。传感器（30）的传感器信号（s）——或者在多个传感器的情况下每一个传感器信号（s）——被传送给控制系统（40）。控制系统（40）因此接收传感器信号（s）的序列。控制系统（40）从中确定操控信号（a），所述操控信号（a）被传输给执行器（10）。58.控制系统（40）在可选的接收单元（50）中接收传感器（30）的传感器信号（s）的序列，所述接收单元（50）将传感器信号（s）的序列转换成输入图像（x）的序列（可替代地，传感器信号（s）分别也可以直接作为输入图像（x）被接管）。例如，输入图像（x）可以是传感器信号（s）的片段或进一步处理。输入图像（x）包括视频记录的各个帧。换句话说，根据传感器信号（s）确定输入图像（x）。输入图像（x）的序列被输送给分类器（60）。59.分类器（60）优选地通过参数被参数化，所述参数包括权重和第二步长并且存放在参数存储器（p）中并且由所述参数存储器提供。60.分类器（60）从输入图像（x）中确定输出（y），其中为了确定输出（y）需要的计算运算基于第二步长和第二量化类型的分辨率被量化。输出（y）被输送给可选的变换单元（80），所述变换单元从中确定操控信号（a），所述操控信号（a）被输送给执行器（10），以便相应地操控执行器（10）。在该实施例中，分类器（60）被构造用于在输入图像（x）中探测对象，并且输出（y）包括关于传感器（30）已检测的对象的信息。61.执行器（10）接收操控信号（a），被相应地操控并且执行相应的动作。在此情况下，执行器（10）可以包括（不一定在结构上集成的）操控逻辑电路，所述操控逻辑电路从操控信号（a）中确定第二操控信号，然后利用该操控信号对执行器（10）进行操控。62.在另一实施例中，控制系统（40）包括传感器（30）。在又一实施例中，控制系统（40）可替代地或附加地还包括执行器（10）。63.在另一优选实施方式中，控制系统（40）包括至少一个处理器（45）和至少一个机器可读存储介质（46），指令存储在所述机器可读存储介质上，如果所述指令在至少一个处理器（45）上被执行，则所述指令促使控制系统（40）执行根据本发明的方法。64.在可替代的实施方式中，替代于或附加于执行器（10），设置显示单元（10a）。65.图3示出可以如何使用控制系统（40）来控制至少部分自主的机器人、在这里至少部分自主的机动车（100）。66.传感器（30）可以例如是优选地布置在机动车（100）中的视频传感器。67.分类器（60）被设立用于从输入图像（x）中标识对象。68.优选地布置在机动车（100）中的执行器（10）可以例如是机动车（100）的制动器、驱动装置或转向装置。于是操控信号（a）可以被确定为使得该执行器（10）被操控，使得机动车（100）例如防止与由分类器（60）标识的对象碰撞，尤其是当是特定类别的对象，例如是行人时。69.可替代地，至少部分自主的机器人也可以是其他移动机器人（未绘出），例如是通过飞行、游泳、潜水或行进来向前移动的这样的机器人。移动机器人也可以例如是至少部分自主的割草机或至少部分自主的清洁机器人。即使在这些情况下，操控信号（a）也可以被确定为使得移动机器人的驱动装置和/或转向装置被操控为使得至少部分自主的机器人例如防止与由分类器（60）标识的对象碰撞。70.可替代地或附加地，可以利用操控信号（a）操控显示单元（10a）并且例如显示输入图像（x）以及在输入图像（x）上由分类器（60）探测的对象。例如在具有非自动转向装置的机动车（100）的情况下可能的是，显示单元（10a）利用操控信号（a）被操控为使得当确定出机动车（100）即将发生与可靠地标识的对象之一碰撞时，所述显示单元输出光学或声学警告信号。71.图4示出一种实施例，其中使用控制系统（40）来操控生产系统（200）的生产机器（11），其方式是对控制所述生产机器（11）的执行器（10）进行操控。生产机器（11）可以例如是用于冲压、锯切、钻孔和/或切割的机器。72.传感器（30）于是可以例如是光学传感器，所述光学传感器例如检测生产产品（12a、12b）的特性。可能的是，这些生产产品（12a、12b）是可移动的。可能的是，控制生产机器（11）的执行器（10）根据所检测的生产产品（12a、12b）的分配被操控，以便生产机器（11）相应地执行正确的生产产品（12a、12b）中的后续加工步骤。也可能的是，通过标识生产产品（12a、12b）中的相同生产产品的正确特性（即没有误分配），生产机器（11）相应地适配相同的生产步骤用于对后续生产产品进行加工。73.图5示出一种实施例，其中使用控制系统（40）来控制访问系统（300）。访问系统（300）可以包括物理访问控制器、例如门（401）。视频传感器（30）被设立用于检测人员。可以借助于分类器（60）来解释该所检测的图像。如果同时检测多个人员，则可以例如通过彼此分配人员（即对象），例如通过分析其运动来特别可靠地确定人员的身份。执行器（10）可以是锁，根据操控信号（a）来释放或不释放访问控制器，例如打开或不打开门（401）。为此，可以根据分类器（60）的对象探测、例如根据人员的所确定的身份来选择操控信号（a）。代替物理访问控制器，也可以设置逻辑访问控制器。74.图6示出一种实施例，其中使用控制系统（40）来控制监控系统（400）。该实施例与在图5中所示的实施例不同之处在于，代替执行器（10），设置显示单元（10a），所述显示单元由控制系统（40）操控。例如，可以由分类器（60）可靠地确定由视频传感器（30）记录的物件的身份，以便例如据此推断出哪些变得可疑，并且于是可以选择操控信号（a），使得由显示单元10a以色彩突出的方式表示该物件。75.图7示出一种实施例，其中使用控制系统（40）来控制个人助理（250）。传感器（30）优选地是接收用户（249）的手势的图像的光学传感器。76.根据传感器（30）的信号，控制系统（40）确定个人助理（250）的操控信号（a），例如其方式是分类器（60）执行手势识别。该所确定的操控信号（a）然后被传送给个人助理（250）并且所述个人助理因此相应地被操控。该所确定的操控信号（a）可以尤其是被选择为使得所述操控信号对应于通过用户（249）的推测的期望操控。可以根据由人工神经网络（60）识别的手势来确定该推测的期望操控。控制系统（40）然后可以根据所推测的期望操控来选择操控信号（a）以传送给个人助理（250）和/或根据所推测的期望操控（250）来选择操控信号（a）以传送给个人助理。77.该相应的操控可以例如包含：个人助理（250）从数据库中调用信息并且以可接受的方式为用户（249）再现所述信息。78.代替个人助理（250），也可以设置家用电器（未绘出）、尤其是洗衣机、灶台、烤炉、微波炉或洗碗机，以便相应地被操控。79.图8示出一种实施例，其中使用控制系统（40）来控制医学成像系统（500）、例如mrt、x射线或超声设备。传感器（30）可以例如通过成像传感器给出，通过控制系统（40）对显示单元（10a）进行操控。例如，可以由分类器（60）确定：由成像传感器记录的区域是否是显眼的，并且然后可以选择操控信号（a），使得由显示单元（10a）以色彩突出的方式表示该区域。80.图9示出训练系统（140）的实施例，所述训练系统被构造用于例如根据图1中所示的方法来对分类器（60）进行训练。为了训练，训练数据单元（150）访问计算机实现的数据库（st2），其中数据库（st2）包括至少一个训练数据组（t），其中训练数据组（t）包括多个传感器记录（xi），其中对于传感器记录（xi），在训练数据组中分别存在与传感器记录（xi）相对应的期望的输出（yi）。81.由模型参数存储器（st1）给分类器（60）提供参数（），其中参数（）包括用于神经网络（60）的多个权重和量化类型的步长。82.训练数据单元（150）从训练数据组（t）中确定至少一个传感器记录（xi）及其相对应的期望的输出（yi），并且将传感器记录（xi）传送给分类器（60）。分类器（60）基于传感器记录（xi）确定输出，其中为了确定输出，借助于预给定的分辨率并且借助于步长对分类器进行量化。83.期望的输出（yi）和所确定的输出被传送给改变单元（180）。84.基于所确定的输出和期望的输出（yi），于是由改变单元（180）确定新的参数（），其中新的参数（）包含与初始的参数（）相同的权重，并且步长被改变。为此，改变单元（180）借助于损失函数将所确定的输出与期望的输出（yi）进行比较。损失函数确定损失值，所述损失值表征所确定的输出偏离期望的输出（yi）有多远。85.改变单元（180）基于所确定的损失值确定新的参数（）。在该实施例中，这借助于梯度下降法、优选地随机梯度下降或adam来实现。86.所确定的新模型参数（）被存储在模型参数存储器（st1）中。87.在其他实施例中，所描述的训练迭代地针对预定义数量的迭代步骤被重复，或者迭代地被重复直至度量低于预定义的阈值。在迭代中的至少一个中，将在先前迭代中确定的新的参数（）用作神经网络的参数（）。88.此外，训练系统（140）可以包括至少一个处理器（145）和至少一个机器可读存储介质（146），所述机器可读存储介质包含指令，当由处理器（145）执行所述指令时，所述指令促使训练系统（140）执行根据本发明的方面之一所述的训练方法。89.术语“计算机”包括用于处理可预给定的计算准则的任意设备。这些计算准则可以以软件的形式存在，或者可以以硬件的形式或者也以由软件和硬件组成的混合形式存在。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
