用于促进自主表面交通工具的路线的修改的计算设备和方法与流程

1.示例性实施例总体上涉及一种用于促进自主表面交通工具的路线的修改的计算设备和方法，并且更具体地，涉及一种基于自主表面交通工具将在其上行驶的表面的摩擦系数来确定是否要改变自主表面交通工具的路线的计算设备和方法。


背景技术：

2.自主表面交通工具用于各种应用中。自主表面交通工具包括自主汽车、卡车和其他基于地面的交通工具，以及被配置为沿着预定义路线自主移动的机器人等。无人驾驶飞行器(uav)也构成自主表面交通工具，因为uav通常滑行或以其他方式沿着表面行驶，例如飞行前、飞行后或其他。举例来说，uav可以在uav飞行之前以及在uav返回和着陆之后沿着跑道、滑行道或航空母舰或从其发射uav的其他交通工具的飞行甲板滑行。
3.由自主表面交通工具采取的路线可以被预定义以从起点延伸到目的地。该预定义路线可以考虑自主表面交通工具可用的道路、跑道、滑行道或其他路径以及自主表面交通工具应避开的任何已知障碍物。在行驶期间，自主表面交通工具还可以监测其周围环境，以便识别任何沿着预定义路线定位的未预料到的障碍物(例如另一交通工具或另一件装备)，以便允许动态修改路线以避开这样的障碍物。
4.在某些情况下，自主表面交通工具将在其上行驶的表面的特性可能会改变，从而增加自主表面交通工具滑移或偏离其路线的风险。表面特性可能会由于天气条件(例如热、冰、雪、湿气等)和/或由于表面本身的退化而改变。由于地面特性的变化，自主表面交通工具的性能可能会受到不利影响。例如，试图在被冰覆盖的表面上方行驶的自主表面交通工具可能会滑移或以其他方式至少部分地失去控制，这可能会增加涉及自主表面交通工具的事故风险。这样的事故又可能增加与自主表面交通工具的操作相关的成本，并且可能延迟或阻止自主表面交通工具的操作，至少在修复自主表面交通工具的一段时间期间。


技术实现要素：

5.根据示例性实施例提供了一种用于促进自主表面交通工具路线修改的计算设备、方法和计算机程序产品。在这方面，计算设备、方法和计算机程序产品确定与至少一些自主表面交通工具的预定义路线将在其上方延伸的表面相关联的摩擦系数，并基于摩擦系数确定是否应当改变自主表面交通工具的路线。在这方面，计算设备、方法和计算机程序产品可以考虑自主表面交通工具将在其上行驶的表面的变化，并且可以使自主表面交通工具采取的路线被修改以避开某些表面，这些表面以这种方式改变从而增加自主表面交通工具滑移或至少部分失去控制的风险。通过修改路线，可以降低涉及自主表面交通工具的事故或其他事件的风险。在另一示例性实施例中，提供了一种计算设备、方法和计算机程序产品，用于训练机器学习模型以促进自主表面交通工具路线的修改。
6.在示例性实施例中，提供了一种用于促进自主表面交通工具路线修改的方法。该方法包括构造输入图像的风格化图像(例如，摄影图像)。风格化图像在输入图像中呈现的
具有不同纹理的表面之间进行区分。基于风格化图像，该方法也包括确定与至少一些具有不同纹理的表面相关联的摩擦系数。该方法还包括基于已经被确定为与自主表面交通工具的预定义路线在其上方延伸的表面相关联的摩擦系数，确定自主表面交通工具的路线是否要从预定义路线改变。
7.示例性实施例的方法通过利用第一机器学习模型生成风格化图像来构造输入图像的风格化图像，该第一机器学习模型已经被训练以在出现在图像中的具有不同纹理的表面之间进行区分。在示例性实施例中，该方法通过定义几何对象来表示输入图像中呈现的具有不同纹理的表面，并通过将纹理信息与相应的几何对象相关联，来构造输入图像的风格化图像。示例性实施例的方法利用第二机器学习模型来确定摩擦系数，该第二机器学习模型已经被训练以估计出现在风格化图像中的具有不同纹理的表面的摩擦系数。
8.该方法还可包括响应于确定自主表面交通工具的路线要从预定义路线改变而修改自主表面交通工具的路线。在该示例性实施例中，该方法也包括向自主表面交通工具的路线系统提供修改后的路线。在示例性实施例中，该方法还包括接收由自主表面交通工具的图像采集设备采集的输入图像。
9.在另一示例性实施例中，提供了一种计算设备，其被配置为用于促进自主表面交通工具的路线修改。该计算设备包括处理电路，其被配置为构造输入图像的风格化图像(例如摄影图像)。风格化图像在输入图像中呈现的具有不同纹理的表面之间进行区分。基于风格化图像，处理电路还被配置为确定与至少一些具有不同纹理的表面相关联的摩擦系数。处理电路还被配置为基于所述摩擦系数来确定所述自主表面交通工具的路线是否要从预定义路线改变，所述摩擦系数已经被确定为与所述自主表面交通工具的预定义路线在其上方延伸的表面相关联。
10.示例性实施例的处理电路包括第一机器学习模型，该第一机器学习模型已被训练以在出现在图像中的具有不同纹理的表面之间进行区分。该示例性实施例的处理电路被配置为利用第一机器学习模型来构建输入图像的风格化图像。在示例性实施例中，处理电路被配置为通过定义几何对象来表示输入图像中呈现的具有不同纹理的表面以及通过将纹理信息与相应的几何对象相关联来构造输入图像的风格化图像。示例性实施例的处理电路包括第二机器学习模型，该第二机器学习模型已经被训练以估计出现在风格化图像中的具有不同纹理的表面的摩擦系数。处理电路被配置为利用第二机器学习模型来确定摩擦系数。
11.示例性实施例的处理电路还被配置为响应于确定自主表面交通工具的路线要从预定义路线改变而修改自主表面交通工具的路线。在该示例性实施例中，计算设备可包括响应于处理电路的通信接口，其被配置为向自主表面交通工具的路线系统提供修改后的路线。示例性实施例的通信接口被配置为接收已经由自主表面交通工具的图像采集设备采集的输入图像。
12.在另一示例性实施例中，提供了一种用于促进自主表面交通工具路线修改的计算机程序产品。该计算机程序产品包括其上存储有程序代码的非暂时性计算机可读介质，该程序代码包括程序代码指令，该程序代码指令被配置为在执行时构造输入图像的风格化图像(例如摄影图像)。风格化图像在输入图像中呈现的具有不同纹理的表面之间进行区分。基于风格化图像，程序代码指令还被配置为确定与至少一些具有不同纹理的表面相关联的
摩擦系数。程序代码指令还被配置为基于摩擦系数来确定自主表面交通工具的路线是否要从预定义路线改变，该摩擦系数已被确定为与自主表面交通工具的预定义路线在其上方延伸的表面相关联。
13.被配置为构造输入图像的风格化图像的程序代码指令可以包括被配置为利用第一机器学习模型生成风格化图像的程序代码指令，该第一机器学习模型已经被训练以在出现在图像中的具有不同纹理的表面之间进行区分。在示例性实施例中，被配置为构造输入图像的风格化图像的程序代码指令包括被配置为定义几何对象以表示输入图像中呈现的具有不同纹理的表面的程序代码指令，以及被配置为将纹理信息与相应的几何对象相关联的程序代码指令。被配置为确定摩擦系数的程序代码指令可以包括被配置为利用第二机器学习模型的程序代码指令，该第二机器学习模型已经被训练以估计出现在风格化图像中的具有不同纹理的表面的摩擦系数。
14.程序代码也可以包括被配置为响应于确定自主表面交通工具的路线要从预定义路线改变而修改自主表面交通工具的路线的程序代码指令。在该示例性实施例中，程序也可以包括被配置为向自主表面交通工具的路线系统提供修改后的路线的程序代码指令。在示例性实施例中，程序代码还包括被配置为接收已经由自主表面交通工具的图像采集设备采集的输入图像的程序代码指令。
15.在示例性实施例中，提供了一种用于训练机器学习模型以促进自主表面交通工具路线修改的方法。该方法包括基于描绘具有不同的已知纹理的表面的多个训练图像来训练第一机器学习模型，以在具有不同纹理的表面之间进行区分，并从相应的训练输入图像构造风格化图像，该风格化图像在在相应的训练图像中呈现的具有不同纹理的表面之间进行区分。该方法也包括存储第一机器学习模型。基于在具有不同纹理的表面之间进行区分的多个风格化的图像并且还基于与具有不同纹理的表面相关联的预定义的摩擦系数，该方法还包括训练第二机器学习模型以确定与至少一些具有不同纹理的表面相关联的摩擦系数。该方法还包括存储第二机器学习模型。
16.示例性实施例的方法也包括利用第一机器学习模型来构造用于从相应的训练图像训练第二机器学习模型的多个风格化图像。第一机器学习模型可以被训练以通过定义几何对象以表示在相应的训练图像中呈现的具有不同纹理的表面并且通过将纹理信息与相应的几何对象相关联来从相应的训练图像构造风格化图像。示例性实施例的方法还包括接收描绘自主表面交通工具能够在其上方行驶的表面的训练图像。
17.在另一示例性实施例中，提供了一种被配置为训练机器学习模型以促进自主表面交通工具路线修改的计算设备。该计算设备包括处理电路，该处理电路被配置为基于描绘具有不同的已知纹理的表面的多个训练图像来训练第一机器学习模型，以在具有不同纹理的表面之间进行区分，并从相应的训练输入图像构造风格化图像，该风格化图像在在相应的训练图像中呈现的具有不同纹理的表面之间进行区分。基于在具有不同纹理的表面之间进行区分的多个风格化的图像并且还基于与具有不同纹理的表面相关联的预定义的摩擦系数，该处理电路也被配置为训练第二机器学习模型以确定与至少一些具有不同纹理的表面相关联的摩擦系数。该计算设备还包括被配置为存储第一和第二机器学习模型的存储器设备。
18.示例性实施例的处理电路也被配置为利用第一机器学习模型来构造用于从相应
的训练图像训练第二机器学习模型的多个风格化图像。第一机器学习模型可以被训练以通过定义几何对象以表示在相应的训练图像中呈现的具有不同纹理的表面并且通过将纹理信息与相应的几何对象相关联来从相应的训练图像构造风格化图像。示例性实施例的计算设备还包括被配置为接收描绘自主表面交通工具能够在其上方行驶的表面的训练图像的通信接口。
19.在另一示例性实施例中，提供了一种被配置为训练机器学习模型以促进自主表面交通工具路线修改的计算机程序产品。该计算机程序产品包括具有存储在其上的程序代码的非暂时性计算机可读介质，该程序代码包括程序代码指令，该程序代码指令被配置为在执行时基于描绘具有不同的已知纹理的表面的多个训练图像来训练第一机器学习模型，以在具有不同纹理的表面之间进行区分并从相应的训练图像来构造风格化图像，该风格化图像在相应的训练图像中呈现的具有不同纹理的表面之间进行区分。基于在具有不同纹理的表面之间进行区分的多个风格化的图像并且还基于与具有不同纹理的表面相关联的预定义摩擦系数，该程序代码指令也被配置为训练第二机器学习模型以确定与至少一些具有不同纹理的表面相关联的摩擦系数。该程序代码指令还被配置成使第一和第二机器学习模型被存储。
20.示例性实施例的程序代码指令也被配置为利用第一机器学习模型来构造用于从相应的训练图像训练第二机器学习模型的多个风格化图像。第一机器学习模型可以被训练以通过定义几何对象以表示在相应的训练图像中呈现的具有不同纹理的表面并且通过将纹理信息与相应的几何对象相关联来从相应的训练图像构造风格化图像。示例性实施例的程序代码指令还被配置为接收描绘自主表面交通工具能够在其上方行驶的表面的训练图像。
附图说明
21.因此，已经概括地描述了本公开的某些示例性实施例，以下将参考附图，这些附图不一定是按比例绘制的，并且其中：
22.图1是自主表面交通工具的透视图，更具体地，是无人驾驶飞行器(uav)和uav将沿其行驶的预定义路线的指示的透视图；
23.图2是可以根据本公开的示例性实施例来具体配置的计算设备的框图；
24.图3是示出根据本公开的示例性实施例的用以促进自主表面交通工具的路线修改而执行(例如，由图2的计算设备)的操作的流程图；和
25.图4是根据本公开的示例性实施例的用以训练机器学习模型以促进自主表面交通工具的路线修改而执行(例如，由图2的计算设备)的操作的流程图。
具体实施方式
26.现在将在下文中参考附图更全面地描述本公开，其中示出了一些但不是所有的方面。实际上，本公开可以以许多不同的形式来体现，并且不应被解释为限于本文所阐述的方面。相反，提供这些方面是为了使本公开满足适用的法律要求。在全文中，相同的标号表示相同的元件。
27.根据示例性实施例提供了一种用以促进自主表面交通工具路线修改的计算设备、
方法和计算机程序产品。如下所述，可能基于与自主表面交通工具的路线在其上方延伸的表面相关联的信息(例如摩擦系数)来修改自主表面交通工具的路线。
28.在图1中描绘了自主表面交通工具10的一个示例，即无人驾驶飞行器(“uav”)。虽然uav是用来飞行的，但uav也可以被配置为沿表面行驶，例如如图1所示的uav沿一条或多条跑道和滑行道12滑行的情况下，无论是在飞行之前还是在飞行之后。如虚线所示，uav将沿着其行驶的路线14可以被预先定义，以便从uav的当前位置延伸到预期的目的地，例如在起飞之前在跑道上的位置、在uav从飞行返回之后在机库或其他存储舱15中的位置或其他位置。
29.自主表面交通工具10(例如uav)可以在由不同材料形成的各种不同表面上行驶，包括例如混凝土表面、沥青表面等。这些表面可以具有各种不同的表面特性，例如，可归因于形成表面的材料(例如，混凝土、沥青、金属等)以及形成表面的材料的条件，例如新形成的表面到处于不同退化阶段的表面。此外，表面特性可能取决于天气或表面暴露于其中的其他环境因素。例如，表面可能被冰或雪覆盖，或可能是潮湿的。如下所述，自主表面交通工具要在其上方行驶的表面的特性可能影响自主表面交通工具的性能。例如，被冰覆盖的表面可能会增加自主表面交通工具滑移或以其他方式至少部分地失去控制的风险，从而有可能渐渐从自主表面交通工具计划遵循的路线移位。
30.自主表面交通工具10可以被配置为沿着延伸横穿地面的路线14行驶，例如沿着已经横穿地面形成的道路、路径、跑道或滑行道12。然而，自主表面交通工具也可以配置为横穿其他类型的地面行驶。例如，关于uav，一些uav可以从船舶或其他海船的甲板发射，使得这样的uav将行进的路线沿着船舶或其他海船的甲板延伸。因此，在这些实施例中uav行进所沿的表面可以由具有不同表面特性的其他材料形成，例如金属和/或复合材料。更进一步，一些自主表面交通工具可以是机器人，其被配置为沿着可以是室内或室外的预定义路线行进。因此，这样的机器人行进的表面可以由多种不同类型的材料中的任何一种形成，包括混凝土、泥土、草、砾石等。
31.为了识别自主表面交通工具10的预定义路线14将在表面上延伸且该表面可能使自主表面交通工具经受由至少部分失控引起的滑移或其他性能退化的增加的风险的情况，提供了一种计算设备、方法和计算机程序产品，以识别这样的表面并促进由自主表面交通工具采取的路线的修改，从而降低滑移或其他性能退化的风险。在一个实施例中，计算设备体现为导航系统，例如可以被车载在自主表面交通工具10上或在车外但与自主表面交通工具通信。然而，计算设备可以替代地由多种计算平台中的任何一种来体现，包括例如服务器、计算机工作站、分布式计算设备的网络、个人计算机、平板计算机等。因此，计算设备不需要特定的硬件设计，但是各种计算平台中的任何一个都可以被配置为如本文所述那样操作。不管计算设备的配置方式如何，该示例性实施例的计算设备20包括处理电路22和存储设备24、与之相关联或以其他方式与之通信，如图2所示。在一些实施例中，计算设备还可选地包括通信接口26和/或用户接口28、与之相关联或以其他方式与之通信。
32.在一些实施例中，处理电路22(和/或协处理器或任何其他辅助处理电路或与处理电路相关联的处理器)可以通过总线与存储设备24通信，用于在计算设备20的部件之间传递信息。存储器设备可以是非暂时性的并且可以包括例如一个或多个易失性和/或非易失性存储器。换言之，例如，存储设备可以是电子存储设备(例如，计算机可读存储介质)，该电
子存储设备包括门电路，该门电路被配置为存储能够由机器(例如，类似处理电路的计算设备)检索的数据(例如，位)。存储器设备被配置为存储信息、数据、内容、应用程序、指令等以用于使器件能够执行根据本公开的示例性实施例的各种功能。例如，存储器设备可以被配置为缓冲用于由处理电路处理的输入数据。附加地或替代地，存储器设备可以被配置为存储用于由处理电路执行的指令。
33.处理电路22可以以多种不同方式体现。例如，处理电路可以体现为各种硬件处理装置中的一种或多种，例如处理器、协处理器、微处理器、控制器、数字信号处理器(dsp)、具有或不具有伴随的dsp的处理元件或各种其他处理电路，包括集成电路，例如，asic(专用集成电路)、fpga(现场可编程门阵列)、微控制器单元(mcu)、硬件加速器、专用计算机芯片或类似件。因此，在一些实施例中，处理电路可以包括一个或多个被配置为独立执行的处理核。多核处理器可以在单个物理封装内实现多处理。附加地或替代地，处理电路可以包括一个或多个处理器，其经总线串联配置以实现指令、流水线和/或多线程的独立执行。
34.在示例性实施例中，处理电路22可以被配置为执行存储在存储器设备24中或以其他方式处理电路可访问的指令。替代地或附加地，处理电路可以被配置为执行硬编码功能。因此，无论是通过硬件或软件方法或通过其组合来配置，处理电路均可表示能够在相应地配置时执行根据本公开的实施例的操作的实体(例如，物理地体现于电路中)。因此，例如，当处理电路体现为asic、fpga或类似件时，处理电路可以是用于进行本文所描述的操作的被专门配置的硬件。可替代地，作为另一示例，当处理电路被实现为软件指令的执行器时，指令可以专门地配置处理电路以在指令被执行时执行本文描述的算法和/或操作。然而，在一些情况下，处理电路可以是特定设备的处理器，其被配置为通过用于执行本文描述的算法和/或操作的指令进一步配置处理器来采用本公开的实施例。处理电路尤其可以包括时钟、算术逻辑单元(alu)和/或一个或多个被配置为支持处理电路的操作的逻辑门等。
35.示例性实施例的计算设备20还可以可选地包括通信接口26。通信接口可以是任何装置，例如以硬件或硬件和软件的组合实现的设备或电路，其被配置为从与装置通信的其他电子设备接收数据和/或向与装置通信的其他电子设备发送数据。通信接口可以被配置为根据各种无线协议进行通信。就这一点而言，通信接口可以包括例如一个天线(或多个天线)以及用于实现与无线通信网络的通信的支持硬件和/或软件。附加地或可替换地，通信接口可以包括用于与(一个或多个)天线交互以引起经由(一个或多个)天线的信号传输或处理经由(一个或多个)天线接收的信号的接收的电路。在一些环境中，通信接口可以替代地或也支持有线通信。
36.计算设备20还可以可选地包括用户接口28，该用户接口28进而可以与处理电路22通信以向用户提供输出，并且在一些实施例中接收用户输入的指示。用户接口可以包括显示器，并且在一些实施例中，还可以包括键盘、鼠标、操纵杆、触摸屏、触摸区域、软键、一个或多个麦克风、多个扬声器或其他输入/输出机械装置。在一个实施例中，处理电路可以包括用户接口电路，该用户接口电路被配置为控制一个或多个用户接口元件的至少一些功能，所述一个或多个用户接口元件例如是显示器并且在一些实施例中是多个扬声器、振铃器、一个或更多麦克风和/或类似元件。处理电路和/或由处理电路体现的用户接口电路可以被配置为通过存储在处理电路可访问的存储器(例如，存储器设备24和/或类似设备)上的计算机程序指令(例如，软件和/或固件)来控制一个或多个用户接口元件的一个或多个
功能。
37.现在参考图3，其示出了用于促进自主表面交通工具10的路线14修改而执行的操作。如图3的框30所示，计算设备20包括装置，例如处理电路22、通信接口26等，以用于接收自主表面交通工具的预定义路线将在其上延伸的一个或多个表面的输入图像。输入图像可以由诸如照相机、录像机或类似件的各种图像采集设备中的任何一种采集。在一个实施例中，输入图像由自主表面交通工具携带的图像采集设备采集，使得图像采集设备的视场在自主表面交通工具的前面，并且包括自主表面交通工具的预定义路线将在其上延伸的一个或多个表面。例如在图1中由17代表的矩形代表车载在自主表面交通工具上的图像采集设备的视场，并且因此，可以由图像采集设备获得的对应输入图像代表。可替换地，输入图像可以由如照相机的图像采集设备采集，该图像采集设备例如是在自主表面交通工具外的照相机，例如交通照相机、安全照相机或其他类型的图像采集设备，它们被定位成具有包括自主表面交通工具的预定义路线在其上延伸的一个或多个表面的视野。尽管可以接收许多不同类型的输入图像，但是示例性实施例的输入图像是摄影图像。输入图像可以包括自主表面交通工具的预定义路线将要延伸的所有表面或仅包括自主表面交通工具的预定义路线将要延伸的表面中的一些表面，例如最接近自主表面交通工具并且除非路线被修改否则自主表面交通工具将很快在其上方行进的那些表面。
38.如图3的框32所示，一些实施例的计算设备20还可以包括用于对接收到的输入图像进行增强处理的装置(例如处理电路22)以便例如增强浮雕，即，由输入图像中出现的表面所展现的高度差异，从而强调了表面的纹理。可以以各种方式执行增强处理，但是在一个实施例中，处理电路依赖于计算机视觉函数的opencv库来执行增强处理。在另一个实施例中，增强处理可以包括参考提供关于表面温度的信息的前视红外(flir)成像，从而通过包括关于表面温度的信息来增强输入图像。
39.如图3的框34所示，计算设备20也包括用于构造输入图像的风格化图像的装置，例如，处理电路22。风格化图像在输入图像中呈现的具有不同纹理的表面之间进行区分。尽管可以以各种方式构造风格化图像，但是示例性实施例的计算设备(例如处理电路)被配置为通过定义几何对象来表示输入图像中呈现的具有不同纹理的表面，并且将纹理信息与几何对象相关联，来构造输入图像的风格化图像。因此，对于具有如下表面的输入图像，其中该表面具有覆盖有冰的第一部分和为混凝土且不含冰的第二部分，则覆盖有冰的表面的第一部分可以由第一几何对象表示，而不含冰的表面的第二部分可以由不同于第一几何对象的第二几何对象表示。通过用不同的几何对象来表示表面的不同部分，所得到的风格化图像在表面的具有不同纹理的不同部分之间进行区分，即，在该示例中，冰的光滑纹理和混凝土的较粗糙纹理。
40.在该示例性实施例中，计算设备20(例如处理电路22)还被配置为通过将纹理信息与相应的几何对象相关联来构造输入图像的风格化图像。该纹理信息提供由相应几何对象表示的表面的纹理的指示。在前述示例中，与第一几何对象相关联的纹理信息将指示由冰表面提供的平滑纹理，而与第二几何对象相关联的纹理信息将指示混凝土表面的较粗糙纹理。
41.计算设备20(例如处理电路22)可以被配置为以各种方式构造输入图像的风格化图像。然而，在一个示例性实施例中，计算设备(例如处理电路)被配置为通过利用第一机器
学习模型22a(诸如实现边缘检测算法的第一机器学习模型)生成风格化图像来构造输入图像的风格化图像，该第一机器学习模块22a已经被训练以在出现在图像中的具有不同纹理的表面之间进行区分。如图2所示，处理电路可以被配置为实施第一机器学习模型，该第一机器学习模型接收输入图像并且基于训练模型以生成得到的风格化图像以在具有不同纹理的表面之间进行区分。在其他实施例中，第一机器学习模型被存储在诸如存储器设备24或与计算设备通信的数据库中，并且能够响应于接收到输入图像而被处理电路检索以便由此生成风格化图像。虽然可以以各种方式训练第一机器学习模型以在出现在图像中的具有不同纹理的表面之间进行区分，但是可以训练第一机器学习模型的方式的一个示例在下文作为示例而非限制来提供。下面通过示例而非限制的方式提供可以训练第一机器学习模型的方式的一个示例。
42.如图3的框36所示并且基于风格化图像，计算设备20包括用于确定与至少一些具有不同纹理的表面相关联的摩擦系数的装置，例如处理电路22或类似装置。在前述示例中，计算设备(例如处理电路)且更具体的第二机器学习模型22b因此将被配置为确定与在输入图像内可见的表面的第一结冰部分相关联的第一摩擦系数以及与没有结冰并且在输入图像内也可见的表面的第二混凝土部分相关联的不同于第一摩擦系数的第二摩擦系数。
43.计算设备20(例如处理电路22)可以被配置为以各种方式确定摩擦系数。然而，在示例性实施例中，计算设备(例如处理电路22)被配置为利用第二机器学习模型22b(例如卷积神经网络(cnn)分类模型)来确定摩擦系数，该第二机器学习模型22b已被训练以估计出现在风格化图像中的具有不同纹理的表面的摩擦系数。如上所述，具有不同纹理的表面的风格化图像可以表示具有不同几何对象和与其相关联的纹理信息的那些表面。这样，可以将风格化图像提供给第二机器学习模型，第二机器学习模型进而为风格化图像中的几何对象所表示的每个不同表面生成摩擦系数。虽然可以以各种方式训练第二机器学习模型，不过下面还以示例而非限制的方式描述了一种用于训练第二机器学习模型的示例技术。
44.如图3的框38所示，计算设备20还包括诸如处理电路22或类似件的装置，用于基于已经被确定为与自主表面交通工具的预定义路线在其上延伸的表面相关联的摩擦系数来确定是否要将自主表面交通工具10的路线从其预定义路线14改变。虽然计算设备(例如处理电路)可以被配置为以各种方式做出该确定，但是示例性实施例的计算设备(例如处理电路)被配置为识别沿着自主表面交通工具的预定义路线的那些打滑的表面或者以其他方式可能无法为自主表面交通工具提供足够的牵引力以继续沿着预定义路线的那些表面。例如，计算设备(例如处理电路)可以被配置为识别风格化图像内具有满足预定阈值的摩擦系数的表面，例如由风格化图像表示的具有小于预定阈值的摩擦系数的表面，因为较小的摩擦系数表明比具有较大摩擦系数的表面更滑的表面。例如，冰的摩擦系数可能是一个接近零的小值，而混凝土的摩擦系数可能是一个较大的值，如大于0.6。
45.在风格化图像所表示的表面都不具有满足预定阈值的摩擦系数的情况下，计算设备20(例如处理电路22)被配置为确定无需修改自主表面交通工具10的预定义路线14，因为自主表面交通工具要经过的表面尚未被确定为足够滑。然而，在诸如处理电路的计算设备确定自主表面交通工具的预定义路线在其上延伸的一个或多个表面具有满足预定阈值的摩擦系数(例如通过小于预定阈值)的情况下，诸如处理电路的计算设备被配置为确定应当改变自主表面交通工具的路线。在这点上，应该改变自主表面交通工具的路线，以便避开已
经确定具有满足预定阈值的摩擦系数的一个或多个表面。
46.在要修改自主表面交通工具10的路线的情况下，示例性实施例的计算设备20还包括用于响应于确定自主表面交通工具的路线将要从预定义路线14改变而修改自主表面交通工具的路线的装置，例如处理电路22或类似件。参见框40。计算设备(例如处理电路)可以被配置为以各种方式修改路线。在示例性实施例中，计算设备(例如处理电路)被配置为访问自主表面交通工具在其中操作的区域的地图数据。地图数据例如可以通过存储设备24或自主表面交通工具与其通信的数据库进行存储。基于地图数据，计算设备(例如处理电路)可被配置为定义替代路线，该替代路线仍将自主表面交通工具从其当前位置引导至预期目的地，但以避开已被识别为具有满足预定阈值的摩擦系数的表面的方式进行。换言之，计算设备(例如处理电路)被配置为定义替代路线，该替代路线避开那些已经被确定为具有将使表面变滑并相应地增加自主表面交通工具滑移的风险的摩擦系数的表面。尽管可以修改路线以使得自主表面交通工具采用不同的跑道、滑行道、道路或路径，但是另一示例性实施例的计算装置可以确定仅需要稍微修改路线，因为即使稍微的路径改变也可以产生显著的益处。例如，一个方向上几英寸的改变可以防止滑水现象或避免黑冰条件。
47.在示例性实施例中并如图3的框42所示，示例性实施例的计算设备20还包括用于向自主表面交通工具10的路线系统提供修改后的路线的装置，例如处理电路22、通信接口26或类似件。作为响应，自主表面交通工具可以改变其路线，并且然后根据替代路线前进，以便避开已被识别为具有满足预定阈值的摩擦系数的(一个或多个)表面。因此，自主表面交通工具到达预期目的地而不经历打滑或以其他方式至少部分失去控制并因此发生事故的风险降低的可能性增加。在一些实施例中，计算设备(例如处理电路和/或用户接口28)可以被配置为使得替代路线被显示。
48.在图1中以虚线描绘了替代路线16的一个示例。如图所示，改变自主表面交通工具10(例如uav)的路线，从而不再继续沿着穿过滑行道12的结冰部分18的预定义路线14。相反，替代路线将uav引导到相同的预期目的地，但在具有较大摩擦系数的表面上，例如在没有被冰覆盖的混凝土滑行道上。
49.示例性实施例的计算设备20、方法和计算机程序产品可以被配置为确定是否要改变自主表面交通工具10的路线，并且如果要改变，则实时或接近实时地向自主表面交通工具提供修改的路线。因此，在提供附加的输入图像时，可以重复上述与图3有关的过程，使得在由自主表面交通工具的图像捕捉设备捕捉的一个或多个输入图像描绘的表面被确定为具有满足预定阈值的摩擦系数并且因此可能是滑的情况下，沿着预定义路线14前进并在自主表面交通工具之前采集表面图像的自主表面交通工具可以实时或接近实时地改航。
50.可以以各种方式训练用于促进自主表面交通工具10路线14修改的第一和第二机器学习模型22a、22b。然而，在示例性实施例中，图4中描绘了一种用于训练机器学习模型的技术。如在框50中所示，计算设备20包括用于接收描绘具有不同已知纹理的表面的多个训练图像的装置，例如处理电路22、通信接口26或类似件。也可以向计算设备提供从各种不同方向、在各种照明条件下和从不同距离描绘表面的各种不同类型的训练图像中的任何一种，例如摄影图像。尽管训练图像可能是摄影图像，但是可以采用其他类型的训练图像，包括具有不同已知纹理的表面的光探测及测距(lidar)图像和/或描绘具有不同已知纹理的表面的三维图像等。
51.如图4的框52所示，示例性实施例的计算设备20还包括诸如处理电路22或类似件的装置，以用于对训练图像进行增强处理以便例如增强通过出现在训练图像中的表面所展示的浮雕，从而强调表面的纹理。可以以各种方式执行增强处理，但是在一个实施例中，处理电路依赖于计算机视觉函数库opencv来执行增强处理。
52.如图4的框54所示并且基于描绘具有不同的已知纹理的表面的多个训练图像，计算设备20包括用于训练第一机器学习模型22a(例如实现边缘检测算法的第一机器学习模型)的装置(例如处理电路22等)，以在具有不同纹理的表面之间进行区分并且由训练图像构建风格化图像，该风格化图像在训练图像中呈现的具有不同纹理的表面之间进行区分。虽然机器学习模型可以以各种方式训练，但是示例性实施例的计算设备(例如处理电路)被配置为使用基于相对于训练图像的已知纹理生成的风格化图像被提供给第一机器学习模型的反馈以迭代方式训练第一机器学习模型。
53.由第一机器学习模型22a生成的风格化图像可以包括表示在训练图像中呈现的具有不同纹理的表面的几何对象并将纹理信息和相应的几何对象相关联。为了训练第一机器学习模型，计算设备20(例如处理电路22)可以被配置为将包括与相应几何对象相关联的纹理信息的得到的风格化图像与出现在训练图像中的不同表面的已知纹理进行比较，并且然后向第一机器学习模型提供反馈，以加强具有与由几何对象表示的表面的已知纹理一致的相关联纹理信息的几何对象的生成，并且在几何对象和与其关联的纹理信息与几何对象表示的表面相关联的已知纹理不一致(例如相差超过预定量)的情况下提供差异的指示。通过对多个训练图像重复该训练过程，计算设备(例如处理电路)被配置为训练第一机器学习模型，以准确地在具有不同纹理的表面之间进行区分，并由准确地在训练图像中呈现的具有不同纹理的表面之间进行区分的训练图像构造风格化图像。
54.示例性实施例的计算设备20还包括用于将第一机器学习模型22a存储在诸如存储器设备中或与计算设备通信的数据库中的装置，诸如处理电路22、存储器设备24或类似件。参见框56。在一些示例性实施例中，诸如处理电路、存储器设备或类似件的计算设备还被配置为存储由第一机器学习模型由多个训练图像构造的多个风格化图像。所述多个风格化图像也可由存储器设备或与计算设备通信的数据库存储。
55.如图4的框58中所示，该示例性实施例的计算设备20还包括用于训练第二机器学习模型22b(例如卷积神经网络(cnn)分类模型)以确定与风格化图像的具有不同纹理并且通过风格化图像区分的至少一些表面相关联的摩擦系数的装置，例如处理电路22或类似件。为了训练第二机器学习模型，计算设备(例如处理电路)可以被配置为向第二机器学习模型提供多个风格化图像，例如由第一机器学习模型22a生成或构造的风格化图像。这样，第一机器学习模型可以用于构造多个风格化图像，这些风格化图像进而用于由相应的训练图像训练第二机器学习模型。另外，第二机器学习模型的训练可以利用与具有不同纹理的表面相关联的预定义摩擦系数。预定义的摩擦系数可以由存储设备24存储或者存储在与处理电路通信的数据库中。
56.关于第二机器学习模型22b的训练，计算设备20(例如处理电路22)被配置为向第二机器学习模型提供风格化图像，该风格化图像定义几何对象以表示具有不同纹理的表面并且将纹理信息与相应的几何对象相关联。第二机器学习模型确定与至少一些具有不同纹理的表面相关联的摩擦系数。这样做时，第二机器学习模型可以利用与具有不同纹理的表
面相关联的预定义摩擦系数来确定出现在风格化图像中的具有不同纹理的表面的摩擦系数。与第一机器学习模型22a一样，计算设备(例如处理电路)可以以迭代方式训练第二机器学习模型。这样，示例性实施例的计算设备(例如处理电路)可被配置为将由第二机器学习模型确定的与至少一些表面相关联的摩擦系数与具有和风格化图像中的表面相同的纹理的表面相关联的预定义摩擦系数进行比较。
57.为了训练第二机器学习模型22b，计算设备20(诸如处理电路22)可以被配置为向第二机器学习模型提供反馈，以加强第二机器学习模型对摩擦系数的确定，该摩擦系数与和具有和风格化图像中的纹理相同的纹理的表面相关联的摩擦系数一致。另外，提供给第二机器学习模型的反馈可以被配置为指示在由第二机器学习模型生成的摩擦系数相对于与具有和风格化图像中的那些纹理相同的纹理的表面相关联的摩擦系数不一致(例如相差超过预定量)的情况下的差异。通过对多个风格化图像重复该训练过程，计算设备(例如处理电路)被配置为训练第二机器学习模型以准确地定义图像中呈现的具有不同纹理的表面的摩擦系数。
58.示例性实施例的计算设备20还包括用于将第二机器学习模型22b存储在诸如存储器设备中或与计算设备通信的数据库中的装置，例如处理电路22、存储器设备24或类似件。参见框60。
59.一旦被训练，第一机器学习模型22a和第二机器学习模型22b可以被计算设备20(例如处理电路22)使用，以便促进自主表面交通工具10的路线14修改，例如以上面结合图3描述的方式。在这点上，计算设备、方法和计算机程序产品可以考虑到自主表面交通工具将在其上行驶的表面的变化，并且可以使自主表面交通工具所采取的路线被修改以避开已经以这样的方式发生变化从而增加自主表面交通工具滑移或以其他方式至少部分失去控制的风险的某些表面。通过修改路线，可以降低涉及自主表面交通工具的事故或其他事件的风险。
60.如上所述，图3是说明由计算设备10、方法和计算机程序产品执行以促进自主表面交通工具10路线14修改的操作的流程图，而图4是说明由计算设备、方法和计算机程序产品执行以训练机器学习模型来促进自主表面交通工具路线修改的操作的流程图。应当理解，流程图的每个框以及流程图中的框的组合可以通过各种方式来实现，例如硬件、固件、处理电路22和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如，上述一个或多个步骤可由计算机程序指令体现。在这点上，体现上述过程的计算机程序指令可以由计算设备的存储设备24并由处理电路或类似件执行。如将理解的，任何这样的计算机程序指令可以被加载到计算机或其他可编程器件(例如，硬件)上以产生机器，使得得到的计算机或其他可编程器件实现流程图框中指定的功能。这些计算机程序指令还可以存储在计算机可读存储器中，该存储器可以引导计算机或其他可编程器件以特定方式运行，使得存储在计算机可读存储器中的指令产生制造品，其执行实现流程图块中指定的功能。计算机程序指令还可以被加载到计算机或其他可编程器件上，以使得在计算机或其他可编程器件上执行一系列操作，以产生计算机实现的过程，使得在计算机或其他可编程器件上执行的指令提供用于实现在流程图框中指定的功能的操作。
61.因此，流程图的框支持用于执行指定功能的装置的组合和用于执行指定功能的操作的组合。还将理解，流程图的一个或多个框以及流程图中的框的组合可以由执行指定功
能的基于专用硬件的计算机系统或者专用硬件和计算机指令的组合来实现。
62.在一些实施例中，可以修改或进一步放大上述操作中的某些操作。此外，在一些实施例中，可以包括附加的可选操作。可以以任何顺序和任何组合对上述操作进行修改、添加或放大。
63.此外，本公开包括根据以下条款的实施例：
64.条款1.一种用于促进自主表面交通工具(10)的路线(14)的修改的方法，所述方法包括：
65.构造(34)输入图像的风格化图像，其中所述风格化图像在所述输入图像中呈现的具有不同纹理的表面之间进行区分；
66.基于所述风格化图像，确定(36)与至少一些具有不同纹理的所述表面相关联的摩擦系数；以及
67.基于已经被确定为与所述自主表面交通工具的所述预定义路线在其上延伸的表面相关联的所述摩擦系数，确定(38)所述自主表面交通工具的所述路线是否要从所述预定义路线改变。
68.条款2.根据条款1所述的方法，其中构造所述输入图像的所述风格化图像包括利用第一机器学习模型(22a)生成所述风格化图像，所述第一机器学习模型已被训练以在图像中出现的具有不同纹理的表面之间进行区分。
69.条款3.根据前面的条款中任一项所述的方法，其中构造所述输入图像的所述风格化图像包括：
70.定义几何对象以表示所述输入图像中呈现的具有不同纹理的所述表面；以及
71.将纹理信息与相应的几何对象相关联。
72.条款4.根据前面的条款中任一项所述的方法，其中确定所述摩擦系数包括利用第二机器学习模型(22b)确定所述摩擦系数，所述第二机器学习模型已被训练以估计出现在所述风格化图像中具有不同纹理的表面的所述摩擦系数。
73.条款5.根据前面的条款中任一项所述的方法，还包括响应于确定所述自主表面交通工具的所述路线要从预定义路线改变而修改(40)所述自主表面交通工具(10)的所述路线(14)。
74.条款6.根据条款5所述的方法，还包括将修改后的所述路线提供(42)到所述自主表面交通工具(10)的路线系统。
75.条款7.根据前面的条款中任一项所述的方法，还包括接收(30)已经由所述自主表面交通工具(10)的图像采集设备采集的所述输入图像。
76.条款8.根据前面的条款中任一项所述的方法，其中，所述输入图像包括摄影图像。
77.条款9.一种计算设备(20)，被配置为促进自主表面交通工具(10)的路线(14)的修改，所述计算设备包括处理电路(22)，被配置为：
78.构造(34)输入图像的风格化图像，其中所述风格化图像在所述输入图像中呈现的具有不同纹理的表面之间进行区分；
79.基于所述风格化图像，确定(36)与至少一些具有不同纹理的所述表面相关联的摩擦系数；以及
80.基于已经被确定为与所述自主表面交通工具的所述预定义路线在其上延伸的表
面相关联的所述摩擦系数，确定(38)所述自主表面交通工具的所述路线是否要从所述预定义路线改变。
81.条款10.根据条款9所述的计算设备(20)，其中所述处理电路(22)包括第一机器学习模型(22a)，所述第一机器学习模型(22a)已被训练以在图像中出现的具有不同纹理的表面之间进行区分，并且其中所述处理电路被配置为利用所述第一机器学习模型构建所述输入图像的所述风格化图像。
82.条款11.根据条款9-10中任一项所述的计算设备(20)，其中，所述处理电路(22)被配置为通过定义表示所述输入图像中呈现的具有不同纹理的所述表面的几何对象并且通过将纹理信息与相应的几何对象相关联来构建所述输入图像的所述风格化图像。
83.条款12.根据条款9-11中任一项的计算设备(20)，其中所述处理电路(22)包括第二机器学习模型(22b)，所述第二机器学习模型(22b)已经被训练以估计出现在风格化图像中的具有不同纹理的表面的所述摩擦系数，并且其中所述处理电路被配置为利用所述第二机器学习模型确定所述摩擦系数。
84.条款13.根据条款9-12中任一项所述的计算设备(20)，其中所述处理电路(22)还被配置为响应于确定所述自主表面交通工具的所述路线要从所述预定义路线改变，修改(40)所述自主表面交通工具(10)的路线(14)。
85.条款14.根据条款13所述的计算设备(20)，还包括通信接口(26)，响应于所述处理电路(22)，该通信接口被配置为将修改后的所述路线提供(42)给所述自主表面交通工具(10)的路线系统。
86.条款15.根据条款9-14中任一项所述的计算设备(20)，还包括通信接口(26)，所述通信接口(26)被配置为接收(30)已经由所述自主表面交通工具(10)的图像采集设备采集的所述输入图像。
87.条款16.根据条款9-15中任一项所述的计算设备(20)，其中所述输入图像包括摄影图像。
88.条款17.一种用于训练机器学习模型以促进自主表面交通工具(10)的路线(14)修改的方法，所述方法包括：
89.基于描绘具有不同的已知纹理的表面的多个训练图像，训练(54)第一机器学习模型(22a)以在具有不同纹理的表面之间进行区分并由相应的训练图像构建风格化图像，所述风格化图像在所述相应的训练图像中呈现的具有不同纹理的表面之间进行区分；
90.存储(56)所述第一个机器学习模型；
91.基于在具有不同纹理的表面之间进行区分的多个风格化图像并且还基于与具有不同纹理的表面相关联的预定义摩擦系数，训练(58)第二机器学习模型(22b)以确定与至少一些具有不同纹理的所述表面相关联的摩擦系数；和
92.存储(60)所述第二个机器学习模型。
93.条款18.根据条款17的方法，还包括利用所述第一机器学习模型(22a)来构造用于由相应的训练图像训练所述第二机器学习模型(22b)的多个风格化图像。
94.条款19.根据条款17-18中任一项的方法，其中通过定义表示所述相应的训练图像中呈现的具有不同纹理的所述表面的几何对象并通过将纹理信息与相应的几何对象相关联来训练所述第一机器学习模型(22a)由所述相应的训练图像构造风格化图像。
95.条款20.根据条款17-19中任一项所述的方法，还包括接收(50)描述自主表面交通工具(10)能够在其上方行驶的表面的所述训练图像。
96.本发明所属领域的技术人员将会想到在此阐述的本发明的许多修改和其它实施例，这些修改和其它实施例受益于在前面的描述和相关附图中呈现的教导。因此，应当理解，本发明不限于所公开的具体实施例，并且修改和其它实施例旨在包括在所附权利要求的范围内。此外，尽管前面的描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例性实施例，但是应当理解，在不脱离所附权利要求的范围的情况下，可以通过替代实施例来提供元件和/或功能的不同组合。在这点上，例如，如在所附权利要求中的一些权利要求中所阐述的，还构想了与上述明确描述的元件和/或功能不同的元件和/或功能的组合。尽管这里使用了特定的术语，但是它们仅在一般的和描述性的意义上使用，而不是为了限制的目的。