用于自动解析示意图的系统和方法与流程

用于自动解析示意图的系统和方法
交叉引用
1.本技术要求于2019年9月11日提交的美国临时专利申请第62/899,011号的优先权，其全部内容通过引用并入本文。


背景技术：

2.诸如示意图、管线图和仪器图表等的工程文档可以帮助工程师了解系统的组成部件、这些部件如何连接以及系统如何操作。一套完整的系统工程文档可以包括图表、提供与图表中的特定部件有关的更多详细信息的部件表、以及对系统采取的动作(例如，维护动作、校准等)的列表。这类工程文档中的一些或全部可能未被数字化。


技术实现要素：

3.本公开提供了用于根据物理系统的工程文档生成物理系统的数字表示的系统、方法和计算机程序产品。工程文档可以包括物理系统的非数字示意图以及对应部件表。示意图可能跨越许多不同页面。本文所述的系统可以通过检测非数字示意图中的符号来生成物理系统的数字表示。然后，系统可以使用分类器来将每个检测到的符号分类为特定部件。在一些情况下，检测和分类可以通过单个算法或模型(例如，对象检测算法)同时进行。另外，系统可以例如通过检测示意图中的描绘组的虚线来将相关部件组分类为组件。此后，系统可以例如通过检测示意图中的连接部件和组件的实线来确定部件和组件之间的连接。在一些情况下，系统还可以将部件和组件的子集与部件表中的条目相关联。部件表可以提供与示意图未提供的某些部件有关的更详细信息。最后，系统可以根据部件、组件、连接和关联生成物理系统的数字表示。物理系统的数字表示可以包括物理系统的数字模型以及机器可读的材料清单。数字模型可以是定义物理系统的部件、连接和状态的计算机代码。数字模型可以是静态模型或时变模型。
4.上述系统可以促进将工程文档快速且准确地转换为综合数字模型。具体地，系统使用深度学习来标识和分类工程文档中的对象可以减少生成这类数字模型所需的领域知识(例如，工程文档中所使用的特定符号的几何知识)量。作为替代，有限量的标记训练数据可用于生成高度准确的深度学习模型。深度学习的普遍性还允许本文描述的方法在具有不同类型工程文档的不同行业中使用。
5.在一方面，本公开提供了用于根据系统的工程文档来生成系统的数字表示的方法。工程文档可以包括一个或多个示意图以及部件表。方法可以包括：(a)使用深度学习算法，(i)将一个或多个示意图中的多个符号中的每个符号分类为部件(component)，并且(ii)将每组相关符号分类为组件(assembly)；(b)确定部件和组件之间的连接；(c)将部件和组件的子集与部件表中的条目相关联；以及(d)根据部件、组件、连接和关联来生成系统的数字表示。系统的数字表示可以至少包括系统的数字模型以及机器可读的材料清单。
6.在一些实现中，方法还包括：在(a)之前，通过从一个或多个示意图中去除空白或噪声来预处理该一个或多个示意图。
7.在一些实现中，方法还包括：在(a)之前，确定要在一个或多个示意图中检测的部件库。在一些这样的实现中，方法还包括：(i)确定一个或多个示意图中的相应符号不在部件库中，以及(ii)将相应符号及其对应部件添加到部件库中。
8.在一些实现中，(a)包括使用二元分类器来检测一个或多个示意图中的多个符号。检测可以包括滑动窗口方法。深度学习算法可以包括二元分类器。在一些实现中，(a)还包括使用多类深度神经网络将所检测到的符号中的每个符号分类为部件。深度学习算法可以包括多类深度神经网络。多类深度神经网络可以选自包含以下各项的组：前馈神经网络和卷积神经网络。在一些实现中，单个算法(例如，对象检测算法)进行符号的检测和分类这两者。
9.在一些实现中，将每组相关符号分类为组件包括针对每组检测一个或多个示意图中的描绘该组的虚线。
10.在一些实现中，(b)包括检测连接所述部件和所述组件的实线。实线可以使用图形搜索算法来遍历和建模。
11.在一些实现中，(c)包括：使用光学字符识别，在一个或多个示意图中检测和标识与部件和组件的子集中的部件和组件相关联的标识号；以及将所检测到的标识号与部件表中的标识号进行匹配。检测标识号可以包括使用霍夫变换(hough transform)。
12.在一些实现中，数字模型可以包括定义系统的部件、连接和状态的计算机代码。数字模型可以是静态模型。数字模型可以是时变模型。
13.本公开的另一方面提供了一种包括机器可执行代码的非暂时性计算机可读介质，所述机器可执行代码在由一个或多个计算机处理器执行时实现上述或本文其他地方的任何方法。
14.本公开的另一方面提供了一种系统，该系统包括一个或多个计算机处理器和与其耦合的计算机存储器。计算机存储器包括机器可执行代码，其在由一个或多个计算机处理器执行时实现上述或本文其他地方的任何方法。
15.从以下详细描述中，本公开的其他方面和优点对于本领域技术人员将变得容易理解，其中仅示出和描述了本公开的说明性实施方式。如将意识到的，本公开能够有其他不同的实施方式，并且其若干细节能够在各种明显的方面进行修改，所有这些都不背离本公开。因此，附图和描述在本质上被认为是说明性的，而不是限制性的。援引并入
16.本说明书中提到的所有出版物，专利和专利申请都以引用的方式并入本文，就如同每个单独的出版物，专利或专利申请被明确地并单独地指出通过引用并入一样。在通过引用并入的出版物和专利或专利申请与说明书中包含的公开内容相抵触的程度上，该说明书旨在取代和/或优先于任何此类矛盾的材料。
附图说明
17.在所附权利要求书中具体阐述了本发明的新颖特征。通过参考下面的详细说明，可以更好地理解本发明的特征和优点，所述详细说明阐述了示例性实施方式，其中利用了本发明的原理以及附图(也称为“示图”和“图”)，其中：
18.图1示意性地图示了用于根据物理系统的工程文档生成物理系统的数字表示的系
统。
19.图2是通过红框来标识所检测到的符号的物理系统的示意图。
20.图3是通过红框来标识所检测到的组件的物理系统的示意图。
21.图4示出了如在应用的用户界面中显示的示例数字模型。
22.图5是用于根据物理系统的工程文档生成物理系统的数字表示的示例处理的流程图。
23.图6示出了被编程或以其他方式配置以实现本文提供的方法的计算机系统。
具体实施方式
24.虽然这里已经示出和描述了本发明的优选实施方式，但是对于本领域技术人员来说，这些实施方式仅作为示例提供是容易理解的。在不脱离本发明的情况下，本领域技术人员现在将想到许多变化、改变和替换。应当理解，本发明时可以采用对这里描述的本发明的实施方式的各种替代。
25.每当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值之前时，术语“至少”、“大于”或“大于或等于”适用于该系列数值中的每个数值。例如，大于或等于1、2或3等同于大于或等于1、大于或等于2、或大于或等于3。
26.每当术语“不大于”、“小于”或“小于或等于”在一系列两个或更多个数值中的第一个数值之前时，术语“不大于”、“小于”、或“小于或等于”适用于该系列数值中的每个数值。例如，小于或等于3、2或1等同于小于或等于3、小于或等于2、或小于或等于1。
27.本公开提供用于根据物理系统的工程文档生成物理系统的数字表示的系统、方法和计算机程序产品。具体地，本文描述的系统可以通过检测非数字示意图中的符号来生成物理系统的数字表示。然后，系统可以使用分类器来将每个检测到的符号分类为特定部件。另外，系统可以例如通过检测示意图中的描绘组的虚线来将相关部件组分类为组件。此后，系统可以例如通过检测示意图中的连接部件和组件的实线来确定部件和组件之间的连接。在一些情况下，系统还可以将部件和组件的子集与部件表中的条目相关联。部件表可以提供与示意图未提供的某些部件有关的更详细信息。最后，系统可以根据部件、组件、连接和关联生成物理系统的数字表示。物理系统的数字表示可以包括系统的数字模型以及机器可读的材料清单。
28.图1示意性地图示了用于根据物理系统的工程文档生成物理系统的数字表示的系统100。例如，物理系统可以是处理流水线。举例而言，处理流水线可以是油气处理流水线、化学或材料合成流水线(例如，用于合成油漆、肥料、纺织品、橡胶、钢或铝的流水线)、药物合成流水线或食品生产流水线。物理系统可以可替代地是机械系统、建筑物、基础设施(例如，道路、桥梁、电网或市政供水系统)、运载工具、电子设备或电路等。一般来说，物理系统可以是可通过示意图或图表表示的任何系统。
29.工程文档可以包括物理系统的非数字(例如，纸质)示意图、对应部件表、以及对物理系统采取的动作(例如，维护行动、校准等)的列表。
30.系统100可以具有预处理子系统110。一般来说，预处理子系统110可以清理示意图以使后续处理步骤更容易。例如，预处理子系统110可以将示意图的物理副本扫描成数字图像(例如，便携式网络图形(png)或jpeg)，调整图像的大小或改变图像的颜色，从图像中去
除边界、空白和其他噪声，并从图像中去除非符号文本。在本公开中，示意图的数字图像可以简称为示意图。
31.系统100还可以包括分类子系统120。分类子系统120可以接收预处理的示意图，并且检测和分类示意图中的符号、组件(例如，相关符号组)和连接。
32.分类子系统120可以具有检测模块122和分类模块124。检测模块122可被配置为检测示意图中的符号和组件。也就是说，检测模块122可被配置为区分示意图的包含符号和组件的部分与不包含符号和组件的部分。为了检测示意图中的符号，检测模块122可以实现二元分类器，该二元分类器被配置为生成指示示意图的特定部分是或不是符号的输出。二元分类器可以是深度神经网络，例如前馈神经网络或卷积神经网络(cnn)，或者它可以是支持向量机(svm)、自编码器或任何其他机器学习算法或方法。在一个示例中，二元分类器是cnn。cnn可以具有至少约1个、2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个卷积层。relu激活和最大池化层可以散布在卷积层之间。cnn也可以具有全连接层。cnn的输出层可以具有产生概率的sigmoid或softmax激活。
33.可以使用监督、半监督或无监督的学习过程来训练二元分类器。在一个实现中，可以对少量标记训练数据(例如，示意图的部分被标记为包含或不包含符号的示意图)和大量未标记训练数据(例如，示意图的部分未被标记为包含或不包含符号的示意图)训练二元分类器。图2是通过红框来标识所检测到的符号的物理系统的示意图。
34.在一些情况下，检测模块122可以实现三向分类器而不是二元分类器。三向分类器可以具有与二元分类器相似的结构和功能，但可以将示意图内的区域分类为(1)包含标签(即，传感器的数字表示，其通常由正方形中内切的圆表示)，(2)包含本地安装的仪器(即，物理仪器，诸如压力表或温度读数，其通常用圆表示)，或者(3)不包含符号。标签和lmi很重要，因为它们通常在时间序列传感器数据库中具有对应的条目。
35.为了检测示意图中的符号，检测模块122可以使用滑动窗口方法。也就是说，可以将特定示意图划分为多个重叠窗口。上述分类器可以针对每个窗口返回输出。针对每个窗口的输出可以指示该窗口在其边界内是否至少具有符号的一部分，或者窗口是否包含标签、lmi或不包含符号。滑动窗口的大小和步幅可以部分地基于符号的平均或中值大小、或任何其他统计度量或启发式。在一个示例中，窗口可以是100像素
×
100像素。在滑动窗口方法的情况下，二元分类器的输出可以在分类为特定部件之前经历后处理步骤。例如，可以将非最大抑制算法应用于输出以滤除(例如，由于窗口重叠而)具有相同符号的多个窗口中的一个或多个。
36.为了检测示意图中的组件，检测模块122可以实现被配置为检测描绘符号组的虚线的算法。这样的虚线可以指示符号是组件的组成部件。图3是通过红框来标识所检测到的组件的物理系统的示意图。
37.为了检测示意图中的连接，检测模块122可以实现被配置为检测连接部件和组件的实线的相似算法。在一个示例中，检测模块122使用图形搜索算法来遍历部件以及表示部件之间的连接的实线。图形搜索算法可以通过检测和跟踪示意图中相邻的黑色像素来遍历部件和实线。黑色像素可以是满足阈值像素强度的像素。图形搜索算法可以将像素表示为图形的节点。特定像素可以是或可以不是部件的一部分，并且该信息可以包含在与该像素对应的节点中。符号在图形中表示为与形成该符号的像素相对应的节点的集合。图形的边
可以是相邻像素之间的链接，每个节点最多有八条边。符号在图形中表示为与形成该符号的像素相对应的节点的集合。
38.利用图表的这种图形表示，可以通过深度优先搜索(dfs)来标识符号之间的连接。具体地，对于每个检测到的符号，从符号中的一个节点初始化dfs。dfs沿黑色节点遍历图形，沿路径命中(并保持跟踪)连接的符号。一旦用尽所有有效路径，搜索就会终止。
39.在另一方面，分类模块124可被配置为将检测到的符号分类为部件。为了将符号分类为部件，分类模块124可以实现多类深度神经网络，该网络被配置为生成指示特定符号对应于多个部件中的哪一个的输出。可以在训练多类深度神经网络之前确定多个部件。部件可以存储在部件库中。如果在分类期间，多类深度神经网络未能将特定符号分类为部件，则可以指示该符号是新符号。该新符号可被添加到部件库。
40.例如，多类深度神经网络可以是前馈神经网络或cnn。可以使用监督、半监督或无监督学习过程来训练多类深度神经网络。在一个实现中，可以对少量标记训练数据(例如，符号被标记为对应特定部件的示意图)和大量未标记训练数据(例如，符号未被标记为对应于特定部件的示意图)训练多类深度神经网络。
41.一般来说，本文描述的神经网络可以采用多层操作来预测来自一个或多个输入的一个或多个输出。神经网络可以包括位于输入层和输出层之间的一个或多个隐藏层。每层的输出可以用作另一层(例如，下一隐藏层或输出层)的输入。神经网络的每层都可以指定要对该层的输入进行的一个或多个变换操作。这种变换操作可被称为神经元。特定神经元的输出可以是神经元的输入的加权和，用偏差调整并乘以激活函数，例如，整流线性单元(relu)或sigmoid函数。训练神经网络可以涉及向未训练或部分训练的神经网络版本提供输入以生成预测输出，将预测输出与预期输出进行比较，并更新算法的权重和偏差以考虑预测输出和预期输出之间的差。具体地，成本函数可用于计算预测输出与预期输出之间的差。通过计算成本函数相对于网络权重和偏差的导数，可以在多个周期内迭代地调整权重和偏差，以使成本函数最小化。当预测输出满足收敛条件(例如，获得小量值的计算成本)时，训练可以完成。
42.cnn是被称为卷积层的一些层中的神经元仅从输入数据集的一小部分接收像素的神经网络。这些小部分可以称为神经元的感受野。这种卷积层中的每个神经元可以具有相同的权重。由这种方式，卷积层可以检测输入数据集的任何部分中的特征。cnn还可以具有将卷积层中的神经元集群的输出相组合的池化层、以及与前馈神经网络中的传统层相似的全连接层。cnn可能特别擅长检测和分类图像中的对象(例如，产品)。
43.在一些情况下，分类模块124可以作为替代实现自编码器以对符号进行分类。自编码器可以包括编码器和解码器。编码器可被配置为生成输入符号的压缩表示，并且解码器可被配置为从压缩表示中重构输入符号。解码器可以在已知符号的示例上(例如，通过监督学习过程)进行训练。分类模块124可以(例如，使用基于距离的算法(例如，余弦相似度))将针对给定输入符号的解码器的输出与针对部件库中的各种部件的已知签名进行比较。符号可以被分类为具有最相似或最接近的签名的部件。
44.在一些情况下，单个对象检测算法既可以检测符号，又可以对符号进行分类。这种对象检测算法可以采用上述任何形式。
45.分类系统120可以将分类的部件和组件提供给子系统130。子系统130还可以接收
物理系统的部件表。子系统130可被配置为将部件和组件中的一些或全部与部件表中的条目相关联。部件表可以提供与示意图中未出现的部件有关的附加信息，例如电容器的大小或材料的组成。
46.子系统130可以具有光学字符识别(ocr)模块132。ocr模块132可以实现ocr算法，该算法被配置为识别与分类的部件和组件相关联的文本。更具体地，ocr算法可被配置为检测和标识与部件和组件相关联的标识号。在一些情况下，标识号可以位于邻近或以其他方式靠近分类的部件和组件的圆中。在这种情况下，子系统130可以使用霍夫变换来检测圆。另外，ocr算法可以识别部件表中的文本，包括标识号和其他数据。在一些情况下，可以使用高效且准确的场景文本检测器(east)来检测文本，其中场景文本检测器是一种使用神经网络来产生图像中的存在文本的边界框的流水线。
47.示意图中的标识号可以对应于部件表中的标识号。ocr模块132可以将来自示意图的标识号提供给匹配模块134，匹配模块134可以将这些标识号与部件表中的标识号相匹配，从而将对应的部件和组件与部件表中的条目相关联。
48.系统100可以另外包括模型构建器子系统140。模型构建器子系统140可以接收来自分类子系统120的分类的部件、组件和连接以及来自子系统130的关联，并且生成物理系统的数字表示。物理系统的数字表示可以包括物理系统的数字模型以及机器可读的材料清单。机器可读的材料清单可以是标识示意图或示意图集中的各种部件、与部件相关联的文本、以及连接到每个部件的部件的资产层次结构表。数字模型可以是定义物理系统中的部件、部件之间的连接、以及物理系统的状态的计算机代码。部件可以通过其参数(例如，尺寸、功能、输入和输出、吞吐量、操作变量等)进一步定义，这些参数可以存储在部件库中并在创建数字模型时检索。数字模型可以是时变模型或静态模型。
49.图1的系统及其部件可以在一个或多个计算设备上实现。计算设备可以是服务器、台式或膝上型计算机、电子平板或移动设备等。计算设备可以位于一个或多个位置。计算设备可以具有通用处理器、图形处理单元(gpu)、专用集成电路(asic)或现场可编程门阵列(fpga)等。计算设备可以另外具有存储器，例如动态或静态随机存取存储器、只读存储器、闪存或硬盘驱动器等。存储器可被配置为存储指令，这些指令在执行时使计算设备实现预处理子系统110、分类子系统120、子系统130或模型构建器子系统140的功能。计算设备可以另外具有网络通信设备。网络通信设备可以使计算设备能够通过网络与彼此以及与任意数量的用户设备通信。网络可以是有线或无线网络。例如，网络可以是光纤网络、网络、卫星网络、蜂窝网络、网络或网络等。在其他实现中，计算设备可以是可通过互联网访问的若干分布式计算设备。这样的计算设备可以被认为是云计算设备。
50.图4示出了如在应用的用户界面中显示的数字模型的示例。用户界面可以允许用户验证数字模型。用户界面可以以蓝色示出已识别的部件，并且以红色示出已识别的组件。用户界面可以使用户能够按类型或状况(例如，分类或未分类)来过滤部件和组件。用户界面还可以使用户能够手动重新分类部件和组件或者编辑部件和组件的其他参数。
51.图5是用于根据物理系统的工程文档生成物理系统的数字表示的示例处理的流程图。工程文档可以是物理的非数字(例如，纸质)示意图以及对应的部件表。处理可以由一个或多个位置的一个或多个适当编程的计算机的系统进行。
52.系统可以预处理非数字示意图(510)。预处理非数字示意图可以涉及将非数字示意图扫描成数字图像并从数字图像中去除空白和其他噪声。
53.系统可以使用机器学习算法(i)将预处理示意图中的多个符号中的每个符号分类为部件，并且(ii)将每组相关符号分类为组件(510)。机器学习算法可以包括二元分类器和多类深度神经网络或自编码器，并且将符号分类为部件可以涉及使用二元分类器来检测符号并且使用多类深度神经网络或自编码器将每个符号分类为部件。多类深度神经网络可以是前馈神经网络或卷积神经网络。多类深度神经网络可以使用半监督学习过程进行训练。多类深度神经网络的类别可以在训练之前确定。类别可以是通常在该类型的工程文档中找到的部件。如果一个示意图中的相应符号不在部件库中，则系统可以将对应部件添加到库。在一些情况下，系统可以实现单个对象检测算法，该对象检测算法同时检测符号并将其分类为部件。将每组相关符号分类为组件可以包括针对每组检测一个或多个示意图中的描绘该组的虚线。
54.系统可以通过检测和遍历连接这些各种组合的实线来确定部件之间、组件之间以及部件和组件之间的连接(530)。如前所述，系统可以使用图形搜索算法来遍历实线。
55.系统可以通过以下方式将部件和组件的子集与部件表中的条目相关联：(i)使用光学字符识别，在示意图中检测和标识与部件和组件相关联的标识号，以及(ii)将所检测到的标识号与部件表中的标识号进行匹配(540)。检测和标识标识号可以涉及使用霍夫变换来标识这些标识号所在的圆。这些圆可以邻近或以其它方式靠近示意图中的对应部件。
56.使用分类的部件和组件、连接和关联，系统可以生成物理系统的数字表示(550)。数字表示可以包括物理系统的数字模型以及机器可读的材料清单。数字模型可以是定义物理系统的部件、连接和状态的计算机代码。数字模型可以是静态模型或时变模型。示例
57.在一个示例中，如本文所述的系统具有三向cnn分类器，用于将示意图的区域分类为包含标签、lm或不包含符号。cnn具有散布在relu激活和最大池化层之间的三个卷积层，随后是两个全连接密集层。第一个隐藏层具有64个带有relu激活的单元。最后的输出层具有三个带有softmax激活的单元，以预测输入图像属于三个类别中的每一个的概率。在18个带标记的流水线和仪器图表上训练cnn，包括308个标签裁切和687个lmi裁切。通过旋转、移位、剪切、缩放和翻转以使cnn对这些变换保持不变来增强训练示例。在密集层中应用dropout以添加一些正则化并提高cnn的泛化性能。符号裁切被分为训练集(60％)和验证集(40％)，并训练网络以使验证集的交叉熵损失最小化。训练和验证损失都通过100个训练时期收敛。然后将训练集和验证集结合起来，以在100个时期内对整个数据集训练最终模型。在11个看不见的流水线和仪器图表中，使用0.95的分类概率阈值以100％的精度和98％的召回率对标签进行分类。使用0.95的分类概率阈值以85％的精度和90％的召回率对lmi进行分类。计算机系统
58.本公开提供了被编程以实现本公开的方法的计算机系统。图6示出了被编程或以其他方式被配置为实现图1的系统100的计算机系统601。计算机系统601另外调节本公开的图5的处理的各个方面。计算机系统601可以是用户的电子设备或相对于电子设备位于远程的计算机系统。电子设备可以是移动电子设备。
59.计算机系统601包括中央处理单元(cpu，在此也称为“处理器”和“计算机处理器”)605，其可以是单核或多核处理器，也可以是多个处理器并行处理。计算机系统601还包括存储器或存储器位置610(例如，随机存取存储器、只读存储器、闪存)、电子存储单元615(例如，硬盘)、用于与一个或多个其他系统通信的通信接口620(例如，网络适配器)和外围设备625，例如高速缓存、其他存储器、数据存储和/或电子显示适配器。存储器610、存储单元615、接口620和外围设备625通过诸如母板的通信总线(实线)与cpu605通信。存储单元615可以是用于存储数据的数据存储单元(或数据仓库)。计算机系统601可以在通信接口620的帮助下可操作地耦合到计算机网络(“网络”)630。网络630可以是因特网、内联网和/或外联网、或正在与因特网通信的内部网和/或外部网。在一些情况下，网络630是电信和/或数据网络。网络630可以包括一个或多个计算机服务器，其可以实现分布式计算，例如云计算。在一些情况下，借助于计算机系统1101，网络630可以实现对等网络，该对等网络可以使耦合到计算机系统1101的设备能够表现作为客户端或服务器。
60.cpu1105可以执行一系列机器可读指令，这些指令可以体现在程序或软件中。指令可以存储在存储器位置中，例如存储器610。指令可以被引导到cpu605，cpu605可以随后编程或以其他方式配置cpu605以实现本公开的方法。cpu605执行的操作的示例可以包括获取、解码、执行和写回。
61.cpu605可以是电路的一部分，例如集成电路。系统601的一个或多个其他部件可以包括在电路中。在某些情况下，该电路是专用集成电路(asic)。
62.存储单元615可以存储文件，例如驱动程序、库和保存的程序。存储单元615可以存储用户数据，例如用户偏好和用户程序。在一些情况下，计算机系统601可以包括一个或多个位于计算机系统601外部的附加数据存储单元，例如位于通过内联网或因特网与计算机系统601通信的远程服务器上。
63.计算机系统601可以通过网络630与一个或多个远程计算机系统进行通信。例如，计算机系统601可以与用户的远程计算机系统进行通信。远程计算机系统的示例包括个人计算机(例如，便携式pc)、平板计算机或平板pc(例如，galaxytab)、电话、智能电话(例如，iphone、支持android的设备、)或个人数字助理。用户可以通过网络630访问计算机系统601。
64.如本文所述的方法可以通过存储在计算机系统601的电子存储位置上的机器(例如，计算机处理器)可执行代码来实现，例如存储在存储器610或电子存储单元615上。机器可执行或机器可读代码可以以软件的形式提供。在使用过程中，该代码可由处理器605执行。在某些情况下，该代码可从存储单元615中检索并存储在存储器610中以供处理器605随时访问。在某些情况下，可以排除电子存储单元615，并且机器可执行指令被存储在存储器610上。
65.代码可以被预编译和配置以与具有适于执行代码的处理器的机器一起使用，或者可以在运行时期间编译。代码可以以编程语言提供，可以选择该语言以使代码能够以预编译或编译后的方式执行。
66.在此提供的系统和方法的方面，例如计算机系统601，可以体现在编程中。该技术的各个方面可以被认为是“产品”或“制品”，其通常以机器(或处理器)可执行代码和/或相
关数据的形式存在于或包含在一种机器可读介质中。机器可执行代码可以存储在电子存储单元上，例如存储器(例如，只读存储器、随机存取存储器、闪存)或硬盘。“存储”类型的介质可以包括计算机、处理器等或其相关模块的任何或所有有形存储器，例如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以随时提供非暂时性存储进行软件编程。软件的全部或部分有时可以通过因特网或各种其他电信网络进行通信。例如，这样的通信可以使软件能够从一个计算机或处理器加载到另一个计算机或处理器中，例如从管理服务器或主机计算机加载到应用服务器的计算机平台中。因此，可以承载软件元素的另一种类型的媒体包括光波、电波和电磁波，例如跨本地设备之间的物理接口、通过有线和光学陆线网络以及通过各种空中链路使用。承载这种波的物理元件，例如有线或无线链路、光链路等，也可以被认为是承载软件的介质。如本文所用，除非限于非暂时性、有形“存储”介质，诸如计算机或机器“可读介质”的术语是指参与向处理器提供指令以供执行的任何介质。
67.因此，机器可读介质，例如计算机可执行代码，可以采用多种形式，包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机等中的任何存储设备，诸如可用于实现图中所示的数据库等。易失性存储介质包括动态存储器，例如此类计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括构成计算机系统内总线的电线。载波传输介质可以采用电信号或电磁信号，或者声波或光波的形式，例如在射频(rf)和红外(ir)数据通信期间产生的那些。因此，常见形式的计算机可读介质包括例如：软盘、软盘、硬盘、磁带、任何其他磁介质、cd-rom、dvd或dvd-rom、任何其他光学介质、打孔卡纸磁带、任何其他带有孔洞图案的物理存储介质、ram、rom、prom和eprom、flash-eprom、任何其他存储芯片或盒式磁带、传输数据或指令的载波、传输此类载体的电缆或链路，或任何其他计算机可以从中读取编程代码和/或数据的介质。许多这些形式的计算机可读介质可能涉及将一个或多个指令的一个或多个序列传送到处理器以供执行。
68.计算机系统601可以包括电子显示器635或与电子显示器635通信，该电子显示器635包括用于提供例如图4的数字模型的用户界面(ui)640。ui的示例包括但不限于图形用户界面(gui)和基于网络的用户界面。
69.本公开的方法和系统可以通过一种或多种算法来实现。算法可以在由中央处理单元605执行时通过软件来实现。该算法例如可以是本公开中所描述的神经网络其中之一。
70.虽然已经在本文中示出和描述了本发明的优选实施方式，但是对于本领域技术人员而言容易理解的是，仅通过示例的方式提供了这样的实施方式。并非意图通过说明书中提供的特定示例来限制本发明。尽管已经参考前述说明书描述了本发明，但是本文中的实施方式的描述和图示并不意味着以限制性的意义来解释。在不脱离本发明的情况下，本领域技术人员现在将想到许多改变，更改和替代。此外，应理解，本发明的所有方面不限于本文所阐述的具体描述，构造或相对比例，其取决于各种条件和变量。应当理解，本文所述的本发明的实施方案的各种替代方案可以用于实施本发明。因此，可以预期的是，本发明也将涵盖任何这样的替代，修改，改变或等同形式。旨在由以下权利要求书限定本发明的范围，并且由此涵盖这些权利要求书范围内的方法和结构及其等同物。