测试系统中的夹具标识的制作方法

测试系统中的夹具标识
1.相关申请本技术要求2020年1月22日提交的名称为“测试系统中的夹具标识（fixture identification in test systems）”的美国临时专利申请序列号62/964,277的在先申请日的权益，该申请的全部内容以引用方式并入本文。
技术领域
2.本发明大体上涉及夹具标识。更具体地，本发明涉及用于在测试系统中进行夹具标识的系统和方法。


背景技术：

3.包括机械测试装备的测试系统可以使用致动器向样品试样或材料施加负载或力，或以其他方式搅拌样品试样或材料。例如，一些测试应用涉及使用致动器推动或拉动样品并测量所产生的挠度和负载。为了使用测量结果来确定样品的各种特性（例如，应力和应变），可能需要知道使用什么类型的工具或夹具来搅拌试样。


技术实现要素：

4.在本公开的方面中，描述了一种用于在测试系统中进行夹具标识的方法。该方法可以包括使用成像设备捕获表示测试系统的第一夹具的图像数据。该方法还可以包括将表示该第一夹具的该图像数据从该成像设备传输到运行图像识别应用的处理器。该方法还可以包括使用运行该图像识别应用的该处理器基于该图像数据标识该第一夹具。
5.可包括下列特征中的一者或多者。该方法可以包括确定该第一夹具是否对应于该测试系统的第二夹具，该第二夹具是与该测试系统的测试信息相关联的预期夹具。该方法还可以包括响应于确定该第一夹具对应于该测试系统的该第二夹具，进行该测试系统的下一操作。该方法还可以包括响应于确定该第一夹具不对应于该测试系统的该第二夹具，提供该第一夹具不对应于该测试系统的该第二夹具的指示。该成像设备可以是相机。
6.在实现方式中，该下一操作可以包括以下各项中的至少一者：加载与该测试系统相关联的测试文件以及设置与该测试系统相关联的测试参数。该指示可以包括在该测试系统的图形用户界面上的通知。该图像识别应用可以包括机器学习模型和神经网络中的至少一者。该测试系统可以选自由以下各项组成的群组：动态机械分析仪；疲劳测试系统、拉伸测试系统、并入负载框架的测试系统、热分析仪；流变仪；组织工程系统和心脏瓣膜置换测试系统。该第一夹具和该第二夹具中的至少一者可以是选自由以下各项组成的群组的夹具类型：剪切夹具、弯曲夹具、压缩夹具和拉伸夹具。该测试信息可以表示对应于为该测试系统选择的测试的夹具类型。
7.在本公开的方面中，描述了一种用于在测试系统中标识夹具的夹具标识系统。该夹具标识系统可以包括可在该测试系统的测试区域上聚焦的成像设备。该夹具标识系统还可以包括与成像设备通信的处理器。该处理器可以被配置为运行图像识别应用。该处理器
还可以被配置为从该成像设备接收表示该第一夹具的图像数据。该处理器还可以被配置为基于该图像数据标识该第一夹具。
8.可包括下列特征中的一者或多者。该处理器可以被配置为确定该第一夹具是否对应于该测试系统的第二夹具，该第二夹具是与该测试系统的测试信息相关联的预期夹具。该处理器还可以被配置为确定该第一夹具对应于该测试系统的该第二夹具，进行该测试系统的下一操作。该处理器还可以被配置为响应于确定该第一夹具不对应于该测试系统的该第二夹具，提供该第一夹具不对应于该测试系统的该第二夹具的指示。该成像设备可以是相机。
9.在实现方式中，该下一操作可以包括以下各项中的至少一者：加载与该测试系统相关联的测试文件以及设置与该测试系统相关联的测试参数。该指示可以包括在该测试系统的图形用户界面上的通知。该图像识别应用可以包括机器学习模型和神经网络中的至少一者。该测试系统可以选自由以下各项组成的群组：动态机械分析仪；疲劳测试系统、拉伸测试系统、并入负载框架的测试系统、热分析仪；流变仪；组织工程系统和心脏瓣膜置换测试系统。该第一夹具和该第二夹具中的至少一者可以是选自由以下各项组成的群组的夹具类型：剪切夹具、弯曲夹具、压缩夹具和拉伸夹具。该测试信息可以表示对应于为该测试系统选择的测试的夹具类型。
10.在本公开的方面中，描述了一种用于在并入负载框架的测试系统中标识安装的夹具的夹具标识系统。该夹具标识系统可以包括在该并入负载框架的测试系统的测试区域上聚焦的相机。该夹具标识系统还可以包括与该相机通信的处理器。该处理器可以被配置为运行包括人工智能部件的图像识别应用。该人工智能部件可以包括机器学习模型和神经网络中的至少一者。可以训练该人工智能部件以标识该安装的夹具。该处理器还可以被配置为从该相机接收表示该安装的夹具的图像数据。该处理器也可以被配置为基于该图像数据和被训练以标识该安装的夹具的该人工智能部件来标识该安装的夹具。该处理器另外可以被配置为该安装的夹具是否对应于该测试系统的选定夹具，该选定夹具与该测试系统的测试信息相关联。此外，该处理器也可以被配置为响应于确定该安装的夹具不对应于该测试系统的该选定夹具，在该测试系统的图形用户界面上提供指示该安装的夹具不对应于该测试系统的该选定夹具的通知。
11.在本公开的方面中，描述了一种使用图像识别以进行夹具标识的方法。该方法可以包括接收表示测试系统的第一夹具的图像数据。该方法还可以包括使用运行图像识别应用的处理器基于该图像数据标识该第一夹具。
12.可包括下列特征中的一者或多者。该方法可以包括确定该第一夹具是否对应于该测试系统的第二夹具，该第二夹具是与该测试系统的测试信息相关联的预期夹具。该方法还可以包括响应于确定该第一夹具对应于该测试系统的该第二夹具，进行该测试系统的下一操作。该方法还可以包括响应于确定该第一夹具不对应于该测试系统的该第二夹具，提供该第一夹具不对应于该测试系统的该第二夹具的指示。该成像设备可以是相机。
13.在实现方式中，该下一操作可以包括以下各项中的至少一者：加载与该测试系统相关联的测试文件以及设置与该测试系统相关联的测试参数。该指示可以包括在该测试系统的图形用户界面上的通知。该图像识别应用可以包括机器学习模型和神经网络中的至少一者。
14.在本公开的方面中，描述了一种用于安全操作测试系统的方法。该方法可以包括使用成像设备捕获表示该测试系统的测试区域的图像数据。该方法还可以包括将表示该测试区域的该图像数据从该成像设备传输到运行图像识别应用的处理器。该方法还可以包括使用运行该图像识别应用的该处理器基于该图像数据在该测试区域中检测用户存在。
15.可包括下列特征中的一者或多者。该方法可以包括响应于在该测试系统的该测试区域中检测到该用户存在，将该测试系统调整为安全模式。该方法也可以包括响应于在该测试系统的该测试区域中检测到该用户存在，提供在该测试系统的该测试区域中检测到该用户存在的指示。该指示可以包括在该测试系统的图形用户界面上的通知。该方法还可以包括使用运行该图像识别应用的该处理器基于该图像数据检测用户存在不再在该测试区域中。另外，该方法可以包括响应于检测到该用户存在不再在该测试系统的该测试区域中，将该测试系统调出该安全模式。该成像设备可以是相机。
附图说明
16.通过结合附图参考下面的描述，可以更好地理解本公开的上述优点和其他优点，附图中相同的附图标号是指各个附图中相同的元件和特征。为清楚起见，并非每个元件都在每个附图中标记。附图不一定按比例绘制，而重点在于示出本发明的原理。
17.图1描绘了可以执行本公开的方面的示例系统。
18.图2示出了根据本公开的方面的用于促进图像识别的示例过程。
19.图3描绘了根据本公开的方面的示例测试系统。
20.图4描绘了根据本公开的方面的示例夹具。
21.图5还描绘了根据本公开的方面的示例测试系统。
22.图6示出了根据本公开的方面的分类的示例。
23.图7描绘了根据本公开的方面的示出各种分辨率的夹具的图像的图表。
24.图8示出了根据本公开的方面的示例工作流程。
25.图9描绘了根据本公开的方面的测试系统的示例测试区域。
26.图10描绘了根据本公开的方面的示例图形用户界面。
27.图11描绘了根据本公开的方面的特征检测的示例。
28.图12描绘了根据本公开的方面的示例实现方式。
具体实施方式
29.在本说明书中提到“一个实施方案”或“实施方案”表示结合实施方案描述的特定特征、结构或特性包括在本教导的至少一个实施方案中。对本说明书内的特定实施方案的引用不一定都指代相同的实施方案。
30.如上所述，测试系统的某些测试应用可能需要知道使用什么类型的工具或夹具来搅拌试样。因此，了解测试系统中使用的夹具类型的夹具几何结构，或了解夹具本身的类型可能是有益的。使用本公开中描述的技术和特征，图像识别和人工智能（包括机器学习或神经网络），可以用于标识在测试系统中装载、安装或以其他方式使用的夹具。
31.包括机械测试装备的测试系统的应用可以涉及使用致动器推动和/或拉动样品或试样并测量所产生的挠度。测试系统的应用还可以包括测量施加在样品或试样上的负载
量。了解用于推动或拉动样品或试样的夹具或工具类型可能是将挠度、位移和/或负载的测量结果转化为有用信息（诸如样品或试样的应力和应变）的要素。了解夹具的几何结构可能有助于进行单位转换以计算有用信息。
32.现在参考图3，示出了测试系统300，其可以是动态机械分析仪或其他并入负载框架的测试系统。测试系统300可以包括框架基座302、致动器组件304、致动器输出轴306、力传感器组件308、负载反应组件310、下部夹具312、上部夹具314、样品316、环境室318和相机位置320。现在还参考图1，测试系统300可以与客户端系统、服务器系统和/或网络通信，并且可以将测试数据和成像数据传递到客户端系统（例如，客户端电子设备28）、服务器系统（例如，服务器计算机20）或网络（例如，网络22）以供处理器或其他用户进一步分析。测试数据和成像数据可以从测试系统300一起传递到客户端系统、服务器系统或网络，或者使用一个或多个通信协议单独传递，该一个或多个通信协议包括但不限于usb、以太网、wi-fi（例如，ieee 802.11x）、蓝牙、tcp/ip、蜂窝（例如，gsm、cdma、lte、5g
……
）udp、gige、ieee-1394、mipi/csi。在各种实现方式中，mipi/csi可以用于与成像设备或相机和处理器直接通信，并且处理器可以通过以太网经由tcp/ip发送图像数据。
33.应注意，在本文中仅出于说明性目的论述测试系统300，并且本公开中描述的技术和特征可以与各种行业中的各种测试系统一起使用或应用于各种行业中的各种测试系统，这些测试系统包括但不限于：动态机械分析仪、疲劳测试系统、拉伸测试系统、并入负载框架的测试系统、热分析仪、流变仪、组织工程系统和心脏瓣膜置换测试系统。
34.现在还参考图4，测试系统300可以使用各种夹具，这些夹具可以被换入和换出测试系统300以用于不同的测试应用。用于测试系统300的一些夹具可以包括剪切夹具402、三点弯曲夹具404、压缩夹具406、夹紧弯曲夹具408和拉伸夹具410。取决于正在运行的测试和正在测试的样品，这些夹具等可以被换入和换出测试系统300。夹具可以具有相同或类似的连接件几何结构（例如，固定螺钉和/或插座），并且更换夹具可能需要几分钟。
35.例如，测试系统300可以使用弯曲型夹具，其中样品材料条可以放置在弯曲夹具的u形部分上，并且样品材料的顶部可以通过点在相反方向上推动。此配置可以被称为三点弯曲，诸如在三点弯曲夹具404中。其他测试可以使用压缩夹具406，其中例如可以将橡胶圆柱体或一块圆盘状橡胶样品放置在圆盘上，并且可以在相反方向上将另一圆盘施加在样品的顶部上。一些测试可以使用拉伸夹具410，其中例如样品材料杆或条可以用相对侧面上的夹头夹持并且被拉开。
36.应注意，如上所述，本公开中描述的技术和特征可以用一个或多个其他测试系统来实现，这些其他测试系统诸如组织工程系统、心脏瓣膜置换测试系统和/或心脏瓣膜测试仪，并且应理解，其他类型的夹具可以与那些系统一起使用。例如，组织工程系统可以使用压板或凹槽（well）作为夹具，在该夹具上或夹具中可以放置样品，并且可以不施加压缩。类似地，心脏瓣膜测试仪可以使用涉及给定大小和类型的心脏瓣膜（例如，33mm二尖瓣或25mm主动脉瓣）的安装环的夹具。
37.例如，假设研究人员或其他用户生产了一批聚合物或塑料。研究人员可能有兴趣确认聚合物或塑料具有研究人员预期的性质。研究人员可能具有用例如基于对聚合物或塑料的反作用力的位移（例如，从安装在测试系统300中的夹具）产生的一组曲线表示的标准。该标准还可以包括应力、应变或模量。
38.如在许多情况下，研究人员可能会在测试系统（例如，测试系统300）中开始对聚合物或塑料进行测试，并且测试系统中可能已经安装了夹具。研究人员可能不一定知道安装了哪个夹具。为了运行测试以确定是否已经满足研究人员对聚合物或塑料的标准，研究人员可能需要将聚合物或塑料上产生的位移或负载转变或转换为模量值（例如，应力与应变之间的关系）。研究人员可能需要知道在测试系统中使用的夹具的类型，以进行正确的转换并确定模量值。另外，在诸如聚合物或塑料之类的样品上使用非预期夹具可能会导致不良结果或损坏测试系统、样品或两者。
39.如果研究人员知道测试系统中已经安装了正确的夹具，则研究人员可以继续为感兴趣的样品设置适当的测试。研究人员可以打开与测试系统相关联的软件。软件可以具有由用户输入的多个设置或参数，或者如果定期运行相同的测试，则软件可以预先填充这些设置。研究人员可以改变一些测试参数，诸如聚合物或塑料的大小，并且使用大多数预先填充的设置像往常一样运行测试。
40.在一些测试系统中，与测试系统一起运行的软件可能会指示应为选定特定测试安装什么夹具，或者用户可能必须输入安装的夹具。例如，测试系统可能需要知道安装的夹具是否可以支持仅拉伸、仅压缩或双向负载。试图对压缩样品施加拉伸负载可能会导致夹具与样品失去接触，从而可能导致数据错误、样品损坏或测试系统损坏。此外，让用户输入安装的夹具类型（例如，从下拉菜单）是手动步骤，该手动步骤可能会为错误或意外更改留下余地。
41.继续上述示例，研究人员可能不知道测试系统中安装了什么类型的夹具，可能会在未安装夹具时假设所需的夹具已经安装在测试系统中，或者可能在其他方面出错，以及在测试系统中为所需的测试和样品安装了错误的夹具。在这些情况下，研究人员可能会在软件中输入所需的夹具已安装，并使用错误的夹具运行测试。例如，研究人员可以打开为弯曲夹具设计的测试文件，但可以安装压缩夹具，并且研究人员可以继续运行测试。这可能会导致研究人员浪费时间使用错误的夹具，在使用错误的夹具时获得错误的测试结果，在使用错误的夹具时污染或破坏样品，或者使用错误的夹具损坏测试系统。
42.因此，可能期望研究人员或测试系统的其他用户知道测试系统中安装了什么类型的夹具，而无需手动检查夹具。如果用户能够更容易地知道测试系统中安装了什么类型的夹具，则可以防止各种测试错误以及测试装备和样品损坏，并且可以避免用户手动检查测试系统中安装了什么夹具的负担。
43.一些测试系统可以使用标记技术，诸如rfid标签或qr码，以为每个夹具提供唯一标识符，然后系统可以读取该标识符以标识夹具。这些系统为测试系统和夹具本身（例如，rfid标签和读取器）引入了新的硬件要求，同时增加了制造的每个夹具的复杂性和成本。它们也可能会使定制夹具的使用更困难。另外，夹具可以在较宽的温度范围内使用（例如，-150℃
–
600℃或更高），这可能会使标记/标签技术的使用更加困难。
44.诸如机器学习、深度学习、神经网络之类的图像标识或识别技术可用于促进夹具标识。现有夹具的图像可用于经由用于对图像中所示夹具类型进行分类的算法或算法框架来标识安装在测试系统中的夹具类型。一旦已经执行了图像标识或识别，就可以使用直接像素测量来提取关于夹具的更精确的细节（例如，三点弯曲跨度或拉伸样品长度）。另外，图像标识或识别技术可以对深度信息进行测量，这样可用于改进夹具标识过程（例如，通过将
图像前景中的夹具与可位于图像背景中的元件隔离），或改进对来自图像的样品几何结构的估计/测量。
45.使用本公开中描述的技术和特征，图像标识或识别系统可以用于实现测试系统中的夹具标识，这可以提供优于现有系统的数个优点或益处。例如，虽然测试系统上可能需要诸如相机之类的一个或多个成像设备，但夹具上可能不需要额外的硬件或改变。此外，如本文所述的具有夹具标识能力（通过图像识别）的测试系统可以由用户训练以标识新的或不同的夹具。因此，本文所述的技术和特征为技术问题（即，手动夹具标识或忽略夹具标识）提供了技术解决方案（即，测试系统中的自动化夹具标识），并且防止了测试错误和测试装备损坏。另外，用于这些技术的成像设备或相机也可以用于向用户提供其他益处，诸如在测试期间的运动捕获等。换句话说，用于实现测试系统的夹具标识（通过图像识别）的硬件在测试系统内可能有其他用途。
46.现在还参考图1和图2，示出了服务器应用10和客户端应用12、14、16和18。服务器应用10和/或一个或多个客户端应用12、14、16和/或18可以执行被配置为执行本文所述特征中的一个或多个特征的一个或多个过程。服务器应用10可以被称为被配置为执行本文所述的特征中的一个或多个特征的过程，诸如图像识别过程10。此外，客户端应用12、14、16和18中的一者或多者可以被称为被配置为执行本文所述特征中的一个或多个特征的过程，诸如图像识别过程12、14、16和/或18。
47.现在参考图2，示出了示例图像识别过程12。图像识别过程12可以包括使用成像设备捕获（202）表示测试系统的第一夹具的图像数据。图像识别过程12还可以包括将表示第一夹具的图像数据从成像设备传输（204）到运行图像识别应用的处理器。图像识别过程12还可以包括使用运行图像识别应用的处理器基于图像数据标识（206）第一夹具。
48.图像识别过程可以是服务器侧过程（例如，服务器侧图像识别过程10）、客户端侧过程（例如，客户端侧图像识别过程12、客户端侧图像识别过程14、客户端侧图像识别过程16或客户端侧图像识别过程18），或混合服务器侧/客户端侧过程（例如，服务器侧图像识别过程10和一个或多个客户端侧图像识别过程12、14、16、18的组合）。
49.系统概述参考图1，服务器侧图像识别过程10可以驻留在服务器计算机20上并且可以由该服务器计算机执行，该服务器计算机可以与网络22（例如，互联网或局域网）通信。服务器计算机20的示例可以包括但不限于：个人计算机、服务器计算机、一系列服务器计算机、微型计算机和/或大型计算机。服务器计算机20可以是分布式系统，并且服务器计算机20的操作可以同时和/或连续地在一个或多个处理器上执行。服务器计算机20可以是运行多个服务器、计算机或虚拟机的云计算站点、云环境或云平台的符号表示。服务器计算机20可以执行一个或多个操作系统，所述操作系统的示例可以包括但不限于：microsoft windows
™
；redhat linux
™
、unix或自定义操作系统。例如，服务器计算机20可以是适于执行本公开中所述的操作的基于云的图像识别系统或服务器的符号表示。在实现方式中，服务器计算机20可以是基于云的图像识别系统或服务器，其可以包括、存储、运行和/或执行图像识别过程10。
50.服务器侧图像识别过程10的指令集和子例程可以存储在耦合到服务器计算机20的存储设备24上，可以由一个或多个处理器（未示出）和并入服务器计算机20中的一个或多
个存储器架构（未示出）执行。存储设备24可以包括但不限于：硬盘驱动器；磁带驱动器；光盘驱动器；固态存储设备；raid阵列；随机存取存储器（ram）；和只读存储器（rom）。
51.服务器计算机20可以执行允许使用一个或多个协议访问服务器计算机20（经由网络22）的网络服务器应用，该一个或多个协议的示例可以包括但不限于http（即，超文本传输协议）。网络22可以与一个或多个辅助网络（例如，网络26）通信，该一个或多个辅助网络的示例可以包括但不限于：局域网；广域网；或例如内联网。
52.例如，客户端侧图像识别过程12、14、16、18可以驻留在客户端电子设备28、30、32和/或34上，并且可以由这些客户端电子设备（分别）执行，这些客户端电子设备的示例可以包括但不限于个人计算机28、嵌入或耦合有一个或多个处理器的电视（未示出）、膝上型计算机30、启用数据的移动电话或智能手机32、笔记本电脑34、平板电脑（未示出）和个人数字助理（未示出）。客户端电子设备28、30、32和/或34可以各自与网络22和/或网络26通信，并且可以各自执行操作系统，该操作系统的示例可以包括但不限于apple ios
™
、microsoft windows
™
、android
™
、redhat linux
™
或定制的操作系统。
53.客户端侧图像识别过程12、14、16、18的指令集和子例程可以（分别）存储在（分别）耦合到客户端电子设备28、30、32、34的存储设备36、38、40、42上，可由一个或多个处理器（未示出）和（分别）并入客户端电子设备28、30、32、34中的一个或多个存储器架构（未示出）执行。存储设备36、38、40、42可以包括但不限于：硬盘驱动器；磁带驱动器；光盘驱动器；固态存储设备；raid阵列；随机存取存储器（ram）；只读存储器（rom）；紧凑型闪存（cf）存储设备；安全数字（sd）存储设备；和记忆棒存储设备。
54.客户端侧图像识别过程12、14、16、18和/或服务器侧图像识别过程10可以是在云计算站点、云计算应用、云平台或云环境内（即，是它们的一部分）运行的过程。替代地，客户端侧图像识别过程12、14、16、18和/或服务器侧图像识别过程10可以是与云计算站点、云计算应用、云平台或云环境协同工作的独立应用。客户端侧图像识别过程12、14、16、18和服务器侧图像识别过程10中的一者或多者可以彼此（经由网络22和/或网络26）连接。
55.例如，用户44、46、48、50可以通过执行客户端侧图像识别过程（例如，客户端侧图像识别过程12、14、16、18）的设备，即客户端电子设备28、30、32、34，直接访问服务器侧图像识别过程10。用户44、46、48、50可以通过网络22和/或通过辅助网络26直接访问服务器侧图像识别过程10。此外，服务器计算机20（即，执行服务器侧图像识别过程10的计算机）可以通过辅助网络26与网络22通信，如虚拟链路线52所示。
56.各种客户端电子设备可以直接或间接耦合到网络22（或网络26）。例如，个人计算机28被示出为经由硬连线网络连接直接耦合到网络22。此外，笔记本电脑34被示出为经由硬连线网络连接直接耦合到网络26。笔记本电脑30被示出为经由在膝上型计算机30与无线接入点（即，wap）56之间建立的无线通信信道54无线地耦合到网络22，该wap被示出为直接耦合到网络22。例如，wap 56可以是能够在笔记本电脑30与wap 56之间建立无线通信信道54的ieee 802.11a、802.11b、802.11g、802.11n、802.11x wi-fi和/或蓝牙设备。启用数据的移动电话32被示出为经由在启用数据的移动电话32与蜂窝网络/网桥60之间建立的无线通信信道58无线地耦合到网络22，该蜂窝网络/网桥被示出为直接耦合到网络22。
57.所有ieee 802.11x规范都可以使用以太网协议和能避免冲突的载波侦听多路访问（即，csma/ca）以用于路径共享。例如，各种802.11x规范可以使用相移键控（即，psk）调制
或补码键控（即，cck）调制。蓝牙是电信行业规范，其允许例如移动电话、计算机和个人数字助理使用短程无线连接进行互连。
58.图像识别过程对于以下论述，将出于说明性目的描述客户端侧图像识别过程12。应注意，服务器侧图像识别过程10可以与客户端侧图像识别过程12交互，并且可以在允许与客户端侧图像识别过程12通信的一个或多个应用内执行。然而，这并不旨在限制本公开，因为其他配置是可能的（例如，独立的客户端侧图像识别过程和/或独立的服务器侧图像识别过程）。例如，一些实现方式可以包括代替客户端侧面图像识别过程12或除该客户端侧面图像识别过程之外的服务器侧图像识别过程10。本文所述的图像识别过程可以通过用于控制测试系统的应用或软件来运行，该测试系统诸如被示出为与服务器计算机20、网络22和客户端电子设备28通信的测试系统300。另外，虽然本文所述的图像识别过程的一个或多个操作可以由例如客户端系统（例如，客户端电子设备28）或服务器系统（例如，服务器计算机20）的处理器运行或执行，但是图像识别过程的其他操作可以由其他处理器或部件执行，包括并入有成像设备（诸如相机或图像识别系统的另一部件）的那些处理器或部件。
59.参考图2，在实施方案中，可以提供用于促进图像识别（即，用于在测试系统中进行夹具标识）的方法，并且可以通过图像识别过程12来实现。图像识别过程12可以被设置成持续运行，或者可以响应于用户使用测试系统300或相关联的图形用户界面而被激活。在实施方案中，图像识别过程12可以使用成像设备捕获（202）表示测试系统（例如，测试系统300）的第一夹具（例如，下部夹具312和/或上部夹具314）的图像数据。成像设备可以是相机或其他成像设备，并且可以位于相机位置320处。
60.例如，现在还参考图5，可以类似于测试系统300并且被配置为包括本公开中所述的任何技术或特征的测试系统500可以包括下部夹具502和上部夹具504，并且可以配备有相机506。成像设备或相机（例如，相机506）可以是网络摄像头、智能手机相机模块或包括可以提供景深（即，深度映射）数据和捕获的图像以将夹具与背景隔离的相机（或多个相机的系统）的其他相机。在各种实现方式中，成像设备可以使用超出可见光谱的光范围（例如，红外线、紫外光、x射线等）。如图所示，相机506可以将捕获的图像或图像数据传输到处理器或软件以进行处理以标识夹具。相机可以安装成使得一个或多个安装的夹具在相机的视野内。相机也可以安装成使得一个或多个安装的夹具在测试系统的任何调整期间保持在相机的可用聚焦范围和/或景深内。例如，负载反应组件（例如，310）可以在测试设置期间相对于致动器上下移动（但在测试期间通常可能不会移动）。
61.在各种实现方式中，可以使用以下配置中的一者或多者。可以安装单个相机以允许上部夹具和下部夹具通过致动器和负载反应组件的正常运动范围保持在相机的视野内（和/或保持在相机的聚焦范围和/或景深内）。两个或更多个相机的阵列可以覆盖整个聚焦范围，其中例如，若干相机可以固定到测试系统框架并且瞄准不同位置。一个固定相机（例如，506）可以瞄准上部夹具，并且另一相机可以安装到负载反应组件，使得相机随组件一起移动并且瞄准下部夹具。相机可以安装在允许该相机的视野从一个点移动到另一个点的机构上（例如，相机可以安装到一个或多个万向架上）。该机构可以（经由电动机）被致动并由计算机控制。固定在测试系统上的一个或多个相机可以具有附接到柔性光纤的透镜。然后可以移动/定位柔性光纤以提供期望的视图，并且可以通过小型机电致动器和计算机控制
实现自动化。
62.一些测试系统可以具有烘箱、环境室或在测试期间围绕夹具的其他外壳。在这些系统中，夹具可以在测试设置期间可接近并且可见，并且相机可以被定位成使得设置区域可见或使得相机可以透过外壳查看。外壳可能是严酷的环境（例如，高温或高腐蚀性的），然而在相机是远程安装的情况下，使用上述柔性光纤特征，柔性光纤的目标端可以穿透外壳的壁，从而可以看到夹具。
63.虽然测试系统通常可以具有用于测试的两个夹具，包括下部夹具和上部夹具，但是对于给定测试，下部夹具和上部夹具可以或可以不相同。在一些情况下，下部夹具类型可以暗示测试所需的作为上部夹具的夹具类型。例如，安装为下部夹具的三点弯曲夹具可能具有用于上部夹具的点接触夹具。拉伸和压缩相关测试可能需要分别用于下部夹具和上部夹具两者的拉伸夹具和压缩夹具。在大多数情况下，下部夹具和上部夹具可以是匹配套件，并且下部夹具可以具有更多的不同元件。因此，如果标识出下部夹具，则可以容易地确定用于给定测试的恰当的对应上部夹具。因此，成像设备或相机可以被布置成聚焦在下部夹具上。
64.此外，图像识别过程12可以将表示第一夹具（例如，下部夹具312和/或上部夹具314）的图像数据从成像设备（诸如相机506）传输（204）到运行图像识别应用的处理器。处理器可以与客户端系统（例如，客户端电子设备28）、服务器系统（例如，服务器计算机20）结合，或以其他方式通过网络（例如，网络22）访问。如上所论述，图像数据可以经由一个或多个通信协议通过接口传递到客户端系统或服务器计算机。
65.各种机器学习模型可以被配置为分析典型大小、典型像素数目和/或典型格式的图像。在将图像传输到处理器或处理单元之前，图像识别过程12可以出于可梳理性目的裁剪、重新缩放或重新格式化图像。处理器或处理单元可以与测试系统本身一起定位，或者图像可以被发送到客户端系统或服务器计算机以进行处理。图像的裁剪、重新缩放或重新格式化可以在成像设备或相机本身或在处理器或处理单元处执行。
66.图像识别过程12可以使用运行图像识别应用的处理器基于图像数据来标识（206）第一夹具（例如，下部夹具312和/或上部夹具314）。图像识别应用可以执行包括图像识别过程12在内的本文所述图像识别过程的一个或多个操作。图像识别应用可以包括人工智能部件，包括机器学习、机器学习模型、神经网络或这些的一些组合。机器学习模型可以驻留在与处理器或处理硬件相关联的存储器中。
67.可以在安装测试系统300和/或图像识别应用或过程时或之前训练机器学习模型。测试系统的夹具的类型（例如，如图4所示）的一组训练数据可用于训练机器学习模型。训练数据可以是表示测试系统的每个夹具的图像数据。在实现方式中，训练数据可以包括每个夹具300个至1000个图像或每个夹具在30fps下约10秒至30秒的视频。在一些情况下，可以使用50,000个图像或更多（每个夹具约10,000个图像）。应注意，夹具的图像集可以包括夹具位置和方向的大部分或所有预期变化。因此，更复杂的系统（例如，具有更多夹具类型的系统，或可以旋转并且可以从不同角度看到的夹具）可能需要更多的训练数据和图像。
68.各种不同的模型、工具和语言可用于机器学习模型生成和/或训练。一旦训练完成，机器学习模型就通常可以转换为不同的格式以用于不同的应用。例如，可以使用python中的tensorflow对模型进行训练，但tensorflow模型可以转换为onnx格式，以便在windows
代码中进行本机使用。
69.训练机器学习模型所需的时间可以取决于所选模型和训练代码。可以使用图形处理单元（gpu）显著加快训练。例如，使用4核3.5 ghz xeon和不受支持的gpu进行训练可能需要大约300分钟/次（epoch）。使用4核2.9 ghz i7笔记本电脑、使用cpu进行训练可能需要大约360分钟/次。使用4核2.9 ghz i7笔记本电脑、使用nvidia m1200 cpu进行训练可能需要大约30分钟/次。使用4核3.5 ghz xeon、使用nvidia rtx 2080 ti gpu进行训练可能需要大约3分钟/次。还可以使用云资源和/或来自第三方的计算资源来训练机器学习模型。
70.机器学习可以结合各种统计方法。可以基于数据中发现的夹具的特征来标识数据（例如，图像数据）的群组或集群。可以通过确定点在几何距离上最接近的群组或集群来标识新点。每个群组可以由多维统计分布（例如，平均值和标准差）定义。对于每个群组，可能有新点是该群组的一部分。该点可以被标识为属于群组或集群的概率最高。
71.在此意义上的点可以是表示夹具的图像的像素值阵列。点可以由两个或三个（或更多个）值定义。例如，2维点可以是（x,y）对，并且3维点可以是（x,y,z）三元组（分别具有1
×
2阵列和1
×
3阵列）。可以使用其他序列（例如，代替（x, y, z），可以使用（x1, x2, x3））。参考图6，（x,y）坐标对的简单示例可用于两类的分类：a类（较小点）和b类（较大点）。例如，a类可以对应于弯曲夹具类，并且b类可以对应于压缩夹具类。如此示例所示，x值的范围为0至1，并且y值的范围为0至10。如果每个点只知道x值，则类别可能难以区分。然而，当添加y值时，很容易看出y》5的点最有可能是a类，并且y《5的点最有可能是b类。这种区分可能不适用于所有点，因为一些a类点可能在y=5线以下，而一个b类点可能在该线以上，但是使用这种评估可允许以高置信度对新的未知点进行分类。
72.数字图像包括大量像素，每个像素都用数字值（或彩色图像的值）定义。计算机显示器、电话或电视上的典型图像可能由数百万个点组成。较小的图像可以是4
×
4像素的黑白图像。4
×
4像素的黑白图像（例如，具有0至9的像素值）可以由4
×
4矩阵表示：此4
×
4矩阵可以转换为1
×
16阵列：图像1阵列= [1 0 0 1 2 3 3 2 0 6 6 0 0 4 4 0]其中，与之前的（x, y, z）或（x1, x2, x3）坐标一样，点现在可以是：（x1, x2, x3, x4, x5, x6, x7, x8, x9, x10, x11, x12, x13, x14, x15, x16）。另一图像可以由另一4
×
4矩阵表示：此4
×
4矩阵也可以转换为1
×
16阵列：图像2阵列= [0 0 0 0 0 2 2 0 0 6 6 0 0 4 4 0]。
[0073]
现在还参考图7，图像1可以是弯曲夹具的非常像素化的图像，并且图像2可以是压缩夹具的非常像素化的图像。图7底部的表格示出了对应于具有明显差异的两个图像的坐
标x1至x16。这些差异是机器学习模型可以用来检测一个夹具与另一个夹具之间的差异。基于此数据，机器学习模型可以了解到，x1、x4、x5和x8值》0的图像或点可能对应于弯曲夹具，而不是压缩夹具。
[0074]
图像识别应用可以替代地或另外包括一个或多个神经网络。神经网络可以包括多个层或节点，该多个层或节点包括输入层、隐藏层和输出层。在一般意义上，神经网络可以是接受输入并返回输出的复杂数学函数。神经网络可以被构造成使得模型内存在许多可调参数，该可调参数可以被调整（或“训练”），使得期望的输出对应于给定输入。例如，为了确定夹具是弯曲夹具还是压缩夹具，可以将压缩夹具的图像（或图像数据）作为输入传递到神经网络，并且经过训练的模型可以作为输出返回图像（或图像数据）对应于压缩夹具的指示（例如，对应于压缩夹具的数值）。数学函数可以具有通用格式并且可以分层构建，其中每个层由一个或多个节点组成。
[0075]
例如，输入层可以采用给定数据格式的数据。一个或多个中间层可以从输入层传输数据并执行各种计算（例如，应用不同类型的卷积滤波器）。每个层从上一层获取输入，并将其输出传递到连接其输出的下一层。每个层可以具有多个参数，该多个参数可以在训练期间调整以使实际输出与期望输出匹配。中间层中的可训练参数的数目可以很大。对于典型的模型，可能有100万至500万个可训练参数，但一些模型可能具有更多可训练参数。此外，输出层可以在数据已经通过中间层传输之后接收输出。输出层可以以定义的格式返回结果。例如，这可能导致将图像分类为弯曲夹具或压缩夹具。
[0076]
可以首先对图像进行预处理以匹配给定神经网络的输入格式。用于图像识别的一些神经网络可以使用224
×
224
×
3的输入大小定义，该输入大小定义可以表示具有三个颜色值（红色、绿色和蓝色）的224
×
224像素图像。因此，如果原始图像为400
×
600
×
3，则在传递到输入层之前，可以将该原始图像裁剪并重新缩放为224
×
224
×
3数字格式。然后，可以将数据从一层处理到下一层，其中每个节点应用不同的计算，诸如卷积。每个节点可以将其输出传递到后续层中的节点上。层的输出可以具有抽象维度。最终层可以被设计成将输出转换为更有用的格式。这可以是例如1
×
2向量，其中：（1,0）=弯曲；并且（0,1）=压缩。
[0077]
现有的神经网络可以并入在非常大的数据集上预先训练的模型，并且可以使用转移学习来重新利用这些神经网络以用于标识夹具。例如，可以替换和重新训练神经网络的输出层，以使用夹具图像数据进行操作。输出层可以被替换和重新训练以与例如测试系统300的夹具和图4中的相关联夹具一起使用。
[0078]
在实现方式中，可以对与一个或多个夹具相关联的多个图像/图像数据使用逻辑回归。可以使用与具有各种背景的多个配置中的一个或多个夹具相关联的多个图像/图像数据来训练具有转移学习模型（例如，基于vgg-16）的神经网络，并且可以实现该神经网络。典型的验证和训练准确度水平可以达到约99%以上，如果夹具每天交换约三次，则可以转变为每年约3个错误。随着更多图像/图像数据被添加到与学习模型相关联的数据库，训练准确度可以提高。
[0079]
以此方式，图像识别过程12可以使用经过训练的机器学习模型或神经网络来基于图像数据标识（206）下部夹具312或上部夹具314。在实施方案中，图像识别过程12还可以确定（208）第一夹具（例如，下部夹具312）是否对应于测试系统（例如，测试系统300）的第二夹具。第二夹具可以是与测试系统的测试信息相关联的预期夹具。测试信息可以表示与用户
选择的特定测试或材料一起使用的夹具类型。第一夹具和第二夹具可以是相同类型的夹具或不同类型的夹具。例如，第一夹具可以安装在测试系统（例如，来自先前的测试）中，并且第二夹具可以由用户在图形用户界面处选择（例如，用于新测试）。换句话说，第一夹具可以是测试系统的实际、物理的夹具（例如，安装的夹具或以其他方式在成像设备的聚焦中的夹具），并且第二夹具可以不是物理夹具，而是选择的、计划的、预期的或配置的夹具，因为该第二夹具与测试系统软件或加载的测试文件相关。
[0080]
现在参考图8，示出了与本文所述的图像识别过程相关联的示例工作流程。工作流程可以包括由用户或图像识别过程执行以在测试系统上启动测试的一个或多个操作。用户（例如，用户44、46、48和50中的一个或多个用户）可以选择（802）与测试系统一起使用的夹具。夹具可以是图4的夹具402至410中的一者，分别对应于夹具a至e。用户可以选择例如夹具d并且在测试系统（例如，测试系统300）中安装（804）夹具。例如，图像识别过程12可以使用本文所述的技术和特征来标识或识别夹具。
[0081]
例如，用户可以经由可从客户端电子设备28访问的图形用户界面与测试系统300和/或相关联图像识别应用进行交互。用户可以经由图形用户界面设置（806）要运行的测试。如前所述，在实现方式中，图像识别过程12可以部分地基于表示第一夹具的图像数据来标识第一夹具并且还预设或预先填充各种测试设置或参数。
[0082]
一旦标识出第一夹具并且与第二夹具进行比较，测试系统的进一步操作就可以进行。例如，响应于确定第一夹具对应于测试系统的第二夹具，图像识别过程12可以进行（210）或允许测试系统进行测试系统的下一操作。这可以包括预填充测试系统的各种测试设置或参数，加载测试系统的测试文件，标识/指示测试系统的力传感器已准备好设置皮重，对样品施加任何预负载，和/或验证预定义测试的参数。测试系统还可以基于针对第一夹具标识的夹具类型和/或输入测试文件或从测试文件读取的几何结构来确定所需的力和/或位移（例如，施加的负载）。如果安装在测试系统中的夹具类型对于加载的测试文件是错误的，则施加的负载可能不正确。
[0083]
一旦配置了测试系统软件，测试可以运行（808），或者用户可以通过以期望的速率或频率和温度通过夹具施加适当的力和位移来选择运行以执行测试或实验。随着测试运行，系统可以收集力和位移数据，并且基于测试设置期间的夹具类型和几何结构输入将数据转换为应力和应变。可以将应力值和应变值作为测试结果报告给用户。
[0084]
在实施方案中，响应于确定第一夹具（例如，上部夹具314或下部夹具312）不对应于测试系统的第二夹具（例如，在与测试系统300相关联的图形用户界面处选择），图像识别过程12可以提供第一夹具不对应于测试系统的第二夹具的指示。该指示可以包括在该测试系统的图形用户界面上的通知。现在参考图9，示出了测试系统的示例测试区域900的图像。图像识别过程12可以使用成像设备捕获（202）表示测试系统的第一夹具（例如，夹具902）的图像数据，将表示第一夹具（例如，夹具902）的图像数据从成像设备传输（204）到运行图像识别应用的处理器，并且使用运行图像识别应用的处理器基于图像数据标识（206）第一夹具（例如，夹具902）。如图9所示，夹具902可以是夹紧的弯曲夹具。
[0085]
现在参考图10，示出了根据本公开的测试系统的示例图形用户界面1000。图形用户界面1000可以从例如运行图像识别应用（例如，客户端电子设备28）的客户端电子设备或服务器计算机访问。图形用户界面1000可以包括多个图形控制元件，包括复选框、无线电按
钮、文本字段、下拉菜单等，该多个图形控制元件可以允许用户将测试信息输入到图形用户界面中。用户可以从例如下拉菜单1002选择夹具（例如，第二夹具），该下拉菜单接着可以成为由图像识别过程12和/或测试系统（例如，测试系统300）使用的测试信息，以进行到下一操作。例如，如图10所示，用户可以从下拉菜单1002选择三点弯曲夹具（例如，第二夹具），因为该三点弯曲夹具可以是对应于正在进行测试的样品类型的夹具。测试信息可以表示对应于为测试系统选择的测试的夹具类型（例如，第二夹具）。
[0086]
继续上述示例，图像识别过程12可以确定（208）第一夹具（例如，夹具902、夹紧的弯曲夹具）是否对应于测试系统的第二夹具（例如，在下拉菜单1002处选择的三点弯曲夹具）。第二夹具（例如，在下拉菜单1002处选择的三点弯曲夹具）可以与测试系统的测试信息（例如，图形用户界面1000处的输入）相关联。图像识别过程12可以确定第一夹具（例如，夹具902、夹紧的弯曲夹具）不对应于测试系统的第二夹具（例如，在下拉菜单1002处选择的三点弯曲夹具）。响应于确定第一夹具（例如，夹具902、夹紧的弯曲夹具）不对应于测试系统的第二夹具（例如，在下拉菜单1002处选择的三点弯曲夹具），图像识别过程12可以提供（212）第一夹具不对应于测试系统的第二夹具的指示。
[0087]
可以例如经由测试系统的图形用户界面1000来提供指示。图形用户界面1000可以示出第一夹具（例如，夹具902、夹紧的弯曲夹具）不对应于第二夹具（例如，在下拉菜单1002处选择的三点弯曲夹具）的指示（例如，文本1004）。还可以以弹出窗口或其他图形指示的形式或经由音频提供指示。
[0088]
如上文所论述，根据本公开所述的技术和特征标识夹具可以使用可以是图像识别过程12或图像识别应用的一部分的神经网络来执行。神经网络可用于机器学习并且可以将图像或图像数据分析为数字数据。取决于神经网络的配置，可以以各种方式过滤和处理数字数据。
[0089]
例如，神经网络的一个相位或层可以将卷积滤波器应用于数字数据。各种图像处理技术可以使用卷积滤波器、滤波器内核或其他与矩阵相关的数学应用来增强或检测图像中的各种特征。卷积滤波器可以提取处于竖直定向的夹具的特征或细节。神经网络的另一层可以检测处于水平定向的夹具的特征或细节。然后，可以训练神经网络以学习或识别这些特征的关系，并且使特征的某一组合与给定夹具类型相关联。
[0090]
现在参考图11，示出了根据本公开的方面的特征检测的示例。图像1100示出了与本文所述的实际图像/数值数据相关联的剪切夹具。图1102示出了在实际图像/数字数据已经运行通过与可检测水平边缘的滤波器内核的卷积之后，当查看剪切夹具时，剪切夹具可能出现的情况。与图像1102相关联的实际图像/数字数据可用于从表示由在如本文所述的测试系统的测试区域上聚焦的成像设备捕获的未知夹具的图像数据中标识剪切夹具。
[0091]
类似地，图像1104示出了与本文所述的实际图像/数值数据相关联的三点弯曲夹具。图1106示出了在实际图像/数字数据已经运行通过与可检测竖直边缘的滤波器内核的卷积之后，当查看三点弯曲夹具时，三点弯曲夹具可能会出现的情况。与图像1106相关联的实际图像/数字数据可用于从表示由在如本文所述的测试系统的测试区域上聚焦的成像设备捕获的未知夹具的图像数据中标识三点弯曲夹具。
[0092]
滤波器内核可用于检测其他特征，诸如尖角和尖角相对于其他特征的位置。以此方式，机器学习模型可以最终学习一个夹具与另一个夹具不同的特征。
[0093]
图12描绘了根据本公开的方面的示例实现方式。图12中所示的代码可以被调整或修改以经由一个或多个编程语言或软件工具（例如，mathematica
™
、matlab
™
和python
™
）作为程序、函数或应用来实现，该程序、函数或应用可以由图像识别过程12使用或调用。如图12所示，可以定义函数来预处理图像并准备要发送到分类器的图像。可以使用例如双三次重采样函数来调整图像的大小以具有所需的尺寸。可以将图像数据阵列操纵成与机器学习模型输入匹配的格式，例如：1
×3×
224
×
224（1个图像
×
3个颜色
×
224
×
224个像素）。可以调用函数以基于图像/夹具的分类来加载测试文件。例如，可以加载弯曲夹具测试文件、压缩夹具测试文件、拉伸夹具测试文件或剪切夹具测试文件。如果没有找到夹具或未标识出夹具，则可以发出警告，说明夹具没有在恰当的位置或未标识出夹具。
[0094]
可以定义期望的像素尺寸（可能只需要一个值，因为图像可预期为正方形的），并且可以加载经过训练的夹具标识神经网络。第一夹具（例如，安装的夹具）的图像可以从例如文件系统加载。第一夹具的图像数据也可以经由另一过程传递或根据函数调用返回。可以将图像和所需输入尺寸传递到先前定义的图像处理函数。可以将图像数据传递到机器学习模型以生成对夹具是什么样的预测（即，可以标识第一夹具）。如果第一夹具与第二夹具（例如，预期或选定的夹具）匹配，则可以加载测试系统的正确的测试文件。如果需要，可以将结果打印到屏幕上。如果夹具不匹配，则可以提供通知或可以调用函数来采取动作（例如，停止测试）。
[0095]
在实施方案中，图像识别过程12和/或图像识别应用可以包括用于安全操作测试系统的一个或多个操作或特征。如先前所论述，图像识别过程12可以使用成像设备捕获表示测试系统的测试区域的图像数据，并且还将表示测试区域的图像数据从成像设备传输到运行图像识别应用的处理器。图像识别过程12还可以使用运行图像识别应用的处理器基于图像数据检测测试区域中的用户存在（例如，手或手指）。
[0096]
此外，图像识别过程12可以响应于检测到测试系统的测试区域中的用户存在，将测试系统调整到安全模式（例如，断电或低功率模式）。图像识别过程12还可以响应于检测到测试系统的测试区域中的用户存在，提供在测试系统的测试区域中检测到用户存在的指示。该指示可以包括在该测试系统的图形用户界面上的通知。该指示还可以包括弹出窗口或音频警报。另外，图像识别过程12可以使用运行图像识别应用的处理器基于图像数据检测用户存在（例如，手或手指）不再在测试区域中。响应于检测到用户存在不再在测试系统的测试区域中，图像识别过程12可以将测试系统调出安全模式。
[0097]
软件工具/软件包诸如mathematica
™
、matlab
™
和python
™
可用于实现机器学习模型。各种软件可能是开源的或专有的。
[0098]
虽然已经参考特定实施方案示出和描述了本发明，但是本领域的技术人员应理解，在不脱离如所附权利要求中叙述的本发明的实质和范围的情况下，可以在形式和细节上进行各种改变。例如，可以使用上文所示的各种形式的流程，其中对步骤进行重新排序、添加或删除。因此，其他实现方式在以下权利要求书的范围内。
[0099]
本文提供的本公开的实现方式和所有功能操作可以在数字电子电路系统中实现，或者在包括本说明书中公开的结构和它们的结构等同物的计算机软件、固件或硬件中实现，或者在它们中的一者或多者的组合中实现。本公开的实现方式可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的计算机程序指令的一个或多个模块，该
一个或多个计算机程序产品用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储衬底、存储器设备或它们中的一者或多者的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一者或多者的组合的代码。
[0100]
计算机程序（也称为程序、软件、软件应用程序、脚本或代码）可以用包括编译或解释语言的任何形式的编程语言编写，并且可以以任何形式部署，包括作为独立程序或作为模块、部件、子例程或适合在计算环境中使用的其他单元部署。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据（例如，标记语言文档中存储的一个或多个脚本）的文件部分、专用于所讨论的程序的单个文件或多个协调文件（例如，存储一个或多个模块、子程序或部分代码的文件）中。计算机程序可以被部署成在一个计算机上或在位于一个站点处或分布在多个站点上并且通过通信网络互连的多个计算机上执行。
[0101]
本公开中所述的过程和逻辑流程可以由一个或多个可编程处理器执行，该一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程还可以由例如fpga（现场可编程门阵列）或asic（专用集成电路）之类的专用逻辑电路系统执行，并且装置也可以实现为专用逻辑电路系统。
[0102]
适用于执行计算机程序的处理器例如包括通用微处理器和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如，磁盘、磁光盘或光盘，或者计算机将操作地耦合到该一个或多个大容量存储设备以从其中接收数据或将数据传输到其中或两者。然而，计算机不需要具有此类设备。此外，计算机可以嵌入另一设备中，例如移动电话、个人数字助理（pda）、移动音频播放器、全球定位系统（gps）接收器，以仅举几个。适合于存储计算机程序指令或计算机程序产品和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如，eprom、eeprom和闪存存储器设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；和cd rom和dvd-rom磁盘。这些也可以称为计算机可读存储介质。处理器和存储器可以由专用逻辑电路系统补充或并入专用逻辑电路系统中。
[0103]
为了提供与用户的交互，可以在具有用于向用户显示信息的显示设备（例如crt（阴极射线管）或lcd（液晶显示器）显示器）的计算机上实现本文所述的实现方式，以及用户可以向计算机提供输入的键盘和指针设备（例如鼠标或轨迹球）。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声学输入、语音输入或触觉输入。
[0104]
本公开的实现方式可以在包括后端部件（例如，作为数据服务器）的计算系统中实现，或者在包括中间件部件（例如，应用服务器）的计算系统中实现，或者在包括前端组件（例如，具有图形用户界面的客户端计算机或用户可以通过其与本公开的实现方式进行交互的网络浏览器）中实现，或在包括一个或多个此类后端部件、中间件部件或前端部件的任
何组合的计算系统中实现。系统的部件可以通过数字数据通信的任何形式或介质（例如，通信网络）进行互连。通信网络的示例包括局域网（“lan”）和广域网（“wan”），例如，互联网。
[0105]
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系是由于在相应计算机上运行的计算机程序以及彼此之间具有客户端-服务器关系而产生的。
[0106]
虽然本公开包含许多细节，但不应将这些细节理解为对本公开的范围或可能要求保护的范围的限制，而应理解为对特定于本公开的特定实现方式的特征的描述。本公开中在单独实现方式的上下文中描述的某些特征也可以在单个实现方式中以组合形式提供。相反，在单个实现方式的上下文中描述的各种特征也可以在多个实现方式中单独提供或在任何合适的子组合中提供。此外，尽管上文可将特征描述为以某些组合方式起作用且甚至起初按这样被要求保护，但来自要求保护的组合的一个或多个特征在一些情况下可从该组合中删去，且该要求保护的组合可针对子组合或子组合的变化形式。
[0107]
类似地，尽管在附图中以特定次序来描绘操作，但不应将此理解为要求以所示的特定顺序或以相继顺序来执行这些操作，或要求执行所有示出的操作，以实现所需结果。在某些情形下，多任务化及并行处理可为有利的。此外，不应将上文所述的实现方式中各种系统部件的分离理解为在所有实现方式中需要此分离，并且应当理解，所述的程序部件和系统通常可被共同集成于单个软件产品中或封装成多个软件产品。