压力输入分类的制作方法

压力输入分类
1.相关申请交叉引用
2.本技术要求于2020年2月4日提交的英国专利申请号为2001544.2的优先权，其全部内容通过引用并入本文。
技术领域
3.本发明涉及一种对感测阵列中的压力输入进行分类的方法以及用于执行这种方法的装置。


背景技术：

4.力感触摸屏是已知的，并且在诸如移动电话、平板电脑或类似的个人和专业的电子设备中使用得越来越频繁。通常，这些类型的电子设备和触摸屏包括包含多个感测元件的感测阵列。
5.在某些情况下，例如用户使用输入设备(例如触笔)在感测阵列上执行手势时，用户向感测阵列的不同部位提供额外的压力输入与触笔施加的压力产生的压力输入不同，这种情况并不少见。特别是，用户可以由触笔产生压力输入的同时，通过手掌产生额外的压力输入。手掌输入是不被期望的，因为它可能导致感测阵列的激活，而这些激活与用户希望提供的指令不对应。具体而言，额外的压力输入可能会在压力计算中产生错误，并扭曲来自触笔的期望输入，从而给用户留下不希望的或不需要的输出。


技术实现要素：

6.根据本发明的第一方面，提供了一种对感测阵列中的压力输入进行分类的方法，所述感测阵列包括多个响应于压力输入的感测元件，所述方法包括以下步骤：识别所述感测阵列中的多个压力输入；将所述多个压力输入转换为输出图像；通过人工神经网络将所述输出图像与包括多个图像的数据集进行比较，所述多个图像包括不期望的压力输入，每个所述图像包括相关联的遮挡；以及响应于比较的步骤，应用与所述输出图像一致的所述相关联的遮挡来移除不期望的压力输入。
7.根据本发明的第二方面，提供了一种用于对压力输入进行分类的装置，包括：感测阵列，包括响应压力输入的多个感测元件和处理器，所述处理器被配置为：识别所述感测阵列中的多个压力输入；将所述多个压力输入转换为输出图像；通过人工神经网络将所述输出图像与包括多个图像的数据集进行比较，所述多个图像包括不期望的压力输入，每个所述图像包括相关联的遮挡；以及响应于比较输出图像，应用与所述输出图像一致的所述相关联的遮挡来移除不期望的压力输入。
8.在从属权利要求中确定了本发明的可选特征。
9.本发明的实施例将参考附图仅作为示例进行描述。详细的实施例示出了发明人已知的最佳模式，并为所要求保护的发明提供支持。然而，它们仅是示例性的，不应用于解释或限制权利要求的范围。它们的目的是为本领域技术人员提供指导。由诸如“第一”和“第
二”之类的序数短语区分的组件和过程不一定定义任何类型的顺序或等级。
附图说明
10.图1示出了根据本发明配置的对压力输入进行分类的电子设备；
11.图2示出了对施加的力或压力作出响应的电子设备的感测阵列；
12.图3示出了图2的感测阵列的分解示意图；
13.图4示出了图2的感测阵列，该阵列接收到包括期望输入和非期望输入的压力输入；
14.图5示出了与感测阵列相对应的像素阵列；
15.图6示出了响应于感测阵列中的多个压力输入而生成的输出图像；
16.图7示出了说明输出图像与数据集的比较以及选择适当的应用遮挡的示意图；
17.图8示出了对压力输入进行分类的方法，以应用遮挡来避免非期望输入的影响；和
18.图9示出了一个过程，其中要求保护的发明的方法并入跟踪和可视化感测阵列中的输入的方法中。
具体实施方式
19.图1
20.根据本发明的用于对压力输入进行分类的装置可以被电子设备使用，电子设备例如为以平板电脑的形式示出的电子设备101。电子设备101包括响应于施加的力或施加的压力的触摸屏102。因此，用户103通过使用输入设备(触笔104的形式)在触摸屏102上提供压力输入，从而能够在触摸屏102上提供适当的输出。
21.在使用中，用户103可提供来自触笔104的各种形式的压力输入。这通常是手势或滑动的形式，并且可以包括诸如用户103通过触笔104的连续手势构造的手写字形式的模式的输入。在进一步的实施例中，可以以滑动、手势和/或形状或其它由输入设备创建的合适的形式来提供压力输入。可以理解，根据本发明，也可以使用触笔的替代输入设备，例如用户的手指或非笔形的触笔。
22.当由输入设备104创建压力输入时，因为用户在用触笔104书写或做手势时将他们的手的一部分放在电子设备101上，用户103可能会从他们的手105特别是手掌提供非期望(undesirable)的压力输入。因此，电子设备101的触摸屏102可能接收的压力输入，不仅包括了来自输入设备104的期望的压力输入，还包括了来自用户103的非期望输入。
23.图2
24.在参考图1描述的实施例中，电子设备101包括感测阵列201，其提供对施加的力或施加的压力的响应。
25.感测阵列201包括多个感测元件(例如202、203和204)。在该实施例中，每个感测元件包括响应于施加压力的压敏材料。压敏材料可以是申请人peratech holdco limited以商标提供的类型，其包括在施加力或压力后电阻降低的材料。以这种方式，感测阵列可以被配置为响应于施加的压力提供二维位置数据和范围属性。
26.在该图示示例中，感测阵列201包括十五列205和五行206。在另一实施例中，感测阵列201包括五十列和二十四行。还应当理解的是，替代布置落入本发明的范围内，并且可
以使用任何其它合适数量的行和列。此外，虽然所示示例描述了方形阵列，但应理解，可以使用其它替代的阵列形式，例如六边形阵列或类似阵列。此外，在所有实施例中，感测阵列包括多个感测元件，这些感测元件被布置为响应于力或压力的施加。
27.列连接器207从处理器接收驱动电压，行连接器208向处理器提供扫描电压。在不施加力或压力的情况下，感测阵列201内的所有感测元件保持不导电。然而，当在靠近至少一个感测元件的感测阵列上施加足够的压力时，该感测元件变为导电的，从而在输入驱动线和输出扫描线之间提供响应。以这种方式，当用户103在触摸屏102上移动输入设备104并因此作用于感测阵列201时，多个感测元件可以跟随使用输入设备104做出的手势变成导电或激活(如将在图4的说明中所述)。
28.图3
29.图3中示出了感测阵列201的构造的示意性分解示例实施例。感测阵列201包括第一导电层301和第二导电层302。压敏层303位于导电层301和导电层302之间。
30.在该实施例中，第一导电层301、第二导电层302和压敏层303作为油墨依次印刷到基板304上，以形成感测阵列201。第一导电层301和第二导电层302可以包括碳基材料和/或银基材料，压敏层包括压敏材料(例如如前所述的申请人peratech holdco limited以商标提供的类型)。因此，压敏材料可以包括量子隧穿复合材料，其被配置为基于施加的力的变化表现出电阻的变化。量子隧穿复合材料也可以以印刷油墨或薄膜的方式提供。
31.如图2的平面图所示，每一层可以被印刷，以形成感测阵列201的图案。在该实施例中，第一导电层301包括多个导电迹线，这些导电迹线在第一方向上形成跨阵列的多行。相反的，第二导电层302包括另外的多个导电迹线，这些导电迹线在第二方向上形成跨阵列的多列。在该实施例中，第一方向和第二方向彼此成90
°
。
32.印刷的压敏层303可提供多个感测元件，这些感测元件形成在第一和第二导电层的行和列的交叉处。因此，感测元件和压敏层与导电层结合可提供施加的力(例如箭头305方向的力)的范围属性或强度(通过解释电输出的常规方式)。因此，当用户103在触摸屏102上提供压力输入时，感测阵列201提供施加的力大小的指示以及指示施加的力的位置的位置属性。
33.图1至3描述了适用于本发明的示例电子设备和感测阵列布置，然而，众所周知，根据本文的本发明，也可以使用能够提供位置和范围属性输出的替代电子设备、触摸屏和感测阵列。
34.图4
35.图4中所示的感测阵列201以图1所示的应用方式接收到来自用户103的压力输入。响应于用户103提供的压力输入，如图4中所示，多个感测元件被激活。
36.在所示实施例中，响应于触笔104施加到触摸屏102上的压力(为期望输入)，感测元件401和402被激活。此外，感测阵列201中的另外多个感测元件403也已被激活，这些感测元件403是由于用户103通过手掌施加的压力而被激活的。因此，这是不期望的压力输入404。由此，当用户提供期望(desirable)的输入401、402与不期望的压力输入(例如404)的组合时，不期望的输入可能会对关于期望的输入的计算产生不利影响。例如，当通过感测阵列201以图3中描述的方式计算施加的力时，不期望的压力输入会扭曲期望的输入，并输出与输入设备104施加的压力不一致的压力读数。因此，用户可能会发现输出不准确，或者发
现他们无意中激活了本不打算激活的另一个程序或应用程序。在该实施例中，多个压力输入是逐帧识别的。
37.因此，一旦感测阵列201识别出感测阵列中期望和不期望的压力输入，压力输入就会转换为输出图像，这将在图5至图7中进一步描述。
38.图5
39.图5示出了对应于感测阵列201的对应像素阵列501。像素阵列501包括与感测阵列201的感测元件相当的多个像素。因此，感测元件401对应于像素502，感测元件402对应于像素503。
40.在该实施例中，像素阵列501的像素被布置为布置在行504中的第一多个像素，以及布置在列505中的第二多个像素。在对应于先前描述的感测阵列201的这个示例中，像素阵列501包括十五列和五行。在另一示例实施例中，像素阵列501包括五十列和二十四行，与感测阵列的类似实施例一致。还应当理解的是，替代布置落入本发明的范围内，并且可以使用任何其他合适数量的行和列。然而，该布置与感测阵列201的布置大体相似。
41.像素阵列501中的每个像素被配置为提供输出图像。在该实施例中，图像可以以灰度格式输出，其中输出为黑色或白色。
42.因此，在该实施例中，像素502和503提供了对应于期望输入的输出，而多个像素506提供了对应于非期望输入的输出。这将通过图6的输出图像来识别。
43.图6
44.图6示出了由感测阵列201输入的压力导出的输出图像601。输出图像601包括图像形式的期望输入602和图像形式的非期望输入603。因此，通过将每个压力输入映射到像素阵列501的像素，由感测阵列201识别的多个压力输入转换成了输出图像601。
45.输出图像601以灰度格式提供，其中压力输入被定义为黑色或白色。在该实施例中，通过预定阈值，压力输入被定义为高或低。高压输入可以根据先前记录的与手掌或手部施加一致的压力输入来定义，低压输入可以根据先前记录的与期望的触笔输入一致的压力输入来定义，触笔输入施加的力通常低于手掌输入。在该实施例中，高压输入在输出图像中定义为白色，低压输入在输出图像中定义为黑色。
46.因此，从示例输出图像601可以看出，产生压力输入404的激活感测元件对应于不期望的输入603，不期望的输入603被识别为高压输入(高于预定的手掌阈值)，因此被着色为白色。类似地，激活的感测元件401和402被识别为低压输入，因为它们处于触笔压力输入的预定范围内，因此被输出为黑色的期望输入602。
47.由此，确保了可以有效识别期望和不期望的输入，并且将针对图7描述对不期望的输入应用适当的遮挡(mask)。
48.图7
49.输出图像601通过处理器进行处理，以便可以确定适当的遮挡，以避免先前描述的非期望压力输入的问题。
50.为了实现这一点，将输出图像601与数据集701进行比较。数据集701包括多个图像，这些图像包括不期望的压力输入。图像数据集先前已创建并提供给人工神经网络(ann)。在一个实施例中，人工神经网络是卷积神经网络(cnn)。
51.在该实施例中，基于数据集训练人工神经网络，以将白色区域识别为不期望的输
入，并且将黑色区域识别为期望的输入。通过这种方式，训练人工神经网络来识别不期望的压力输入。
52.与传统的人工神经网络一致，这是通过提供大量的图像来实现的，在这些图像中，识别期望和不期望的压力输入，从而使人工神经网络可以区分图像。数据集701在图7中以简图形式示出，仅显示六幅这样的图像，但实际上，所提供的图像数量要大得多，可能包括数百或数千幅先前识别的手掌输入的图像。虽然由实际输入创建相应的输出图像可能很耗时，但可以通过提供已经从实际输入图像增量调整的额外图像来扩充数据集701。例如，数据集701示出了输出图像702和输出图像703，输出图像703是输出图像702的翻转图像。这为ann提供了来自单个实际输入的数据集的两个图像。因此，通过这种方式，可以调整图像以增加数据集。这个示例说明了由于翻转图像而发生的图像调整，但是应当理解，这也可以通过旋转实际图像、缩放图像或以其他方式改变图像以增加数据集来实现。
53.因此，人工神经网络将输出图像601与数据集701进行比较，并将图像704识别为与输出图像601相似。数据集701中的每个图像都具有与其对应的关联遮挡。以这种方式，一旦人工神经网络识别出相应的图像，就可以识别相关联的遮挡，并将其应用于输出图像601。
54.与数据集701中的每个图像相关联的遮挡是通过识别数据集中的不期望的压力图像并给它们提供类似的黑白灰度格式来创建的。必要时，可以通过调整人工神经网络的内核(kernel)大小来根据需要扩大遮挡，从而增加检测到的非期望区域的边界。这可以避免在移除过程中不期望的压力输入落在遮挡的边界之外。
55.为数据集的每个图像创建一个合适的遮挡。遮挡是单个通道(single channel)的另一图像，在该实施例中，该图像包括一比特(one bit)的位深(黑色或白色)。每个遮挡都是手动创建的，由操作员识别不期望的输入，并突出显示为1或0(分别对应于黑色或白色)。
56.遮挡705表示与图像704相关联的遮挡。在将输出图像601与数据集701进行比较并确定与图像704的相似性之后，可以应用遮挡705，以移除与输出图像601中不期望的压力输入603相对应的非期望压力输入。这样，可以从感测阵列的输出中移除在遮挡下方(underneath)接收到的任何压力输入，从而可以突出来自期望输入的读数，并更准确地解释而不会出现错误读数。
57.图8
58.图8示出了如本文所述的对感测阵列中的压力输入进行分类的方法。在步骤801中，识别了多个压力输入(包括期望和不期望的压力输入)。
59.在步骤802中，多个压力输入被转换为适当的输出图像，例如上述的输出图像601。一旦创建了输出图像，就将输出图像与数据集(例如数据集701)进行比较。数据集包括多个包含不期望的压力输入的图像，并且在步骤803中，人工神经网络将该数据集与先前识别的输出图像进行比较。
60.由于每个数据集图像都包括一个相关联的遮挡，因此可以应用该遮挡来消除产生的不期望的压力输入。通过调整人工神经网络中的内核大小，可以确保从输出中有效地去除所有不期望的输入，从而在向用户提供输出时不期望的输入不会干扰期望的输入。
61.本文描述的分类过程通过示例的方式进行描述，并且可以理解，根据本发明，可以利用替代的感测阵列、触摸屏和电子设备来提供类似的压力输入和输出。此外，本文将不期望的输入描述为由用户的手掌产生，然而，还应理解，在其他应用中，可以通过其他方式创
建不期望的输入，例如通过不需要以所需方式激活触摸屏的其他输入。因此可以理解，替代的功能相似的实施例落入本技术和发明的范围内。
62.图9
63.先前描述的对压力输入进行分类的方法可以作为可用于多输入力传感的过程的一部分而结合。图9显示了一个过程，在该过程中，可以将所要求的发明的方法并入跟踪和可视化感测阵列输入的方法中。
64.在步骤901中，初始化诸如感测阵列201的感测阵列。加载确保在电子设备或触摸屏上平滑预测输出所需的任何算法，以便触摸屏随时响应用户的任何接触。可将感测阵列的属性提供给处理器，以确保任何输出与感测阵列本身兼容。
65.根据本文描述的本发明，还可以加载手掌拒绝模型，以确保可以有效地拒绝用户手掌意外做出的读数，并且不会将其误认为是真正的输入。
66.在步骤902中，在步骤902中，从感测阵列收集数据以确定需要从输入中过滤的任何背景水平。数据收集过程中从传感器提取原始数据，包括杂散激活(stray activations)、传感器噪声和任何所需信号。在确定真正的触摸输入的位置之前，必须过滤掉任何杂散激活和/或传感器噪声(包括手掌读数)，以避免容易产生明显噪声的读数。
67.在该步骤期间，在一个实施例中，将低通卷积滤波器应用于收集的数据以消除任何噪声背景激活。对于第一次采集，或者在当前没有来自用户手指或触笔的输入时，可以存储背景读数，更新之前存储到系统中的任何在先背景读数数据。然后，根据步骤903，可以从当前数据中移除任何背景读数，以及高于不期望的数据输入(例如前面描述的手掌数据输入)的阈值的任何数据。
68.在步骤904中，定义任何非零输入的坐标。这提供了一个隔离的信号，不受先前在步骤903中移除的背景数据和非期望输入的影响。这里识别的任何数据都被认为是构成用户想要的输入路径的一部分的期望输入。在步骤905中，识别输入的类型。这可以是新的压力输入、当前压力输入(例如压力输入路径的延续)、预测输入(基于先前输入数据)或无输入。
69.一旦识别了压力输入，在步骤906中就可以应用平滑。可对当前数据点进行加权，以提供对系统中的噪声具有鲁棒性的输出。考虑到为了提供干净的期望输出读数，先前确定的非期望输入已从输出中移除，因此应用的任何平滑都不会失真。
70.在步骤907中，向系统记录压力输入路径，并且在步骤908中，为用户提供输出可视化。在输出之前，为了给用户提供更合适的视觉效果，可以应用贝齐尔平滑(b
é
zier smoothing)来增加表观分辨率，从而改善输出给用户的外观表现。例如，在输出代表用户笔迹(例如由触笔104创建)的示例中，呈现的笔迹图像具有更自然的外观。贝齐尔平滑可以包括一种连续方法，在压力输入路径仍在完成时审查和更新历史数据，因此贝齐尔平滑可以是特别有利的。这使得能够进行微调，在以手写体形式输出压力输入的情况下特别有吸引力。
71.一旦提供了输出，就可以通过返回到步骤902来重复该过程，以为用户提供连续的输出。