电子装置及其处理手写输入的方法与流程

1.本公开涉及电子装置和在该电子装置中处理手写输入的方法。


背景技术：

2.诸如移动终端、智能电话和可穿戴终端的电子装置可以提供各种功能，例如音乐播放、导航、包括蓝牙、无线保真(wi-fi)和近场通信(nfc)在内的短距离无线通信、指纹识别、拍照或视频拍摄、以及电子支付。
3.电子装置还可以包括书写输入功能，该功能使用输入装置，例如手写笔、电子笔或用户的手指，并且可以提供将书写输入转换成文本的书写识别功能。


技术实现要素：

4.技术问题
5.通过书写输入，用户可以配置各种属性，例如颜色、粗细和书写刷类型。书写输入可以具有各种特征，例如字母大小、线条类型、对齐方式、书写风格、压力、斜率和笔画特征，包括笔画末端的斜率。然而，电子装置通常将书写输入转换成具有指定属性的文本，而不考虑书写识别时书写输入的属性和特征。因此，书写识别功能具有问题和/或不便，因为用户必须在完成文本转换后改变文本的属性。
6.在书写输入已经完成之后或者当确定书写输入已经完成时，例如当在预定时间内未检测到书写输入时，可以根据用户的命令自动执行书写识别功能。因此，书写识别功能更不方便，因为电子装置的用户在书写识别完成之前无法知道书写识别结果。
7.因此，在本领域中需要一种能够更方便地使用户在书写输入功能期间处理属性修改并确定书写识别结果的电子装置。
8.本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的方面是提供一种考虑手写输入的属性和/或特征以执行手写识别的电子装置。
9.本公开的另一方面是提供一种对手写输入实时执行手写识别并呈现手写识别结果的预览的电子装置。
10.问题的解决方案
11.根据本公开的方面，电子装置可以包括触摸屏、可操作地与触摸屏连接的处理器、以及可操作地与处理器连接的存储器，其中该存储器存储有指令，该指令在被执行时，使得处理器控制电子装置：对在触摸屏上显示的用户的第一手写输入执行手写识别，以将第一手写输入转换成文本；识别第一手写输入的属性或特征中的至少一个；将所识别的属性或特征中的至少一个应用于转换后的文本；以及响应于对第一手写输入的转换的请求，将第一手写输入替换为已经应用了所识别的属性或特征中的至少一个的文本(以下称为第一富文本(rich text))。
12.根据本公开的另一方面，一种在电子装置中处理手写输入的方法包括：通过对用户的第一手写输入执行手写识别，将第一手写输入转换成文本；识别第一手写输入的属性
或特征中的至少一个；将所识别的属性或特征中的至少一个应用于转换后的文本；以及响应于对第一手写输入的转换的请求，将第一手写输入替换为已经应用了所识别的属性或特征中的至少一个的文本(以下称为第一富文本)。
13.本发明的有益效果
14.本公开的实施例可以考虑手写识别时手写输入的属性和/或特征，以执行文本转换。本公开的实施例可以实时执行手写识别，并通过预览窗口呈现手写识别结果，因此用户可以实时识别手写识别结果。响应于手写识别中存在的问题(例如，错误识别或识别不可能性)，用户可以立即修改手写输入，从而提高用户的便利性。
附图说明
15.结合附图，根据以下详细描述，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
16.图1是根据实施例的网络环境中的电子装置的框图；
17.图2示出了根据实施例的在电子装置中处理手写输入的方法；
18.图3示出了根据实施例的在电子装置中处理手写输入的方法；
19.图4a和图4b示出了根据实施例的在电子装置中处理手写输入的方法；
20.图5示出了根据实施例的在电子装置中将手写输入转换成文本的方法；
21.图6a和图6b示出了根据实施例的在电子装置中将手写输入转换成文本的方法；
22.图7示出了根据实施例的在电子装置中处理手写输入的方法；
23.图8a、图8b、图8c、图8d和图8e示出了根据实施例的在电子装置中处理手写输入的方法；
24.图9a示出了根据实施例的在电子装置中将手写输入转换成文本的方法；
25.图9b示出了根据实施例的在电子装置中将手写输入转换成文本的方法；
26.图10示出了根据实施例的在电子装置中通过使用手写输入来添加文本的方法；
27.图11a和图11b示出了根据实施例的在电子装置中通过使用手写输入来添加文本的方法；
28.图12示出了根据实施例的在电子装置中通过使用手写输入来修改文本的方法；
29.图13示出了根据实施例的在电子装置中通过使用手写输入来修改文本的方法。
具体实施方式
30.在下文中，将参考附图详细描述实施例。尽管在附图中示出了具体的实施例，并且参照这些实施例进行了详细描述，但是这并不将实施例限制为具体的形式。例如，对于本公开所属领域的技术人员来说，显然可以修改实施例。为了清楚和简明起见，将省略已知功能和/或配置的详细描述。
31.图1是示出根据实施例的网络环境100中的电子装置101的框图。
32.参照图1，电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频
模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(sim)卡196或天线模块197。可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其他部件添加到电子装置101中。可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
33.处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其他部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。处理器120可包括主处理器121(例如，中央处理器(cpu)或应用处理器(ap))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
34.在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。可将辅助处理器123(例如，isp或cp)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
35.存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的数据。所述数据可包括例如软件(例如，程序140)以及针对与所述数据相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
36.可将程序140作为软件存储在存储器130中，并且程序140可包括操作系统(os)142、中间件144或应用146。
37.输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其他部件(例如，处理器120)使用的命令或数据。输入装置150可包括麦克风、鼠标、键盘或数字笔(例如，手写笔)。
38.声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可以包括扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。可将接收器实现为与扬声器分离，或实现为扬声器的部分。
39.显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
40.音频模块170可将声音转换成电信号，反之亦可。音频模块170可经由输入装置150
获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
41.传感器模块176可检测电子装置101的工作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。传感器模块176可包括手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
42.接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。接口177可包括高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
43.连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。连接端178可包括hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
44.触觉模块179可将电信号转换成可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。触觉模块179可包括电机、压电元件或电刺激器。
45.相机模块180可捕获静止图像或运动图像。相机模块180可包括一个或更多个透镜、图像传感器、isp或闪光灯。
46.电力管理模块188可管理对电子装置101的供电。可将电力管理模块188实现为电力管理集成电路(pmic)的至少部分。
47.电池189可对电子装置101的至少一个部件供电。电池189可包括不可再充电的原电池、可再充电的蓄电池、或燃料电池。
48.通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(ap))独立操作的一个或更多个cp，并支持直接(例如，有线)通信或无线通信。通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块194(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、wi-fi直连或红外数据协会(irda))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，lan或广域网(wan)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在sim卡196中的用户信息(例如，国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
49.天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在诸如印刷电路板(pcb)的基底中或形成在基底上的导电材料或导电图案构成。天线模块197可以包括多个天线。在这种情况下，可由通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第
一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。除了辐射元件之外的另外的组件(例如，射频集成电路(rfic))可附加地形成为天线模块197的一部分。
50.上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互连接并在其之间通信地传送信号(例如，命令或数据)。
51.可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，例如，可以使用云、分布式或客户机-服务器计算技术。
52.根据实施例，电子装置(例如，电子装置101)可以包括触摸屏(例如，显示装置160)、可操作地与触摸屏连接的处理器(例如，处理器120)、以及可操作地与处理器连接的存储器(例如，存储器130)，其中存储器可以存储有指令，该指令在被执行时，使处理器控制电子装置：对在触摸屏上显示的用户的第一手写输入执行手写识别，以将第一手写输入转换成文本；识别第一手写输入的属性或特征中的至少一个；将所识别的属性或特征中的至少一个应用于转换后的文本；以及响应于对第一手写输入的转换的请求，将第一手写输入替换为已经应用了所识别的属性或特征中的至少一个的文本(以下称为第一富文本)。
53.存储器还可以存储有指令，该指令使处理器控制电子装置：在将第一手写输入替换为第一富文本之前，向与第一手写输入相邻的位置呈现包括第一富文本的预览窗口。
54.存储器还可以存储有指令，该指令使处理器控制电子装置：响应于检测到复制第一富文本的请求，复制预览窗口中包括的第一富文本，或者响应于检测到获得第一富文本的请求，将第一手写输入和第一富文本一起显示。
55.存储器还可以存储有指令，该指令使处理器控制电子装置：检测第一手写输入，以及响应于在检测到第一手写输入之后的指定时间内未检测到附加手写输入或者响应于接收到用户的手写识别命令，对第一手写输入执行手写识别。
56.存储器还可以存储有指令，该指令使处理器控制电子装置：响应于对第一手写输入的一部分的编辑，针对已经用该一部分的标准指定的范围重新执行手写识别。
57.预览窗口可以包括第一手写输入的指定范围的富文本，其中指定范围可以包括一行、用已经提供了手写输入的位置的标准指定的多行、或者一屏，并且可以由用户改变。
58.存储器还可以存储有指令，该指令使处理器控制电子装置：响应于在将第一手写
输入替换为第一富文本之后添加了第二手写输入，识别第二手写输入与第一富文本之间的关系，基于所识别的关系确定已经转换了第二手写输入的第二富文本的位置，并且在所确定的位置显示第二富文本。
59.存储器还可以存储有指令，该指令使处理器控制电子装置：响应于在将第一手写输入替换为第一富文本之后添加了与第一富文本的至少一部分重叠的第三手写输入，将第一富文本的至少一部分替换为已经转换了第三手写输入的第三富文本。
60.存储器还可以存储有指令，该指令使处理器控制电子装置：将第一手写输入分类为文本和非文本，对分类的文本执行行分离，识别将执行手写识别的至少一个目标行，以及对识别的至少一个目标行的全部或一部分执行手写识别。
61.存储器还可以存储有指令，该指令使处理器控制电子装置：响应于无法执行行分离或无法执行手写识别，输出错误消息。
62.图2示出了根据实施例的在电子装置中处理手写输入的方法。
63.参考图2，在操作201中，电子装置(例如，电子装置101)的处理器(例如，处理器120)可以开启(或启用)手写输入的预览功能。预览功能可以识别使用输入装置(例如，输入装置150)(例如，数字笔、手写笔、手指等)的用户手写输入，并通过预览窗口呈现其识别结果(例如，文本)。
64.响应于其中可以进行手写输入的应用的执行(以下，手写应用)(例如，备忘录应用、笔记应用等)，处理器可以自动开启预览功能。预览功能可以由用户通过电子装置的配置菜单、手写应用中包括的菜单或指定的手势输入来打开或关闭。
65.在操作203中，处理器可以感测手写输入。例如，处理器可以通过包括在显示器(例如，显示装置160)中的触摸电路(例如，电容触摸电路、电磁感应触摸电路等)来感测手写输入。
66.在操作205中，处理器可以执行手写识别。例如，处理器可以通过手写识别将手写输入转换成文本。稍后将参考图5、图6a和图6b对文本转换方法进行详细描述。
67.在操作207中，处理器可以识别手写输入的属性和/或特征。例如，处理器可以识别手写输入的属性，例如颜色、厚度和书写刷类型，和/或手写输入的特征，包括字母大小、线条、对齐、斜率和笔画特征(例如，笔画末端的斜率)。
68.在操作209中，处理器可以将所识别的属性和/或特征应用于文本。例如，处理器可以对应于手写输入的行分离来分离文本的行，对应于手写输入的行对齐来对齐文本的行，确定文本的颜色以对应于手写输入的颜色，基于手写输入的大小来确定文本的大小，对应于手写输入的厚度(或手写输入处的压力)来确定文本的厚度(例如，确定应用或不应用粗体)，对应于手写输入的斜率(或电子笔的斜率)来确定文本的斜率(例如，确定应用或不应用斜率形状)，以及根据手写输入处选择的笔类型(或手写输入的笔画特征)来确定对文本应用或不应用有衬线字体。
69.在操作211中，处理器可以在预览窗口上实时显示已经应用了属性和/或特征的文本(以下，富文本)。例如，处理器可以立即对应于手写输入或者当确定手写输入已经完成时显示包括富文本的预览窗口。
70.图3示出了根据实施例的在电子装置中处理手写输入的方法。
71.在图3的屏幕截图310、320和330中，处理器可以对应于手写输入(例如，笔画输入)
的感测来实时执行手写识别，在与手写输入相邻的位置(例如，上方)显示预览窗口301，以及在预览窗口301上实时显示所识别的富文本。如图3的屏幕截图340所示，响应于手写输入的一部分被移除，处理器可以重新执行手写识别，或者移除对应于被移除的手写输入的文本。
72.预览窗口301可以是可移动的。例如，处理器可以触摸预览窗口301，然后对应于移动用户的拖动输入来移动预览窗口301。
73.处理器可以显示表示正在执行手写识别的区域的视觉元素(例如，虚线框)302。视觉元素302可以包括用于调整视觉元素302的大小的项目302a和302b。通过使用项目302a和302b，用户可以改变将执行手写识别的区域的大小。例如，用户可以选择(触摸或拖动)第一项目302a并向上扩展视觉元素302的大小，并且可以选择(触摸或拖动)第二项目302b并向下扩展视觉元素302的大小。预览窗口301的大小可以响应于视觉元素302的大小的改变而改变。视觉元素302可以向左和向右改变大小。
74.响应于手写识别区域大小的改变，处理器可以对改变的整个区域重新执行手写识别。处理器可以对添加的识别区域执行手写识别，并将添加的识别区域的手写识别结果添加到现有手写识别结果中。因此，处理器可以提高电子装置的手写识别(例如，文档布局分析、行分离和/或文本识别)的性能(例如，速度)。
75.图4a和图4b示出了根据实施例的在电子装置中处理手写输入的方法。
76.响应于确定手写输入已经完成，处理器可以显示预览窗口。如图4a的屏幕截图410和图4b的屏幕截图450所示，处理器可以感测通过电子笔401的手写输入。如在图4a的屏幕截图420和图4b的屏幕截图460中所示，响应于在手写输入的感测之后的预定时间(例如，300毫秒(ms))期间未感测到额外的手写输入，处理器可以确定其中已经执行了手写识别的手写区域下方的区域，并且显示表示手写区域的视觉元素(例如，框)402，并且在手写区域上方显示预览窗口403。通过触摸(例如，轻击)手写区域，预览窗口403可以显示通知可以进行文本转换的引导短语403a。
77.响应于在手写区域中感测到触摸，如图4a的屏幕截图430和图4b的屏幕截图470所示，处理器可以在预览窗口403上显示手写输入的识别结果(例如，富文本)403b。通过触摸(例如，轻击)预览窗口403，处理器可以在预览窗口403上一起显示通知能够将手写输入转换成文本的引导短语403c。
78.返回参考图2，在图4a和图4b中，处理器可以在请求显示预览窗口403之前(例如，在触摸手写区域之前)执行操作205至209。处理器可以在请求显示预览窗口403之前执行操作205至209中的一些作为背景，并且在已经请求了显示预览窗口403之后执行剩余的一些操作。处理器可以在选择手写区域之后执行操作205至209。
79.响应于用户关闭了预览功能，可以省略操作211。
80.在操作213中，处理器可以识别是否感测到转换请求。在示例中，处理器可以识别是否在预览窗口中感测到指定的触摸输入(例如，触摸/长触摸/双触摸等)，可以识别是否感测到电子笔的指定按钮的输入，并且可以识别是否选择(例如，触摸)了显示在预览窗口一侧的转换菜单。
81.响应于未感测到转换请求作为操作213的识别结果，处理器可以进行到稍后描述的操作217。然而，响应于感测到转换请求作为操作213的识别结果，在操作215，处理器可以
将手写输入转换(或替换)为富文本。例如，如图3的屏幕截图350所示，处理器可以移除手写输入，并且显示已经应用了手写输入的属性和/或特征的富文本305。类似地，如图4a的屏幕截图440和图4b的屏幕截图480所示，处理器可以移除手写输入，并且显示已经应用了手写输入的属性和/或特征的富文本405。
82.在操作217中，处理器可以识别诸如手写应用的手写输入是否结束。响应于手写输入未结束作为操作217的识别结果，处理器可以返回到操作203并重复前述操作。然而，响应于手写输入结束作为操作217的识别结果，处理器可以结束手写输入处理过程。
83.图5示出了根据实施例的在电子装置中将手写输入转换成文本的方法。图6a和6b示出了根据实施例的在电子装置中将手写输入转换成文本的方法。
84.参考图5、图6a和图6b，在操作501，处理器(例如，处理器120)可以通过在每次编辑(例如，输入或移除)感测时使用文档布局分析(dla)来分类文本和非文本。可以在每次笔画输入时实时执行分类。如图6a所示，基于为了文本和非文本分类而预先存储的数据库，处理器可以将绘图输入601a和601b分类为非文本，并将手写输入603a、603b和603c分类为文本。可以通过从非文本数据样本和文本数据样本获得特征来提供数据库，或者可以通过使用人工智能(例如，深度学习)来训练非文本数据样本和文本数据样本来提供数据库。
85.处理器可以基于设置的规则，例如对输入笔画的高度和笔画的长度的限制，对文本和非文本进行分类。
86.在操作503中，处理器可以对分类到文本中的手写输入执行行分离。例如，处理器可以基于设置的规则(例如，手写的笔画顺序及其输入位置)来执行行分离。例如，处理器可以将分类到图6a的文本中的手写输入603a、603b和603c分离为相互不同的行。
87.操作501和503可以对整个页面的每一个笔画输入进行操作。然而，响应于包括几页(假设一屏为一页)，手写识别可能被延迟。如在图6b的屏幕截图610中，处理器可以针对当前屏幕(即，页面)611执行操作501和503。或者，如图6b的屏幕截图620中，处理器可以利用已经感测到编辑的行的标准，针对预定范围621(例如，已经感测到编辑的行、前一行和后一行)执行操作501和503。处理器可以识别感测到的编辑可能影响的行范围(例如，利用y轴(即，垂直方向)的标准来识别由添加的笔画侵入的行)，并且针对所识别的行范围执行操作501和503。
88.在操作505中，处理器可以识别已经提供了编辑的目标行。例如，响应于添加了笔画(输入新的笔画、在笔画擦除后撤销、或在撤销后重做)，处理器可以将已经添加了该笔画的行识别为目标行。响应于笔画被擦除(例如，在笔画输入后被撤消、在撤消后被重做、或被擦除)，处理器可以将笔画已被擦除的行识别为目标行。
89.在操作507中，处理器可以对目标行的全部或一部分执行手写识别。目标行可以被设置为一行，并且如参考图3所述，可以对应于用户对表示目标行的视觉元素的输入而被扩展成多行。响应于无法进行手写识别，处理器可以控制显示器输出错误消息。稍后将参考图9b对此进行详细描述。
90.图7示出了根据本公开的实施例的在电子装置中处理手写输入的方法。图8a、图8b、图8c、图8d和图8e示出了根据本公开的实施例的在电子装置中处理手写输入的方法。
91.参考图7、图8a、图8b、图8c、图8d和图8e，在操作701中，电子装置(例如，电子装置101)的处理器(例如，处理器120)可以显示包括手写输入的屏幕。例如，如图8a的屏幕截图
805、图8b的屏幕截图825、图8c的屏幕截图850和图8d的屏幕截图865所示，处理器可以在显示器(例如，显示装置160)上显示先前由用户撰写并存储的手写(例如，备忘录)。手写可以具有各种属性和/或特征。
92.在操作703，处理器可以感测手写识别请求。如图8a的屏幕截图805和图8b的屏幕截图825所示，可以通过对手写输入(即手写)的一部分的触摸输入(例如，轻击、双击、长触摸等)801和828来感测到手写识别请求。如图8c的屏幕截图850所示，可以通过对文本转换菜单851的触摸输入来感测手写识别请求。如图8d的屏幕截图865所示，可以通过对文本获取菜单866的触摸输入来感测手写识别请求。如图8e所示，文本转换菜单851和/或文本获取菜单866可以以浮动方案881显示在手写输入周围。
93.在操作705中，处理器可以执行手写识别。例如，处理器可以通过手写识别将手写输入转换成文本。稍后将参考图9a详细描述文本转换方法。
94.在操作707中，处理器可以识别手写输入的属性和/或特征。在操作709中，处理器可以将所识别的属性和/或特征应用于文本。操作707和709类似于前述操作207和209，因此省略了其详细描述。
95.在操作711中，处理器可以在预览窗口上显示已经应用了属性和/或特征的富文本。如图8a的屏幕截图810所示，处理器可以在邻近已经感测到用户的触摸输入的行的位置(例如，上方)显示包括手写识别结果(例如，富文本)的第一预览窗口811，并且显示表示手写识别区域的第一视觉元素812。第一预览窗口811可以在其对应于用户的输入(例如，触摸和拖动)的位置中移动。如图8a的屏幕截图810所示，手写识别区域可以被设置为一行，其标准是已经感测到触摸的点。如图8a的屏幕截图810和815所示，手写识别区域的大小可以对应于对第一视觉元素812的用户输入813进行调整。第一预览窗口811的大小也可以对应于手写识别区域的大小的改变而改变。响应于手写识别区域的大小的改变，处理器可以对改变的整个区域重新执行手写识别，或者仅对增加的识别区域执行手写识别。
96.如图8b的屏幕截图830所示，处理器可以在邻近已经感测到用户触摸输入的行的位置(例如，上方)显示包括手写识别结果(例如，富文本)的第二预览窗口831和表示手写识别区域的第二视觉元素832。第二预览窗口831可以在其对应于用户的输入(例如，触摸和拖动)的位置中移动。如图8b的屏幕截图830和835所示，手写识别区域的大小可以对应于第二视觉元素832的用户输入833而改变，并且第二预览窗口831的大小也可以对应于手写识别区域的大小的改变而改变。响应于手写识别区域大小的改变，处理器可以对整个改变的区域重新执行手写识别，或者仅对增加的识别区域执行手写识别。
97.如图8c的屏幕截图855所示，处理器可以在手写输入上方显示包括手写识别结果(例如，富文本)的第三预览窗口856，并且显示表示手写输入周围的手写识别区域的第三视觉元素857。手写识别区域可以被设置为整个手写输入。手写识别区域的大小可以对应于用户对视觉元素857的输入进行调整。响应于手写识别区域的大小的改变，处理器可以对整个改变的区域重新执行手写识别，或者仅对增加的识别区域执行手写识别。第三预览窗口856可以在其对应于用户的输入(例如，触摸和拖动)的位置中移动。
98.如图8d的屏幕截图870所示，处理器可以以浮动方案显示包括手写识别结果(例如，富文本)的第四预览窗口871。第四预览窗口871可以包括整个手写输入的识别结果。第四预览窗口871的位置可以对应于用户的输入(例如，触摸和拖动)而移动。
99.返回参考图7，响应于用户关闭预览功能，可以省略操作711。
100.在操作713中，处理器可以识别是否感测到转换、复制、或粘贴请求。响应于作为操作713的识别结果做出的转换请求，在操作715中，处理器可以将手写输入转换成文本。例如，如图8a的屏幕截图815和820所示，响应于在第一预览窗口811中感测到指定的第一触摸输入(例如，轻击或双击等)816，处理器可以将手写输入转换成已经应用了手写输入的属性和/或特征的富文本。转换后的富文本可以通过使用单独的文本框显示在每一行中，或者可以在一个文本框中行被区分开来的地方显示。
101.例如，如图8b的屏幕截图835和840所示，响应于在第二预览窗口831中感测到指定的第一触摸输入836，处理器可以将手写输入转换成已经应用了手写输入的属性和/或特征的富文本。转换后的富文本可以通过使用单独的文本框显示在每一行中，或者可以在一个文本框中行被区分开来的地方显示。如图8b的屏幕截图840和845所示，响应于感测到触摸输入843到另一手写输入841未被转换，处理器可以执行操作705到711，并显示第五预览窗口846和第五视觉元素847。
102.如图8c的屏幕截图855和860所示，响应于感测到对包括在第三预览窗口856中的转换菜单856a的触摸输入，处理器可以将手写输入转换成已经应用了手写输入的属性和/或特征的富文本。转换后的富文本可以通过使用单独的文本框显示在每一行中，或者可以在一个文本框中行被区分开来的地方显示。
103.响应于作为操作713的识别结果而做出的复制请求，在操作717中，处理器可以复制文本。在示例中，响应于在图8a的第一预览窗口811中感测到指定的第二触摸输入(例如，长触摸)，处理器可以复制包括在第一预览窗口811中的富文本。响应于在图8b的第二预览窗口831中感测到指定的第二触摸输入(例如，长触摸)，处理器可以复制包括在第二预览窗口831中的富文本。响应于感测到对包括在图8c的第三预览窗口856中的复制菜单856b的触摸输入，处理器可以复制包括在第三预览窗口856中的富文本。响应于感测到对包括在图8d的第四预览窗口871中的复制菜单871b的触摸输入，处理器可以复制包括在第四预览窗口871中的富文本。复制的富文本可以粘贴在当前正在执行的手写应用中或者可以粘贴在可以进行文本输入的另一应用(例如，信函应用、网页、或短消息服务(sms)应用)中。
104.响应于作为操作713的识别结果做出的粘贴请求，在操作719中，处理器可以将富文本粘贴到指定区域。例如，如图8d的屏幕截图870和875所示，响应于感测到对包括在第四预览窗口871中的粘贴菜单871a的触摸输入，处理器可以将已经应用了手写输入的属性和/或特征的富文本粘贴到输入字段876，并且显示能够编辑包括在输入字段876中的富文本的虚拟键盘877。粘贴的富文本可以通过使用单独的文本框显示在每一行中，或者可以在一个文本框的其中行被区分开来的地方显示。第四预览窗口871可以包括撤销手写识别的撤销菜单871c和能够选择识别语言的语言选择菜单871d。
105.在操作721中，处理器可以识别是否感测到结束命令。响应于没有感测到结束命令作为操作721的识别结果，处理器可以返回到操作703并重复前述操作。响应于结束的结束命令作为操作721的识别结果，处理器可以结束手写输入处理过程。
106.响应于感测到获取富文本的请求，处理器可以控制显示器一起显示手写输入和富文本，而不移除手写输入。例如，响应于感测到获取请求，处理器可以控制显示器在手写输入下方显示富文本。
107.图9a示出了根据实施例的在电子装置中将手写输入转换成文本的方法。图9b示出了根据实施例的在电子装置中将手写输入转换成文本的方法。
108.参考图9a和图9b，在操作901中，处理器可以对指定区域(例如，手写识别区域)执行文档布局分析(dla)，以对文本和非文本进行分类。指定区域可以包括一行或设定数量的包括已经感测到用户的触摸输入的点的行。
109.在操作903，处理器可以对分类到文本中的手写输入执行行分离。例如，处理器可以基于设置的规则(例如，手写的笔画顺序及其输入位置)来执行行分离。
110.在操作905中，处理器可以对指定区域执行手写识别。处理器可以执行手写识别作为整个手写输入或包括在当前屏幕中的手写输入的背景。通过先前对非指定区域执行手写识别，手写识别结果可以响应于用户扩展了指定区域而被快速呈现。
111.如图9b所示，处理器可以响应于无法进行手写识别，控制显示器输出错误消息911。例如，处理器可以在手写识别时基于已知技术(例如，线性回归、计算对应行的长宽比最小的角度的方法等)来获得行的斜率信息，并且响应于斜率信息大于指定角度，控制显示器输出错误消息911。或者，响应于操作903中的行分离失败，处理器可以控制显示器输出错误消息911。
112.图10示出了根据本公开的实施例的在电子装置中通过使用手写输入来添加文本的方法。图11a和图11b示出了根据本公开的实施例的在电子装置中通过使用手写输入来添加文本的方法。
113.参考图10、图11a和图11b，在操作1001中，处理器(例如，处理器120)可以识别在操作215之后是否添加了手写输入。例如，如图11a的屏幕截图1110、1120和1130所示，当第一手写输入“loved”1111已经完成到第一文本1121的转换时，用户可以通过使用电子笔1101来执行额外的手写输入(以下，第二手写输入)“we met”1131。
114.响应于未添加手写输入作为操作1001的识别结果，处理器可以进行到操作217，在此处该方法结束。然而，响应于添加了手写输入作为操作1001的识别结果，在操作1003中，处理器可以对添加的手写输入执行手写识别。例如，响应于添加了第二手写输入1131，处理器可以在预览窗口1132上显示第二手写输入1131的识别结果。
115.在操作1005，处理器可以识别与先前转换的文本的关系。例如，处理器可以识别第一文本1121和第二手写输入1131是否是连续文本。处理器可以基于第二手写输入1131的大小、颜色、或位置来识别关系。例如，如图11a的屏幕截图1130所示，响应于第二手写输入1131的大小和颜色类似于第一文本1121的大小和颜色并且第二手写输入1131在第一文本1121的最后一个字母附近被启动，处理器可以确定这些输入彼此相关(例如，连续的句子)。然而，如图11b的屏幕截图1150所示，响应于第三手写输入1151的大小和颜色不同于第一文本1121的大小和颜色并且与第一文本1121的间隔大于预定距离，处理器可以确定这些输入彼此不相关(例如，单独的句子)。处理器可以通过上下文识别来识别关系，并且可以基于添加的手写输入是否在x轴和/或y轴与第一文本1121重叠来确定进行行分离或不进行行分离。
116.在操作1007中，处理器可以基于识别结果来确定已经转换了添加的手写输入的附加富文本的显示位置。在操作1009中，处理器可以在确定的位置显示附加富文本。例如，如图11a的屏幕截图1140所示，处理器可以显示已经转换了第二手写输入1131的第二文本
1141，作为第一文本1121的延续。第一文本1121和第二文本1141可以包括在一个文本框中。如图11b的屏幕截图1160所示，处理器可以在不同于第一文本1121的行中显示已经转换了第三手写输入1151的第三文本1161。第一文本1121和第三文本1161可以被包括在一个文本框中，并且行可以被分离。第一文本1121和第三文本1161可以包括在单独的文本框中。
117.图12示出了根据实施例的在电子装置中通过使用手写输入来修改文本的方法。图13示出了根据实施例的通过使用电子装置中的手写输入来修改文本的方法。
118.参考图12和图13，在操作1201中，处理器(例如，处理器120)可以识别在操作215之后是否感测到与文本的一部分重叠的手写输入(即，第四手写输入)。
119.响应于未感测到与文本重叠的手写输入作为操作1201的识别结果，处理器可以进行到操作217，在此处该方法结束。然而，响应于感测到与文本重叠的手写输入作为操作1201的识别结果，在操作1203，处理器可以对重叠的手写输入执行手写识别。例如，如图13的屏幕截图1310所示，响应于用户输入了手写输入“west”以与文本的打算修订的部分“east”重叠，处理器可以执行图2的操作205至211，并在预览窗口1311上显示富文本“west”。
120.在操作1205中，处理器可以将富文本的一部分改变成识别的富文本。例如，如图13的屏幕截图1320所示，处理器可以将文本的与手写输入重叠的部分“east”改变为新的富文本“west”。文本的改变可以在转换请求时(例如，预览窗口上的触摸输入、预定时间的流逝、菜单输入、或电子笔的指定按钮输入等)执行。
121.根据实施例，一种在电子装置(例如，电子装置101)中处理手写输入的方法包括：通过对第一手写输入执行手写识别来将用户的第一手写输入转换成文本，识别第一手写输入的属性或特征中的至少一个，将识别的属性或特征中的至少一个应用于转换后的文本，以及响应于对第一手写输入的转换的请求，将第一手写输入替换为已经应用了所识别的属性或特征中的至少一个的文本(以下称为第一富文本)。
122.该方法还包括：在将第一手写输入替换为第一富文本之前，将包括第一富文本的预览窗口呈现到与第一手写输入相邻的位置。
123.该方法还包括以下之一：响应于检测到复制第一富文本的请求，复制包括在预览窗口中的第一富文本；或者响应于检测到获取第一富文本的请求，显示具有第一富文本的第一手写输入。
124.执行手写识别可以包括以下之一：响应于检测到第一手写输入，执行第一手写输入的手写识别；响应于在检测到第一手写输入之后的指定时间内未检测到附加手写输入，执行第一手写输入的手写识别；或者响应于接收到用户的手写识别命令，执行第一手写输入的手写识别。
125.该方法还包括：响应于检测到对第一手写输入的一部分的编辑，针对已经用编辑的一部分的标准指定的范围重新执行手写识别。
126.呈现预览窗口可以包括：通过预览窗口呈现第一手写输入的指定范围的富文本，其中指定范围可以包括一行、用已经提供了手写输入的位置的标准指定的多行、或者一屏，并且可以由用户改变。
127.该方法还包括：在将第一手写输入替换为第一富文本之后检测第二手写输入的添加，识别第二手写输入与第一富文本之间的关系，基于所识别的关系确定已经转换了第二
手写输入的第二富文本的位置，以及在所确定的位置显示第二富文本。
128.该方法还包括：在将第一手写输入替换为第一富文本之后，检测与第一富文本的至少一部分重叠的第三手写输入的添加，以及将第一富文本的至少一部分替换为已经转换了第三手写输入的第三富文本。
129.执行手写识别可以包括：将第一手写输入分类为文本和非文本，对分类的文本执行行分离，识别将执行手写识别的至少一个目标行，以及对识别的至少一个目标行的全部或一部分执行手写识别。
130.该方法还包括：响应于无法执行行分离或无法执行手写识别，输出错误消息。
131.本公开的实施例可以考虑手写识别时手写输入的属性和/或特征，以执行文本转换。本公开的实施例可以实时执行手写识别，并通过预览窗口呈现手写识别结果，因此用户可以实时识别手写识别结果。响应于手写识别中存在的问题(例如，错误识别或识别不可能性)，用户可以立即修改手写输入，从而提高用户的便利性。
132.根据实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。电子装置不限于以上所述的那些电子装置。
133.应该理解的是，本公开的实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相同的参考标号可用来指代相同或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不限制组件的重要性或顺序。
134.将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果第一元件被称为“与第二元件结合”、“结合到第二元件”、“与第二元件连接”或“连接第二元件”，则意味着所述第一元件可与所述第二元件直接(例如，有线地)连接、与所述第二元件无线连接、或经由第三元件与所述第二元件连接。
135.如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。可以以专用集成电路(asic)的形式来实现模块。
136.可将在此阐述的实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其他部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可
读存储介质。其中，术语“非暂时性”表示所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
137.可在计算机程序产品中包括和提供根据本公开的实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(cd-rom))的形式来发布计算机程序产品，或者可经由应用商店(例如，playstore
tm
)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
138.上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相同的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
139.尽管已经参照本公开的某些实施例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的主题的范围的情况下，可以在形式和细节上进行各种改变。