手写笔记处理方法、计算机设备及可读存储介质与流程

1.本发明涉及计算机技术领域。更具体地，涉及一种手写笔记处理方法、计算机设备及可读存储介质。


背景技术：

2.在用户使用平板电脑(pad)等电子设备进行文献浏览、电子书阅读等场景中，时常有记录笔记的需求。以电子书阅读为例，目前，常见的记录笔记方式为以标注的方式记录在电子书阅读界面中，一方面，存在总结性笔记不便记录的问题，另一方面，笔记内容通常仅支持文字，较为单一。用户体验不佳。


技术实现要素：

3.本发明的目的在于提供一种手写笔记处理方法、计算机设备及可读存储介质，以解决已有技术存在的问题中的至少一个。
4.为达到上述目的，本发明采用下述技术方案：
5.本发明第一方面提供一种手写笔记处理方法，应用于具有触摸屏的终端设备，所述方法包括：
6.响应于用户在信息呈现界面的第一操作，显示笔记输入界面；
7.获取用户在笔记输入界面手写输入的轨迹点的相关参数，所述相关参数包括坐标参数和时间参数；
8.基于所述轨迹点的相关参数，将每一连续轨迹点组成的轨迹输入已训练的深度学习模型进行预设类型图形识别：
9.若识别结果为所述轨迹属于预设类型图形，则以标准图形代替所述轨迹在所述笔记输入界面进行显示并存储至笔记文件中；
10.若识别结果为所述轨迹不属于预设类型图形，则在所述笔记输入界面显示所述轨迹并存储至笔记文件中。
11.可选地，所述将每一连续轨迹点组成的轨迹输入已训练的深度学习模型进行预设类型图形识别包括：将每一连续轨迹点组成的轨迹输入已训练的深度学习模型以识别得到所述轨迹属于各预设类型图形的概率，在所述轨迹属于一预设类型图形的概率大于预设阈值时将所述轨迹识别为该预设类型图形。
12.可选地，所述方法还包括：
13.获取训练轨迹样本集，所述训练轨迹样本集包括每一预设类型图形的训练轨迹样本，其中，至少一种预设类型图形的训练轨迹样本包括多种轨迹点输入顺序的训练轨迹样本；
14.利用所述训练轨迹样本集对深度学习模型进行训练，得到已训练的深度学习模型。
15.可选地，所述以标准图形代替所述轨迹在所述笔记输入界面进行显示并存储至笔
记文件中包括：基于所述轨迹的位置及尺寸显示代替所述轨迹的标准图形并存储至笔记文件中。
16.可选地，所述方法还包括：响应于用户再次在所述信息呈现界面的第一操作或用户在与所述信息呈现界面属于同一序列的其他信息呈现界面的第一操作，调用所述笔记文件并显示在笔记输入界面。
17.可选地，所述方法还包括：将不属于预设类型图形的轨迹输入文字识别模型进行文字识别，以标准文字代替识别为文字的一个或多个相邻轨迹在所述笔记输入界面进行显示并存储至笔记文件中。
18.可选地，所述以标准文字代替识别为文字的一个或多个相邻轨迹在所述笔记输入界面进行显示并存储至笔记文件中包括：基于所述识别为文字的一个或多个相邻轨迹的位置及尺寸显示代替所述识别为文字的一个或多个相邻轨迹的标准文字并存储至笔记文件中。
19.可选地，所述信息呈现界面为电子书阅读界面，所述预设类型图形包含于思维导图采用的图形。
20.本发明第二方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面提供的手写笔记处理方法。
21.本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面提供的手写笔记处理方法。
22.本发明的有益效果如下：
23.本发明所述技术方案采用单独的笔记文件保存笔记内容，提升了用户后续查看笔记、修改笔记、续写笔记、分享笔记等操作的便捷性，且在笔记内容支持图形的基础上，可基于预设的手写规则实现对手写输入图形的美化，预设的手写规则体现为将预设类型图形限定为连续轨迹点组成的轨迹，即，预设类型图形是一笔画出的图形，基于此来通过已训练的深度学习模型准确识别出预设类型图形，避免对用户手写输入的文字或其他图形的误识别，提升了用户体验。
附图说明
24.下面结合附图对本发明的具体实施方式作进一步详细的说明。
25.图1示出本发明的一个实施例可以应用于其中的示例性系统架构图。
26.图2示出本发明实施例提供的手写笔记处理方法的流程图。
27.图3示出双向长短期记忆网络模型的示意图。
28.图4示出实现本发明实施例提供的计算机设备的结构示意图。
具体实施方式
29.为了更清楚地说明本发明，下面结合实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
30.在用户使用平板电脑(pad)、会议一体机等电子设备进行文献浏览、电子书阅读、
会议内容查看等场景中，时常有记录笔记的需求。以使用平板电脑进行电子书阅读时记录阅读笔记为例，目前，常见的记录笔记方式为以标注的方式记录在电子书阅读界面中，笔记显示于电子书阅读界面的侧边栏并存储于电子书文件中，这种方式，一方面，存在总结性笔记不便记录的问题，另一方面，笔记内容通常仅支持文字，较为单一。用户体验不佳。
31.有鉴于此，本发明实施例提供了一种手写笔记处理方法，包括如下步骤：
32.响应于用户在信息呈现界面的第一操作，显示笔记输入界面；
33.获取用户在笔记输入界面手写输入的轨迹点的相关参数，所述相关参数包括坐标参数和时间参数；
34.基于所述轨迹点的相关参数，将每一连续轨迹点组成的轨迹输入已训练的深度学习模型进行预设类型图形识别：
35.若识别结果为所述轨迹属于预设类型图形，则以标准图形代替所述轨迹在所述笔记输入界面进行显示并存储至笔记文件中；
36.若识别结果为所述轨迹不属于预设类型图形，则在所述笔记输入界面显示所述轨迹并存储至笔记文件中。
37.本实施例提供的手写笔记处理方法，可以在用户查看信息时便捷地进入笔记输入界面进行笔记记录，且采用单独的笔记文件保存笔记内容，提升了用户后续查看笔记、修改笔记、续写笔记、分享笔记等操作的便捷性，且在笔记内容支持图形的基础上，可基于预设的手写规则实现对手写输入图形的美化，预设的手写规则体现为将预设类型图形限定为连续轨迹点组成的轨迹，即，预设类型图形是一笔画出的图形，基于此来通过已训练的深度学习模型准确识别出预设类型图形，避免对用户手写输入的文字或其他图形的误识别，提升了用户体验。
38.本实施例提供的手写笔记处理方法可以通过具有触摸屏的终端设备来实现，其中，终端设备例如为具有数据处理能力的计算机设备，具体的，该计算机设备可以为具有数据处理能力的计算机，包括个人计算机(pc，personal computer)、小型机或者大型机，例如常见为平板电脑、会议一体机等电子设备等，本实施例对此不做限定。
39.为了便于理解本实施例的技术方案，下面结合图1对本实施例提供的上述方法在实际中的场景进行说明。参见图1，例如，该场景包括训练服务器101和平板电脑102。在本实施例中，训练服务器101利用训练轨迹样本集对用于识别用户输入的轨迹中属于预设类型图形的轨迹的深度学习模型进行训练，以得到训练后的或者说已训练的深度学习模型。后续，平板电脑102可以在获取到用户在笔记输入界面手写输入的轨迹点后，利用训练服务器101训练得到的深度学习模型对每一连续轨迹点组成的轨迹进行识别，对于属于预设类型图形的轨迹以标准图形代替该轨迹在笔记输入界面进行显示并存储至笔记文件中，对于例如文字或其他图形等不属于预设类型图形的轨迹在笔记输入界面原样显示并存储至笔记文件中。
40.需要注意的是，也可不设置训练服务器101，而是由平板电脑102实现训练服务器101的训练流程。当设置训练服务器101时，训练服务器101与平板电脑102之间可通过网络进行通信，该网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。
41.接下来，从具有数据处理能力的处理设备的角度，对本实施例提供的一种手写笔记处理方法进行说明。
42.本发明的一个实施例提供了一种手写笔记处理方法，如图2所示，包括步骤s210-s240，其中，步骤s210属于训练阶段，可由训练服务器101执行，也可由平板电脑102执行，本实施例中例如由训练服务器101执行；步骤s220及之后的步骤属于处理阶段，由平板电脑102执行。下面进行具体说明。
43.如图2所示，本实施例提供的手写笔记处理方法包括如下步骤：
44.s210、获取训练轨迹样本集，利用所述训练轨迹样本集对深度学习模型进行训练，得到已训练的深度学习模型。
45.在一种可能的实现方式中，所述训练轨迹样本集包括每一预设类型图形的训练轨迹样本，其中，至少一种预设类型图形的训练轨迹样本包括多种轨迹点输入顺序的训练轨迹样本。
46.本实施例中的设定是，预设类型图形为一笔画出的图形，即，对应用户在触摸屏输入的轨迹点，预设类型图形限定为一段连续轨迹点组成的轨迹，这样，可使得后续步骤中使用已训练的深度学习模型可以准确识别出预设类型图形，避免对用户手写输入的文字或其他图形的误识别，避免造成用户在例如输入文字时无法完整输入。
47.在一种可能的实现方式中，预设类型图形包含于思维导图采用的图形，即，预设类型图形为思维导图采用的图形中可以一笔画出的图形，例如，圆形、矩形、单箭头、双箭头、折线箭头、五角星等；深度学习模型中有训练好的相应类别(模板)；因为这些预设类型图形是一笔完成，所以在训练深度学习模型时采用一笔画完成的图形作为训练轨迹样本，且对于每一种预设类型图形的训练轨迹样本，可包括多种轨迹点输入顺序的训练轨迹样本，例如对于矩形，可以通过连续的“横-竖-横-竖”来完成一个训练轨迹样本，还可以通过连续的“竖-横-竖-横”来完成一个训练轨迹样本，这样可以保证训练轨迹样本的丰富性，保证深度学习模型的泛化性，使得训练后的深度学习模型可以适应不同用户的不同书写习惯。在例如，五角星可以以不同的起点来一笔完成训练轨迹样本；单箭头可以通过连续的“横-折”、“横-大于号”或者“大于号-横”来完成训练轨迹样本。双箭头和折线箭头同理，只要能够一笔完成的思维导图图形都可以作为预设类型图形，获取其多种轨迹点输入顺序的训练轨迹样本。
48.在一种可能的实现方式中，所述深度学习模型选用循环神经网络(recurrent neural network，rnn)模型。进一步，所述循环神经网络模型选用双向长短期记忆网络(bi-lstm)模型。
49.其中，循环神经网络是一类以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络，其具有记忆性、参数共享并且图灵完备(turing completeness)，因此在对序列的非线性特征进行学习时具有一定优势。进一步，长短期记忆网络是一种循环神经网络，是为了解决一般的循环神经网络存在的长期依赖问题而专门设计出来的，所有的循环神经网络都具有一种重复神经网络模块的链式形式。长短期记忆网络由于其设计的特点，非常适合用于对时序数据的建模，如由连续轨迹点组成的轨迹中的携带有输入顺序信息的轨迹点数据。
50.在一个具体示例中，如图3所示，长短期记忆网络lstm是由t时刻的轨迹点坐标p
t
，细胞状态c
t
，临时细胞状态隐层状态h
t
，遗忘门f
t
，记忆门i
t
，输出门o
t
组成，lstm的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的
信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态h
t
，其中遗忘、记忆与输出由通过上个时刻的隐层状态h
t-1
和当前输入p
t
计算出来的遗忘门f
t
，记忆门i
t
，输出门o
t
来控制。
51.本示例中，长短期记忆网络lstm网络结构的层数可以根据任务的难易程度以及耗时情况确定，如1层或者更多，其中lstm的参数bidirectional应该设置为true，即，长短期记忆网络lstm采用双向长短期记忆网络(bi-directional long short-termmemory，bi-lstm)，bilstm是由前向lstm与后向lstm组合而成。
52.例如图3所示，本示例中，双向长短期记忆网络模型由多个连续的bi-lstm和一个线性分类器(linear)组合而成。其中，线性分类器(linear)位于bi-lstm之后，用于对bi-lstm处理后的数据进行分类，输出指定维度的分类结果，将由连续轨迹点组成的轨迹输入已训练的双向长短期记忆网络模型，即可得到该轨迹分别属于各预设类型图形的概率，作为识别结果。可理解的是，深度学习模型也可根据准确率等性能的要求使用网络结构更加复杂的rnn，例如栅循环单元(gated recurrent unit，gru)等等。另外，例如，训练阶段的损失函数选用分类损失函数。
53.s220、响应于用户在信息呈现界面的第一操作，显示笔记输入界面。
54.在一种可能的实现方式中，所述信息呈现界面为电子书阅读界面。
55.用户在电子设备上阅读电子文档想记笔记时，可通过例如双击电子书阅读界面左上角的操作调动或者说唤醒笔记文件，响应于该操作，平板电脑打开笔记文件、显示笔记输入界面且系统调用图形识别算法，其中，图形识别算法由已训练的深度学习模型实现。这样，可以在用户查看信息时便捷地进入笔记输入界面进行笔记记录，且采用单独的笔记文件保存笔记内容，提升了用户后续查看笔记、修改笔记、续写笔记、分享笔记等操作的便捷性。
56.上述双击电子书阅读界面左上角的操作调动或者说唤醒笔记文件的实现原理为：用户每次点击平板电脑的触摸屏，都会有坐标点、时间戳信息被系统捕捉到，系统通过捕捉到的触碰信息是否满足预设规则来判断是否调出或新建笔记文件、显示笔记输入界面且启动或者说调用图形识别算法或联机手写体识别算法。系统的判断双击的依据是：连续两次触碰的时间戳小于指定阈值(如2秒)且每次触碰生成坐标的x、y方向的距离不超过指定阈值(如硬件设备分辨率的1％像素值距离，此距离的设定应低于手指宽度相对于屏幕的像素宽度)，以区别用户的双击唤醒笔记文件操作与其他操作。此外，还可以通过以下方式唤醒笔记文件：在触摸屏上画如字母w的预设符号；在触摸屏的右上角、左下角、右下角、屏幕中间等位置以例如长按、点击n次、画某种预设符号来进行唤醒、触发笔记文件。
57.s230、获取用户在笔记输入界面手写输入的轨迹点的相关参数，所述相关参数包括坐标参数和时间参数；
58.s240、基于所述轨迹点的相关参数，将每一连续轨迹点组成的轨迹输入已训练的深度学习模型进行预设类型图形识别：
59.若识别结果为所述轨迹属于预设类型图形，则以标准图形代替所述轨迹在所述笔记输入界面进行显示并存储至笔记文件中；
60.若识别结果为所述轨迹不属于预设类型图形，则在所述笔记输入界面显示所述轨迹并存储至笔记文件中。
61.例如，在信息呈现界面为电子书阅读界面，预设类型图形包含于思维导图采用的图形的情况下，用户可在笔记文件中手写文字记录读后感并通过画几何图形形成思维导图来帮助整理和记录思考过程等，从而形成完整的笔记记录与思考备份。其中，根据预设的手写规则一笔画出的图形可自动被识别为预设类型图形，并通过以标准图形代替该一笔画出的图形在笔记输入界面进行显示并存储至笔记文件中的方式，实现图形美化。
62.区别于已有的笔记显示于电子书阅读界面的侧边栏并存储于电子书文件中的方式，步骤s240将轨迹存储在笔记文件中，以实现统一在一个笔记文件中做笔记，方便用户查阅与复盘，对于提高阅读效果有很好的作用。另外，步骤s240在笔记内容支持图形、实现文字和图形共存的笔记的基础上，可基于预设的手写规则实现对手写输入图形的美化，预设的手写规则体现为将预设类型图形限定为连续轨迹点组成的轨迹，即，预设类型图形是一笔画出的图形，基于此来通过已训练的深度学习模型准确识别出预设类型图形，避免对用户手写输入的文字或其他图形的误识别，避免造成用户在例如输入文字时无法完整输入，提升了用户体验。
63.在一种可能的实现方式中，将每一连续轨迹点组成的轨迹输入已训练的深度学习模型进行预设类型图形识别包括：将每一连续轨迹点组成的轨迹输入已训练的深度学习模型以识别得到所述轨迹属于各预设类型图形的概率，在所述轨迹属于一预设类型图形的概率大于预设阈值时将所述轨迹识别为该预设类型图形。
64.可理解的是，经过训练的深度学习模型，不会对一轨迹识别得到两种以上的预设类型图形的概率均较大，但是可能存在对一不属于预设类型图形的轨迹的识别结果为属于某一预设类型图形的概率虽不接近0但也存在较小概率，本实现方式通过预设阈值的判断，可进一步保证识别的准确性，避免误识别。在一个具体示例中，将由连续轨迹点组成的轨迹输入已训练的双向长短期记忆网络模型，得到该轨迹分别属于各预设类型图形的概率后，判断是否存在大于例如取值为0.7的预设阈值的概率，若存在，则认为该轨迹属于对应的预设类型图形，若不存在，则认为该轨迹不属于任何一种预设类型图形。
65.在一种可能的实现方式中，所述以标准图形代替所述轨迹在所述笔记输入界面进行显示并存储至笔记文件中包括：基于所述轨迹的位置及尺寸显示代替所述轨迹的标准图形并存储至笔记文件中。
66.例如，用户输入的轨迹被识别为属于矩形，则显示及笔迹文件中的标准矩形与轨迹的中心重合，且尺寸相同或相近。这样，使得美化后的图形更符合用户的期望，进一步提升用户体验。
67.在一种可能的实现方式中，所述方法还包括：将不属于预设类型图形的轨迹输入文字识别模型进行文字识别，以标准文字代替识别为文字的一个或多个相邻轨迹在所述笔记输入界面进行显示并存储至笔记文件中，即，若识别结果为所述轨迹不属于预设类型图形，则将所述轨迹输入文字识别模型进行文字识别，以标准文字代替识别为文字的一个或多个相邻轨迹在所述笔记输入界面进行显示并存储至笔记文件中。其中，多个相邻轨迹是由于识别得到的文字可能多笔写出，或者说由多个相邻轨迹组成。
68.需要说明的是，与用于轨迹是否属于识别预设类型图型的深度学习模型类似的是，文字识别模型也可采用循环神经网络模型，进一步，可采用双向长短期记忆网络模型。
69.另外，文字识别模型也可以是其它自然语言处理模型，例如transformer模型、
transformerxl模型、bert模型、gpt模型等，本实施例不作限定。
70.其中，自然语言处理模型的维度是可变化的，包括：可根据预设条件调整自然语言处理模型的维度，如用户设置、硬件资源等。自然语言处理模型可以包括多个特征提取层以保证特征提取的准确性，例如，第一特征提取层可以以transfomerxl模型的形式存在；第二特征提取层可以以transfomer模型或bert(bidirectional encoder representation from transformers，双向transformer的编码器)模型的形式存在；第三特征提取层可以以transfomer模型或gpt(generative pre-training，生成预训练)模型的形式存在。
71.在一种可能的实现方式中，所述以标准文字代替识别为文字的一个或多个相邻轨迹在所述笔记输入界面进行显示并存储至笔记文件中包括：基于所述识别为文字的一个或多个相邻轨迹的位置及尺寸显示代替所述识别为文字的一个或多个相邻轨迹的标准文字并存储至笔记文件中。
72.可理解的是，还可在笔记输入界面中设置撤销、橡皮擦等控件，响应于用户对这些控件的例如点击、拖拽等操作而修改相应的已输入轨迹，实现用户对输入轨迹的修改、删减。
73.在一种可能的实现方式中，在步骤s240之后，本实施例提供的书写笔记处理方法还包括：响应于用户在笔记输入界面的第二操作，返回所述信息呈现界面。
74.例如，用户在手写完笔记想继续进行电子书阅读时，通过例如双击笔记输入界面左上角的操作关闭笔记文件并退回至电子书阅读界面，响应于该操作，平板电脑关闭并保存笔记文件、显示电子书阅读界面且系统关闭图形识别算法，其中，关闭笔记文件的同时释放对于图形识别算法的调用，可节省系统资源。需要说明的是，第二操作与第一操作可以选用相同或类似的操作方式，也可采用不同的操作方式，例如，通过双击电子书阅读界面左上角的操作调动或者说唤醒笔记文件，通过长按电子书阅读界面右下角的操作关闭笔记文件。
75.在一种可能的实现方式中，在所述响应于用户在笔记输入界面的第二操作，返回所述信息呈现界面之后，本实施例提供的书写笔记处理方法还包括：响应于用户再次在所述信息呈现界面的第一操作或用户在与所述信息呈现界面属于同一序列的其他信息呈现界面的第一操作，调用所述笔记文件并显示在笔记输入界面。
76.其中，与所述信息呈现界面属于同一序列的其他信息呈现界面例如为对之前的电子书阅读界面进行翻页操作后的后续电子书阅读界面，这样，可实现在阅读同一电子书时，在同一笔记文件中进行接续的笔记记录，可进一步提升笔记记录的便捷性。
77.以与书写笔配合使用的具有触摸屏的平板电脑为例，本发明的另一个实施例提供了一种电子设备，包括具有触摸屏的平板电脑和与该平板电脑配合使用的手写笔，其中，平板电脑能够实现上述实施例提供的手写笔记处理方法；
78.平板电脑的触摸屏，用于响应于用户在信息呈现界面的第一操作，显示笔记输入界面；
79.平板电脑还包括获取模块和识别模块；
80.获取模块，用于获取用户在笔记输入界面手写输入的轨迹点的相关参数，所述相关参数包括坐标参数和时间参数；
81.识别模块，用于基于所述轨迹点的相关参数，将每一连续轨迹点组成的轨迹输入
已训练的深度学习模型进行预设类型图形识别：
82.若识别结果为所述轨迹属于预设类型图形，则以标准图形代替所述轨迹在所述笔记输入界面进行显示并存储至笔记文件中；
83.若识别结果为所述轨迹不属于预设类型图形，则在所述笔记输入界面显示所述轨迹并存储至笔记文件中。
84.在一个具体示例中，平板电脑的操作系统为安卓(android)系统，其应用层与底层配合实现手写笔记处理，具体为：当获取到用户在笔记输入界面手写输入的轨迹点时，应用层通过数据处理请求，将轨迹点的坐标参数和时间参数传到底层(算法层)进行识别每一连续轨迹点组成的轨迹是否属于预设类型图形的处理，底层在处理后将结果(轨迹显示数据)返回给应用层并将轨迹显示数据存储于例如docx格式的文本文件、例如tiff格式的图片文件等可编辑的笔记文件中。
85.需要说明的是，本实施例提供的电子设备中的平板电脑的原理及工作流程与上述手写笔记处理方法相似，相关之处可以参照上述说明，在此不再赘述。
86.如图4所示，适于用来实现上述实施例提供的平板电脑的计算机系统，包括中央处理模块(cpu)，其可以根据存储在只读存储器(rom)中的程序或者从存储部分加载到随机访问存储器(ram)中的程序而执行各种适当的动作和处理。在ram中，还存储有计算机系统操作所需的各种程序和数据。cpu、rom以及ram通过总线被此相连。输入/输入(i/o)接口也连接至总线。
87.以下部件连接至i/o接口:包括触摸屏、键盘、鼠标等的输入部分；包括诸如触摸屏等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至i/o接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
88.特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
89.附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
90.作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质
存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：响应于用户在信息呈现界面的第一操作，显示笔记输入界面；获取用户在笔记输入界面手写输入的轨迹点的相关参数，所述相关参数包括坐标参数和时间参数；基于所述轨迹点的相关参数，将每一连续轨迹点组成的轨迹输入已训练的深度学习模型进行预设类型图形识别：若识别结果为所述轨迹属于预设类型图形，则以标准图形代替所述轨迹在所述笔记输入界面进行显示并存储至笔记文件中；若识别结果为所述轨迹不属于预设类型图形，则在所述笔记输入界面显示所述轨迹并存储至笔记文件中。。
91.在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
92.还需要说明的是，在本发明的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
93.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。