一种人机交互方法、装置及医用个人数字终端与流程

1.本发明属于人机交互技术领域，具体涉及一种人机交互方法、装置及医用个人数字终端。


背景技术：

2.传统的医院临床护理场景中，需要手工记录、整理以及传递护理信息，不仅效率较低，且容易出现人为失误，影响护理服务质量。
3.相关技术中，为了提高护理服务质量，通过医用个人数字终端辅助实现记录、整理以及传递护理信息等各种与护理相关的事项。
4.然而，护士在执行护理任务时，通常需要一边执行具体的护理工作，一边操作医用个人数字终端，使得现有技术通过医用个人数字终端辅助实现护理事项的操作过程变得繁琐。


技术实现要素：

5.为了降低通过医用个人数字终端辅助实现护理事项的操作过程的复杂度，本发明提供了一种人机交互方法，应用于医用个人数字终端，所述方法包括：
6.在所述医用个人数字终端的语音交互选项开启后，接收用户在所述医用个人数字终端的任一页面中输入的语音指令；其中，该页面中设有多个功能模块，每个所述功能模块在该页面中均展示有模块信息；
7.根据所述语音指令以及所述多个功能模块的模块信息，确定与所述语音指令匹配的目标功能模块；
8.执行所述目标功能模块对应的功能。
9.可选地，所述医用个人数字终端中设有一浮动于每个所述页面上的开关选项，所述开关选项用于开启或关闭所述语音交互选项。
10.可选地，所述根据所述语音指令以及所述多个功能模块的模块信息，确定与所述语音指令匹配的目标功能模块，包括：
11.将所述语音指令转换为文本信息，并确定所述文本信息中包含的至少一个关键词；
12.分别计算每个所述功能模块的模块信息与所述至少一个关键词的匹配分数；
13.当最高的匹配分数大于预设的第一阈值时，将匹配分数最高的一个模块信息所属的功能模块，作为与所述语音指令匹配的目标功能模块。
14.可选地，所述将所述语音指令转换为文本信息，并确定所述文本信息中包含的至少一个关键词，包括：
15.将所述语音指令输入至预先训练完成的神经网络模型，得到所述语音指令对应的文本信息以及所述文本信息中包括的各个词语成为关键词的概率；
16.将概率大于预设的第二阈值的各个词语，作为所述文本信息中包含的至少一个关
键词；
17.其中，所述神经网络模型为根据多个样本语音指令以及每个所述样本语音指令对应的标注信息所训练获得的；每个所述样本语音指令对应的标注信息包括：该样本语音指令对应的文本信息以及该文本信息包括的各个词语成为该文本信息的关键词的概率。
18.可选地，所述分别计算每个所述功能模块的模块信息与所述至少一个关键词的匹配分数，包括：
19.针对每个所述功能模块，分别计算该功能模块的模块信息与所述至少一个关键词中的每一个的匹配分数；
20.求取所计算的各个匹配分数的和，作为该功能模块的模块信息与所述至少一个关键词的匹配分数。
21.可选地，所述医用个人数字终端的页面至少包括：
22.医嘱执行页面、体征管理页面、病区管理页面、检查检验管理页面、表单管理页面、患者信息管理页面、待办事项页面以及用户个人页面。
23.可选地，所述医用个人数字终端的页面还包括：运行任一所述功能模块所打开的子页面。
24.第二方面，本发明提供了一种人机交互装置，应用于医用个人数字终端，所述装置包括：
25.接收模块，用于在所述医用个人数字终端的语音交互选项开启后，接收用户在所述医用个人数字终端的任一页面中输入的语音指令；其中，该页面中设有多个功能模块，每个所述功能模块在该页面中均展示有模块信息；
26.确定模块，用于根据所述语音指令以及所述多个功能模块的模块信息，确定与所述语音指令匹配的目标功能模块；
27.执行模块，用于执行所述目标功能模块对应的功能。
28.可选地，所述医用个人数字终端中设有一浮动于每个所述页面上的开关选项，所述开关选项用于开启或关闭所述语音交互选项。
29.可选地，所述确定模块，具体用于：
30.将所述语音指令转换为文本信息，并确定所述文本信息中包含的至少一个关键词；
31.分别计算每个所述功能模块的模块信息与所述至少一个关键词的匹配分数；
32.当最高的匹配分数大于预设的第一阈值时，将匹配分数最高的一个模块信息所属的功能模块，作为与所述语音指令匹配的目标功能模块。
33.可选地，所述确定模块将所述语音指令转换为文本信息，并确定所述文本信息中包含的至少一个关键词，包括：
34.将所述语音指令输入至预先训练完成的神经网络模型，得到所述语音指令对应的文本信息以及所述文本信息中包括的各个词语成为关键词的概率；
35.将概率大于预设的第二阈值的各个词语，作为所述文本信息中包含的至少一个关键词；
36.其中，所述神经网络模型为根据多个样本语音指令以及每个所述样本语音指令对应的标注信息所训练获得的；每个所述样本语音指令对应的标注信息包括：该样本语音指
令对应的文本信息以及该文本信息包括的各个词语成为该文本信息的关键词的概率。
37.可选地，所述确定模块分别计算每个所述功能模块的模块信息与所述至少一个关键词的匹配分数，包括：
38.针对每个所述功能模块，分别计算该功能模块的模块信息与所述至少一个关键词中的每一个的匹配分数；
39.求取所计算的各个匹配分数的和，作为该功能模块的模块信息与所述至少一个关键词的匹配分数。
40.可选地，所述医用个人数字终端的页面至少包括：
41.医嘱执行页面、体征管理页面、病区管理页面、检查检验管理页面、表单管理页面、患者信息管理页面、待办事项页面以及用户个人页面。
42.可选地，所述医用个人数字终端的页面还包括：运行任一所述功能模块所打开的子页面。
43.第三方面，本发明提供了一种医用个人数字终端，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
44.所述存储器，用于存放计算机程序；
45.所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一人机交互方法所述的方法步骤。
46.第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一人机交互方法所述的方法步骤。
47.在本发明的又一方面中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一人机交互方法所述的方法步骤。
48.本发明提供的人机交互方法中，用户在开启医用个人数字终端的语音交互选项后，可以在医用个人数字终端的任一页面中，向医用个人数字终端下发语音指令；医用个人数字终端可以根据该语音指令以及该页面中展示的各功能模块的模块信息，确定并执行与该语音指令匹配的目标功能模块所对应的功能。这样，可以解放用户的双手，使用户专心于手中的护理工作，从而降低了通过医用个人数字终端辅助实现护理事项的操作过程的复杂度。
49.并且，本发明中，医用个人数字终端的每个页面上均设有用于开启或关闭语音交互选项的开关选项。这样，当用户遇到需要解放双手的护理事项时，可以随时开启该语音交互选项，当用户不需要语音操作该医用个人数字终端时，也可以随时关闭该语音交互选项，无需进入特定的页面，操作简便。
50.以下将结合附图及对本发明做进一步详细说明。
附图说明
51.图1是本发明实施例提供的一种人机交互方法的流程示意图；
52.图2是示例性示出的医用个人数字终端的一个页面示意图；
53.图3是本发明实施例提供的一种人机交互装置的结构示意图；
54.图4是本发明实施例提供的一种医用个人数字终端的结构示意图。
具体实施方式
55.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
56.为了降低通过医用个人数字终端辅助实现护理事项的操作过程的复杂度，本发明实施例提供了一种人机交互方法、装置及医用个人数字终端。其中，本发明实施例提供的人机交互方法的执行主体，即是本发明实施例提供的人机交互装置，该装置应用于电子设备中。在具体引用中，该电子设备可以是医用个人数字终端，当然，并不局限于此，任何个人数字终端均可采用本发明实施例提供的人机交互方法实现人机交互。
57.首先，对本发明实施例提供人机交互方法进行详细说明。如图1所示，该方法可以包括以下步骤：
58.s10：在医用个人数字终端的语音交互选项开启后，接收用户在医用个人数字终端的任一页面中输入的语音指令。
59.其中，该页面中可以设有多个功能模块，每个功能模块在该页面中均展示有模块信息。可以理解的是，对于任一页面而言，该页面中的每个可供用户选择的功能选项均可以作为该页面的一个功能模块，而不受这些功能选项的类型或等级的限制。还可以理解的是，功能模块的模块信息可以用于定位功能模块。
60.这里，医用个人数字终端的语音交互选项可以是设置在医用个人数字终端中的某一页面中的功能选项。或者，在一种优选实现方式中，医用个人数字终端中可以设有一浮动于每个页面上的开关选项，该开关选项用于开启或关闭该语音交互选项。
61.在实际应用中，该开关选项可以是图2中示出的一个开关按钮；或者，该开关选项也可以是一个滑动块，当用户将该滑动块滑向页面中预先指定的第一方向时，开启语音交互选项，当用户将该滑动块滑向页面中预先指定的第二方向时，关闭语音交互选项。其中，第一方向可以是向上，第二方向可以是向下；或者，第一方向可以是向左，第二方向可以是向右；再或者，第一方向可以是滑向页面中心的方向，第二方向可以是滑向边界的方向，当然，实际应用中并不局限于这里所示出的第一方向和第二方向。
62.可以理解的是，在医用个人数字终端的语音交互选项开启后，医用个人数字终端即开启拾音，在拾音过程中，当检测到大于预设长度的静音，则结束拾音，并将从开启拾音后直至该静音之间的语音作为接收到的语音指令。
63.s20：根据该语音指令以及该页面中设有的多个功能模块的模块信息，确定与该语音指令匹配的目标功能模块。
64.该步骤中，根据该语音指令以及该页面中设有的多个功能模块的模块信息，确定与该语音指令匹配的目标功能模块的具体实现方式存在多种。示例性的，在一种实现方式中，根据该语音指令以及该页面中设有的多个功能模块的模块信息，确定与该语音指令匹配的目标功能模块，可以包括：
65.将该语音指令转换为文本信息，并确定该文本信息中包含的至少一个关键词；
66.分别计算每个功能模块的模块信息与所述至少一个关键词的匹配分数；
67.当最高的匹配分数大于预设的第一阈值时，将匹配分数最高的一个模块信息所属
的功能模块，作为与语音指令匹配的目标功能模块。
68.在另一种实现方式中，每个功能模块的模块信息可以包括该功能模块的模块编号；用户输入的语音指令中可以包含有用户想要选择的目标功能模块的模块编号；相应的，根据该语音指令以及该页面中设有的多个功能模块的模块信息，确定与该语音指令匹配的目标功能模块，可以包括：
69.将该语音指令转换为文本信息，并确定该文本信息中包含的模块编号；
70.将确定的模块编号所属的功能模块作为与语音指令匹配的目标功能模块。
71.其中，模块编号的编号规则存在多种。示例性的，可以对医用个人数字终端的所有页面的功能模块进行统一编号，每个功能模块配备一个唯一的模块编号。或者，也可以分别对每个页面上的功能模块按照从上到下、从左到右的顺序进行编号。例如，排在最上方最左侧的功能模块的模块编号为001，依次类推，排在最下方最右侧的第5个功能模块的模块编号为005。
72.s30：执行该目标功能模块对应的功能。
73.可以理解的是，用户在医用个人数字终端中实际进行操作时，可以按照步骤s10-s30所示的步骤，连续地执行多个不同的目标功能模块所各自对应的功能，直至用户完成护理工作后关闭语音交互选项。
74.本发明实施例提供的人机交互方法中，用户在开启医用个人数字终端的语音交互选项后，可以在医用个人数字终端的任一页面中，向医用个人数字终端下发语音指令；医用个人数字终端可以根据该语音指令以及该页面中展示的各功能模块的模块信息，确定并执行与该语音指令匹配的目标功能模块所对应的功能。这样，可以解放用户的双手，使用户专心于手中的护理工作，从而降低了通过医用个人数字终端辅助实现护理事项的操作过程的复杂度。
75.并且，本发明实施例提供的人机交互方法中，医用个人数字终端的每个页面上均设有用于开启或关闭语音交互选项的开关选项。这样，当用户遇到需要解放双手的护理事项时，可以随时开启该语音交互选项，当用户不需要语音操作该医用个人数字终端时，也可以随时关闭该语音交互选项，无需进入特定的页面，操作简便。
76.其中，在步骤s20中，将语音指令转换为文本信息并确定文本信息中包含的至少一个关键词的实施例中，将语音指令转换为文本信息，并确定文本信息中包含的至少一个关键词的步骤，可以包括：
77.将该语音指令输入至预先训练完成的神经网络模型，得到该语音指令对应的文本信息以及该文本信息中包括的各个词语成为关键词的概率；
78.将概率大于预设的第二阈值的各个词语，作为该文本信息中包含的至少一个关键词；
79.其中，该神经网络模型为根据多个样本语音指令以及每个样本语音指令对应的标注信息所训练获得的；每个样本语音指令对应的标注信息可以包括：该样本语音指令对应的文本信息以及该文本信息包括的各个词语成为该文本信息的关键词的概率。
80.在实际应用中，将每个样本语音指令输入至未训练完成的神经网络模型，对该神经网络模型进行训练。样本语音指令输入至未训练完成的神经网络模型后，神经网络模型会输出该样本语音指令对应的文本信息以及该文本信息中包括的各个词语成为关键词的
概率；然后，根据模型所输出的文本信息以及标注信息中的文本信息之间的差异，计算第一损失值；根据模型所输出的各个词语成为关键词的概率以及标注信息中各个词语作为关键词的概率之间的差异，计算第二损失值；当第一损失值和第二损失值均小于各自对应的损失值阈值时，完成训练，得到训练完成的神经网络模型。否则，调整神经网络模型的参数，继续训练。
81.可以理解的是，在标注样本语音指令的标注信息时，样本语音指令对应的文本信息中，词语作为关键词时，其概率可以标注为1，而当词语不作为关键词时，其概率可以标注为0。举例而言，假设样本语音指令对应的文本信息是“打开摆药”，其中，“摆药”需要作为关键词，则将其概率标注为1，“打开”不作为关键词，则将其概率标注为0。
82.另外，该实施例中，分别计算每个功能模块的模块信息与所述至少一个关键词的匹配分数的步骤，可以包括：
83.针对每个功能模块，分别计算该功能模块的模块信息与所述至少一个关键词中的每一个的匹配分数；
84.求取所计算的各个匹配分数的和，作为该功能模块的模块信息与所述至少一个关键词的匹配分数。
85.其中，在分别计算该功能模块的模块信息与所述至少一个关键词中的每一个的匹配分数时，针对所述至少一个关键词中的每一个关键词，若该功能模块的模块信息包含有该关键词，可以将该功能模块的模块信息与该关键词的匹配分数赋值为1，否则，将该功能模块的模块信息与该关键词的匹配分数赋值为0。
86.举例而言，假设有一页面中设有多个用于展示不同患者的患者信息的功能模块；其中，有一个功能模块用于展示患者“张三”的患者信息，该功能模块的模块信息包含有患者的名字“张三”、患者的年龄“50”、患者的性别“男”以及患者的护理等级“一般”。假设用户输入的语音指令对应的文本信息为“张三”，那么该功能模块的模块信息与该关键词的匹配分数即为1；假设用户输入的语音指令对应的文本信息为“李四”，那么该功能模块的模块信息与该关键词的匹配分数即为0。另外，如果用户输入的语音指令对应的文本信息为“张三、男”，那么该功能模块的模块信息与该关键词的匹配分数即为1 1＝2。
87.可选地，医用个人数字终端的页面可以包括：
88.医嘱执行页面、体征管理页面、病区管理页面、检查检验管理页面、表单管理页面、患者信息管理页面、待办事项页面以及用户个人页面。
89.这些页面中的与各个功能模块相关的医疗数据，可以是该医用个人数字终端从连接的服务器中获取的。该服务器中存有基于医嘱信息所抓取、拆分、和/或生成的各种医疗相关的数据。
90.此外，可以理解的是，医用个人数字终端的页面还可以包括：运行上述任一功能模块所打开的子页面。
91.相应于上述的一种人机交互方法，本发明实施例还提供了一种人机交互装置，该装置应用于医用个人数字终端。如图3所示，该装置包括：
92.接收模块301，用于在所述医用个人数字终端的语音交互选项开启后，接收用户在所述医用个人数字终端的任一页面中输入的语音指令；其中，该页面中设有多个功能模块，每个所述功能模块在该页面中均展示有模块信息；
architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
114.通信接口用于上述电子设备与其他设备之间的通信。
115.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
116.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
117.本发明还提供了一种计算机可读存储介质。在该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时，实现上述任一种人机交互方法所述的方法步骤。
118.可选地，该计算机可读存储介质可以为非易失性存储器(non-volatile memory，nvm)，例如为至少一个磁盘存储器。
119.可选的，所述计算机可读存储器还可以是至少一个位于远离前述处理器的存储装置。
120.在本发明的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一人机交互方法所述的方法步骤。
121.需要说明的是，对于装置/电子设备/存储介质/计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
122.需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
123.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
124.尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图和说明书所公开内容，可理解并实现说明书中公开的实施例的其他变化。
125.本技术是参照本技术实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一
个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
126.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
127.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
128.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。