一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

生成会议纪要的方法及其设备与流程

2022-10-26 01:17:58 来源:中国专利 TAG:
1.本技术涉及会议领域,尤其涉及一种生成会议纪要的方法及其设备。
背景技术
::2.现如今,人们已经越来越习惯在开会期间使用智能交互平板。举例来说,在开会期间,人们可在智能交互平板的电子白板界面上写下此次会议中的内容(例如,关键词或者示意图),然后围绕着这些内容展开讨论。3.在相关技术中,人们可对会议中使用的智能交互平板上显示的界面(例如,如上提到的电子白板界面)进行截屏操作,然后将获取的截屏图像作为会议纪要。由于该截屏图像中的各部分内容可能零散地分布在截屏图像的各个区域,因此,人们仅通过该会议纪要难以获知此次会议中的基本情况,例如,此次会议关于各部分内容的讨论顺序。技术实现要素:4.有鉴于此,提出了一种生成会议纪要的方法及其设备。5.第一方面,本技术的实施例提供了一种生成会议纪要的方法,包括:获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间;获取与所述会议相关的至少一个图像内容和每个图像内容对应的图像内容时间;基于所述至少一段文本内容和所述文本内容时间,以及所述至少一张图像内容和所述图像内容时间,生成所述会议的纪要。6.在本技术的实施例中,所述方法可利用会议过程中获取到文本内容与显示在屏幕上的图像内容确定会议纪要内容,然后按照时间信息对这些会议纪要内容进行排版,从而自动生成会议纪要,不仅可以省去后续的人工整理,而且所生成的会议纪要包括多个维度的数据,因而生成的会议纪要更全面、丰富。7.根据第一方面的一种可能的实现方式,基于所述至少一段文本内容和所述文本内容时间,以及所述至少一张图像内容和所述图像内容时间,生成所述会议的纪要,包括:基于所述文本内容时间和所述图像内容时间,将所述至少一段文本内容与所述至少一个图像内容按照时间顺序进行排版,生成所述会议纪要。8.在本技术实施例中,所述文本内容以及所述图像内容可根据文本内容时间和图像内容时间按照顺序进行排版,这样生成的会议纪要能够包含时间信息,所生成的会议纪要更符合用户的阅读习惯。9.根据第一方面的一种可能的实现方式,在获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间之前,所述方法还包括:获取与所述会议相关的音频数据。10.在本技术实施例中,所述方法还可利用音频数据来生成会议纪要,使得生成的会议纪要内容更丰富。11.根据第一方面的一种可能的实现方式,所述音频数据包括顺序采集的至少一段音频数据;12.所述获取与所述会议相关的至少一段文本内容和每段文本内容对应的文本内容时间,包括:将所述至少一段音频数据中的每段音频数据分别转换为每段文本内容,其中,所述每段文本内容对应的文本内容时间包括与所述每段文本内容对应的音频数据的采集起始时间与采集结束时间。13.在本技术的实施例中,所述方法可按照发言顺序对采集的音频数据进行分段,并将分段后的语音数据转换为文本内容,使得生成的会议纪要能够体现所述文本内容的前后关系,并且生成的会议纪要内的文本内容更全面。14.根据第一方面的一种可能的实现方式,所述获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间,包括:将所述音频数据转换为文本数据;提取出所述文本数据中的至少一个关键词以及每个关键词对应的每段文本内容,其中,每段文本内容对应的文本内容时间包括与所述每段文本内容对应的音频数据的采集起始时间与采集结束时间。15.在本技术的实施例中,所述方法可按照语义信息对采集的音频数据进行分段,并按照语义信息生成文本内容,增加了对语音数据的分析处理,从而使得生成的会议纪要更加精简。16.根据第一方面的一种可能的实现方式,所述至少一个图像内容包括在所述会议期间执行截屏操作获取的截屏图像,并且每个图像内容对应的图像内容时间包括执行所述截屏操作的时间。17.在本技术的实施例中,所述方法可利用截屏图像作为会议纪要中的图像内容,使得该会议纪要更加丰富且充分。18.根据第一方面的一种可能的实现方式,所述至少一个图像内容包括通过手动输入操作显示在显示屏上的至少一个手动输入内容,其中,所述手动输入操作为与会者在所述会议期间执行的输入操作,并且每个图像内容对应的图像内容时间为所述每个图像内容中包括的手动输入内容的输入起始时间与采集结束时间。19.在本技术的实施例中,所述方法可将与会者手动输入的手动输入内容作为图像内容,使得该会议纪要更加丰富且充分。20.根据第一方面的一种可能的实现方式,所述至少一个图像内容包括通过图像数据确定的与会者在所述会议期间注视的至少一个用户关注内容,其中,所述图像数据包括拍摄的所述与会者在所述会议期间的行为数据或者包括所述与会者的角膜反射点的图像数据,并且每个图像内容对应的图像内容时间通过所述拍摄时间确定的时间段。21.在本技术的实施例中,所述方法可通过所获取的与会者的图像数据确定与会者的注视区域以及时间信息,从而确定所述会议纪要中的图像内容,使得生成的会议纪要所包含的内容更丰富。22.第二方面,本技术的实施例提供了一种生成会议纪要的设备,包括:文本内容获取单元,用于获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间;图像内容获取单元,用于获取与所述会议相关的至少一个图像内容和每个图像内容对应的图像内容时间;生成单元,用于基于所述至少一段文本内容和所述文本内容时间,以及所述至少一张图像内容和所述图像内容时间,生成所述会议的纪要。23.根据第二方面的一种可能的实现方式,生成单元具体用于基于所述文本内容时间和所述图像内容时间,将所述至少一段文本内容与所述至少一个图像内容按照时间顺序进行排版,生成所述会议纪要。24.根据第二方面的一种可能的实现方式,所述设备还包括:音频数据获取单元,用于获取与所述会议相关的音频数据。25.根据第二方面的一种可能的实现方式,所述音频数据包括顺序采集的至少一段音频数据文本内容获取单元具体用于将所述至少一段音频数据中的每段音频数据分别转换为每段文本内容,其中,所述每段文本内容对应的文本内容时间包括与所述每段文本内容对应的音频数据的采集起始时间与采集结束时间。26.根据第二方面的一种可能的实现方式,文本内容获取单元包括:转换模块,用于将所述音频数据转换为文本数据;提取模块,用于提取出所述文本数据中的至少一个关键词以及每个关键词对应的每段文本内容,其中,每段文本内容对应的文本内容时间包括与所述每段文本内容对应的音频数据的采集起始时间与采集结束时间。27.根据第二方面的一种可能的实现方式,所述至少一个图像内容包括在所述会议期间执行截屏操作获取的截屏图像,并且每个图像内容对应的图像内容时间包括执行所述截屏操作的时间。28.根据第二方面的一种可能的实现方式,所述至少一个图像内容包括通过手动输入操作显示在显示屏上的至少一个手动输入内容,其中,所述手动输入操作为与会者在所述会议期间执行的输入操作,并且每个图像内容对应的图像内容时间为所述每个图像内容中包括的手动输入内容的输入起始时间与采集结束时间。29.根据第二方面的一种可能的实现方式,所述至少一个图像内容包括通过图像数据确定的与会者在所述会议期间注视的至少一个用户关注内容,其中,所述图像数据包括拍摄的所述与会者在所述会议期间的行为数据或者包括所述与会者的角膜反射点的图像数据,并且每个图像内容对应的图像内容时间通过所述拍摄时间确定的时间段。30.第三方面,本技术的实施例提供了一种生成会议纪要的方法,所述方法包括:31.获取至少一段文本内容和所述至少一段文本内容中每段文本内容的时间信息;所述至少一段文本内容基于会议的音频数据得到;获取至少一张图像和所述至少一张图像中每张图像的时间信息;所述至少一张图像基于所述会议的屏幕内容得到;基于所述至少一段文本内容和所述至少一段文本内容中每段文本内容的时间信息,以及所述至少一张图像和所述至少一张图像中每张图像的时间信息,生成所述会议的纪要。32.根据第三方面的一种可能的实现方式,所述获取至少一段文本内容和所述至少一段文本内容中每段文本内容的时间信息,包括:获取所述会议的至少一段音频数据和所述至少一段音频数据中每段音频数据的时间信息;分别转换所述至少一段音频数据中的每段音频数据得到与所述至少一段音频数据的数量相对应的至少一段文本内容;基于所述至少一段音频数据中每段音频数据的时间信息得到所述至少一段文本内容中每段文本内容的时间信息。33.根据第三方面的一种可能的实现方式,获取至少一段文本内容和所述至少一段文本内容中每段文本内容的时间信息,包括:获取所述会议的至少一段音频数据和所述至少一段音频数据中每段音频数据的时间信息;转换所述至少一段音频数据得到第一文本内容;基于所述第一文本内容确定至少一个关键词;基于第一关键词和所述第一文本内容,确定与所述第一关键词相关联的第二文本内容,所述第二文本内容的时间信息基于与所述第二文本内容对应的音频数据的时间信息得到;所述第一关键词为所述至少一个关键词中的任一个。34.根据第三方面的一种可能的实现方式,所述至少一张图像基于按预定的时间间隔截取所述会议的屏幕内容得到;其中,第一图像的时间信息为与所述第一图像对应的所述屏幕内容的截取时间,所述第一图像为所述至少一张图像中的任意一张。35.根据第三方面的一种可能的实现方式,所述会议的屏幕内容为电子白板的屏幕内容;所述获取至少一张图像和所述至少一张图像中每张图像的时间信息,包括:确定所述会议的与会者在所述电子白板的屏幕中的至少一个关注区域的信息;第一关注区域的信息包括所述第一关注区域的位置和关注时间,所述位置为所述第一关注区域在所述电子白板的屏幕中的位置,所述关注时间为所述与会者对所述第一关注区域的关注时间;所述第一关注区域为所述至少一个关注区域中的任一个;基于所述第一关注区域的位置截取所述电子白板的屏幕内容得到第一图像,所述第一图像的时间信息为所述第一关注区域的关注时间;所述第一图像为所述至少一张图像中的任一张。36.根据第三方面的一种可能的实现方式,所述确定所述会议的与会者在所述电子白板的屏幕中的至少一个关注区域的信息,包括:获取所述会议期间的图像数据和所述图像数据的拍摄时间;所述图像数据包括所述会议的与会者的头部信息或眼动信息;基于所述图像数据确定所述第一关注区域的位置;基于所述图像数据的拍摄时间确定所述第一关注区域的关注时间。37.根据第三方面的一种可能的实现方式,所述确定所述会议的与会者在所述电子白板的屏幕中的至少一个关注区域的信息,包括:获取所述会议期间所述电子白板上的第一触摸输入的数据;基于所述第一触摸输入的数据确定所述第一触摸输入的执行时间和在所述电子白板上的位置信息;基于所述第一触摸输入在所述电子白板上的位置信息确定所述第一关注区域的位置;基于所述第一触摸输入的执行时间确定所述第一关注区域的关注时间。38.根据第三方面的一种可能的实现方式,所述基于所述至少一段文本内容和所述至少一段文本内容中每段文本内容的时间信息,以及所述至少一张图像和所述至少一张图像中每张图像的时间信息,生成所述会议的纪要,包括:基于所述至少一段文本内容中每段文本内容的时间信息和所述至少一张图像中每张图像的时间信息,确定所述至少一段文本内容和所述至少一张图像之间的先后顺序;基于所述先后顺序按照预定的格式生成所述会议的纪要。39.第四方面,本技术的实施例提供了一种生成会议纪要的设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令时实现权利要求1-8任意一项所述的方法。40.第五方面,本技术的实施例提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现以上第一方面或第三方面的多种可能的实现方式中的方法。41.第六方面,本技术的实施例提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备中运行时,所述电子设备中的处理器执行以上第一方面或第三方面的多种可能的实现方式中的方法。42.本技术的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。附图说明43.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本技术的示例性实施例、特征和方面,并且用于解释本技术的原理。44.图1示出根据本技术提供的一种应用场景的示意图;45.图2示出根据本技术一实施例的智能交互平板的结构示意图;46.图3示出根据本技术一实施例的生成会议纪要的步骤流程图;47.图4示出根据本技术一实施例的生成会议纪要涉及的界面示意图;48.图5示出根据本技术一实施例的不同维度的会议数据的示意图;49.图6示出根据本技术一实施例的获取会议纪要中的至少一个文本内容以及对应的文本内容时间的步骤流程图;50.图7示出根据本技术一实施例的获取会议纪要中的至少一个文本内容以及对应的文本内容时间的步骤流程图;51.图8示出根据本技术一实施例的获取会议纪要中的至少一个图像内容以及对应的图像内容时间的步骤流程图;52.图9示出根据本技术一实施例的获取会议纪要中的至少一个图像内容以及对应的图像内容时间的步骤流程图;53.图10示出根据本技术一实施例的生成会议纪要涉及的界面示意图;54.图11示出根据本技术一实施例的获取会议纪要中的至少一个图像内容以及对应的图像内容时间的步骤流程图;55.图12示出根据本技术一实施例的会议纪要的示意图;56.图13示出根据本技术一实施例的生成会议纪要的步骤流程图;57.图14示出根据本技术一实施例的生成会议纪要的步骤流程图;58.图15示出根据本技术一实施例的生成会议纪要的设备的框图。具体实施方式59.为了便于清楚描述本技术实施例的技术方案,在本技术的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一房间和第二房间仅仅是为了区分不同的房间,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。60.需要说明的是,本技术中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。61.本技术中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。62.以下将结合附图详细阐述本技术实施例提供的一种生成会议纪要的方法。63.图1示出根据本技术一实施例的应用场景图。64.如图1所示,假定在某一企业的会议室中,多个与会者共同召开会议,这些与会者包括会议主持者100以及其他会议参与用户(以下简称“与会者”)101。在开会期间,会议主持者100可能会发生变化,例如,可能会由与会者轮流作为会议主持者进行发言,又或者可能由自愿的或者有需求的与会者作为会议主持人进行发言。此外,会议主持人的数量不受图示的限制。65.在会议期间,会议主持者100通过终端设备11将包含会议信息的投屏内容发送至智能交互平板13上,然后由智能交互平板13进行展示。举例来说,在利用智能交互平板13教学的应用场景中,老师可将课件等电子文档投屏到智能交互平板13上,智能交互平板13可向学生展示该电子文档。又例如,在利用智能交互平板13执行商业演讲或者主题分享的应用场景中,演讲人(即,会议主持者100)可将制作的演示文稿投屏到智能交互平板13上,智能交互平板13可向听众/观众展示该演示文稿。66.此外,会议主持人100或者其他会议参与用户101还可在智能交互平板上进行手动输入操作,对应的手动输入内容将被显示在智能交互平板13上。作为示例,会议主持人100可将调出智能交互平板13的画布界面(也可称作电子白板界面),此时,智能交互平板13相当于一个面积较大的手写板。然后会议主持人100可在智能交互平板界面上手动输入某些内容,例如,当前所讲的关键词等或者为了便于理解的简笔画等。在手动输入之后,会议主持人100还可以对手动输入内容进行编辑,例如,可对手动输入的简笔画进行删除或者修改。以手动输入内容为文字为例,此处所说的编辑可以是调整文字的字体、大小、位置等。此外,会议主持人100还可通过鼠标、键盘等外接输入设备执行手动输入操作。67.作为另一示例,会议主持人100还可在已展示在智能交互平板13上的内容的基础上进行手动输入操作,例如,会议主持人100可手动标出智能交互平板13上显示的电子文档中的关键词,等。68.在图1中,终端设备11可包括用户可使用诸如下述类型的电子设备:手机、台式机、平板设备、笔记本电脑、掌上电脑(pdas,personaldigitalassistants)、可穿戴设备(如智能眼镜、智能手表等)等,本技术并不对此进行限制。69.网络12用于实现终端设备11与智能交互平板13之间的网络连接,可以包括多种类型的有线或无线网络。在一实施例中,该网络12可以包括蓝牙、wifi、zigbee等近场通讯网络。在另一实施例中,该网络12可以包括公共交换电话网络(publicswitchedtelephonenetwork,pstn)和因特网等远程通讯网络。当然,网络12还可以同时包含近场通讯网络和远程通讯网络。70.智能交互平板13可采用如图2所示的硬件结构,以下将参照图2具体描述智能交互平板13。71.图2示出根据本技术一实施例的智能交互平板13的示图。如图2所示,所述智能交互平板13可以包括:处理器201、通信总线202、用户接口203、网络接口204以及存储器205。72.其中,通信总线202用于实现这些组件之间的连接通信。73.其中,用户接口203可以包括显示屏、摄像头以及音频设备。可选地,所述显示屏、摄像头以及音频设备的数量包括一个或多个,本技术对此不作限定。可选地,用户接口203还可以包括标准的有线接口、无线接口。74.其中,显示屏包括显示面板。可选地,显示屏还可以包括触控面板;此时,显示屏可以是触摸屏或者触控屏;在这种情况下,显示面板可以位于显示屏中的最下层,触控面板可位于显示屏中的最上层。触控面板可以将检测到的触摸操作传递给处理器201,并且可由显示面板提供与触摸操作相关的视觉输出。作为示例,与会者利用触摸笔或者触控笔触摸显示屏时,触摸面板可将检测到的触摸操作传递给处理器201。75.其中,摄像头用于捕获静态图像或视频。通常,摄像头可以包括感光组件比如镜头组和图像传感器,其中,镜头组包括多个透镜(凸透镜或凹透镜),用于采集待拍摄物体反射的光信号,并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。作为示例,摄像头可在会议期间拍摄与会者的图像。76.其中,音频设备可包括音频输入设备和音频输出设备。所述音频输入设备可将采集的声音转换为音频数据。作为示例,所述音频输入设备可包括麦克风,用户可通过靠近麦克风发声,然后麦克风可将采集的声音转换为音频数据。所述音频输出设备可将音频数据转换为声音信号。作为示例,所述音频输出设备可包括扬声器,所述智能交互平板13可通过所述扬声器输出声音。图2中的音频设备内置于智能交互平板13内,可选地,所述音频设备还可以是智能交互平板13的外接设备。举例来说,用户可使用智能交互平板13的外接麦克风发言。77.其中,网络接口204可包括标准的有线接口、无线接口(如wifi接口)。78.其中,处理器201可包括一个或者多个处理单元,例如,处理器201可包括应用处理器(applicationprocessor,ap)、图形处理器(graphicsprocessingunit,gpu)和中央处理器(centralprocessingunit,cpu)等处理单元。处理器201可以根据操作指令和时序信号,产生控制信号,实现对智能交互平板13的控制。79.其中,存储器205可用于存储智能交互平板13的可执行程序代码,该可执行程序代码包括指令。存储器205可包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(例如声音播放功能,图像播放功能等)等。存储数据区可存储智能交互平板13使用过程中所创建的数据(例如音频数据、图像数据)等。此外,存储器205还可包括高速随机存取存储器或非易失性存储器等。80.如图1给出的会议场景中,与会者可在会议结束后根据会议期间手动记录的会议记录整理出此次会议的会议纪要。简单来说,与会者可根据会议记录先概括会议中讨论的各个主题,然后按照这些主题的逻辑关系对这些主题的顺序进行调整,最后生成会议记录。可以看出,这种方式是采用人工方式来生成会议记录,需要花费额外的人力和物力。此外,在现有技术中,还存在以下两种方案生成会议纪要:81.在生成会议纪要的第一种方案中,与会者可在会议期间对会议中使用的智能交互平板上显示的屏幕进行截屏操作,然后获取截屏图像并将截屏图像输出为会议纪要。在生成会议纪要的第二种方案中,与会者可利用音频设备采集整个会议期间的音频数据,然后将该音频数据转换为文本数据并输出为该会议的会议纪要。82.可以看出,以上这些方案均是将会议期间产生的数据(例如,截屏图像、音频数据等)输出为会议纪要,并未对这些数据进行任何分析和整理。特别是在利用智能交互平板开会的场景中,书写的内容可能零散地分布在智能交互平板的屏幕上的各个区域,采用以上这些方案生成的会议纪要无法体现这些内容的逻辑关系和/或时间顺序。83.基于此,本技术实施例提供的生成会议纪要的方法,可利用会议过程中获取到的音频数据与显示在屏幕上的图像内容确定会议纪要内容,然后按照时间信息对这些会议纪要内容进行排版,从而自动生成会议纪要,不仅可以省去后续的人工整理,而且所生成的会议纪要包括多个维度的数据,因而生成的会议纪要更全面、丰富。84.需要注意的是,由于篇幅所限,本技术说明书没有穷举所有可选的实施方式。本领域技术人员在阅读本技术说明书后,应该能够想到的只要技术特征不相互矛盾,那么技术特征的任意组合均可以沟通可选的实施方式。85.图3示出根据本技术一实施例的生成会议纪要的步骤流程图。如图3所示,本实施例的方法可包括:86.在步骤s101,显示第一界面,第一界面中包括第一控件。87.可选地,所述第一界面可以是以上提及的智能交互平板界面,或者可以是智能交互平板在运行会议相关应用后显示的界面。所述会议相关应用可以是智能交互平板出厂已安装的应用,也可以是用户在使用该智能交互平板后下载的应用。该应用可协助用户使用智能交互平板举行会议、演讲或者展示等。作为示例,该第一界面可以是会议相关应用的主界面或者主界面的下级界面,对此,本技术不限制。88.可选地,第一界面显示有多个控件,多个控件中包括第一控件,其中,第一控件为用于触发生成会议纪要的可操作控件。示意性的,第一控件的类型包括按钮、可操控的条目、滑块中的至少一种。89.可选地,在所述第一界面上还可包括第二控件,其中,第二控件用于确定生成所述会议纪要的排版。在实施中,用户可通过第二控件从候选会议纪要模板中直接选择生成会议纪要的目标模板,智能交互平板将按照该目标模板的格式显示生成的会议纪要。此外,用户还可利用第二控件定制会议纪要的模板,例如,用户可利用第二控件确定会议纪要的字体或者字体大小,又例如,用户可利用第二控件确定是否显示会议时间,等。90.在步骤s102,接收所述第一控件的触发信号,所述触发信号指示启动生成会议纪要。可选地,触发信号为触发生成会议纪要的用户操作信号。示意性的,触发信号包括点击操作信号、滑动操作信号、按压操作信号、长按操作信号中的任意一种或多种的组合。91.在其它可能的实现方式中,触发信号也可以音频形式实现。比如,智能交互平板接收用户输入的音频信号,对该音频信号进行解析获取音频内容,当音频内容中存在与第一控件对应的预设信息相匹配的关键字词(例如,“会议纪要”或者“生成记录”)时,即确定该第一控件被触发,即智能交互平板接收到第一控件上的触发信号。92.在步骤s103,响应于所述触发信号,生成会议纪要。也就是说,智能交互平板在接收到所述触发信号后,可执行本技术的实施例的会议纪要生成方法。需要说明的是,生成会议纪要的实现细节可参考下述实施例中的相关描述,在此先不介绍。93.在一种可能的实现方式中,所述方法可在第二界面上显示生成的会议纪要,其中,所述第二界面可显示在智能交互平板的屏幕上并且不同于第一界面。94.可选地,在所述第二界面上可包括第三控件,其中,第三控件用于指示针对已经生成的会议纪要的可操作控件,例如,用户可利用第三控件对已生成的会议纪要进行修改。又或者,用户可利用第三控件将已经生成的会议纪要分享给与会者。又或者,用户可利用第三控件将已经生成的会议纪要存储为预设格式的图片或者文档。又或者,用户可利用第三控件删除已生成的会议纪要,等。95.在一个示意性的例子中,如图4所示,智能交互平板可在屏幕上显示第一界面41,其中,第一界面41中包括“生成会议纪要”的第一控件42。当智能交互平板接收到用户针对第一控件42的点击操作信号后,启动生成会议纪要的功能。然后,在第二界面43上显示生成的会议纪要。如图4所示,在第二界面43上可包括其它控件,例如,“分享”、“修改”、“输出”等控件,用户(例如,与会者)可通过操作这些控件对生成的会议纪要执行后续操作。96.在所述实施例中,所述用户可通过与智能交互平板交互来启动生成会议纪要功能,并且在启动生成会议纪要功能后,按照本技术的实施例的生成会议纪要的方法生成会议纪要,省去了后续的人工整理的过程。在实施中,用户还可根据自身需求对所生成的会议纪要执行进一步地操作,包括分享会议纪要、修改会议纪要等。97.以下将参照图5至图12描述利用多个维度的会议数据生成会议纪要的各个实施例。为了更清楚地描述各个实施例,以下将参照图5对智能交互平板13所采集的不同维度的会议数据进行简单解释。如图5所示,智能交互平板13可利用摄像头501、音频设备502以及触控笔503获取用于生成会议纪要的不同类型的数据。具体如下:98.在实施中,智能交互平板13可利用音频设备502采集与会者产生的音频数据。作为示例,智能交互平板13可在被启动后直接启动音频设备502来采集音频数据,作为另一示例,所述音频设备502可在被触发启动后开始采集与会者产生的音频数据。99.在实施中,智能交互平板13可获取该智能交互平板的显示屏上显示的内容的截屏数据。所述截屏数据可指示智能交互平板13对显示屏上显示的内容进行截屏操作(在以下描述中,也可被称作截图操作)后获取的图像数据。在实施中,截屏操作可以是指对在显示屏上显示的内容进行快照操作,通过该快照操作得到的图像内容可以是显示屏上显示的全屏内容,可以是显示屏上显示的部分内容。100.在一种可能的实现方式中,该截屏操作可以是智能交互平板13在接收到用户触发信号后执行截屏操作,例如,用户触发信号包括点击操作信号、滑动操作信号、按压操作信号、长按操作信号中的任意一种或多种的组合。在实施中,所述用户触发信号可指示用户针对截屏控件的触发信号。101.在一种可能的实现方式中,智能交互平板13可响应于用户执行的生成新界面的操作后,对正显示的界面进行截屏操作,例如,与会者已将屏幕上写满了内容或者已完成了针对当前界面上显示的各个内容的讨论后,与会者可生成新界面(即,空白界面)对下一主题进行讨论,此时,所述智能交互平板13可对正显示的界面进行截屏/截图操作。102.在一种可能的实现方式中,该截屏操作可以是智能交互平板自动执行的操作。可选地,所述智能交互平板可按照预设时间间隔执行截屏操作,例如,所述智能交互平板可每隔五分钟执行截屏操作。103.在实施中,在智能交互平板13显示智能交互平板界面的情况下,与会者还可对智能交互平板进行手动输入操作。所述智能交互平板13响应于所述手动输入操作,可在显示屏上显示手动输入内容。104.在一种可能的实现方式中,所述手动输入操作可指示利用触摸笔、触控笔或用户手指在智能交互平板13上进行触摸输入的操作。在此情况下,智能交互平板13可显示画布界面,与会者选择在画布界面上显示的各种元素(例如,标记方式、图形、画笔颜色等),然后利用各种元素在智能交互平板上进行触摸输入。例如,与会者可在选择画笔颜色后在智能交互平板13上画画。所述智能交互平板13可响应于接收到至少一个与会者的触摸输入操作,在显示屏上显示与该触摸输入操作对应的触摸输入内容。105.在实施中,摄像头503还可在会议期间对与会者进行拍摄,获取与会者的图像数据。106.在一种可能的实现方式中,摄像头503可采用眼动仪。眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的一种设备。作为示例,摄像头503可按照预设时间段拍摄与会者,例如,所述摄像头可每隔三分钟拍摄与会者。107.从图5可以看出,本技术的实施例中的智能交互平板在开会期间可采集多种不同类型的数据。本技术的实施例的会议纪要生成方法可将这些数据直接或者间接作为会议纪要的内容,按照这些数据各自的时间信息进行排版,从而能够自动生成具有先后顺序的会议纪要。108.以下将参照图6至图11详细描述针对不同类型的数据执行处理以生成会议纪要的内容的实施例。所述会议纪要的内容是指作为会议纪要的组成部分呈献给用户的内容,其包括文本内容以及图像内容。109.图6和图7分别示出了利用音频数据获取文本内容以及文本内容时间的步骤流程图。简单来说,图6所示出的实施例是按照发言者的发言方式对采集的音频数据进行分段,图7所示出的实施例是按照语义信息对采集的音频数据进行分段。以下将先参照图6具体描述利用音频数据获取文本内容以及文本内容对应的文本内容时间的实施例。如图6所示:110.在步骤s201,采集所述会议的音频数据以及音频数据对应的时间信息。所述时间信息可利用该音频数据的采集起始时间与采集结束时间构成的时间段来表示。例如,所述智能交互平板可在11点开始采集并在11点30分结束采集,采集的音频数据的时间信息为(11:00,11:30)。111.在实施中,所述智能交互平板可按照与会者的发言顺序获取至少一段音频数据。也就是说,所述智能交互平板可根据发言者的不同,将每个发言者的单次发言作为一段音频数据,并最终完成对所述会议的音频采集,获取到所述会议的音频数据。这些音频数据中包括所述每段音频数据各自对应的时间信息。112.具体来说,音频设备可根据采集到的音频数据的强度大小判断该与会者是否开始发言、持续发言以及结束发言。若音频设备采集到的音频数据的强度大于预设强度,则确定该与会者开始发言并记录下采集起始时间,并且若采集到该与会者的音频数据的强度在预设强度范围内,则认为该与会者在持续发言,音频设备可持续采集音频数据,直至该与会者的音频数据的强度低于预设强度大小超过预设时间,确定该与会者结束发言,并记录下采集结束时间。最终,音频设备可获取到该段音频数据以及该段音频数据对应的时间信息。113.举例来说,若与会者以超过预设强度的声音进行发言时,音频设备可确定该与会者开始发言,并记录下此次发言的采集起始时间15:15,开始采集音频数据。随后,与会者持续按照预设强度的音量进行发言,音频设备可持续采集音频数据,直至该与会者停顿超过5秒钟,则音频设备可记录下该与会者结束发言的采集结束时间15:23并停止采集该用户的音频数据。此时,音频设备可将该与会者此次的音频数据连同该音频数据对应的时间信息(即,(15:15,15:23))存储在一起。114.在实施中,各个与会者可同时或者不同时进行发言。智能交互平板可分别记录每个与会者产生的每段音频数据。在一种可能的实现方式中,所述音频设备可利用盲源分离技术区分出不同与会者的音频数据,然后可利用声纹识别技术识别各个与会者,并将各个与会者的音频数据分别存储/记录下来。为了便于查找和管理,在存储这些音频数据时可为各个与会者设置不同的身份标签,然后针对每个与会者,按照表1或者表2的方式进行存储/记录。如表1所示:115.表1[0116][0117]从表1可以看出,在时间t2存在同一时间段多个与会者(第一与会者与第n与会者)同时发言的情况。此时,音频设备可将产生的音频数据可按照发言的一致性顺序进行存储。也就是说,音频设备可优先存储在时间t2之前发言的与会者继续产生的音频数据。作为示例,在时间t2时,第一与会者与第n与会者同时发言,但是由于t2之前是第一与会者在发言,因此可优先存储第一与会者在时间t2产生的音频数据,随后再存储第n与会者在时间t2产生的音频数据。[0118]此外,还可参照表2的方式进行存储:[0119]表2[0120][0121]在表2中,可将每个与会者产生的每段音频数据对应地存储在一起。从表2可以看出,可能会存在同一时间段多个与会者同时发言分别产生音频数据的情况。例如,在时间t2可将各自产生的音频数据分别与对应的与会者存储在一起。在表2中,可将每个与会者产生的音频数据按照时间顺序存储在起来。应注意,以上仅给出了示意性实施例,智能交互平板还可采用其它的方式存储采集的音频数据。[0122]在步骤s202,将所述至少一段音频数据中的每段音频数据分别转换为每段文本内容,其中,所述每段文本内容的文本内容时间是指采集对应的音频数据的采集起始时间与采集结束时间构成的时间段。[0123]在一种可能的实现方式中,智能交互平板可按照每次发言者进行发言的采集起始时间与采集结束时间对采集的音频数据进行分段。举例来说,智能交互平板可获取如表1存储的至少一段音频数据以及每段音频数据的时间信息。然后智能交互平板可将第一与会者产生的采集起始时间t1至采集结束时间t3对应的音频数据作为第一段音频数据,并且可将第n与会者产生的采集起始时间为t2至采集结束时间为t3对应的音频数据作为第二段音频数据。然后,智能交互平板可将第一段音频数据转换为第一文本内容,将第二段音频数据转换为第二文本内容。[0124]在实施中,所述方法可采用音频识别技术将每段音频数据转换为文本内容。音频识别技术也被称为自动音频识别(automaticspeechrecognition,asr),是指可通过识别和理解,将输入的音频信号转变为相应的文字输出。在实施中,所述方法可采用音频识别模型将各个音频数据转换为文本内容,此处提及的音频识别模型可包括神经网络模型,该神经网络模型在利用训练数据训练完成后将输入的音频数据转换为文本内容,对此将不再展开说明。[0125]在实施中,每段文本内容的时间信息可利用对应的音频数据的时间信息来确定。仍以第一与会者为例,文本数据的时间信息可利用对应的音频数据的时间信息来确定,即,采集起始时间t1至采集结束时间t3的时间段(t1,t3)。[0126]在另一种可能的实现方式中,智能交互平板可在语音数据转换为文本数据后,利用文本数据的语义信息对所述文本数据进行分段,确定各个文本内容。以下将参照图7进行详细描述,如图7所示:[0127]在步骤s301,采集所述会议的音频数据以及音频数据对应的时间信息,该步骤与步骤s201相同,在此将不再赘述。[0128]在步骤s302,转换为文本数据,在实施中,可将步骤s202中获取的音频数据按照如上所述的音频识别技术转换为文本数据。[0129]在步骤s303,提取出所述文本数据中的关键词以及每个关键词对应的每段文本内容,其中,每段文本内容的文本内容时间是指采集对应于所述文本内容的音频数据的采集起始时间与采集结束时间构成的时间段。[0130]具体来说,所述方法可确定文本数据中的至少一个关键词。在实施中,智能交互平板可利用语义分析技术(naturallanguageprocessing,nlp)对该文本数据执行语义分析,提取出所述至少一个关键词。[0131]在一种可能的实现方式中,所述语义分析技术可对文本数据进行预处理,对文本数据进行预处理的方式包括过滤噪声等。然后,将经过预处理后的文本数据按照标点符号拆分为各个文本分句。举例来说,可将文本数据“今年业绩很好,我们相信明年会更好”按照标点符号直接划分为“今年业绩很好”以及“我们相信明年会更好”。[0132]随后,所述语义分析技术可先确定各个文本分句中的各个分词的词性,也就是说,可将文本分句按词性分割为各个分词。所述语义分析技术可根据所述各个分词的词性,按照窗口设置方式从大于所述预设阈值的文本分句中提取出满足窗口大小的文本分句作为候选短语。所述窗口大小可以是技术人员根据用户观看喜好预先设置的,例如,可将窗口大小设置为4并且所述窗口内的分词在词性上是完整的。如以上所述,针对分句“我们相信明年会更好”按照词性可被划分为“我们”、“相信”、“明年”、“会”、“更好”。当窗口大小设置为4时,可从该分句中提取出“我们相信”、“相信明年”、“明年会”、“会更好”这些短语。这些短语可被确定为候选短语,通过这种方式,可使候选短语更符合用户的阅读习惯。[0133]在确定各个分句对应的候选短语的情况下,智能交互平板可确定这些候选短语的出现频率并将出现频率超过预定阈值次数的候选短语作为关键词。[0134]在实施中,所述方法可确定每个关键词对应的文本分句,并将这些文本分句作为与关键词对应的文本内容。以第一关键词为例,所述方法可确定与第一关键词对应的文本分句,然后将这些文本分句构成的文本段落作为与第一关键词对应的第一文本内容。[0135]在实施中,所述文本内容的文本内容时间可通过文本内容中包括的每个文本分句对应的音频数据的时间信息来确定,举例来说,在第一文本内容包括五个文本分句的情况下,该第一文本内容的文本内容时间可利用第一分句的采集起始时间与第五分句的采集结束时间的时间段来表示。第一分句的采集起始时间可以是该第一分句对应的音频数据的采集起始时间,第五分句的采集结束时间可以是该第五分句对应的音频数据的采集结束时间。在另一种可能的实施方式中,该第一文本内容的文本内容时间的起始时间可以是所述五个分句中的起始时间最早的分句对应的起始时间;同理,该第一文本内容的文本内容时间的采集结束时间可以是所述五个分句中的采集结束时间最完的分句对应的采集结束时间。[0136]在一种可能的实现方式中,为了更准确地确定关键词并确定对应的文本内容,可将所述文本数据先按照时间间隔进行划分。例如,可对按照时间间隔为10分钟内的文本数据按照如上方式进行处理,即,确定关键词以及与该关键词对应的文本内容。举例来说,若第一关键词前后出现的时间间隔超过15分钟,则后面出现的第一关键词对应的文本分句不作为第一文本内容。例如,若与会者在对今年进行总结时已提到“业绩”并在15分钟后描述“期望”时再次提到“业绩”。也就是说,关键词“业绩”前后出现的时间间隔超过15分钟,则智能交互平板在与会者对今年进行总结时就结束“业绩”的分段,描述“期望”时提到“业绩”的分句不作为第一文本内容。[0137]综上可述,根据本技术的实施例的生成会议纪要的方法在利用音频数据获取会议纪要中的文本内容的过程中,可采集参与会议的各个与会者发出的音频数据并对这些音频数据进行分段处理或者语义分析,从而确定该会议的讨论重点(即,关键词)以及对应的讨论细节(即,文本内容),并利用这些讨论重点与讨论细节构成会议纪要中的文本内容,减少了用户整理会议纪要的时间,并且使得会议纪要有序且全面,使得阅读者可以清楚且明白地了解会议。[0138]以上已经参照图6和图7描述了利用音频数据获取文本内容以及文本内容时间,以下将参照图8、图9和图11描述获取会议纪要中的至少一个图像内容以及图像内容时间的实施例。简言之,会议纪要中的图像内容可以是显示在智能交互平板的显示屏上的内容。该图像内容可以是智能交互平板的显示屏上显示的界面中的部分内容(即,部分界面),在以下描述中,可参照图8描述利用获取的与会者的图像数据确定该部分内容的实施例,并且参照图9描述利用获取的手动输入数据确定该部分内容的实施例。此外,该图像内容还可以是显示屏上显示的完整界面,在以下描述中,可参照图11对该实施例进行描述。[0139]图8示出了利用摄像头采集的图像数据确定会议纪要中的至少一个图像内容的步骤流程图。在该实施例中,所述智能交互平板可利用图像数据“间接”确定会议纪要中的图像内容,也就是说,该图像数据并不直接作为图像内容,而是利用该图像数据确定显示的界面中的部分内容,将该部分内容作为会议纪要中的图像内容,并且利用拍摄时间确定的时间段作为图像内容时间。如图8所示:[0140]在步骤s401,获取所述会议期间的图像数据和所述图像数据的拍摄时间,其中,所述图像数据是指利用摄像头拍摄与会者获取的图像数据。在一种可选的实现方式中,所述摄像头可按照预设时间段拍摄与会者,例如,所述摄像头可每隔三分钟拍摄与会者。可选地,摄像头可将拍摄获取的图像数据与拍摄时间对应的存储下来。[0141]在步骤s402,基于所述图像数据确定所述与会者在所述会议期间注视的至少一个用户注视内容和注视时间段。[0142]在实施中,所述方法可利用所述图像数据确定与会者注视的注视区域。智能交互平板可通过图像数据跟踪图像数据内各个与会者的视点,确定与会者注视的至少一个注视区域,这些注视区域中的任一注视区域均可通过与会者的视点得到。以第一注视区域为例,智能交互平板可利用拍摄的图像数据,将与会者的视点所构成的预设大小的区域作为第一注视区域,其中,所述视点可指示与会者的视线延长至显示屏上的接触点。例如,在与会者均看向屏幕上的图标的情况下,可将包括该图标在内的更大区域作为第一次注视区域。此外,所述方法还可对这些视点进行筛选,去除明显偏离同一区域的视点。[0143]在一种可能的实现方式中,所述方法可采用眼动追踪方法确定各个与会者的视点;其中,与会者的视点为所述与会者的视线与所述智能交互平板的显示屏的交点。如图10所示,与会者1004的视线为ab,与会者1004的视线ab与显示屏的交点为a,因此,与会者1004对应的视点为a。[0144]具体地,智能交互平板可以采用如下方式确定各个与会者的视点:在智能交互平板的显示屏附近布置近红外光源(例如,红外照明器)和摄像头,例如,在智能交互平板的显示屏的上边沿,或者下边沿部署所述近红外光源和摄像头;然后,当与会者位于智能平板的显示屏附近时,近红外光源所产生的红外光会照射到与会者的眼中,进而使与会者的眼睛的角膜上产成角膜反射中心点,然后利用摄像头拍摄具有角膜反射中心点的图像。也就是说,以上提及的图像数据可以是包括与会者角膜反射中心点的图像数据。进一步地,智能交互平板可利用图像处理算法识别每张图像上的两个中心点(即,瞳孔中心点以及角膜反射中心点),并利用这两个中心点来确定眼动的视线方向(即,瞳孔移动的方向),并利用该方向,结合其它反射的几何特征计算出与会者的视点。[0145]随后,所述方法可基于所述注视区域的位置从截屏图像中截取出所述用户注视内容作为所述会议纪要的图像内容。在实施中,所述智能交互平板可获取当前显示的界面的截屏图像。作为一种可能的实现方式,所述智能交互平板可在采集图像数据的同时获取当前显示的界面的截屏图像,并将图像数据与截屏图像对应地存储在一起。然后,所述方法可利用以上确定的注视区域的位置(例如,坐标数据),从所述截屏图像中截取出与该位置对应的部分截屏图像作为图像内容。[0146]在实施中,每个用户注视内容的注视时间段可被确定为图像内容时间。所述注视时间段可以是利用上述拍摄的与会者的拍摄时间确定的时间段。也就是说,所述智能交互平板可利用所述图像数据的拍摄时间确定针对每个注视区域的注视时间段,并将该注视时间段确定为图像内容时间。举例来说,在14:00时拍摄的第一图像数据中确定与会者注视智能交互平板上的顶部后,在每隔三分钟拍摄的第二图像中的注视区域仍然是顶部,但在每隔三分钟拍摄的第三图像中的注视区域为底部,则可确定针对顶部的注视时间段为14:00至14:06,因此,所述图像内容时间为(14:00,14:06)。[0147]综上可述,根据本技术的实施例的生成会议纪要的方法可在已经利用音频数据确定会议纪要中的至少一段文本内容的情况下,还可通过所获取的与会者的图像数据确定与会者的注视区域以及时间信息,从而确定所述会议纪要中的图像,使得生成的会议纪要所包含的内容更丰富。[0148]图9示出了利用手动输入操作确定会议纪要中的图像内容的步骤流程图。在该实施例中,所述智能交互平板可将与会者手动输入的手动输入内容作为图像内容,并且将手动输入操作的时间段确定为图像内容时间。如图9所示:[0149]在步骤s501,接收到至少一个与会者的手动输入操作。[0150]在实施中,在智能交互平板显示画布界面的情况下,与会者可手动选择在画布界面上显示各种元素(例如,标记方式、图形、画笔颜色等)并利用各种元素在智能交互平板上进行手动输入。例如,与会者可在选择画笔颜色后在智能交互平板上画画。所述智能交互平板可接收到至少一个与会者的手动输入操作。作为示例,所述智能交互平板可检测到用户触摸输入的触摸点的坐标。[0151]在步骤s502,基于所述手动输入操作,确定显示在显示屏上的各个手动输入内容和手动输入时间。[0152]在实施中,与会者在执行手动输入操作时,智能交互平板可确定作为同一手动输入内容的手动输入操作。例如,与会者利用触控笔在电子白板界面上画了一个柱状图后,智能交互平板可识别出该柱状图。作为一种可能的实现方式,所述智能交互平板可预先存储多种常见的简笔画样式,并在执行手动输入操作后,确定与该手动输入操作对应的简笔画样式。基于此,所述智能交互平板可将整个柱状图以及柱状图上输入的各个数据作为同一手动输入内容。然后所述智能交互平板生成并显示与触摸输入操作对应的内容(例如,柱状图)。[0153]在实施中,所述智能交互平板可获取当前显示的界面的截屏图像。然后利用触摸输入操作中的各个触摸点的位置信息(例如,坐标数据),从截屏图像中截取出该内容对应的截屏图像作为图像内容存储下来。[0154]在实施中,所述智能交互平板可利用与该手动输入内容对应的手动输入时间确定对应的图像内容时间,例如,该与会者在15:00至15:15画了一个房子,则时间15:00至15:15为图像内容时间。[0155]可选地,所述方法可将手动输入内容与用户注视内容进行匹配。具体来说,智能交互平板可确定是否存在与该手动输入时间对应的用户注视内容。在确定存在对应的用户注视内容的情况下,可利用手动输入内容对用户注视内容进行修正操作。这是因为用户注视内容受限于用户注视内容的面积,但是该面积可能是用户或者技术人员预先设定的大小,因此可能无法准确地确定用户所注视的内容。举例来说,与会者在画了一幅画并针对该幅画进行发言。但是所述方法利用视点所确定的用户注视区域可能仅仅是该幅画的部分区域。[0156]为了便于理解,图10给出了相关图示。如图10所示,与会者1001、与会者1002、与会者1003、与会者1004的用户注视区域为区域1010,但是同一时间段内的手动输入区域为区域1020,因此,所述智能交互平板可将用户注视区域从区域1010修正为区域1020。也就是说,在确定匹配的手动输入内容后,所述方法可利用手动输入内容对所述用户注视内容进行修正,将修正后的用户注视内容确定为会议纪要中的图像内容。在此情况下,所述智能交互平板可仅将用户注视内容作为会议纪要的图像内容。[0157]综上可述,根据本技术的实施例的生成会议纪要的方法可利用与会者针对智能交互平板的手动输入操作获取的手动输入内容,对以上确定的用户注视区域进行修正。从而能够准确地确定会议纪要中的图像内容。[0158]图11示出了利用截屏图像作为会议纪要的图像内容的实施例,并且每个图像内容的图像内容时间是指执行截屏操作的时间,如图11所示:[0159]在步骤s601,接收用于执行截屏操作的用户触发信号。[0160]在实施中,截屏操作可以是指对在屏幕上显示的内容进行快照操作,形成一张同屏幕长宽一致且内容一致的图片。在一种可能的实现方式中,该截屏操作可以是智能交互平板在接收到用户触发信号后执行截屏操作,例如,用户触发信号包括点击操作信号、滑动操作信号、按压操作信号、长按操作信号中的任意一种或多种的组合。在实施中,所述用户触发信号可指示用户针对截屏控件的触发信号。[0161]此外,所述用户触发信号还可指示用户手动输入的触发信号。也就是说,在与会者利用输入设备(例如,鼠标、键盘或者触控笔)或者手指对智能交互平板进行手动输入时,智能交互平板接收到用户触发信号,并对当前显示界面进行截屏操作。[0162]在另一种可能的实现方式中,该截屏操作可以是智能交互平板自动执行的操作。可选地,所述智能交互平板可按照预设时间间隔执行截屏操作,例如,所述智能交互平板可每隔五分钟执行截屏操作。[0163]在步骤s602,响应于所述用户触发信号,获取截屏图像以及对应的截屏时间。在实施中,所述智能交互平板可将截屏图像的截屏时间确定为所述图像内容时间。[0164]综上可述,根据本技术的实施例的生成会议纪要的方法可在已经利用音频数据生成会议纪要的情况下,还利用截屏图像作为会议纪要中的图像内容,使得该会议纪要更加丰富且充分。[0165]结合以上实施例可以看出,采用本技术实施例的会议纪要生成方法所生成的会议纪要至少包括两部分内容,一部分内容是文本内容,另一部分内容为图像内容。为了便于说明,以下将结合图12对本技术生成的会议纪要进行描述。[0166]如图12所示,所述会议纪要包括多段文本内容以及多个图像内容,这些文本内容与图像内容均对应于各自的文本内容时间与图像内容时间,例如,所述第一文本内容对应于第一时间段,所述第一图像内容对应于第一时间段。[0167]然后,所述方法可将所述至少一段文本内容与所述至少一个图像内容基于所属的时间段按照时间顺序进行排版,生成所述会议纪要。[0168]在一种可能的实现方式中,所述智能交互平板可预先确定时间段的时间间隔,例如,所述时间段可指示半小时或者所述时间段可指示45分钟等。在此基础上,所述方法将会议开始时间作为第一时间段的开始时间,按照预设时间间隔,将所述会议划分为不同的时间段。在最后一个时间段不足预设时间段的情况下,所述方法也可将其作为最后一个时间段。[0169]在已确定时间段的情况下,所述智能交互平板可利用以上获取的各个文本内容以及各个图像内容,分别确定属于各个时间段内的文本内容以及图像内容。如图12所示,所述智能交互平板可确定属于第一时间段内的第一文本内容以及第一图像内容。[0170]在另一种可能的实现方式中,所述智能交互平板可将某一种类型的会议纪要内容的时间信息作为基准时间,生成基准会议纪要,然后将其它类型的会议纪要内容添加至基准会议纪要的相应位置。举例来说,所述智能交互平板可将文本内容时间作为基准时间,然后按照文本内容时间的先后顺序对这些文本内容进行排版,生成第一会议纪要。然后,所述智能交互平板可将获取的各个图像内容按照图像内容时间补充至第一会议纪要中的相应位置。具体地,所述智能交互平板可按照图像内容时间将各个图像内容布置到与其对应的文本内容的附近,例如,可布置在所述文本内容的上方或者所述文本内容的下方。[0171]以图12示出的会议纪要为例,所述智能交互平板可利用文本内容时间作为基准时间生成第一会议纪要,在该第一会议纪要中,第一时间段可指示第一文本内容的文本内容时间,第二时间段可指示第二文本内容对应的文本内容时间。随后,所述智能交互平板可确定属于第一时间段的图像内容时间对应的第一图像内容,并将所述第一图像内容添加至第一文本内容的下方。此外,所述智能交互平板还可确定属于第二时间段的图像内容时间对应的第二图像内容,并将所述第二图像内容添加至第二文本内容的下方。[0172]在已生成的会议纪要中,以第一时间段为例,该时间段对应于第一文本内容与第一图像内容。其中,第一文本是利用音频设备获取的音频数据按照图6或图7的步骤获取的文本内容。第一图像内容可包括整张截屏图像或者部分截屏图像。在实施中,第一图像内容可以是采用如图11所述的步骤进行处理的整张截屏图像,也就是说,智能交互平板在获取到整张截屏图像后,可采用如图11所述的步骤对该整张截屏图像进行处理。此外,第一图像内容还可以是采用如图8所述的步骤进行处理的图像数据,也就是说,在获取到与会者的图像数据后,可按照如图8所示的步骤对其进行处理,在确定了第一注视区域的位置后,获取到部分截屏图像作为第一图像内容。第一图像内容还可以是采用如图9所述的步骤进行处理的部分截屏图像,也就是说,所述智能交互平板在接收到手动输入操作后,可按照如图9所示的步骤对其进行处理,在确定了第一注视区域的位置后,获取部分截屏图像作为第一图像内容。[0173]在实施中,所述智能交互平板还可采用图像数据、触摸数据以及音频数据共同来生成会议纪要,以下将结合图13描述该实施例,如图13所示:[0174]在步骤700,会议开始。[0175]在步骤s701,获取图像数据,获取图像数据的步骤与以上步骤s401相同,在此将再赘述。[0176]在步骤s702,获取手动输入数据,该手动输入数据是指与会者产生的手动输入操作,这在以上已经参照图9进行了描述,在此将不再赘述。[0177]在步骤s703,获取音频数据,获取音频数据的步骤与以上步骤s201或步骤s301相同,在此将不再赘述。[0178]在步骤s711,利用获取的图像数据确定用户注视区域,该步骤与步骤s402相同,在此将不再赘述。[0179]在步骤s712,利用手动输入数据确定手动输入内容,该步骤与步骤s502相同,在此将不再赘述。[0180]在步骤s713,将音频数据转换为文本数据,该步骤与步骤s302相同,在此将不再赘述。[0181]在步骤s721,将手动输入内容与用户注视内容进行匹配,获取至少一个图像内容以及图像内容时间,该步骤在以上已参照图10进行了描述,对此将不再赘述。[0182]在步骤s723,获取至少一段文本内容以及每段本文内容的时间信息,该步骤与s303相同,在此将不再赘述。[0183]在步骤s731,将以上各个步骤获取的数据连同时间信息存储下来。在实施中,以上数据可被存储在智能交互平板内的存储单元(例如,临时存储区域)、被存储在外部存储器或者可被存储在云端,对此将不做限制。[0184]在步骤s741,接收生成会议纪要的触发信号。在实施中,与会者可通过触发显示在屏幕上的控件生成触发信号,以上已经详细描述了触发信号,在此将不再赘述。此外,在会议进行的各个时间点均可执行所述步骤s741。[0185]在步骤s751,获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间,以及与所述会议相关的至少一个图像内容和每个图像内容对应的图像内容时间。以上已经参照图6和图7详细描述了如何获取会议纪要内的图像内容以及图像内容时间,并已经参照图8、图9和图11详细描述了如何获取会议纪要内的文本内容以及文本内容时间,对此将不再赘述。[0186]在步骤s761,利用文本内容时间和图像内容时间,对所述至少一段文本内容和所述至少一个图像内容进行排版,生成所述会议的会议纪要。以上已经参照图12对于排版操作进行了详细描述,对此将不再赘述。[0187]在步骤s771,输出会议纪要。在实施中,根据本技术的实施例可将该会议纪要输出为各种格式的会议纪要,以供用户审阅,例如,所述格式可包括超文本标记语言(hypertextmarkuplanguage,html)格式、可携带文档格式(portabledocumentformat,pdf)格式、文字处理器(microsoftoffice,word)格式等。[0188]结合以上各个实施例可以看出,本技术的实施例提供一种生成会议纪要的方法,所述方法能够将在会议中获取的文本内容与图像内容按照时间进行排版,实现自动生成会议纪要的目的。以下将结合图14对该实施例进行具体描述。[0189]图14示出根据本技术一实施例的生成会议纪要的步骤流程图。[0190]在步骤s801,获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间。[0191]在步骤s802,获取与所述会议相关的至少一个图像内容和每个图像内容对应的图像内容时间。[0192]在步骤s803,基于所述至少一段文本内容和所述文本内容时间,以及所述至少一张图像内容和所述图像内容时间,生成所述会议的纪要。[0193]可选地,基于所述至少一段文本内容和所述文本内容时间,以及所述至少一张图像内容和所述图像内容时间,生成所述会议的纪要,包括:[0194]基于所述文本内容时间和所述图像内容时间,将所述至少一段文本内容与所述至少一个图像内容按照时间顺序进行排版,生成所述会议纪要。[0195]可选地,在获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间之前,所述方法还包括:[0196]获取与所述会议相关的音频数据。[0197]可选地,所述音频数据包括顺序采集的至少一段音频数据。[0198]可选地,所述获取与所述会议相关的至少一段文本内容和每段文本内容对应的文本内容时间,包括:[0199]将所述至少一段音频数据中的每段音频数据分别转换为每段文本内容,其中,所述每段文本内容对应的文本内容时间包括与所述每段文本内容对应的音频数据的采集起始时间与采集结束时间。[0200]可选地,所述获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间,包括:[0201]将所述音频数据转换为文本数据;[0202]提取出所述文本数据中的至少一个关键词以及每个关键词对应的每段文本内容,其中,每段文本内容对应的文本内容时间包括与所述每段文本内容对应的音频数据的采集起始时间与采集结束时间。[0203]可选地,所述至少一个图像内容包括在所述会议期间执行截屏操作获取的截屏图像,并且每个图像内容对应的图像内容时间包括执行所述截屏操作的时间。[0204]可选地,所述至少一个图像内容包括通过手动输入操作显示在显示屏上的至少一个手动输入内容,其中,所述手动输入操作为与会者在所述会议期间执行的输入操作,并且每个图像内容对应的图像内容时间为所述每个图像内容中包括的手动输入内容的输入起始时间与采集结束时间。[0205]可选地,所述至少一个图像内容包括通过图像数据确定的与会者在所述会议期间注视的至少一个用户关注内容,其中,所述图像数据包括拍摄的所述与会者在所述会议期间的行为数据或者包括所述与会者的角膜反射点的图像数据,并且每个图像内容对应的图像内容时间通过所述拍摄时间确定的时间段。[0206]可以理解的是,上述终端等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本技术实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术实施例的范围。[0207]本技术实施例可以根据上述方法示例对上述终端等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本技术实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。[0208]在采用对应各个功能划分各个功能模块的情况下,图15示出根据本技术一实施例的生成会议纪要的设备的框图。[0209]所述生成会议纪要的设备1500可包括:[0210]文本内容获取单元1510,用于获取与会议相关的至少一段文本内容和每段文本内容对应的文本内容时间。[0211]图像内容获取单元1520,用于获取与所述会议相关的至少一个图像内容和每个图像内容对应的图像内容时间。[0212]生成单元1530,用于基于所述至少一段文本内容和所述文本内容时间,以及所述至少一张图像内容和所述图像内容时间,生成所述会议的纪要。[0213]可选地,生成单元1530具体用于基于所述文本内容时间和所述图像内容时间,将所述至少一段文本内容与所述至少一个图像内容按照时间顺序进行排版,生成所述会议纪要。[0214]可选地,所述生成会议纪要的设备1500还包括:[0215]音频数据获取单元,用于获取与所述会议相关的音频数据。[0216]可选地,所述音频数据包括顺序采集的至少一段音频数据。[0217]文本内容获取单元1510具体用于将所述至少一段音频数据中的每段音频数据分别转换为每段文本内容,其中,所述每段文本内容对应的文本内容时间包括与所述每段文本内容对应的音频数据的采集起始时间与采集结束时间。[0218]可选地,文本内容获取单元1510包括:[0219]转换模块,用于将所述音频数据转换为文本数据;[0220]提取模块,用于提取出所述文本数据中的至少一个关键词以及每个关键词对应的每段文本内容,其中,每段文本内容对应的文本内容时间包括与所述每段文本内容对应的音频数据的采集起始时间与采集结束时间。[0221]可选地,所述至少一个图像内容包括在所述会议期间执行截屏操作获取的截屏图像,并且每个图像内容对应的图像内容时间包括执行所述截屏操作的时间。[0222]可选地,所述至少一个图像内容包括通过手动输入操作显示在显示屏上的至少一个手动输入内容,其中,所述手动输入操作为与会者在所述会议期间执行的输入操作,并且每个图像内容对应的图像内容时间为所述每个图像内容中包括的手动输入内容的输入起始时间与采集结束时间。[0223]可选地,所述至少一个图像内容包括通过图像数据确定的与会者在所述会议期间注视的至少一个用户关注内容,其中,所述图像数据包括拍摄的所述与会者在所述会议期间的行为数据或者包括所述与会者的角膜反射点的图像数据,并且每个图像内容对应的图像内容时间通过所述拍摄时间确定的时间段。[0224]本技术的实施例提供了一种生成会议纪要的设备,包括:处理器以及用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令时实现上述方法。[0225]本技术的实施例提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。[0226]本技术的实施例提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器执行上述方法。[0227]计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(randomaccessmemory,ram)、只读存储器(readonlymemory,rom)、可擦式可编程只读存储器(electricallyprogrammableread-only-memory,eprom或闪存)、静态随机存取存储器(staticrandom-accessmemory,sram)、便携式压缩盘只读存储器(compactdiscread-onlymemory,cd-rom)、数字多功能盘(digitalvideodisc,dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。[0228]这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。[0229]用于执行本技术操作的计算机程序指令可以是汇编指令、指令集架构(instructionsetarchitecture,isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如smalltalk、c 等,以及常规的过程序编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(localareanetwork,lan)或广域网(wideareanetwork,wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(field-programmablegatearray,fpga)或可编程逻辑阵列(programmablelogicarray,pla),该电子电路可以执行计算机可读程序指令,从而实现本技术的各个方面。[0230]这里参照根据本技术实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。[0231]这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。[0232]也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。[0233]附图中的流程图和框图显示了根据本技术的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。[0234]也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行相应的功能或动作的硬件(例如电路或asic(applicationspecificintegratedcircuit,专用集成电路))来实现,或者可以用硬件和软件的组合,如固件等来实现。[0235]尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其它变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。[0236]以上已经描述了本技术的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本
技术领域
:的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本
技术领域
:的其它普通技术人员能理解本文披露的各实施例。当前第1页12当前第1页12
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献