线上绘本内容的获取方法、装置以及智能屏设备与流程

1.本技术涉及互联网技术领域，具体涉及线上教育技术领域，尤其涉及一种线上绘本内容的获取方法、装置以及智能屏设备。


背景技术：

2.多模态智能交互是未来智能交互的主要形式，随着人工智能技术的进步，人与智能设备、人与机器之间的交互趋向于更加智能、更加自然。例如智能音箱、智能机器人等，用户可以通过与智能设备的交互，获取到各种资源，如课内教育资源、课外资源、娱乐资源，等等。
3.但是，现有的智能设备向用户提供线上绘本内容时，仅能提供的音频形式的内容，无法通过丰富的多媒体形式展示符合更多场景的线上绘本内容。


技术实现要素：

4.本技术提供了一种线上绘本内容的获取方法、装置、智能屏设备以及存储介质。
5.本技术第一方面实施例提供了一种线上绘本内容的获取方法，应用于智能屏设备，所述方法包括：
6.建立所述智能屏设备与棱镜组件的通信链接；
7.采用所述棱镜组件对线下绘本进行识别，得到所述线下绘本对应的图像内容；
8.根据所述图像内容，获取视频形式的线上绘本内容。
9.本技术第二方面实施例提供了一种线上绘本内容的获取装置，应用于智能屏设备，所述装置包括：
10.建立模块，用于建立所述智能屏设备与棱镜组件的通信链接；
11.识别模块，用于采用所述棱镜组件对线下绘本进行识别，得到所述线下绘本对应的图像内容；
12.获取模块，用于根据所述图像内容，获取视频形式的线上绘本内容。
13.本技术第三方面实施例提供了一种智能屏设备，包括：
14.至少一个处理器；以及
15.与所述至少一个处理器通信连接的存储器；其中，
16.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例的线上绘本内容的获取方法。
17.本技术第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例的线上绘本内容的获取方法。
18.上述申请中的一个实施例具有如下优点或有益效果：应用于智能屏设备，通过建立智能屏设备与棱镜组件的通信链接；采用棱镜组件对线下绘本进行识别，得到线下绘本
对应的图像内容；以根据图像内容，获取视频形式的线上绘本内容。该方法通过与智能屏设备建立通信链接的棱镜组件识别得到线下绘本对应的图像内容，以根据图像内容，获取到视频形式的线上绘本内容，相较于现有技术中只能获取到音频形式的线上绘本内容，本技术实现了在智能屏设备中以视频的方式展现线上绘本内容，能够以更加生动、形象的方式将线下绘本内容提供给用户。
19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.附图用于更好地理解本方案，不构成对本技术的限定。其中：
21.图1为本技术实施例一提供的线上绘本内容的获取方法的流程示意图；
22.图2为本技术实施例提供的线上绘本内容的获取的示例图；
23.图3为本技术实施例二提供的线上绘本内容的获取方法的流程示意图；
24.图4为本技术实施例三提供的线上绘本内容的获取方法的流程示意图；
25.图5为本技术实施例四提供的线上绘本内容的获取装置的结构示意图；
26.图6是用来实现本技术实施例的线上绘本内容获取方法的智能屏设备的框图。
具体实施方式
27.以下结合附图对本技术的示范性实施例做出说明，其中包括本技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
28.下面参考附图描述本技术实施例的线上绘本内容的生成方法、装置、智能屏设备和存储介质。
29.图1为本技术实施例一提供的线上绘本内容的获取方法的流程示意图。
30.本技术实施例以该线上绘本内容的获取方法被配置于线上绘本内容的获取装置中来举例说明，该线上绘本内容的获取装置可以应用于任一智能屏设备中，以使该智能屏设备可以执行线上绘本内容的获取功能。
31.作为一种可能的情况，本技术实施例提出的线上绘本内容的生成方法，可以应用于教育类应用程序(application，简称app)，教育类app可以运行在智能屏设备上。其中，智能屏设备可以为带有触摸屏的智能设备。
32.需要说明的是，为了便于儿童阅读绘本，可以将智能设备的触摸屏设置为较大的屏，并倾斜一定角度。例如，智能屏的屏幕可以为8英寸，屏幕倾斜角度可以为105
°
。
33.如图1所示，该线上绘本内容的获取方法，可以包括以下步骤：
34.步骤101，建立智能屏设备与棱镜组件的通信链接。
35.其中，智能屏设备可以实现与用户进行远场语音交互及手势控制、眼神唤醒、人脸识别等多模态的交互，以带给用户更自然、多样化的人机交互体验。例如，智能屏设备可以为配置有触摸屏的智能音箱。
36.可以理解的是，智能屏设备处于睡眠状态时，用户可以通过语音、人脸识别、触摸、
点击等方式唤醒智能屏设备，以使得处于唤醒状态的智能屏设备可以与棱镜组件建立通信链接。
37.本技术中的棱镜组件，可以包括棱镜框、反射镜等。
38.本技术实施例中，智能屏设备可以通过通用串行总线(universal serial bus，简称usb)接口与棱镜组件建立通信链接，还可以通过蓝牙与棱镜组件建立通信链接，还可以通过无线通信网络连接的方式与棱镜组件建立通信链接，等等。
39.需要说明的是，智能屏设备与棱镜组件之间的通信连接方式不限于上述连接通信连接方式，也可以通过其他通信连接方式建立通信链接，在此不做限定。
40.步骤102，采用棱镜组件对线下绘本进行识别，得到线下绘本对应的图像内容。
41.其中，线下绘本，可以为儿童绘本，也可以为成人绘本，在此不做限定。
42.本技术实施例中，智能屏设备与棱镜组件建立通信链接之后，可以采用棱镜组件识别线下绘本，以得到线下绘本对应的图像内容。其中，线下绘本对应的图像内容可以为线下绘本的封面图像内容，也可以为线下绘本的正文部分的图像内容，在此不做限定。线下绘本的图像内容还可以包括图像部分和/或文字部分。
43.例如，由于线下绘本的封面内容各不相同，在线下绘本对应的图像内容为线下绘本的封面图像内容时，可以使得智能屏设备能够有效识别得到线下绘本的封面图像内容，以获取到与封面图像内容匹配的视频形式的线上绘本内容。本技术中，智能屏设备在离线或在线的情况下，均可以实现对线下绘本对应的图像内容进行检测，在此不做限定。
44.作为一种可能的实现方式，可以将棱镜组件设置在智能屏设备的上方，将线下绘本与智能屏设备放置在同一水平面上，通过棱镜组件识别线下绘本后，以使得智能屏设备得到线下绘本对应的图像内容。
45.作为一种示例，假设棱镜组件中设置有摄像头，可以通过棱镜组件中的摄像头采集线下绘本对应的图像，进而，对采集到的图像进行识别，线下绘本对应的图像内容。
46.本技术实施例中，棱镜组件中设置的摄像头采集得到线下绘本的图像后，进一步对采集得到的线下绘本的图像进行图像识别，以得到线下绘本对应的图像内容。
47.例如，在摄像头采集得到线下绘本的图像后，可以对图像进行增强处理，以减少图像中的噪声，提高图像的清晰度、质量等等。进一步地，对图像进行编码、压缩等方式进行图像处理。然后，可以对图像处理得到的图像进行特征提取，以将提取到的特征图输入经过训练的图像识别模型，以根据模型的输出确定线下绘本对应的图像内容。
48.需要说明的是，也可以其他图像识别方法对摄像头采集到的线下绘本的图像进行图像处理，如采用基于神经网络的图像识别方法、基于小波矩的图像识别方法等，以得到包含有图像内容的初始绘本内容。
49.可以理解的是，采用棱镜组件对线下绘本进行识别，以获取线下绘本对应的图像内容时，可以对线下绘本的封面进行识别，也可以对线下绘本的正文部分进行识别，在此不做限定。
50.例如，参见图2，图2中的智能屏设备可以为智能音箱，可以将智能音箱与线下绘本放置在同一水平面上，使得设置在智能音箱上方的棱镜组件可以对线下绘本进行识别，以得到线下绘本对应的图像内容。在一种可能的情况下，智能音箱未识别得到有效的线下绘本，可以提示用户换一本线下绘本。
51.如，可以，在智能音箱的屏幕上显示文字的方式提醒用户，如“绘本无效，请换一本”；还可以通过语音播放的方式提醒用户，如播放语音“绘本无效，请换一本”；还可以通过发出特定声音的方式提醒用户，如，蜂鸣声，预设的音乐等等，在此不做限定。
52.作为另一种可能的实现方式，可以通过棱镜组件中的棱镜捕获到线下绘本后，通过设置在智能屏设备的摄像头采集棱镜中显示的线下绘本，进而使得智能屏设备获取到线下绘本的后，对采集到的下绘本内容进行识别，得到线下绘本对应的图像内容。
53.作为本技术实施例的一种可能的情况，可以在智能屏设备上安装一个结构光发射设备，结构光发射装置用于向线下绘本发射结构光。当结构光照射到线下绘本之后，可以根据线下绘本对结构光进行反射，造成结构光的畸变，得到线下绘本对应的图像内容。
54.作为一种示例，结构光的类型包括光栅型、光点型、斑纹型(包括圆形斑纹和十字斑纹)，上述结构光是均匀排布的。对应地，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到线下绘本内容上的某种投影设备或仪器，比如光学投射器，也可以是生成激光束的激光器。
55.步骤103，根据图像内容，获取视频形式的线上绘本内容。
56.其中，线上绘本内容，可以为智能屏设备预先获取到的存储在绘本内容库中的内容，也可以为第三方app提供的线上绘本内容，也可以为外部搜索引擎查询到并反馈至教育类app的线上绘本内容，在此不做限定。
57.本技术中，在得到线下绘本对应的图像内容后，可以根据图像内容，获取对应的视频形式的线上绘本内容。
58.作为一种可能的实现方式，可以根据图像内容包括的图像部分和文字部分，从智能屏设备预先获取到的存储在绘本内容库中的获取到与图像内容匹配的视频形式的线上绘本内容。
59.作为另一种可能的实现方式，还可以根据图像内容包括的图像部分和文字部分，从第三方app获取到与图像内容匹配的视频形式的线上绘本内容。
60.作为又一种可能的实现方式，还可以根据图像内容包括的图像部分和文字部分，从外部搜索引擎查询到与图像内容匹配的视频形式的线上绘本内容
61.需要说明的是，根据图像内容获取到的线上绘本内容可以为与线下绘本内容同步的视频内容，从而可以在智能屏设备的展示页面以视频的形式对线上绘本内容进行展示，以更加生动、形象的方式将线下绘本内容提供给用户。
62.可选地，在智能屏设备获取到视频形式的线上绘本内容后，可以在安装在智能屏设备上的教育类app的主界面以视频的方式呈现线上绘本内容，从而使得用户可以获取到视频形式的线上绘本内容。
63.本技术实施例的线上绘本内容的获取方法，应用于智能屏设备，通过建立智能屏设备与棱镜组件的通信链接；采用棱镜组件对线下绘本进行识别，得到线下绘本对应的图像内容；以根据图像内容，获取视频形式的线上绘本内容。该方法通过与智能屏设备建立通信链接的棱镜组件识别得到线下绘本对应的图像内容，以根据图像内容，获取到视频形式的线上绘本内容，相较于现有技术中只能获取到音频形式的线上绘本内容，本技术实现了在智能屏设备中以视频的方式展现线上绘本内容，能够以更加生动、形象的方式将线下绘本内容提供给用户。
64.在上述实施例的基础上，本技术提出了另一种线上绘本内容的获取方法。
65.图3为本技术实施例二提供的线上绘本内容的获取方法的流程示意图。
66.如图3所示，该线上绘本内容的获取方法，可以包括以下步骤：
67.步骤201，建立智能屏设备与棱镜组件的通信链接。
68.步骤202，采用棱镜组件对线下绘本进行识别，得到线下绘本对应的图像内容。
69.本技术实施例中，步骤201和步骤202的实现过程，可以参见上述实施例中步骤101和步骤102的实现过程，在此不再赘述。
70.步骤203，解析图像内容得到内容标签。
71.其中，内容标签，可以为对线下绘本对应的图像内容进行标注的，以用于获取对应的视频形式的线上绘本内容。
72.可选地，可以预先对大量的线下绘本对应的图像内容进行标注，以制作各线下绘本对应的图像内容的内容标签。例如，可以对线下绘本的封面进行标注，还可以对线下绘本的每一页内容进行标注。在对线下绘本对应的图像内容进行标注时，可以通过摄像头以不同的角度和位置采集线下绘本对应的图像，以对图像对应的图像内容进行标注得到对应的内容标签。
73.作为一种可能的实现方式，可以将线下绘本对应的图像内容输入预先训练的内容识别模型，以根据模型的输出得到对应的内容标签。
74.其中，内容识别模型可以为基于深度神经网络的模型，可以为根据大量已经标注的线下绘本对应的图像内容进行预先训练得到的，已经学习得到图像内容与内容标签之间的对应关系。
75.步骤204，从视频库中获取与内容标签对应的绘本视频，作为视频形式的线上绘本内容。
76.其中，绘本视频，可以为以视频形式进行播放的绘本内容。视频库，可以为根据大量的线下绘本对应的图像内容对应的内容标签，预先存储的携带有内容标签的绘本视频。
77.本技术实施例中，对线下绘本对应的图像内容进行解析，得到图像内容对应的内容标签后，可以从视频库中获取到与内容标签对应的绘本视频，以作为视频形式的线上绘本内容。
78.作为一种可能的实现方式，智能屏设备可以预先将多个绘本视频存储至本地视频库，以根据对图像内容进行解析得到的内容标签，从智能屏设备的本地视频库中获取到与内容标签对应的绘本视频，以将获取到的绘本视频作为视频形式的线上绘本内容。由此，通过智能屏设备的本地视频库提供绘本视频，提高了视频形式的线上绘本内容的获取速度，有利于提高用户获取线上绘本内容的使用体验。
79.作为另一种可能的实现方式，根据对图像内容进行解析得到的内容标签，从智能屏设备的本地视频库中未获取到与内容标签对应的绘本视频。这种情况下，可以从第三方视频库中获取与内容标签对应的绘本视频，以将获取到的绘本视频作为视频形式的线上绘本内容。由此，实现了在本地视频库中未存储有内容标签对应的绘本视频时，也可以获取到对应的绘本视频。
80.作为又一种可能的实现方式，对线下绘本对应的图像内容进行解析得到的内容标签后，可以从本地视频库和第三方视频库同时获取到与内容标签对应的绘本视频。在获取
到的绘本视频并不相同时，可以将最近版本的绘本视频作为视频形式的线上绘本内容，以在智能屏设备的屏幕进行展示；还可以将不同的绘本视频展示在智能屏设备的屏幕，以根据用户的选择确定需要展示的绘本视频。
81.可选地，视频库可以包括候选内容标签，以及与候选内容标签对应的候选绘本视频。也就是，视频库中可以存储有多个内容标签以及与内容标签对应的绘本视频。
82.本技术实施例中，对线下绘本对应的图像内容进行解析得到的内容标签后，可以直接获取视频库内，与内容标签匹配的候选内容标签对应的候选绘本视频，以作为视频形式的线上绘本内容。由此，提高了视频形式的线上绘本内容的获取效率。
83.可以理解为，对线下绘本对应的图像内容进行解析得到的内容标签后，可以将内容标签与视频库中存储的候选内容标签进行比较，在确定内容标签与某一候选内容标签匹配时，可以将从视频库内获取到的与内容标签匹配的候选内容标签对应的候选绘本视频，作为视频形式的线上绘本内容。
84.例如，可以判断本地视频库中存储的候选内容标签中是否存在与线下绘本对应的内容标签匹配的候选内容标签，若本地视频库中存储的候选内容标签中存在与线下绘本对应的内容标签匹配的候选内容标签，可以直接从本地视频库中获取与内容标签匹配的候选内容标签对应的候选绘本视频，以作为视频形式的线上绘本内容。若本地视频库中存储的候选内容标签中不存在与线下绘本对应的内容标签匹配的候选内容标签，进一步地，从第三方视频库中获取与内容标签对应的绘本视频。
85.可选地，在智能屏设备获取到视频形式的线上绘本内容后，可以在安装在智能屏设备上的教育类app的主界面以视频的方式呈现线上绘本内容，从而使得用户可以获取到视频形式的线上绘本内容。
86.本技术实施例的线上绘本内容的获取方法，应用于智能屏设备，通过建立智能屏设备与棱镜组件的通信链接；采用棱镜组件对线下绘本进行识别，得到线下绘本对应的图像内容；解析图像内容得到内容标签，从视频库中获取与内容标签对应的绘本视频，作为视频形式的线上绘本内容。由此，可以通过解析根据线下绘本对应的图像内容得到对应的内容标签，以从视频库中获取视频形式的线上绘本内容，实现了以视频方式展示线上绘本内容的目的，使得用户可以获取到更加生动、形象的线上绘本内容。
87.在上述实施例的基础上，在一种可能的情况下，视频库还可以包括：候选内容标签，以及与候选内容标签对应的多帧候选绘本图像。这种情况下，可以从视频库中获取与线下绘本内容对应的内容标签所匹配候选内容标签的多帧候选绘本图像，以根据多帧候选绘本图像，合成对应的绘本视频。下面结合图4对上述过程进行详细介绍，图4为本技术实施例三提供的线上绘本内容的获取方法的流程示意图。
88.如图4所示，该线上绘本内容的获取方法，可以包括以下步骤：
89.步骤301，建立智能屏设备与棱镜组件的通信链接。
90.步骤302，采用棱镜组件对线下绘本进行识别，得到线下绘本对应的图像内容。
91.步骤303，解析图像内容得到内容标签。
92.本技术实施例中，步骤301和步骤303的实现过程，可以参见上述实施例中步骤201和步骤203的实现过程，在此不再赘述。
93.步骤303，从视频库内，读取与内容标签所匹配候选内容标签的多帧候选绘本图
像。
94.可选地，视频库还可以包括候选内容标签，以及与候选内容标签对应的多帧候选绘本图像。也就是说，视频库中可以存储有多个内容标签以及与每一个内容标签对应的多帧绘本图像。例如，一个线下绘本有5页，视频库中可以存储有5帧与该线下绘本对应的绘本图像。
95.可以理解为，一个完整的线下绘本可以包括多张内容，因此线下绘本对应的图像内容的内容标签，可以对应多帧候选绘本图像。
96.本技术中，在对线下绘本对应的图像内容进行解析，得到图像内容对应的内容标签后，可以将图像内容对应的内容标签与视频库中存储的候选内容标签进行比较，以从视频库中获取到与图像内容对应的内容标签匹配的候选内容标签。进一步的，从视频库内，读取与内容标签所匹配候选内容标签的多帧候选绘本图像。
97.需要说明的是，本技术的视频库可以为智能屏设备对应的本地视频库，也可以为第三方视频库，在此不做限定。
98.可以理解的说，为了提高获取线下绘本对应的视频形式的线上绘本内容的速度，可以先确定本地视频库中是否存储有与线下绘本的图像内容对应的内容标签匹配的候选内容标签。在一种可能的情况下，确定本地视频库中存储与内容标签匹配的候选内容标签，则可以直接从视频库内，读取与内容标签所匹配候选内容标签的多帧候选绘本图像。
99.在另一种可能的情况下，确定本地视频库中不存在与内容标签匹配的候选内容标签，确定第三方视频库中存在与内容标签匹配的候选内容标签，则可以直接从第三方视频库内，读取与内容标签所匹配候选内容标签的多帧候选绘本图像。
100.步骤303，根据多帧候选绘本图像，合成对应的绘本视频，作为视频形式的线上绘本内容。
101.本技术实施例中，在从视频库中获取到与内容标签所匹配候选内容标签的多帧候选绘本图像后，可以对多帧候选绘本图像进行合成，以得到对应的绘本视频，进而得到视频形式的线上绘本内容。
102.在一种可能的情况下，各帧候选绘本图像可以分别对应一个时间戳，也就是说，每一帧候选绘本图像中可以携带有一个时间戳。本技术中，可以根据多帧候选绘本图像结合各帧候选绘本图像对应的时间戳，合成对应的绘本视频，以作为视频形式的线上绘本内容。
103.作为一种示例，可以将多帧候选绘本图像按照各帧候选绘本图像对应的时间戳的先后顺序进行排序，以将排序后的多帧候选绘本图像合成对应的绘本视频。
104.可选地，各帧候选绘本图像可以对应一段文本内容，从而在根据多帧候选绘本图像合成对应的绘本视频后，可以根据各帧候选绘本图像对应的文本内容，形成与绘本视频对应的音频，并将所形成的绘本视频与对应的音频相关联。
105.本技术实施例的线上绘本内容的获取方法，通过建立智能屏设备与棱镜组件的通信链接，采用棱镜组件对线下绘本进行识别，得到所述线下绘本对应的图像内容，解析图像内容得到内容标签，从视频库内，读取与内容标签所匹配候选内容标签的多帧候选绘本图像，根据多帧候选绘本图像，合成对应的绘本视频，作为视频形式的线上绘本内容。由此，可以从视频库中获取内容标签对应的多帧候选绘本图像，以合成得到对应的绘本视频，从而实现了获取视频形式的线上绘本内容。
106.在上述任一实施例中，作为一种可能的情况，棱镜组件还可以包括摄像组件和图像识别组件。其中，摄像组件，用于基于多模态的交互方式捕获线下绘本的绘本图像；图像识别组件，用于识别得到绘本图像的图像特征。
107.其中，每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等，以上的每一种都可以称为一种模态。
108.可以把两种不同的语言认为是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。因此，本技术中可以将基于多模态的交互方式捕获线下绘本的图像内容。
109.作为一种可能的实现方式，在获取线上绘本内容时，可以将棱镜组件安装在智能屏设备上方，智能屏设备与线下绘本处于同一水平面，进而采用棱镜组件中的摄像组件，捕获线下绘本的绘本图像。在获取到摄像组件采集的线下绘本的绘本图像后，可以采用图像识别组件，对绘本图像进行图像识别，以识别得到绘本图像的图像特征。进一步地，采用智能屏设备的处理器，对绘本图像的图像特征进行解析，以得到线下绘本对应的图像内容。
110.需要说明的是，摄像组件可以设置有普通摄像头，可以采用普通摄像头拍摄线下教材内容，以得到线下教材内容对应的二维绘本图像；摄像组件也可以设置有深度摄像头，从而还可以采用深度相机拍摄线下绘本内容，以得到包含深度信息的三维绘本图像；当然，摄像组件还可以设置其他形式的摄像头，在此不做限定。
111.可选地，智能屏设备的处理器获取到绘本图像的图像特征后，可以将图像特征输入经过训练的图像识别模型，以根据模型的输出，确定线下绘本对应的图像内容。
112.由此，可以通过棱镜组件获取到线下绘本的图像特征，进一步的解析得到线下绘本对应的图像内容，以根据图像内容获取视频形式的线上绘本内容，实现了在智能屏设备中以视频的方式展现线上绘本内容，能够培养孩子良好的阅读习惯，通过边翻边看边听边思考的方式阅读绘本，身临其境感受绘本内容的精彩，能够促进语言能力、情感体验和思维能力的共同发展。
113.为了实现上述实施例，本技术提出了一种线上绘本内容的获取装置
114.图5为本技术实施例四提供的线上绘本内容的获取装置的结构示意图。
115.如图5所示，该线上绘本内容的获取装置400，可以应用于智能屏设备，该线上绘本内容的获取装置400，可以包括：建立模块410、识别模块420以及获取模块430。
116.其中，建立模块410，用于建立智能屏与棱镜组件的通信链接。
117.识别模块420，用于采用棱镜组件对线下绘本进行识别，得到线下绘本对应的图像内容。
118.获取模块430，用于根据图像内容，获取视频形式的线上绘本内容。
119.作为一种可能的情况，获取模块430，还可以包括：
120.解析单元，用于解析图像内容得到内容标签；
121.获取单元，用于从视频库中获取与所述内容标签对应的绘本视频，作为所述视频形式的线上绘本内容
122.作为另一种可能的情况，获取单元，还可以用于：
123.从本地视频库获取与所述内容标签对应的绘本视频；和/或，
124.从第三方视频库获取与所述内容标签对应的绘本视频。
125.作为另一种可能的情况，视频库可以包括：候选内容标签，以及与候选内容标签对应的候选绘本视频，其中，获取单元，还可以用于：
126.直接获取视频库内，与内容标签匹配的候选内容标签对应的候选绘本视频。
127.作为另一种可能的情况，视频库还可以包括：候选内容标签，以及与候选内容标签对应的多帧候选绘本图像，获取单元，还可以用于：
128.从视频库内，读取与内容标签所匹配候选内容标签的多帧候选绘本图像；根据多帧候选绘本图像，合成对应的绘本视频。
129.作为另一种可能的情况，各帧候选绘本图像对应一个时间戳，获取单元，还用于：
130.根据多帧候选绘本图像结合各帧候选绘本图像对应的时间戳，合成对应的绘本视频。
131.作为另一种可能的情况，各帧候选绘本图像对应一段文本内容，获取单元，还用于：
132.根据各帧候选绘本图像对应的文本内容，形成与绘本视频对应的音频，并将所形成的绘本视频与对应的音频相关联。
133.作为另一种可能的情况，棱镜组件可以包括摄像组件和图像识别组件，可以采用摄像组件，基于多模态的交互方式捕获线下绘本的绘本图像；采用图像识别组件，识别绘本图像的图像特征；以及，采用智能屏设备的处理器，解析图像特征得到图像内容。
134.作为另一种可能的情况，图像内容为线下绘本的封面图像内容。
135.作为另一种可能的情况，该线上绘本内容的获取装置400，还可以包括：
136.显示模块，用于在教育类应用程序的主界面呈现视频形式的线上绘本内容。
137.本技术实施例的线上绘本内容的获取装置，应用于智能屏设备，通过建立智能屏设备与棱镜组件的通信链接；采用棱镜组件对线下绘本进行识别，得到线下绘本对应的图像内容；以根据图像内容，获取视频形式的线上绘本内容。该方法通过与智能屏设备建立通信链接的棱镜组件识别得到线下绘本对应的图像内容，以根据图像内容，获取到视频形式的线上绘本内容，相较于现有技术中只能获取到音频形式的线上绘本内容，本技术实现了在智能屏设备中以视频的方式展现线上绘本内容，能够以更加生动、形象的方式将线下绘本内容提供给用户。
138.根据本技术的实施例，本技术还提供了一种智能屏设备和一种可读存储介质。
139.如图6所示，是根据本技术实施例的线上绘本内容的获取方法的智能屏设备的框图。智能屏设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。智能屏设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术的实现。
140.如图6所示，该智能屏设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在智能屏设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接
口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个智能屏设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器501为例。
141.存储器502即为本技术所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本技术所提供的线上绘本内容的获取方法。本技术的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本技术所提供的线上绘本内容的获取方法。
142.存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本技术实施例中的线上绘本内容的获取方法对应的程序指令/模块(例如，附图5所示的建立模块410、识别模块420以及获取模块430)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的线上绘本内容的获取方法。
143.存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据智能屏设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至智能屏设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
144.智能屏设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图6中以通过总线连接为例。
145.输入装置503可接收输入的数字或字符信息，以及产生与智能屏设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
146.此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
147.这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读
介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
148.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
149.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
150.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
151.根据本技术实施例的技术方案，应用于智能屏设备，通过建立智能屏设备与棱镜组件的通信链接；采用棱镜组件对线下绘本进行识别，得到线下绘本对应的图像内容；以根据图像内容，获取视频形式的线上绘本内容。该方法通过与智能屏设备建立通信链接的棱镜组件识别得到线下绘本对应的图像内容，以根据图像内容，获取到视频形式的线上绘本内容，相较于现有技术中只能获取到音频形式的线上绘本内容，本技术实现了在智能屏设备中以视频的方式展现线上绘本内容，能够以更加生动、形象的方式将线下绘本内容提供给用户。
152.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术公开的技术方案所期望的结果，本文在此不进行限制。
153.上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。