室内可视化文档智能交互式采集方法、装置、系统及介质与流程

1.本发明涉及智能交互技术领域，尤其涉及一种室内可视化文档智能交互式采集方法、装置、系统及介质。


背景技术：

2.在进行课堂教学或者日常会议时，学生和老师之间，各个参会人员之间常常需要通过书写的方式进行信息交互。例如在课堂教学中，老师需要及时获得学生书写的答题的内容。参会者需要及时知道其他参会者在开会时书写的与会议有关的内容。目前，较多采用电子书写板、平板电脑、智能书写工具等电子设备来采集学生或者参会人员的书写信息。由于采用这种方式需要为每位学生或者参会者都配备相应的电子设备才能可以采集到每个人的书写信息，因此需要使用和维护的电子设备多，整个交互系统的成本高。并且一些用于书写的电子设备的屏幕长期使用容易对使用者的视力造成不良影响。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种室内可视化文档智能交互式采集方法、装置、系统及介质，用以解决现有技术中需要用户借助电子设备书写才能实现书写文档信息交互的技术问题。
4.本发明采用的技术方案是：
5.第一方面，本发明提供了一种室内可视化文档智能交互式采集方法，所述方法包括：
6.s1：控制采集设备的广角相机进行拍摄以获取场景图像，所述场景图像包括：至少一文档轮廓；
7.s2：从所述场景图像中定位并分割出各所述文档轮廓图像；
8.s3：获取采集命令队列，所述采集命令队列包括至少一个采集命令，每一所述采集命令包括一指定文档轮廓所在的位置信息；
9.s4：根据所述采集命令队列控制采集设备的长焦相机采集对应所述位置信息的指定文档，进行图像处理得到文档图像；
10.s5：将所述文档图像发送至第一显示区域进行显示。
11.优选地，所述方法在步骤s2和s3之间还包括：
12.s6：从所述场景图像中定位并分割出若干分别承载所述文档的载体相应的载体图像505，并调节各所述载体图像505在第二显示区域显示时的相对位置关系与各所述载体在室内的相对位置关系相一致。
13.优选地，所述第一显示区域与第二显示区域位于同一显示界面上，所述s4：根据所述采集命令队列控制长焦相机采集对应所述位置信息的指定文档，进行图像处理得到文档图像包括：
14.当获取第二显示区域的指定载体上对应所述位置信息的指定文档的文档图像时，
所述指定文档的文档图像在所述显示界面上显示成沿着指定路径以动画方式进入所述第一显示区域显示。
15.优选地，所述s4：根据所述采集命令队列控制长焦相机采集对应所述位置信息的指定文档，进行图像处理得到文档图像进一步包括：
16.所述第二显示区域包括若干文档图像，当接收到采集命令队列包括两个以上采集命令时，所述第二显示区域上显示载体上与采集命令对应的指定文档的采集进度和各载体上指定文档的排队顺序号。
17.优选地，所述方法在步骤s1之前还包括：
18.s01：文档轮廓采集触发步骤，包括以下触发方式之一：
19.控制所述广角相机实时采集所述场景图像中所述载体上以及载体周围的预设范围内是否有指定手势；
20.接收用户对所述场景图像中的指定载体的输入指令；
21.接收用户对显示界面上第三显示区域的虚拟功能控制按键的操作指令。
22.优选地，所述控制所述广角相机实时采集所述场景图像中所述载体上以及载体周围的预设范围内是否有指定手势包括：
23.控制叠加显示一虚拟触发按钮至载体图像上的指定区域，此时所述虚拟触发按钮处于第一显示状态；
24.当广角相机识别到所述载体上有指定手势时，采集所述载体上用户的手，且在包括手的图像的载体图像中，所述手的图像周围以提示用户的方式显示提示图案；
25.指定手势识别完成后，所述虚拟触发按钮处于第二显示状态，其中所述第一显示状态与所述第二显示状态不同。
26.优选地，当所述场景图像为室内抢答环节的场景图像时，所述提示图案包括用户的抢答顺序号。
27.优选地，所述触发方式还包括：通过遥控器控制所述长焦相机采集所述文档轮廓；所述遥控器发出的控制指令经采集设备控制显示屏幕的显示界面。
28.优选地，所述文档包括多页内容，当所述广角相机识别到采集每一页内容的手势指令时，在显示界面上显示采集的文档的当前页内容并在显示界面的指定显示区域显示所述文档已采集的页数。
29.优选地，所述采集设备集成有麦克风阵列，所述方法包括：
30.定位发出语音的用户在所述室内的位置；
31.控制离用户所在位置最近的采集设备采集用户语音；
32.控制其余指定的采集设备或室内具有音频播放功能的电子设备进行扩音。
33.优选地，所述方法包括：
34.接收用户对某一指定载体所在位置输入的视频采集指令；
35.控制所述长焦相机持续采集所述指定载体上文档的实时变化视频图像；
36.将所述变化视频图像传输至指定的显示屏幕上实时直播显示。
37.第二方面，本发明还提供了一种室内可视化文档采集装置，所述装置包括：
38.广角相机控制模块，用于控制广角相机进行拍摄以获取场景图像，所述场景图像包括：至少一文档轮廓；
39.从所述场景图像中定位并分割出各所述文档轮廓图像；
40.采集命令队列获取模块，用于获取采集命令队列，所述采集命令队列包括至少一个采集命令，每一所述采集命令包括一指定文档轮廓所在的位置信息；
41.文档图像获取模块，用于根据所述采集命令队列控制长焦相机采集对应所述位置信息的指定文档，进行图像处理得到文档图像；
42.第一显示模块，用于将所述文档图像发送至第一显示区域进行显示。
43.第三方面，本发明还提供了一种室内可视化文档采集系统，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现第一方面所述的方法。
44.第四方面，本发明还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现第一方面所述的方法。
45.有益效果：本发明的室内可视化文档智能交互式采集方法、装置、系统及介质，利用广角相机获取场景图像，从场景图像中定位并分割出文档轮廓图像。然后根据采集命令队列控制长焦相机对指定文档所对应位置的图像进行采集，并对采集的图像处理后得到文档图像，最后将文档图像发送至第一显示区域进行显示。前述过程不需要学生配备任何的电子设备，不需要采用特殊的笔和纸，能以简单又自然的交互方式来完成作业/作品的数字化提交与展示。采用本发明可以使学生和老师都专注于课堂教学本身的内容，而不会被繁琐的文档数字化采集操作分散精力，让教学质量和课堂效率得到进一步的提高。此外，老师无需学习就能使用本发明的系统，有助于提升课堂效率，帮助老师实时掌握学情，动态调整教学计划。
附图说明
46.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
47.图1为本发明的室内可视化文档智能交互式采集方法的流程图；
48.图2为本发明应用于课堂教学的室内可视化文档智能交互式采集方法的流程图；
49.图3为本发明的用于展示文档图像和课桌图像的显示界面的示意图；
50.图4为本发明利用手势识别触发文档采集的方法的流程图；
51.图5为本发明采用手势进行抢答时显示界面所显示的课桌图像在不同状态下的显示效果图；
52.图6为本发明以飞行动画的方式显示文档采集过程的效果图；
53.图7为多个文档按照采集命令队列进行多个文档采集时显示界面的显示效果图；
54.图8为本发明的可视化文档智能交互式采集装置的结构框图；
55.图9为本发明的可视化文档智能交互式采集系统的示意图；
56.图10为本发明的智能相机子系统的结构框图；
57.图11为本发明的智能相机嵌入式软件系统的结构框图；
58.图12为本发明的所采用的无线按钮遥控器的示意图。
具体实施方式
59.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
60.实施例1
61.如图1所示，本实施例提供一种室内可视化文档智能交互式采集方法，所述方法包括：
62.s1：控制采集设备的广角相机进行拍摄以获取场景图像，所述场景图像包括：至少一文档轮廓；
63.例如在课堂教学中控制采集设备的广角相机对教室的场景进行拍摄得到教学现场的场景图像。采用广角相机拍摄时往往是对教室的整体场景进行拍摄，所获取的场景图像中包括各个学生在课桌上书写的文档轮廓等图像。为了全面获取各个学生书写的文档轮廓，可以控制广角相实时连续机拍摄教室俯视场景图像。
64.又例如在会议中控制控制采集设备的广角相机对会议现场的整体场景进行拍摄得到会议现场的场景图像。所获取的场景图像中包括各个参会人员在课桌上书写的文档等图像。为了全面获取各参会人员书写的文档轮廓，可以控制广角相实时连续机拍摄会场俯视场景图像。
65.s2：从所述场景图像中定位并分割出各所述文档轮廓图像505；
66.本步骤对前一步所采集的场景图像进行处理，利用ai算法在场景图像中对各个文档进行定位，以获得各个文档在所拍摄的场景中的位置，并将各个文档轮廓图像505从场景图像中分割出来。由于广角相机视场大，所拍摄得到的场景图像所涵盖的范围广，场景图像中各个局部的图像并不是清晰的图像，因此本步骤只分割出文档轮廓图像505，这样既可以快速实现各个文档的准确定位，又减小了数据处理量，有利于提高文档交互的速度和效率。
67.在所获取的场景图像中，各个文档图像可能位于相同的载体上。例如在日常会议中，各个参会人员均在同一张会议桌上进行书写，这时可以直接从场景图像中将各个文档的轮廓分割出来。
68.在所获取的场景图像中，各个文档图像也可能位于不同的载体上。例如在课堂教学场景中，各个学生所书写的文档位于学生各自的课桌上104。如图2所示，对于这种情况除
了可以从场景图像中直接分割出各个文档的轮廓外，还可以采用以下方式进行处理：
69.s6：从所述场景图像中定位并分割出若干分别承载所述文档的载体相应的载体图像504，并调节各所述载体图像504在第二显示区域显示时的相对位置关系与各所述载体在室内的相对位置关系相一致。
70.例如在教学场景中，利用ai算法从场景图像中定位并分割出1个或多个课桌，104并为每个课桌014生成并绑定唯一id(不同图像帧中同一个课桌的唯一id相同)，然后将所有课桌图像、课桌图像在场景图中的位置信息，以及课桌唯一id发送给可以控制图像显示的设备。
71.如图3所示，该第二显示区域根据每个文档载体在场景图像中的相对位置关系对每个文档载体的图像进行显示。使所显示出来的图像中各个文档载体的位置关系和各个文档载体在教室中实际的相对位置关系相一致。这样用户可以根据自己在实际场景中所处的位置快速且准确地找到在所第二显示区域中自己的文档载体位置，以便在课堂教学中方便的获取与自己相关的交互信息。
72.例如在课桌视图区域(第二显示区域)实时显示课桌图像，综合多个智能相机子系统在教室空间的相对位置以及单个相机子系统内的多个课桌的教室空间相对位置，使得整个教室所有课桌图像之间的相对显示位置(例如行列式、分组围桌式)与教室课桌的实际空间摆放相对位置一致，学生在自己的座位上可直观的找到大屏幕上显示的自己的课桌实时图像，从而方便文档采集操作。为了便于学生快速准确地找到自己的课桌在第二显示区域中的位置，每个课桌图像紧邻的下方显示学生姓名或者学号。
73.其中学生姓名可以通过以下几种方式获得：
74.1)来自座位表，主要适用于固定座位的班级。座位表文件记录学生姓名以及座位之间的空间相对关系。课堂可视化交互式采集与播放软件基于座位之间的空间相对关系，将姓名与课桌视图进行绑定。座位表的生成可以是手工填写，也可以是每个学生将写有姓名/学号id的纸放在自己的课桌上，课堂可视化交互式采集与播放软件提供“姓名/学号id”识别按钮和菜单，在老师的统一指挥下完成姓名/学号id的采集、识别与存储，座位每次调整后进行一次操作。
75.2)来自姓名卡。学生将手写的姓名卡片(例如包含姓名和学号id)放在课桌的预设区域(例如课桌的右上角)，在课堂可视化交互式采集与播放软件需要知道课桌姓名时，触发智能相机子系统瞄准姓名卡拍照并对姓名卡进行识别获得姓名或学号id。
76.3)来自文档的姓名/学号id区域，即对文档进行ocr识别，匹配识别结果中的姓名/学号id字段而获取姓名/学号id。
77.s3：获取采集命令队列，所述采集命令队列包括至少一个采集命令，每一所述采集命令包括一指定文档轮廓所在的位置信息；
78.本实步骤可以根据接收到的采集命令来执行对指定文档的采集，为实现所采集的文档为用户所指定的文档，本实施例将指定文档轮廓所在的位置信息加入到采集命令中，在后续采集时通过指定文档轮廓所在的位置信息准确并快速找到采集命令所要采集的指定文档。采集命令可以按照各自触发的先后顺序排列形成采集命令队列。
79.其中采集命令可以由多种方式触发产生。对此在本实施例中，所述方法在步骤s1之前还包括：
80.s01：文档轮廓采集触发步骤，包括以下触发方式之一：
81.s011：控制所述广角相机实时采集所述场景图像中所述载体上以及载体周围的预设范围内是否有指定手势；
82.例如可以检测是否有手掌放置在某一课桌的某些指定位置(课桌的左上角，右上角等位置)，当检测到有手掌放置在某一课桌的某些指定位置时则控制长焦相机采集该课桌上的文档图像。
83.如图4所示，所述控制所述广角相机实时采集所述场景图像中所述载体上以及载体周围的预设范围内是否有指定手势包括：
84.s0111：控制叠加显示一虚拟触发按钮至载体图像504上的指定区域，此时所述虚拟触发按钮处于第一显示状态；
85.如图5所示，图中最左边课桌图像的左上角的圆圈表示虚拟触发按钮。
86.s0112：当广角相机识别到所述载体上有指定手势时，采集所述载体上用户的手，且在包括手的图像的载体图像504中，所述手的图像周围以提示用户的方式显示提示图案；
87.如图5中间位置的课桌所示，当学生需要上交自己已书写好的文档时，只要将手放置在图中虚拟触发按钮位置，当广角相机识别到有学生将手放置到课桌的虚拟触发按钮位置时，课桌图像在手的周围显示出虚拟触发按钮亮灯的效果图案903，提示用户已经成功触发对课桌上文档图像的采集。
88.s0113：指定手势识别完成后，所述虚拟触发按钮处于第二显示状态，其中所述第一显示状态与所述第二显示状态不同。
89.如图5中最右边的课桌所示，当学生成功触发文档图像的采集后不必保持预定的手势，可以将手从虚拟触发按钮位置挪开，当用户的手挪开后，课桌做上角上的圆圈变为亮灯状态。
90.前述触发方法可以应用在课堂抢答环节以活跃课堂气氛，调动学生参与课堂的积极性。系统按照学生提交作答的时间先后顺序采集并展示学生文档。课堂可视化交互式采集与播放软件提供“抢答”按钮和菜单，老师点击“抢答”，课堂可视化交互式采集与播放软件将“抢答”指令发送给所有智能相机子系统，智能相机子系统启动课桌实时图像手势识别算法模块，在任何课桌图像中检测到预设手势后立即生成一个该课桌的文档采集排队指令。如图5所示，优选的手势检测区域为课桌左上角，优选的手势为五指并拢伸直按下虚拟抢答按钮的状态，优选的课桌图像左上角叠加显示虚拟抢答按钮，且虚拟按钮为未被按下状态901，检测到手势后立虚拟按钮的状态更新为按下状态904(例如亮灯效果，并显示抢答名次905)，按下状态保持到老师切换到下一题的作答，期间学生无需一直保持手势状态。
91.作为一种优选的方式，虚拟抢答按钮可以显示在课桌的右上角，学生右手写字作答，写完后自然的伸左手902按左上角的(放在中间)虚拟按钮抢答，完成操作后抬头看大屏幕能直观看到抢答名次，前述方式符合人性化自然交互原则，整个过程自然流畅，使用户体验得到了显著地提升。当然，对于采用左手书写的学生也可以将虚拟抢答按钮可以显示在课桌的右上角。
92.此外，由于智能相机子系统从检测到抢答手势到完成文档拍摄是有操作延迟的，学生可能利用此漏洞抢答，即还未完全完成作答时提前一点点时间按虚拟按钮抢答，在长焦相机的瞄准过程中继续作答，待长焦相机瞄准自己的课桌前手和笔离开纸面。
93.对此，本实施例在抢答手势触发文档图像采集后还包括以下步骤：
94.检测抢答手势所对应的载体上文档轮廓区域内是否存在握笔的手的图像；
95.如果是则取消该载体上文档图像的采集工作；
96.如果否则根据采集命令队列采集指定文档。
97.即避免学生利用漏洞抢答的对应措施为，对于触发了抢答的课桌，在完成文档采集前，智能相机子系统检测其文档轮廓图像区域内是否有握笔的手出现，如果检测到握笔的手，则取消该课桌的未采集和正在进行的采集操作。
98.s012：接收用户对所述场景图像中的指定载体的输入指令。
99.采用前述触发方式时，老师通过触摸屏或鼠标光标点击目标学生的课桌图像，课堂可视化交互式采集与播放软件将带有课桌唯一id的文档采集指令发送给目标智能相机子系统(课堂可视化交互式采集与播放软件保存了课桌唯一id与智像相机唯一id的对应关系)，智能相机子系统完成文档采集并发送文档。前述方式使老师能够以点名的方式采集目标学生的文档图像。
100.s013：接收用户对显示界面上第三显示区域503的虚拟功能控制按键的操作指令。
101.可以在显示界面的某一个区域显示出虚拟功能控制按键，例如图3中在显示界面的右边下角区域显示了“随机”、“全收”等虚拟功能控制按键。
102.老师点击“一键全收”，课堂可视化交互式采集与播放软件将“一键全收”指令发送给所有智能相机子系统，智能相机子系统完成文档采集与发送。优选的，智能相机子系统和/或教室讲台电脑对文档进行ocr识别，将识别结果与老师预设的标准答案进行比对统分，由课堂可视化交互式采集与播放软件展示统计结果。
103.为了保证每个学生的课堂展示机会均等，需要一种公平随机的方式展示学生的作业或作品，课堂可视化交互式采集与播放软件提供“随机采集”按钮和菜单，老师点击“随机采集”，课堂可视化交互式采集与播放软件随机选择1个或多个课桌，并将将带有课桌唯一id的文档采集指令发送给目标智能相机子系统，智能相机子系统完成文档采集与发送。采用前述方式可以是每个学生获得了公平的课堂参与和展示机会，调用了学生参与课堂的积极性。
104.s4：根据所述采集命令队列控制采集设备的长焦相机采集对应所述位置信息的指定文档，进行图像处理得到文档图像；
105.当指定文档的位置确定后，可以控制长焦相机对相应位置的文档图像进行采集。本实施例可以对一个用户的一页文档进行采集，可以对一个用户的多页文档进行采集，也可以对多个用户一页或多页文档的进行采集。由于长焦相机从瞄准一个课桌转向瞄准另一个课桌有一定的时间延时t，当先后产生的采集命令的间隔小于t时，对采集命令排队，相机控制软件维护一个采集命令队列，新产生的采集命令加入采集命令队列队尾，相机控制软件每完成一个采集命令后从队头取出并执行下一个采集命令，直到队列为空。
106.s5：将所述文档图像发送至第一显示区域进行显示。
107.前述第一显示区域为文档图像显示区域，该显示区域可以位于显示设备的显示屏幕上，也可以位于投影设备的投影显示区域中。
108.如图3所示，作为一种优选地实施方式，在本实施例中所述第一显示区域501与第二显示区域502位于同一显示界面上，所述s4：根据所述采集命令队列控制长焦相机采集对
应所述位置信息的指定文档，进行图像处理得到文档图像包括：
109.当获取第二显示区域502的指定载体上对应所述位置信息的指定文档的文档图像时，所述指定文档的文档图像在所述显示界面上显示成沿着指定路径以动画方式进入所述第一显示区域501显示。
110.如图6所示，例如当采集姓名3的课桌上的文档图像时，在显示界面上，文档图像从姓名3的课桌上沿着图中虚线箭头所示的路径飞行至第一显示区中，并在第一显示区中显示出清晰的文档图像。
111.由于第一显示区域501与第二显示区域502位于同一显示界面上，因此载体图像505和文档图像也位于同一个显示界面上，这样用户通过同一个显示界面即可以清晰的看到所采集的文档的具体内容，又可以方便的看到对应载体图像505上所显示的文档采集进度、文档采集顺序等交互信息。
112.本实施例在采集过程中以动画的方式生动形象的展示文档图像的采集过程，让学生可以直观地看到自己的文档图像的采集过程，方学生户快速找到自己的课桌位置与文档图像显示位置的对应关系。
113.在本实施例中当需要对多个课桌上的文档图像进行采集时，所述s4：根据所述采集命令队列控制长焦相机采集对应所述位置信息的指定文档，进行图像处理得到文档图像进一步包括：
114.所述第二显示区域包括若干文档图像，当接收到采集命令队列包括两个以上采集命令时，所述第二显示区域上显示载体上与采集命令对应的指定文档的采集进度和各载体上指定文档的排队顺序号。
115.如图7所示，为了便于老师和学生查看正在进行的采集进度，可以定时查询每个智能相机正在进行的采集命令和采集命令队列中的数据，并将命令的状态显示在课桌上，所述状态包括“正采集”、“已采集”，以及排队序号，分别用正在采集高亮图案702，已采集标记701和排队的序号标记703来表示。
116.在本实施例中，还可以利用无线按钮遥控器来控制文档图像的采集和显示。
117.其中无线按钮遥控器可以与讲台电脑配对，由所属后台无界面开机自启动服务接收按键消息，然后给智能相机子系统发文档采集消息。
118.作为一种优选的方式，通过遥控器控制所述长焦相机采集所述文档轮廓；所述遥控器发出的控制指令经采集设备控制显示屏幕的显示界面。在具体实施时遥控器与任一智能相机子系统配对。讲台电脑安装有后台无界面开机自启动服务，所述自启动服务与智能相机子系统的文档图像发送协议软件建立网络连接，并处于文档图像接收状态，一接收到文档图像就自动弹出式显示该文档图像，这样老师可在讲台电脑开机的任何状态下(例如ppt播放状态)，无需进行软件启动或界面切换，只需按一下无线遥控器按钮就能启动文档采集与显示。
119.由于讲台电脑的蓝牙键盘连接功能不是标配功能，采用无线按钮遥控器与讲台电脑配对就要求讲台电脑安装额外的无线接收模块；由于讲台电脑是共用电脑，可能存在多个软件同时捕捉键盘输入而存在冲突，使得功能不可用。而采用无线按钮遥控器与智能相机子系统配对，则不需要为讲台电脑安装额外的无线接收模块，也不会存在与其它软件的冲突。在系统安装时，可将无线按钮遥控器与同一教室内的1个或多个智能文档相机子系统
配对，使用时，无线按钮遥控器开机后可能会与任何一个配对了的智能文档相机子系统连接，这不妨碍使用，因为所有的智能文档相机子系统和讲台电脑在同一个局域网内，任何一个收到无线按钮消息的智能文档相机子系统可将按钮消息广播给局域网内的其它节点，并触发它们执行相应的动作。
120.有些情形下，每次采集流程，每个学生需要提交多页内容，例如考卷的正反面提交、练习本多页提交。对此本实施例的文档交互方法还提供了实现多页文档的采集的方法。在本实施例中所述文档可以包括多页内容，当所述广角相机识别到采集每一页内容的手势指令时，在显示界面上显示采集的文档的当前页内容并在显示界面的指定显示区域显示所述文档已采集的页数。
121.例如在文档采集过程中，用户翻到第一页还没采集的内容，用手势触发采集，观看大屏幕自己的课桌的视图显示的状态，状态可能为“排队中(带序号)”、“正在采集”或“已采集”，当状态变成“已采集”，则将内容翻至下一页，然后再用手势触发采集，据此依次完成所有文档页的采集。
122.实施例2
123.在课堂教学或者大型会议汇总，当前排学生或者与会者口头回答问题或者口头发言时，后排的学生或者与会者可能听不见，后排的学生或者与会者口头回答问题或者口头发言时，前排学生、老师或者与会者也可能听不见。此外，对于语言课程，老师为了修正学生读音，有需要将学生回答的语音录制下来进行重复回放。
124.对此本实施例在前述实施例的基础上做进一步的改进。
125.在本实施例中，所述采集设备集成有麦克风阵列，所述方法包括：
126.s71：定位发出语音的用户在所述室内的位置。
127.s72：控制离用户所在位置最近的采集设备采集用户语音；
128.麦克的拾音方向根据问题回答者的课桌方位自动设定，问题回答者的选择可以是老师点击课桌指定，也可以是系统随机选择。还可以是图像识别算法从广角相机拍摄的图像中检测到学生站立姿态而自动确定适应方位。
129.s73：控制其余指定的采集设备或室内具有音频播放功能的电子设备进行扩音。
130.在本实施例中，可以利用智能相机子系统集成的音频播放功能(声场指向垂直教室地板)，也可以利用其它具有音频播放功能的电子设备进行扩音。老师通过课堂可视化交互式采集与播放软件选择是否启动音频功能，以及启动的是录音功能还是扩音功能。同一时刻，只有一个智能相机子系统开启拾音功能，所述局域网内的其它结果处于广播接收状态。如果是扩音功能，处于广播接收状态的节点收到语音数据同步实时播放，对于讲台电脑已连接了扩音系统的情况，由老师指定系统网络各节点类型的音频播放使能状态，可以是仅讲台电脑扩音，仅智能相机子系统扩音，也可以是所有节点同步扩音。优选的，处于录音状态的智能相机子系统不实时播放自身录制的音频，以免产生自激啸叫。此外还可以利用语音识别算法将录音转换为文本进行存储或者展示。
131.在传统的课堂教学活动中，老师常常根据教学需要让学生上黑板作答。但是学生从座位到讲台之间的往返容易浪费宝贵的教学时间。对此本实施例在前述实施例基础上做出进一步的改进。所述采集方法包括：
132.s81：接收用户对某一指定载体所在位置输入的视频采集指令；
133.在具体实施时可以由老师或系统随机选择直播的课桌，每个智能相机子系统最多只能指定一个可直播的课桌。
134.s82：控制所述长焦相机持续采集所述指定载体上文档的实时变化视频图像；
135.当被直播的课桌确定后，控制长焦相机瞄准并锁定指定的学生课桌，并进入连续图像采集状态。
136.s83：将所述变化视频图像传输至指定的显示屏幕上实时直播显示。
137.智能相机子系统将图像压缩成实时视频流推送给课堂可视化交互式采集与播放软件，课堂可视化交互式采集与播放软件播放实时视频流，其他同学即可通过大屏幕观看作答或演示过程。
138.在本实施例中前述音频播放和视频播放可以同步进行，例如当只有1个学生进行演示时，视频直播功能和音频直播功能可以同时进行。系统还可以将直播的音频/视频保存在介质中，以便作为资料或者素材使用。
139.实施例3
140.请参阅图8，本实施例提供了一种室内可视化文档采集装置，所述装置包括：
141.广角相机控制模块，用于控制广角相机进行拍摄以获取场景图像，所述场景图像包括：至少一文档轮廓；
142.从所述场景图像中定位并分割出各所述文档轮廓图像505；
143.采集命令队列获取模块，用于获取采集命令队列，所述采集命令队列包括至少一个采集命令，每一所述采集命令包括一指定文档轮廓所在的位置信息；
144.文档图像获取模块，用于根据所述采集命令队列控制长焦相机采集对应所述位置信息的指定文档，进行图像处理得到文档图像；
145.第一显示模块，用于将所述文档图像发送至第一显示区域进行显示。
146.实施例6
147.另外，本发明实施例的室内可视化文档采集装置方法可以由室内可视化文档采集系统，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现前述任一实施例中所述的方法。
148.如图9所示，本实施例的可视化文档采集系统包括1个或多个智能相机子系统100，其中每个智能相机子系统100包括至少1个广角相机，和1个可调节瞄准目标方位的长焦相机。作为一种优选的实施方式，在本实施例中所述广角相机镜头光轴垂直于教室地面或者会议室的地面。采用前述设置方式，广角相机可以全面获取教室或者会议场所的整体场景图像，并且图像中的课桌和文档的图像更接近实际情况，有利于后续对课桌和文档图像实现快速分割和定位。
149.如图10所示，此外智能相机子系统100还包括带网络接口的工控机主板，广角相机和长焦相机连接在工控机主板上，工控机主板运行嵌入式软件系统300，如图11所示，所述嵌入式软件系统300包括总控与接口模块、图像处理与ai算法模块、相机控制模块。
150.如图9所示，前述智能相机子系统100可以吊装在教室的顶部。本实施例的可视化文档采集系统还包括讲台电脑103、共享大屏幕(投影屏幕或lcd显示器)、有线网络交换机或/和无线ap101。其中相机子系统、讲台电脑通过全无线连接、或全有线连接、或部分有线连接部分无线连接的方式组成局域网，并可通过网络协议(例如tcp/udp)互相收发数据和
消息。讲台电脑103可以是独立部署的pc或者是运行在私有云/公有云的虚拟主机，讲台电脑的显示输出至共享大屏幕上。其中讲台电脑和共享大屏幕也可以采用一体交互式电子白板102。
151.在本实施例中，可以在讲台电脑上运行执行前述方法的应用程序，例如课堂可视化交互式采集与播放软件。该程序与局域网内的所有智能相机子系统的总控与接口模块连接。该程序在运行时可以发送文档采集与状态查询指令，接收与显示文档图像。课堂可视化交互式采集与播放软件保存了同一个教室、同一个局域网内的所述所有智能相机的唯一id(例如智能相机的固定ip地址或主机名)以及它们在教室的空间相对位置关系。
152.智能相机子系统的工控机主板运行图像处理与ai算法和相机控制软件，控制广角相实时连续机拍摄教室俯视场景图像，ai算法从图像中定位并分割出1个或多个课桌，并为每个课桌生成并绑定唯一id(不同图像帧中同一个课桌的唯一id相同)，然后将所有课桌图像、课桌图像在场景图中的位置信息，以及课桌唯一id发送给课堂可视化交互式采集与播放软件。
153.工控机主板运行图像处理与ai算法软件和相机控制软件，控制长焦相机，瞄准指定课桌拍摄课桌高清图像，并对课桌图像进行透视校正与文档分割，获得文档图像，并将文档图像通过总控与接口模块发送至课堂可视化交互式采集与播放软件。
154.在本实施例中，所述室内可视化文档采集系统还包括无线按钮遥控器，遥控器与任一智能相机子系统配对。无线按钮遥控器集成系统状态指示灯，指明系统处于何种状态，以免系统不可用时老师按按钮发送文档采集指令而不能获得预期反馈。优选的，用一种颜色的指示灯指示无线按钮遥控器与智能相机子系统的连接状态。用另外颜色的指示灯801指示智能相机子系统的可用状态，和后台无界面开机自启动服务的状态。因为讲台电脑是公用电脑，有可能因为第三方软件的副作用操作导致后台无界面开机自启动服务不可用。其中无线按钮遥控器的操作按键布置参见图12，在无线按钮遥控器上设置了退出按键802、随机按键803、全收按键805、抢答按键804、多页按键806，以及主屏按键807、
155.其中退出按键802所实现的功能是结束/取消正在进行的采集操作；其中随机按键803所实现的功能是随机选择一个课桌采集；其中抢答按键804所实现的功能是采集所有的课桌；其中全收按键805所实现的功能是进入抢答提交状态；其中多页按键806所实现的功能是进入多页提交状态；其中主屏按键807所实现的功能是调出课堂可视化交互式采集与播放软件；
156.本实施例的室内可视化文档采集系统还包括麦克风阵列，该麦克风阵列可以集成到智能相机子系统中。此外室内可视化文档采集系统还包括扩音装置或者扩音设备。
157.本发明的采集系统操作简单，老师无需学习就能使用本发明的采集系统，有助于提升课堂效率，帮助老师实时掌握学情，动态调整教学计划。并且通过本扫描的采集系统的常态化使用，可为学生积累个人课堂学习大数据，为基于ai因材施教提供大数据基础。
158.实施例7
159.另外，结合上述实施例中的室内可视化文档采集方法，本发明实施例可提供一种计算机可读介质来实现。该计算机可读介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种室内可视化文档采集方法。
160.以上是对本发明实施例提供的室内可视化文档采集方法、装置、设备及介质的详
细介绍。
161.需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
162.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd
‑
rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
163.还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
164.以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。