基于视频结构化技术的时空数据沉浸式交互的方法与系统与流程

1.本发明属于数据可视化的技术领域，具体涉及一种基于视频结构化技术的时空数据沉浸式交互的方法与系统。


背景技术：

2.随着数据分析及可视化技术的发展，各种可视化展示及交互方法现在已经很普遍的应用在了数据分析、数据统计、数据挖掘等领域中。对于视频中通过结构化得到的数据，具有海量、时空、对象间关联紧密等特征，是一种时空数据，运用前端可视化及交互技术可以帮助用户高效地查看和分析此类数据。目前针对时空数据的可视化及交互方法有chart图表技术、地图gis可视化技术等web可视化技术，还有结合虚拟现实技术、多维度模型等多领域技术的交互方式。
3.比较典型的视频结构化对象可视化交互方法是通过列表罗列时空数据可视化展示。此种方式可以表达对象数据的连续性和完整属性，但空间信息无法直观表达，尤其在数据分页情况下浏览分析数据思路更容易被打断。
4.基于地图gis的时空数据交互技术能较好的表达地理空间信息。基于多维度模型的时空数据可视化方法具有强大的计算能力，用于大量点状数据的统计分析。这两类方法都适用于对于视频结构化的大范围概览及数据量分布展示，不适用于具有明确空间目的地的视频结构化对象订阅和具有轻量级需求的web应用系统。
5.关系图、折线图、饼图等chart图表适用于针对某一类数据属性或数据统计结果进行可视化展示，无法表达时空数据的完整属性，且其注重视觉效果，缺乏空间交互。
6.有鉴于此，提出一种基于视频结构化技术的时空数据沉浸式交互的方法与系统是非常具有意义的。


技术实现要素：

7.为了解决现有的对于视频结构化时空数据的可视化交互上存在不足的问题，本发明提供一种基于视频结构化技术的时空数据沉浸式交互的方法与系统，以解决上述存在的技术缺陷问题。
8.第一方面，本发明提出了一种基于视频结构化技术的时空数据沉浸式交互的方法，该方法包括如下步骤：
9.s1、选择关注的历史时间点以及空间位置；
10.s2、发起获取所述时间点前面时间段以及后面时间段的视频结构化时空数据源的请求；
11.s3、判断请求返回的所述视频结构化时空数据源的数据是否为空，若是执行s4，否则执行s5；
12.s4、判断请求的总次数是否大于n，如果是，扩大请求的时间范围，并执行s2，否则结束；
13.s5、获取时空数据之间的时间差计算数据对象的步长，建立具有时间锚点属性的数据模型；
14.s6、进一步定义页面的背景；
15.s7、按所述空间位置等比例渲染当前所述时间点的结构化数据，按需绑定具有交互功能的渲染组件，以交互展示该条数据的具体属性；
16.s8、按获取的所述步长计算当前渲染对象的透明度和缩放比例；
17.s9、全局添加监听鼠标滚轮滚动事件dommousescroll，并设置初始锚点值为0；
18.s10、监听所述滚轮是否滚动，如果是执行s11，否则结束；
19.s11、所述滚轮向下滚动时当前锚点值减1，所述滚轮向上滚动时当前锚点值加1，并执行s7；
20.s12、判断当前锚点值与最后一条时空数据的锚点值相减后的值是否小于m，如果是，执行s2，否则结束。
21.优选的，s4中还包括，否则结束并提示用户该时间段内没有结构化时空数据，其中，n为允许重复请求的最大次数。
22.进一步优选的，n的值设置为30。
23.优选的，s5中通过分段函数和皮尔模型，运用时空数据之间的时间差计算数据对象的步长，作为对象渲染时过渡的因素；
24.计算公式如下：
[0025][0026]
其中，t为相邻两条时空数据之间的时间差绝对值，单位为秒，s为步长，a、b、c、k为皮尔模型的参数。
[0027]
进一步优选的，a的取值为0.25；b的取值为1；c的取值为5；k的取值为3。
[0028]
优选的，在s6中，定义分辨率为该视频的分辨率，定义页面背景为高斯模糊的真实背景照。
[0029]
优选的，在s7中，所述渲染组件包括hover、click交互事件。
[0030]
第二方面，本发明提出了一种基于视频结构化技术的时空数据沉浸式交互的系统，包括：
[0031]
选择模块：用于选择关注的历史时间点以及空间位置；
[0032]
数据请求模块：用于发起获取时间点前面时间段以及后面时间段的视频结构化时空数据源的请求；
[0033]
判断模块：用于判断请求模块返回的数据是否为空；判断当前锚点值与最后一条时空数据的锚点值相减后的值是否小于m；
[0034]
计算模块：用于计算数据对象的步长、当前渲染对象的透明度和缩放比例以及当前锚点值；
[0035]
交互模块：用于交互展示该条数据的具体属性；
[0036]
监听模块：用于监听鼠标滚轮滚动事件。
[0037]
第三方面，本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
[0038]
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0039]
与现有技术相比，本发明的有益成果在于：
[0040]
(1)本发明通过运用web技术清晰地展示结构化对象的空间位置和时间顺序，结合分段函数和皮尔生长模型运算数据间的交互过渡因素，使高维时空下渲染对象间平滑过渡，使用户能快速带入实际场景，沉浸交互，并能够快速定位到用户关注的空间点位和时间点，通过短时间的快速浏览捕捉重点结构化对象，跳过无效时间段，节约时间成本，快速锁定同一时空条件下的关联结构化对象，提高用户体验。
[0041]
(2)本发明采用分段函数和皮尔生长模型运算数据间的交互过渡因素，使高维时空下渲染对象间平滑过渡，其视觉感受符合远大近小，时间缓急，符合人类感受时间和空间的习惯和规律，这种过渡使用户能身临其境，快速沉浸。
[0042]
(3)本发明能够便捷地融合展示数据的时间属性和空间属性，在一定程度上解决了大数据量结构化对象显示中的空间混乱现象，视觉效果良好。
[0043]
(4)本发明能够快速便捷的概览历史时间段内的视频结构化对象，快速发现关注事物(如火灾、险情等)发生的时间、地点、同行关联对象。
[0044]
(5)本发明能够方便地在结构化对象上叠加渲染数据的所有属性，提高用户体验；本发明能实时配置更改计算参数，满足用户个性化需求，如倍速需求。
[0045]
(7)本发明面向视频结构化时空数据做了交互优化，但并不限制数据类型，任何具有时空属性的数据都可以作为本方法的输入，可扩展性强。
附图说明
[0046]
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
[0047]
图1是本发明的一个实施例可以应用于其中的示例性装置架构图；
[0048]
图2为本发明的实施例的基于视频结构化技术的时空数据沉浸式交互的方法的流程示意图；
[0049]
图3为本发明的实施例的基于视频结构化技术的时空数据沉浸式交互的方法的整体流程示意图；
[0050]
图4为本发明的实施例的基于视频结构化技术的时空数据沉浸式交互的方法中数据模型的示意图；
[0051]
图5为本发明的实施例的基于视频结构化技术的时空数据沉浸式交互的系统的结构示意图；
[0052]
图6是适于用来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
[0053]
在以下详细描述中，参考附图，该附图形成详细描述的一部分，并且通过其中可实践本发明的说明性具体实施例来示出。对此，参考描述的图的取向来使用方向术语，例如“顶”、“底”、“左”、“右”、“上”、“下”等。因为实施例的部件可被定位于若干不同取向中，为了图示的目的使用方向术语并且方向术语绝非限制。应当理解的是，可以利用其他实施例或可以做出逻辑改变，而不背离本发明的范围。因此以下详细描述不应当在限制的意义上被采用，并且本发明的范围由所附权利要求来限定。
[0054]
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0055]
图1示出了可以应用本发明实施例的用于处理信息的方法或用于处理信息的装置的示例性系统架构100。
[0056]
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0057]
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0058]
终端设备101、102、103可以是具有通信功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0059]
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的校验请求信息进行处理的后台信息处理服务器。后台信息处理服务器可以对接收到的校验请求信息进行分析等处理，并得到处理结果(例如用于表征校验请求为合法请求的校验成功信息)。
[0060]
需要说明的是，本发明实施例所提供的用于处理信息的方法一般由服务器105执行，相应地，用于处理信息的装置一般设置于服务器105中。另外，本发明实施例所提供的用于发送信息的方法一般由终端设备101、102、103执行，相应地，用于发送信息的装置一般设置于终端设备101、102、103中。
[0061]
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或多个软件模块，在此不做具体限定。
[0062]
图2示出了本发明的实施例公开了一种基于视频结构化技术的时空数据沉浸式交互的方法，如图2和图3所示，该方法包括如下步骤：
[0063]
s1、选择关注的历史时间点以及空间位置；
[0064]
s2、发起获取所述时间点前面时间段以及后面时间段的视频结构化时空数据源的请求；
[0065]
s3、判断请求返回的所述视频结构化时空数据源的数据是否为空，若是执行s4，否则执行s5；
[0066]
s4、判断请求的总次数是否大于n，如果是，扩大请求的时间范围，并执行s2，否则
结束；
[0067]
具体的，在本实施例中，s4中还包括，否则结束并提示用户该时间段内没有结构化时空数据，其中，n为允许重复请求的最大次数。优选的，在此实施例中，n的值设置为30。
[0068]
s5、获取时空数据之间的时间差计算数据对象的步长，建立具有时间锚点属性的数据模型；
[0069]
具体的，在s5中通过分段函数和皮尔模型，运用时空数据之间的时间差计算数据对象的步长，作为对象渲染时过渡的因素；
[0070]
计算公式如下：
[0071][0072]
其中，t为相邻两条时空数据之间的时间差绝对值，单位为秒，s为步长，a、b、c、k为皮尔模型的参数。作为优选的，在此实施例中，a的取值为0.25；b的取值为1；c的取值为5；k的取值为3。
[0073]
通过采用分段函数和皮尔生长模型运算数据间的交互过渡因素，使高维时空下渲染对象间平滑过渡，其视觉感受符合远大近小，时间缓急，符合人类感受时间和空间的习惯和规律，这种过渡使用户能身临其境，快速沉浸。
[0074]
具体的，如图4所示，数据模型图包括点位id、点位名称、结构化id、照片、坐标以及时间、时间锚点、经纬度以及背景照等。
[0075]
s6、进一步定义页面的背景；
[0076]
具体的，在本实施例中，定义分辨率为该视频的分辨率，定义页面背景为高斯模糊的真实背景照。
[0077]
s7、按所述空间位置等比例渲染当前所述时间点的结构化数据，按需绑定具有交互功能的渲染组件，以交互展示该条数据的具体属性；
[0078]
具体的，所述渲染组件包括hover、click交互事件，其中hover事件为展示当前时间点的实时背景照，click事件为向后端请求并展示当前对象的结构化属性。
[0079]
s8、按获取的所述步长计算当前渲染对象的透明度opacity和缩放比例transform；
[0080]
s9、全局添加监听鼠标滚轮滚动事件dommousescroll，并设置初始锚点值为0；
[0081]
s10、监听所述滚轮是否滚动，如果是执行s11，否则结束；
[0082]
s11、所述滚轮向下滚动时当前锚点值减1，所述滚轮向上滚动时当前锚点值加1，并执行s7；
[0083]
s12、判断当前锚点值与最后一条时空数据的锚点值相减后的值是否小于m，如果是，执行s2，否则结束。其中，m为用户指定的再次请求数据的范围。
[0084]
本发明通过运用web技术清晰地展示结构化对象的空间位置和时间顺序，结合分段函数和皮尔生长模型运算数据间的交互过渡因素，使高维时空下渲染对象间平滑过渡，使用户能快速带入实际场景，沉浸交互，并能够快速定位到用户关注的空间点位和时间点，通过短时间的快速浏览捕捉重点结构化对象，跳过无效时间段，节约时间成本，快速锁定同一时空条件下的关联结构化对象，提高用户体验。
[0085]
进一步的，本发明能够便捷地融合展示数据的时间属性和空间属性，在一定程度上解决了大数据量结构化对象显示中的空间混乱现象，视觉效果良好；能够快速便捷的概览历史时间段内的视频结构化对象，快速发现关注事物(如火灾、险情等)发生的时间、地点、同行关联对象；能够方便地在结构化对象上叠加渲染数据的所有属性，提高用户体验；本发明能实时配置更改计算参数，满足用户个性化需求，如倍速需求；面向视频结构化时空数据做了交互优化，但并不限制数据类型，任何具有时空属性的数据都可以作为本方法的输入，可扩展性强。
[0086]
第二方面，本发明提出了一种基于视频结构化技术的时空数据沉浸式交互的系统，参照图5，包括：
[0087]
选择模块51：用于选择关注的历史时间点以及空间位置；
[0088]
数据请求模块52：用于发起获取时间点前面时间段以及后面时间段的视频结构化时空数据源的请求；
[0089]
判断模块53：用于判断请求模块返回的数据是否为空；判断当前锚点值与最后一条时空数据的锚点值相减后的值是否小于m；
[0090]
计算模块54：用于计算数据对象的步长、当前渲染对象的透明度和缩放比例以及当前锚点值；
[0091]
交互模块55：用于交互展示该条数据的具体属性；
[0092]
监听模块56：用于监听鼠标滚轮滚动事件。
[0093]
下面参考图6，其示出了适于用来实现本发明实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0094]
如图6所示，计算机装置600包括中央处理单元(cpu)601和图形处理器(gpu)602，其可以根据存储在只读存储器(rom)603中的程序或者从存储部分609加载到随机访问存储器(ram)606中的程序而执行各种适当的动作和处理。在ram 604中，还存储有装置600操作所需的各种程序和数据。cpu 601、gpu602、rom 603以及ram 604通过总线605彼此相连。输入/输出(i/o)接口606也连接至总线605。
[0095]
以下部件连接至i/o接口606：包括键盘、鼠标等的输入部分607；包括诸如、液晶显示器(lcd)等以及扬声器等的输出部分608；包括硬盘等的存储部分609；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至i/o接口606。可拆卸介质612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器611上，以便于从其上读出的计算机程序根据需要被安装入存储部分609。
[0096]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分610从网络上被下载和安装，和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元(cpu)601和图形处理器(gpu)602执行时，执行本发明的方法中限定的上述功能。
[0097]
需要说明的是，本发明所述的计算机可读介质可以是计算机可读信号介质或者计
算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0098]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0099]
附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0100]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
[0101]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行本发明中第一方面描述的方法步骤。
[0102]
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行
任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。