新闻采集系统的制作方法

1.本技术涉及信息技术领域，尤其涉及一种新闻采集系统。


背景技术：

2.由于互联网传播新闻信息上有着与生俱来的优势，网络上的新闻日益成为人们获取信息的主要方式之一。新闻采集系统在采集网络上的新闻时，一般会采取网络爬虫的方式，各类不同的数据源去爬取新闻数据。目前新闻采集系统的主流实现方式如下：采用python实现的爬虫框架scrapy、采用java编写的apache nutch、采用golang编写的colly等。以上几种新闻采集系统的框架虽然可以实现数据采集，但是会存在以下几个问题：
3.1、现有的爬虫框架只支持html(hyper text markup language，超文本标记语言)的页面数据采集和解析，针对rss(really simple syndication，简易信息聚合)数据流以及api接口的json数据流无法提供足够的支持。而市场上很多财经类网站的新闻数据都是通过rss订阅或者是api提供的的，因此难以适用于其它数据流类型的数据源。
4.2、定向采集某些财经网站的栏目是，需要针对网站页面结构或者数据流类型，人工构造不同的爬虫程序实现数据的采集和解析，因此会导致人工工作量大，代码复用率低，影响新闻数据的采集进度和效率。


技术实现要素：

5.本技术的一个目的是提供一种新闻采集系统，用以解决现有的新闻采集系统无法适用于各种数据流类型的新闻数据的采集和解析，且代码复用率低、影响采集效率的问题。
6.为实现上述目的，本技术实施例提供了一种新闻采集系统，所述系统至少包括：
7.配置模块，用于获取用户对通用采集模块的采集配置信息和对通用解析模块的解析配置信息；
8.通用采集模块，用于根据配置模块所获取的采集配置信息实现对应的采集器功能，对不同数据流类型的数据源进行新闻数据采集；
9.通用解析模块，用于根据配置模块所获取的解析配置信息实现对应的解析器功能，对通用采集模块采集到的不同数据流类型的新闻数据进行解析，获取格式化新闻数据。
10.进一步地，所述不同数据流类型包括：html类型、rss类型或json类型。
11.进一步地，当数据源的数据流类型为html类型时，所述通用采集模块用于根据配置模块所获取的、针对html类型的采集配置信息实现对应于html类型的采集器功能，对所述html类型的数据源进行新闻数据采集；
12.所述通用解析模块用于根据配置模块所获取的、针对html类型解析配置信息实现对应于html类型的解析器功能，对通用采集模块采集到的、html类型的新闻数据进行解析，获取格式化新闻数据。
13.进一步地，当数据源的数据流类型为rss类型时，所述通用采集模块用于根据配置模块所获取的、针对rss类型的采集配置信息实现对应于rss类型的采集器功能，对所述rss
类型的数据源进行新闻数据采集；
14.所述通用解析模块用于根据配置模块所获取的、针对rss类型解析配置信息实现对应于rss类型的解析器功能，对通用采集模块采集到的、rss类型的新闻数据进行解析，获取格式化新闻数据。
15.进一步地，当数据源的数据流类型为json类型时，所述通用采集模块用于根据配置模块所获取的、针对json类型的采集配置信息实现对应于json类型的采集器功能，对所述json类型的数据源进行新闻数据采集；
16.所述通用解析模块用于根据配置模块所获取的、针对json类型解析配置信息实现对应于json类型的解析器功能，对通用采集模块采集到的、json类型的新闻数据进行解析，获取格式化新闻数据。
17.进一步地，格式化新闻数据的字段可以包括以下至少任意一项：新闻地址、标题、摘要、正文、封面图、作者、发布时间、关键词和网站名称。
18.进一步地，所述通用解析模块在对html类型的新闻数据进行解析时，通过开源库goquery根据html dom节点对新闻数据进行解析或者通过文章提取器，获取格式化新闻数据的字段；
19.所述通用解析模块在对rss类型的新闻数据进行解析时，通过开源库gofeed对新闻数据进行解析，获取格式化新闻数据的字段；
20.所述通用解析模块在对json类型的新闻数据进行解析时，通过开源库gjson结合预先配置的解析规则对新闻数据进行解析，获取格式化新闻数据的字段。
21.进一步地，所述通用解析模块在解析获取格式化新闻的正文字段时，通过开源模块goquery根据新闻数据页面的原始配置获取格式化新闻数据的正文字段。
22.进一步地，所述通用采集模块和通用解析模块采用分布式的方式部署于多个服务器上，并根据预设的调度策略选择目标服务器作为实际执行节点，实现进行新闻数据采集和解析，所述目标服务器是一个或多个服务器。
23.进一步地，所述系统还包括任务管理模块，用于根据预设的采集间隔或采集时间对所述通用采集模块进行新闻数据采集的任务进行管理，以控制所述通用采集模块按照预设的采集时间或采集时间对不同数据流类型的数据源进行新闻数据采集。
24.相较于现有技术，本技术实施例提供的新闻采集系统中包括了配置模块、通用采集模块、通用解析模块和任务管理模块。其中，配置模块用于获取用户对通用采集模块的采集配置信息和对通用解析模块的解析配置信息；通用采集模块用于根据配置模块所获取的采集配置信息实现对应的采集器功能，对不同数据流类型的数据源进行新闻数据采集；通用解析模块用于配置模块所获取的解析配置信息实现对应的解析器功能，对通用采集模块采集到的不同数据流类型的新闻数据进行解析，获取格式化新闻数据。由于采用了通用的采集模块和解析模块的设计，在针对不同的数据流类型时，可以根据采集配置信息和解析配置信息，实现对应于各种数据流类型的采集器功能和解析器功能，使得新闻采集系统可以适用于各种数据流类型的新闻数据的采集和解析，提高采集成功率和及时性，并且在针对不同的数据流类型时，仅需要改变通用采集模块和通用解析模块的配置，无需人工构造完全不同的爬虫程序，因此代码复用率高，能够提升采集效率。
附图说明
25.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
26.图1为本技术实施例提供的一种新闻采集系统的结构示意图；
27.图2为本技术实施例中新闻采集系统的配置内容的示意图；
28.图3为本技术实施例在实现新闻数据采集和解析时的处理流程示意图；
29.图4为本技术实施例中通用解析模块对不同数据流类型的新闻数据进行解析时的原理示意图；
30.图5为采用本技术实施例的方案所实现的新闻数据采集构架在采集新闻数据时的流程图；
31.附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
32.下面结合附图对本技术作进一步详细描述。
33.在本技术一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
34.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
35.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机程序指令、数据结构、程序的装置或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
36.本技术实施例提供了一种新闻采集系统，该系统采用了通用的采集模块和解析模块的设计，在针对不同的数据流类型时，可以根据采集配置信息和解析配置信息，实现对应于各种数据流类型的采集器功能和解析器功能，使得新闻采集系统可以适用于各种数据流类型的新闻数据的采集和解析，提高采集成功率和及时性，并且在针对不同的数据流类型时，仅需要改变通用采集模块和通用解析模块的配置，无需人工构造完全不同的爬虫程序，因此代码复用率高，能够提升采集效率。
37.在实际场景中，该方法的执行主体可以是用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备，或者也可以是运行于上述设备的应用程序。所述用户设备包括但不限于计算机、手机、平板电脑等各类终端设备；所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(cloud computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
38.图1示出了本技术实施例提供的一种新闻采集系统，所述系统至少包括配置模块
110、通用采集模块120和通用解析模块130。其中，所述配置模块110能够获取用户对通用采集模块的采集配置信息和对通用解析模块的采集配置信息，从而在新闻采集的处理过程中负责采集、解析等规则的配置。在实际场景中，运营人员可以在后台针对新闻网站的结构配置不同的采集和解析规则，所述配置模块110获取到这些采集和解析规则所对应的采集配置信息和采集配置信息，即可用于通用采集模块120和通用解析模块130对具体新闻数据的采集处理中。
39.在本技术的一个实施例中，配置模块中的配置内容可以如图2所示，包括了解析配置、基础配置和种子链接配置。其中，解析配置可以包括如下的具体配置项：列表规则、地址规则、标题规则、摘要规则、封面图规则、正文规则、站点名称规则、时间规则、作者规则等，上述配置项对应于本方案中的解析配置信息。对于不同数据流类型的新闻数据，其所对应解析配置信息也不相同，其中本技术所涉及的数据流类型可以至少包括html类型、rss类型或json类型。以如下的json类型的一条新闻数据为例：
[0040][0041]
"content":"e公司讯，按余额规模口径统计，截至目前南向资金净流入超40亿元，其中港股通(沪)流入超17亿元，港股通(深)流入超22亿元。",
[0042][0043]
对于上述json类型的新闻数据，根据解析配置信息所对应的列表规则、地址规则、标题规则、摘要规则、封面图规则、正文规则、站点名称规则、时间规则、作者规则等配置项，确定其解析规则如下：
[0044][0045]
以url:"url"以及urltemplate:"https://www.egsea.com{{.url}}"为例，其对应于配置项中的地址规则，表示解析新闻数据的地址时的具体方式，其中地址的表示形式可以是url(uniform resource locator，统一资源定位符)链接，其内容来自于json类型的新闻数据中的"url"，且具体地址内容的模版是“https://www.egsea.com” ".url"的字段值，按照该规则解析出的新闻数据的地址即为：https://www.egsea.com/news/detail/882247.html。同理可知，解析规则中的其余几项对应于配置项中的列表规则、标题规则、摘要规则、封面图规则、正文规则、站点名称规则、时间规则、作者规则等，可以由这些配置项的具体内容确定，最终形成对于特定数据流类型的新闻数据的完整解析规则。
[0046]
此外，配置模块中的基础配置可以包括并发数、递归深度、采集间隔、定时时间戳、列表页正则、落地页正则、域名白名单，种子链接配置包括请求地址、地址可配置模版、请求
方法、请求参数等，上述配置项对应于本方案中的采集配置信息，可以在通过爬虫的方式从数据源中爬取新闻数据时，对爬取的处理过程进行控制，以适用于不同数据流类型的数据源。
[0047]
对于通用采集模块，可以根据配置模块所获取的采集配置信息实现对应的采集器功能，对不同数据流类型的数据源进行新闻数据采集。而采集获取到的新闻数据，则继续交由通用解析模块进行解析最终获取到格式化新闻数据。其中，所述数据源是指各类能够提供新闻数据的对象，例如各类新闻网站等。
[0048]
图3示出了上述处理的具体流程，数据源的新闻数据流采集时，可以预先确定数据源的数据流类型，例如在实际场景中，在接入数据源时一般可以由运营人员对数据源进行审核，根据具体网站和具体链接对数据源的数据类型进行分析。当数据源的数据流类型为html类型时，所述通用采集模块根据配置模块所获取的、针对html类型的采集配置信息实现对应于html类型的采集器功能，对所述html类型的数据源进行新闻数据采集。当数据源的数据流类型为rss类型时，所述通用采集模块根据配置模块所获取的、针对rss类型的采集配置信息实现对应于rss类型的采集器功能，对所述rss类型的数据源进行新闻数据采集。当数据源的数据流类型为json类型时，所述通用采集模块根据配置模块所获取的、针对json类型的采集配置信息实现对应于json类型的采集器功能，对所述json类型的数据源进行新闻数据采集。
[0049]
在本技术的一些实施例中，通用采集模块的接口如下：
[0050]
type collector interface{
[0051]
collect()(result[]interface{},err error)
[0052]
}
[0053]
由此，针对不同数据流类型的新闻数据时，通用采集模块可以通过实现以上方法即可完成采集的全部过程。其中的collect方法用于根据不同的采集配置信息实现新闻数据的采集，返回格式化列表新闻和错误信息。其中，错误信息一般是指网络异常、http的404响应或者请求失败等错误所反馈的信息。
[0054]
通用采集模块所采集到的新闻数据还未经过解析，新闻采集系统还无法从中获取有效的信息，可以将其作为新闻原始流数据保存。在抓取到新闻原始流数据后，可以将其通过通用解析模块所实现的解析器功能，进行解析，从而获取格式化新闻数据，完成新闻的有效采集。在本技术的一些实施例中，解析获取的格式化新闻数据的字段可以包括新闻地址、标题、摘要、正文、封面图、作者、发布时间、关键词和网站名称等字段中的至少任意一项。在实际场景中可以根据采集场景的需要设定。
[0055]
图4示出了通用解析模块对不同数据流类型的新闻数据进行解析时的原理，当数据源的数据流类型为html类型时，所述通用解析模块于根据配置模块所获取的、针对html类型解析配置信息实现对应于html类型的解析器功能，对通用采集模块采集到的、html类型的新闻数据进行解析，获取格式化新闻数据。
[0056]
具体地，通用解析模块在对html类型的新闻数据进行解析时，可以通过开源库goquery根据html dom节点对新闻数据进行解析，获取格式化新闻数据的字段。由于html dom节点中定义页面中所有html元素的对象和属性，以及访问它们的方法，因此通过开源库goquery中已有的方法，可以快速高效地解析其中所包含的新闻数据的具体内容。
[0057]
在本技术的另一些实施例中，通用解析模块在对html类型的新闻数据进行解析时，也可以通过文章提取器对新闻数据进行解析，获取格式化新闻数据的字段。例如，本实施例中可以采用开源的文章提取器readability从html页面中提取需要的新闻数据的字段，也同样可以快速高效地解析其中所包含的新闻数据的具体内容。
[0058]
当数据源的数据流类型为rss类型时，所述通用解析模块根据配置模块所获取的、针对rss类型解析配置信息实现对应于rss类型的解析器功能，对通用采集模块采集到的、rss类型的新闻数据进行解析，获取格式化新闻数据。
[0059]
在实际场景中，所述通用解析模块在对rss类型的新闻数据进行解析时，可以通过开源库gofeed对新闻数据进行解析，获取格式化新闻数据的字段，以实现高效的新闻数据解析。以如下的rss类型的一条新闻数据为例，若该条rss类型的新闻数据采用的数据格式是xml(extensible markup language，可扩展标记语言)，具体如下：
[0060]
[0061][0062]
<！[cdata[在刚刚过去的2018年，受政策和宏观经济等因素的影响，中国汽车市场结束了长达28年的增长，全年汽车销量定格在2808万辆，同比下降2.8％。预示着中国汽车产业开始进入结构性改革时期，汽车企业转型成为变革时代的必然趋势。随之而来的是，在车企陆续发布2018年度业绩预告中，我们看到多家车企利润大跌，甚至出现由盈转亏的局面。其中，长安汽车在业绩预告中表示因合营企业的投资]]>
[0063][0064][0065]
对于以上rss类型的新闻数据，通过开源库gofeed对新闻数据进行解析时的具体方式如下：
[0066][0067]
由此可以解析出该rss类型的新闻数据的字段，从而获得包括新闻地址、标题、摘要、正文、封面图、作者、发布时间、关键词和网站名称等具体字段内容在内的格式化新闻数据，完成rss类型的新闻数据的解析。
[0068]
而当数据源的数据流类型为json类型时，所述通用解析模块根据配置模块所获取的、针对json类型解析配置信息实现对应于json类型的解析器功能，对通用采集模块采集到的、json类型的新闻数据进行解析，获取格式化新闻数据。
[0069]
在实际场景中，所述通用解析模块在对json类型的新闻数据进行解析时，通过开源库gjson结合预先配置的解析规则对新闻数据进行解析，获取格式化新闻数据的字段，以实现高效的新闻数据解析。以前述列举的json类型的一条新闻数据以及对应的解析规则为例，通过开源库gjson结合预先配置的解析规则对新闻数据进行解析后，所获取的格式化新闻数据的字段如下：
[0070]
标题:南向资金净流入超40亿元
[0071]
摘要:e公司讯，按余额规模口径统计，截至目前南向资金净流入超40亿元，其中港股通(沪)流入超17亿元，港股通(深)流入超22亿元。
[0072]
新闻地址:https://www.egsea.com/news/detail/882247.html
[0073]
封面图:https://resource
‑
e2
‑
oss.egsea.com/upload/2020/0702/14/
5efd81ed75c35b69ea57.png
[0074]
发布时间：1621218661
[0075]
作者：彭飞
[0076]
关键词:资金港股通
[0077]
对于一些防爬机制的数据源，通用采集模块可以通过配置模块获取对应的配置信息，使得在实现数据采集时能够避开这些防爬机制，例如通过设置代理的方式来采集新闻数据并进行解析。
[0078]
对于新闻数据中的正文，由于其数据的长度往往会远大于其他字段，因此在部分场景中可能不会直接作为新闻数据的一部分直接采集。若采集的新闻数据中存在正文，则可以采用前述的方式直接中新闻数据中解析获得，若采集的新闻数据中不存在正文，则可以通过新闻数据的新闻地址字段，打开新闻地址对应的链接去新闻数据页面上采集正文。在此种情况下，通用解析模块在解析获取格式化新闻的正文字段时，可以通过开源模块goquery根据新闻数据页面的原始配置获取格式化新闻数据的正文字段。
[0079]
在本技术的一些实施例中，通用解析模块的接口如下：
[0080][0081][0082]
由此，针对不同数据流类型的新闻数据时，通用解析模块可以通过实现以上方法即可完成解析的全部过程。其中的parselist方法用于根据响应的新闻数据获取格式化新闻数据的列表以及错误信息，而parsedetail方法用于根据新闻数据获取最终的格式化新闻数据的具体字段内容以及错误信息。
[0083]
在本技术的另一些实施例中，所述新闻采集系统还可以包括任务管理模块，用于对所述通用采集模块进行新闻数据采集的任务进行管理。具体地，可以根据预设的采集间隔或采集时间对所述通用采集模块进行新闻数据采集的任务进行管理，以控制所述通用采集模块按照预设的采集时间或采集时间对不同数据流类型的数据源进行新闻数据采集。其中，预设的采集间隔或采集时间可以通过配置模块获取。
[0084]
此外，通过预先的配置，也可以进一步实现分布式的任务管理来实现新闻数据采集。在实际场景中，所述通用采集模块和通用解析模块采用分布式的方式部署于多个服务器上，并根据预设的调度策略选择目标服务器作为实际执行节点，实现进行新闻数据采集和解析。其中，所述目标服务器是一个或多个服务器，采用多个服务器作为实际执行节点时，可以实现斗节点同时采集解析数据，大大提高新闻数据采集的速度和时效性。所述预设的调度策略可以是通过分布式锁，确保同一个节点同一时间只有一个采集任务执行，以避免产生冲突。
[0085]
图5示出了采用本技术实施例的方案所实现的新闻数据采集构架在采集新闻数据时的流程，其中的具体模块说明如下：
[0086]
spider：新闻数据采集框架调度核心，用于实现整体流程的调度。
[0087]
engine：新闻采集引擎，负责调度collector和parser执行采集和解析。
[0088]
collector：通用采集器，负责根据配置采集不同数据流类型的新闻数据。
[0089]
parser：通用解析器，负责解析不同数据流类型的新闻数据，以获取格式化新闻数据。
[0090]
scheduler：任务管理器，负责采集任务的创建、开启、停止等控制。
[0091]
item_buffer：新闻数据缓存队列，批量将以解析获得的格式化新闻数据存储到数据库。
[0092]
request_buffer：采集任务缓存队列，批量将采集任务的请求分发到任务队列
[0093]
requestor：新闻请求器，负责发起网络请求，获取原始的新闻数据。
[0094]
responser：响应数据体，负责接收并封装网络请求所返回的响应数据。
[0095]
该新闻数据采集构架的采集流程至少包括如下的步骤：
[0096]
步骤s1，spider调度scheduler创建采集任务。
[0097]
步骤s2，scheduler下发采集任务到request_buffer中。
[0098]
步骤s3，spider调度request_buffer批量将采集任务存储到任务队列。
[0099]
步骤s4，spider调度collector从任务队列中获取采集任务至内存队列。
[0100]
步骤s5，engine从collector中获取采集任务。
[0101]
步骤s6，engine调度request or发起进行采集的网络请求。
[0102]
步骤s7，requestor发起请求并下载新闻数据，在采集期间可以使用代理的方式防止被新闻网站屏蔽。
[0103]
步骤s8，requestor将下载好的新闻数据传给responser，responser将其进行封装。
[0104]
步骤s9，responser将封装好的新闻数据返回给engine。
[0105]
步骤s10，engine调度对应的parser，解析返回的新闻数据。
[0106]
步骤s11，engine将parser解析到的格式化新闻数据分发到item_buffer并将解析过程中新产生的采集任务分发到request_buffer。
[0107]
步骤s11，item_buffer存储格式化新闻数据至数据库。
[0108]
由此可知，上述新闻数据采集构架中的各个模块相互配合，实现了本技术实施例中所提供的新闻采集方案中配置模块、通用采集模块、通用解析模块以及任务管理模块的对应功能，从而能够有效地适用于各种数据流类型的新闻数据的采集和解析，提高采集成功率和及时性，并且在针对不同的数据流类型时，仅需要改变通用采集模块和通用解析模块的配置，无需人工构造完全不同的爬虫程序，因此代码复用率高，能够提升采集效率。
[0109]
本技术实施例还提供了一种计算设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备实现前述本技术的多个实施例的方法和/或技术方案。
[0110]
特别地，本技术实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被处理单元执行时，执行本技术的方法中限定的上述功能。
[0111]
需要说明的是，本技术所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限
于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0112]
而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0113]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0114]
附图中的流程图或框图示出了按照本技术各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0115]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个计算机程序指令，所述计算机程序指令可被处理器执行以实现前述本技术的多个实施例的方法和/或技术方案。
[0116]
需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本技术的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现，例如，
作为与处理器配合从而执行各个步骤或功能的电路。
[0117]
对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。