一种多源数据处理方法、装置、系统及存储介质与流程

1.本说明书涉及计算机技术领域，特别涉及一种多源数据处理方法、装置、系统及存储介质。


背景技术：

2.随着电子商务的快速发展，越来越多的企业都开始利用互联网平台为用户提供产品和/或服务。目前，在在线旅游和/或酒店行业，用户可以在线请求自身所需的产品和/或服务，例如，预定酒店房间或旅游服务。这些产品和/服务可以是由各个供应商提供，例如，酒店。供应商可以将产品和/或服务的相关信息上传至互联网平台，用户通过访问平台进行数据拉取，实现产品和/或服务的了解和比较，进而购买。在这个过程中，平台与供应商之间必然会产生大量数据交互，例如，产品信息的更新。这中间就需要实现信息推送的准确性以及及时性。


技术实现要素：

3.为实现上述目的，本说明书实施例之一提供一种多源数据处理方法。所述方法包括：获取多份待处理数据以及每份待处理数据的来源标识；对所述多份待处理数据执行预处理操作，获取一份或以上目标数据；对于每一份目标数据，基于所述目标数据的数据内容以及所述来源标识，确定唯一标识；基于所述唯一标识，确定所述目标数据是否有效；响应于所述目标数据有效，基于所述目标数据执行以下至少一种操作：数据更新和数据传输。
4.本说明书实施例之一提供一种多源数据处理装置。所述系统包括获取模块、预处理模块以及执行模块。所述获取模块用于获取多份待处理数据以及每份待处理数据的来源标识。所述预处理模块用于对所述多份待处理数据执行预处理操作，获取一份或以上目标数据。对于每一份目标数据，所述执行模块用于：基于所述目标数据的数据内容以及所述来源标识，确定唯一标识；基于所述唯一标识，确定所述目标数据是否有效；以及响应于所述目标数据有效，基于所述目标数据执行以下至少一种操作：数据更新和数据传输。
5.本说明书实施例之一提供一种多源数据处理系统，所述系统包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序。所述计算机程序被所述处理器执行时实现如上所述的方法的步骤。
6.本说明书实施例之一提供一种计算机可读存储介质，所述存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
7.附加的特征将在下面的描述中部分地阐述，并且对于本领域技术人员来说，通过查阅以下内容和附图将变得显而易见，或者可以通过实例的产生或操作来了解。本发明的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。
附图说明
8.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
9.图1是根据本说明书一些实施例所示的多源数据处理系统的应用场景示意图；
10.图2是根据本说明书一些实施例所示的处理设备的示例性框图；
11.图3是根据本说明书一些实施例所示的多源数据处理方法的示例性流程图；
12.图4是根据本说明书一些实施例所示的获取待处理数据的示例性流程图；
13.图5是根据本说明书一些实施例所示的确定有效目标数据的示例性流程图；
14.图6是根据本说明书一些实施例所示的多源数据处理系统的示例性框图；以及
15.图7是根据本说明书一些实施例所示的执行模块的示例模块的示例性框图。
具体实施方式
16.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
17.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
18.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
19.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
20.图1是根据本说明书的一些实施例所示的示例性多源数据处理系统的应用场景示意图。在一些实施例中，该多源数据处理系统可以用于执行基于多来源数据的处理操作，例如，数据更新、数据推送等。如图1所示，应用场景100可以包处理设备110、网络120、数据提供源130、数据接收源140以及存储设备150。
21.处理设备110可用于执行在本说明书中揭示的一个或者多个功能。例如，处理设备110可以获取多份待处理数据以及每份待处理数据的来源标识。又例如，处理设备110可以对所述多份待处理数据执行预处理操作，获取一份或以上目标数据。还例如，处理设备110可以确定每一份目标数据是否有效，并基于有效的目标数据执行数据更新和/或数据传输操作。在一些实施例中，处理设备110可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的(如：处理设备110可以是分布系统)。在一些实施例中，处理设备
110可直接数据提供源130、数据接收源140以及存储设备150连接以实现信息和/或资料的访问和/或推送。在一些实施例中，处理设备110可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。
22.在一些实施例中，处理设备110可以包括一个或多个处理引擎(例如，单核心处理引擎或多核心处理器)。仅作为范例，处理设备110可以包括中央处理器(cpu)、特定应用集成电路(asic)、专用指令集处理器(asip)、图像处理器(gpu)、物理运算处理单元(ppu)、数字信号处理器(dsp)、现场可程序门阵列(fpga)、可程序逻辑装置(pld)、控制器、微控制器单元、精简指令集计算机(risc)、微处理器等中的一种或多种组合。网络120可以促进信息和/或数据的交换。在一些实施例中，应用场景100的一个或者多个组件(例如处理设备110、数据提供源130、数据接收源140和存储设备150)可以通过网络120传送信息至应用场景100的其他组件。例如，处理设备110可以通过网络120从数据提供源130处获取待处理数据，并通过网络120将数据/信息推送给数据接收源140。在一些实施例中，网络120可以是任意形式的有线或者无线网络，或其任意组合。仅作为范例，网络120可以是有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网(lan)、广域网(wan)、无线局域网(wlan)、城域网(man)、广域网(wan)、公共交换电话网络(pstn)、蓝牙
tm
网络、紫蜂
tm
网络、近场通讯(nfc)网络、全球移动通讯系统(gsm)网络、码分多址(cdma)网络、时分多址(tdma)网络、通用分组无线服务(gprs)网络、增强数据速率gsm演进(edge)网络、宽带码分多址接入(wcdma)网络、高速下行分组接入(hsdpa)网络、长期演进(lte)网络、用户数据报协议(udp)网络、传输控制协议/互联网协议(tcp/ip)网络、短信息服务(sms)网络、无线应用协议(wap)网络、超宽带(uwb)网络、移动通信(1g、2g、3g、4g、5g)网络、wi-fi、li-fi、窄带物联网(nb-iot)、红外通信等中的一种或多种组合。在一些实施例中，网络120可包括一个或者多个网络接入点。例如，网络120可包括有线或无线网络进接点比如基站和/或互联网交换点。通过该网络接入点，应用场景100的一个或多个组件可以连接至网络120以交换信息和/或数据。
23.数据提供源130可以为应用场景100中的其他部件的运行提供数据来源。在一些实施例中，数据提供源130可以提供待处理数据。例如，酒店产品/服务中客房相关变更信息。在一些实施例中，数据提供源130可以以终端和/或服务器的形式实现。例如，数据提供源130可以在通过通信链路连接的多个服务器或单个或多个终端设备中实现。数据提供源130还可以由云服务器实现。例如，数据上传至云端后在传输至处理设备110。
24.数据接收源140可以是用于接收处理设备110传输的推送信息。在一些实施例中，数据接收源140也可以在接收到推送信息后展示给外部。例如，数据接收源140可以是酒店产品/服务的销售方，例如，互联网平台。在接收到推送信息后，用户通过智能终端(例如，智能手机、电脑等)上安装的相应的应用程序(例如，app、软件程序等)访问互联网平台并查询相关酒店产品/信息时，数据接收源140可以向用户展示最新的相关信息。
25.存储设备150可以存储数据和/或指令。处理设备110可以执行或使用所述数据和/或指令以实现本说明书中的示例性方法。在一些实施例中，存储设备150可以与网络120连接实现与100中的一个或多个部件(例如，处理设备110、数据提供源130、数据接收源140等)之间的通信。应用场景100的一个或多个部件可以通过网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接与应用场景100的一个或多个部件
(例如，处理设备110、数据提供源130、数据接收源140等)连接或通信。在一些实施例中，存储设备150可以是处理设备110的一部分。例如，存储设备150可以作为处理设备110的本地存储设备比如磁盘。
26.在一些实施例中，存储设备120可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(rom)等或其任意组合。示例性的大容量储存器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性的挥发性只读存储器可以包括随机存取内存(ram)。示例性的ram可包括动态ram(dram)、双倍速率同步动态ram(ddr sdram)、静态ram(sram)、闸流体ram(t-ram)和零电容ram(z-ram)等。示例性的rom可以包括掩模rom(mrom)、可编程rom(prom)、可擦除可编程rom(perom)、电子可擦除可编程rom(eeprom)、光盘rom(cd-rom)和数字通用磁盘rom等。在一些实施例中，存储设备120可以在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。例如，本说明书中所披露的一些算法或者数据可以存储在某个云平台上，定期更新。处理设备110通过网络120访问这些算法或者数据，以实现整个平台的算法或者数据的统一与交互。特别的，一些历史数据可以统一存储在平台的一个云平台上，以便多个处理设备110的访问或者更新，以便保证数据的实时性和跨平台使用。
27.图2是根据本说明书的一些实施例所示的示例性处理设备的示框图。处理设备110可以包括用来实现本说明书实施例中所描述的系统的任意部件。例如，处理设备110可以用过硬件、软件程序、固件或其组合实现。为了方便起见，图中仅绘制了一个处理设备，但是本说明书实施例所描述的与应用场景100相关的计算功能可以以分布的方式、由一组相似的平台所实施，以分散系统的处理负荷。
28.在一些实施例中，处理设备110可以包括处理器210、存储器220、输入/输出部件230和通信端口240。在一些实施例中，处理器(例如，cpu)210可以以一个或多个处理器的形式执行程序指令。在一些实施例中，存储器220包括不同形式的程序存储器和数据存储器，例如，硬盘、只读存储器(rom)、随机存储器(ram)等，用于存储由计算机处理和/或传输的各种各样的数据文件。在一些实施例中，输入/输出部件230可以用于支持处理设备110与其他部件之间的输入/输出。在一些实施例中，通信端口240可以与网络连接，用于实现数据通信。示例性的处理设备可以包括存储在只读存储器(rom)、随机存储器(ram)和/或其他类型的非暂时性存储介质中的由处理器210执行的程序指令。本说明书实施例的方法和/或流程可以以程序指令的方式实现。处理设备110也可以通过网络通讯接收本说明书中披露的程序和数据。
29.为理解方便，图2中仅示例性绘制了一个处理器。然而，需要注意的是，本说明书实施例中的处理设备110可以包括多个处理器，因此本说明书实施例中描述的由一个处理器实现的操作和/或方法也可以共同地或独立地由多个处理器实现。例如，如果在本说明书中，处理设备110的处理器执行步骤1和步骤2，应当理解的是，步骤1和步骤2也可以由处理设备110的两个不同的处理器共同地或独立地执行(例如，第一处理器执行步骤1，第二处理器执行步骤2，或者第一和第二处理器共同地执行步骤1和步骤2)。
30.图3是根据本说明书一些实施例所示的一种多源数据处理方法的示例性流程图。在一些实施例中，流程300可以由处理设备110执行。例如，流程300可以以程序或指令的形
式存储在存储装置(如处理设备110的自带存储单元例如存储器220或外接存储设备例如存储设备120)中，所述程序或指令被提取并执行时，可以实现流程300。在一些实施例中，流程300可以由多源数据处理系统700执行。如图3所示，流程300可以包括以下操作。
31.步骤310，获取多份待处理数据以及每份待处理数据的来源标识。该步骤可以由获取模块610执行。
32.在一些实施例中，所述待处理数据可以包括与产品/服务相关信息的变更数据。例如，假定产品/服务是在线旅游/酒店的相关产品比如旅行服务或酒店房间，则所述待处理数据可以是旅行服务的服务内容或服务价格，或是酒店房间的价格或相关赠送产品比如早餐的变动信息。在一些实施例中，所述多份待处理数据可以来自于一个或以上数据提供方。例如，数据提供源130。上述数据提供方可以是提供产品/服务的产品/服务提供方。例如，提供住宿房间的酒店供应商比如连锁酒店集团。以酒店为例，对于一个酒店而言，其提供的房型不止一种，每种房型附带的服务也可以是不同的。因此，所述多份待处理数据可以全部来自于一家酒店，包括对其下的不同房型相关信息的变动数据。也可以来自于多家酒店，包括各自对于自家各种房型相关信息的变动数据。
33.在一些实施例中，获取模块610可以基于一定的数据提取规则，从一个或以上的数据队列中获取所述多份待处理数据。作为示例，一个酒店房间的产品可以有多个维度的描述信息，比如价格、预定是否有折扣、床位数、是否有窗等。有关于产品/服务的变动信息，可以是其中的一个或多个维度的描述信息的变化。如此，这些变动信息可以首先基于变动的维度进入不同的数据队列。获取模块610再基于具体的数据提取规则，获取所述多份待处理数据。关于获取所述待处理数据的具体描述，可以参考本说明书图2的描述。
34.在一些实施例中，所述来源标识可以用以指示所述待处理数据的来源或发送方。所述来源标识可以是数字、字母、字符等中的一种或几种的任意组合。在一些实施例中，获取模块610可以确定所述待处理数据的数据提供方，并基于所述数据提供方确定所述待处理数据的来源标识。作为示例，假定用以提供产品/服务的企业有四家，包括a、b、c以及d。则这四家企业所发送的有关于产品/服务的变动信息可以是所述待处理信息。来自企业a的待处理信息的来源表示可以是1，来自企业b的待处理信息的来源表示可以是2，来自企业c的待处理信息的来源表示可以是3，来自企业d的待处理信息的来源表示可以是4。应当注意时，以上示例出于说明的目的，并不限定所述来源标识只能使用数字表示。
35.在一些实施例中，所述待处理数据可以是由数据提供源130发送的。获取模块610可以通过网络120与数据提供源130进行通讯，以获取所述待处理数据。
36.步骤320，对所述多份待处理数据执行预处理操作，获取一份或以上目标数据。该步骤可由预处理模块620执行。
37.可以理解的是，由数据提供源130所发送的有关产品/服务的变更信息并不能保证全部是有效的变更信息。例如，假定某一酒店连锁企业旗下的酒店包括五星级酒店、四星级酒店以及平价酒店。但其在互联网平台上提供的只包括五星级酒店的产品/服务。若该酒店连锁企业所发送的产品/服务的变更信息是其旗下一家平价酒店相关的产品/服务的变更信息，则该变更信息可以认为是无效的。另外，来自于不同数据来源的待处理数据的格式可以是不相同的，而转换这些数据的不同格式为统一格式，有益于数据处理的效率。因此，预处理模块620可以先对所述多份待处理数据执行预处理操作，以剔除无效数据，并输出统一
格式的待处理数据。
38.在一些实施例中，所述预处理操作可以包括数据过滤和数据格式转换。预处理模块620可以至少基于所述待处理数据的数据内容，从所述多份待处理数据中确定一份或以上有效待处理数据，以实现所述数据过滤操作。
39.在一些实施例中，所述待处理数据的数据内容可以至少包括数据接收时刻、产品/服务名称、来源名称、当前产品/服务状态、当前订购时段、价格、折扣、产品/服务具体描述、当前状态、相关联互联网平台等。以酒店产品为例，则数据接收时刻可以是获取到该酒店产品相关信息的时刻，产品/服务名称可以是某一酒店的一个具体房型比如某某酒店大床房，来源名称可以是具体的酒店名称，当前产品/服务状态可以是产品/服务在当前时刻是否可订购，价格和折扣可以是当前时段订购该产品一段时间(比如，旅游旺季期间订购一天一夜或两天两夜等)的价格和可以享受的折扣(比如，订购两天两夜可享九折优惠)；产品/服务具体描述可以包括该大床房的房间大小，所带设施比如吹风机、衣柜、空调等，是否有窗等，订购房间所附带的生活服务比如房间打扫、免费早餐等；当前状态可以包括该房间是否被预定，预定订单是否已付款等；相关联互联网平台可以是提供该酒店房型的交易服务的互联网平台，用户可以在相关联互联网平台上订购该酒店房型。
40.在一些实施例中，所述数据内容中的一项或多项具体信息可以具有一个内容标识符。继续以酒店产品为例，所述数据内容中的来源名称可以具有一个酒店标识符，产品/服务名称可以具有一个房型标识符，产品/服务具体描述可以具有一个产品标识符。结合所述待处理数据的来源标识符，预处理模块620可以基于这些标识符确定对应于所述待处理数据的标号。不同的产品/服务的标号是不一样的。预处理模块620可以通过确定该标号是否存在于预先确定的产品/服务列表中，并确定该产品/服务能否在互联网平台上进行订购。若存在于预先确定的产品/服务列表中，且产品/服务在一个或以上互联网平台上可以进行订购，则说明该产品/服务有效。否则，该产品/服务无效，可以被舍弃。
41.在一些实施例中，所述数据格式转换可以包括转换所述一份或以上有效待处理数据的数据格式。当确定了有效待处理数据后，预处理模块620可以将有效待处理数据的格式转换为统一的格式。该统一的格式有益于理设备110(或多源数据处理系统700)的计算，提升计算效率。
42.在本说明书中，对于每一份目标数据，多源数据处理系统700(例如，执行模块630)可以执行步骤330至步骤350。
43.步骤330，基于所述目标数据的数据内容以及所述来源标识，确定唯一标识。该步骤可以由执行模块630的确定单元710执行。
44.在一些实施例中，所述目标数据的数据内容可以是在步骤320中被确定为目标数据的待处理数据的数据内容。可以参考步骤320中的描述。
45.在一些实施例中，所述唯一标识可以用以表征产品/服务的标识。一个产品/服务对应有一个唯一标识。为确定所述目标数据的唯一标识，确定单元710可以确定用于指示所述目标数据的数据内容的一个或多个内容标识。在一些实施例中，所述内容标识可以是用于区分不同目标数据的数据内容中同类信息的标识。例如，对于酒店产品，同类信息可以是酒店名称、房型、产品具体描述等。上述三项可以都有一个内容标识，可以是数字、字母、符号等中的一种或几种的组合。应当理解，所述目标数据的数据内容中同类信息的项数并不
限制于以上所述。对应于不同类别信息的内容标识可以是预先确定的。例如，酒店房型包括标准间、大床房、豪华套间、行政套间、总统套房，则对应于不同房型，可以有不同的内容标识。比如，标准件的内容标识为1，大床房的内容标识为2，豪华套间的内容标识为3，行政套间的内容标识为4，总统套房的内容标识为5。当确定了目标数据的数据内容中对应的酒店房型后，即可确定其内容标识。
46.在一些实施例中，确定单元710对所述一个或以上内容标识以及所述来源标识进行编码或哈希计算，以确定所述唯一标识。示例性的编码算法可以包括ascii、unicode、utf8、url编码、html编码、base64等。示例性的哈希算法可以包括md5、sha1、sha256、sha512、ntlm。
47.在一些实施例中，确定单元710可以对所述来源标识以及所述一个或以上内容标识进行组合以确定所述唯一标识。作为示例，对于酒店产品，所述一个或以上内容标识可以包括酒店标识，房型标识，产品标识。组合方式可以是以特定字符分隔各标识。例如，组合后可以是唯一标识的表现形式可以是“来源标识-酒店标识-房型标识-产品标识”。
48.在一些实施例中，所述唯一标识还可以进行加密。示例性的加密方法可以包括对称加密比如des或aes，以及非对称加密比如rsa。加密后的唯一标识可以保证其安全性，例如，在传输过程中的安全性。
49.步骤340，基于所述唯一标识，确定所述目标数据是否有效。该步骤可以由执行模块630的判定单元720执行。
50.在一些实施例中，判定单元720可以基于所述唯一标识在预先构建的产品/服务数据库中检索与具有与所述唯一标识相同标识的产品/服务。若存在，判定单元720可以对比两者所包含的数据内容。存在差异则说明所述目标数据有效，相同则说明所述目标数据无效。关于确定所述目标数据是否有效可以参考本说明书图5部分。
51.在一些实施例中，当所述目标数据被确定为无效时，流程300可以结束，所述目标数据可以被舍弃。
52.步骤350，基于所述目标数据执行以下至少一种操作：数据更新和数据传输。该步骤可以由执行模块630的执行单元730执行。
53.在一些实施例中，所述数据更新可以包括基于所述目标数据的数据内容，更新上述预先构建的产品/服务数据库中与目标数据相关的数据。在本说明书中，上述预先构建的产品/服务数据库也可以被称为既有数据集。所述既有数据集中存储有各种产品/服务相关的已有数据。当所述目标数据有效时，也就是所述既有数据集中存储有与所述目标数据对应的产品/服务相关的已有数据，且该产品/服务在一个或以上互联网平台上可以进行订购。执行单元730可以将所述目标数据的数据内容与所述既有数据集中相关的已有数据的数据内容进行比对，并对已有数据的数据内容中与所述目标数据的数据内容存在差异的部分进行更新。执行单元730也可以直接使用所述目标数据的数据内容替换已有数据的数据内容。
54.在一些实施例中，所述数据传输可以包括将所述目标数据的数据内容传输至一个或以上数据接收方。例如，所述数据接收方可以是互联网平台。所述目标数据对应的产品/服务在一个或以上互联网平台可以进行订购。互联网平台需要保持数据的时效性，以保证产品/服务正确的被订购。执行单元730可以将所述目标数据的数据内容传输至该一个或以
上互联网平台。
55.在一些实施例中，执行单元730可以获取关系映射数据。所述关系映射数据可以包括与所述目标数据的来源标识相关的一个或以上数据接收方。例如，数据接收源140。所述一个或以上数据接收方可以是用于提供产品/服务订购的一个或以上互联网平台。作为示例，假定企业a所提供的某一具体产品/服务p在互联网平台m以及互联网平台n可以进行订购，则所述关系映射数据可以产品/服务p与互联网平台m和互联网平台n之间的关系。所述关系映射数据可以使用映射表表示。例如“产品/服务p-互联网平台m、互联网平台n”。在一些实施例中，在确定与所述目标数据相关的一个或以上数据接收方后，执行单元730可以传输所述目标数据或所述目标数据的适配数据至所述一个或以上数据接收方。所述目标数据的适配数据可以是具有所述数据接收方接受的数据格式。例如，数据接收方1和数据接收方2的数据处理系统适合处理的数据格式分别是json格式和csv格式，则执行单元730可以将所述目标数据的数据格式转换成json格式，并将其传输至数据接收方1。同时将目标数据的数据格式转换成json格式，并将其传输至数据接收方2。
56.在一些实施例中，多源数据处理系统700(例如，执行模块730)还可以确定所述数据传输操作是否成功。例如，当所述数据传输操作成功时，多源数据处理系统700(例如，执行模块730)可以接收到数据接收方的反馈。若没有接收到上述反馈，多源数据处理系统700(例如，执行模块730)可以确定所述数据传输操作不成功。所述目标数据可以被重新作为所述待处理数据被获取，同时获取的还有其来源标识。流程300可以返回至步骤310。
57.应当注意的是，上述有关图3中的各个步骤的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对图3中的各个步骤进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，各个步骤之后都可以有一个数据存储操作。
58.本说明书所披露的多源数据处理方法，可以兼容多类型、多数据格式的多源数据更新信息，实现数据提供方和数据接收方之间的关系管理，并实现较高效的消息推送。
59.图4是根据本说明书一些实施例所示的获取待处理数据的示例性流程图。在一些实施例中，流程400可以由处理设备110执行。例如，流程400可以以程序或指令的形式存储在存储装置(如处理设备110的自带存储单元例如存储器220或外接存储设备例如存储设备120)中，所述程序或指令被提取并执行时，可以实现流程400。在一些实施例中，流程400可以由获取模块610执行。如图4所示，流程400可以包括以下操作。
60.步骤410，获取多份原始数据。
61.在一些实施例中，所述原始数据与所述待处理数据相同或类似，同样是由一个或以上数据提供方发送。该一个或以上数据提供方(例如，数据提供源130)可以通过网络120将所述多份原始数据发送至处理设备110(或多源数据处理系统700)。
62.步骤420，对于每一份原始数据，基于所述原始数据的数据类型，将所述原始数据划分至一个或以上数据队列中的一个。
63.在一些实施例中，所述原始数据的数据类型可以是原始数据的数据内容中发生变化的部分所处的数据类型。结合流程300中相关部分描述以及酒店产品为例，有关于酒店产品(例如某一具体酒店房间)的原始数据的数据内容可以划分为以下五种类型，包括房态信息、静态信息、产品规则信息、产品价格信息以及订单状态信息。房态信息可以表示该酒店
房间当前状态，比如是住客房、空房还是保留房，当前产品/服务状态可以指示该房态信息。静态信息可以表示该酒店房间包含的具体设施，比如提供吹风机、空调等，产品/服务具体描述可以指示该静态信息。产品规则信息可以表示订购该房间的折扣和增价信息，比如某一时段(例如，旅游淡季和旺季)订购该房间可以享受的折扣和实价上升的程度，折扣可以指示该产品规则信息。产品价格信息可以表示订购该房间所需的价格，价格可以指示该产品价格信息。订单状态信息可以表示该房间是否被订购，包括已下单未付款、已下单已付款、未被订购等。当前状态可以指示该订单状态信息。获取模块610可以基于以上五种类型，设置五个数据队列。根据所述原始数据的数据内容中发生变化的部分所处的数据类型，获取模块610可以将原始数据插入到以上五个数据队列中的一个。
64.在一些实施例中，当所述原始数据的数据内容中发生变化的部分涉及两个或以上的数据类型，获取模块610可以基于随机插入或基于数据类型首字母的排列顺序，将所述原始数据插入至一个队列中。
65.步骤430，基于预设数据提取规则，从所述至少一个数据队列中获取所述多份待处理数据。
66.在一些实施例中，所述预设数据提取规则可以包括基于时间的数据提取规则、基于顺序的数据提取规则、基于类型的数据提取规则等。所述基于时间的数据提取规则可以是基于原始数据的获取时刻，按照先进先出的原则对数据进行提取作为所述待处理数据。例如，从上述示例中的五个队列按照数据接收时刻，先被获取的原始数据先被提取。所提取的数据可以来自于不同的数据队列。所述基于顺序的数据提取规则可以是依次序从每个数据队列中提取所述多份待处理数据。例如，在上述示例中的五个数据队列中，从每个数据队列中提取一定数量的原始数据作为所述待处理数据。每个队列中所提取的原始数量的份数可以是相同的，也可以是不同的比如依次递减。所述基于类型的数据提取规则可以是按照数据类型从对应的一个数据队列中提取原始数据作为所述待处理数据。在一些实施例中，获取模块610还可以基于随机提取的规则从所述至少一个队列中获取所述待处理数据。
67.应当注意的是，上述有关图4中的各个步骤的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对图4中的各个步骤进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，各个步骤之后都可以有一个数据存储操作。
68.图5是根据本说明书一些实施例所示的确定有效目标数据的示例性流程图。在一些实施例中，流程500可以由处理设备110执行。例如，流程500可以以程序或指令的形式存储在存储装置(如处理设备110的自带存储单元例如存储器220或外接存储设备例如存储设备120)中，所述程序或指令被提取并执行时，可以实现流程500。在一些实施例中，流程500可以由多源数据处理系统700执行。在一些实施例中，流程500可以由执行模块630的判定单元720执行。如图5所示，流程500可以包括以下操作。
69.步骤510，获取既有数据集。
70.在一些实施例中，所述既有数据集可以与本说明书前述部分所提到的预先构建的产品/服务数据库相同和/或类似。所述既有数据集包括各个产品/服务提供方已向用户提供的各种产品/服务的相关数据。该相关数据在本说明书中可以被称为参考数据。一份参考数据可以对应一个产品/服务，且该产品/服务可以在一个或以上互联网平台上可以进行订
购。在一些实施例中，所述既有数据集可以包括一份或多份参考数据，每一个参考数据对应一个参考标识。所述参考标识可以认为是对应的参考数据的检索索引，其可以是唯一的，用于区分其他参考数据。在一些实施例中，所述参考标识的确定可以是与所述唯一标识的确定相同和/或类似。可以理解，所述既有数据集中所包括的参考数据，实际上也是产品/服务提供方已向用户提供的各种产品/服务的相关数据，其包含的内容与所述目标数据并无区别。只是被处理设备110(或多源数据处理系统700)进行处理的时间先后不同。也可以认为，在在先时间，参考数据也可以是一待处理数据，在经过流程100中的步骤150的数据更新操作，继而被存储于既有数据集中。
71.步骤520，基于所述唯一标识与所述一份或多份参考数据的参考标识，确定与所述目标数据相关的目标参考数据。
72.在一些实施例中，判定单元720可以利用所述唯一标识与所述一份或多份参考数据的参考标识进行比较。与所述唯一标识相同的参考标识对应的参考数据，可以被指定为与所述目标数据相关的目标参考数据。
73.步骤530，基于所述目标数据的数据内容以及所述目标参考数据的参考数据内容，确定所述目标数据是否有效。
74.基于上述的说明，所述目标数据的数据内容以及所述目标参考数据的参考数据内容所涉及的具体信息相关字段是相同种类的。例如，对于酒店房间产品而言，所述目标数据的数据内容和所述目标参考数据的参考数据内容同样都包括了房间房型、房间价格、折扣等字段的信息。判定单元720可以比较两类数据中相同字段的信息，若存在差异，则可以认为所述目标数据有效。否则，可以认为所述目标数据无效。
75.应当注意的是，上述有关图5中的各个步骤的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对图5中的各个步骤进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，各个步骤之后都可以有一个数据存储操作。
76.图6是根据本说明书一些实施例所示的多源数据处理系统的示例性模块图。如图6所示，运价多源数据处理系统600可以包括获取模块610、预处理模块620以及执行模块630。
77.获取模块610可以获取数据。在一些实施例中，获取模块610可以获取多份待处理数据以及每份待处理数据的来源标识。所述待处理数据可以包括与产品/服务相关信息的变更数据。获取模块610可以基于一定的数据提取规则，从一个或以上的数据队列中获取所述多份待处理数据。在一些实施例总，获取模块610可以获取多份原始数据。对于每一份原始数据，获取模块610可以基于所述原始数据的数据类型，将所述原始数据划分至一个或以上数据队列中的一个。并基于预设数据提取规则，从所述至少一个数据队列中获取所述多份待处理数据。所述来源标识可以用以指示所述待处理数据的来源或发送方。获取模块610可以确定所述待处理数据的数据提供方，并基于所述数据提供方确定所述待处理数据的来源标识。
78.预处理模块620可以对所述多份待处理数据执行预处理操作，获取一份或以上目标数据。所述预处理操作可以包括数据过滤和数据格式转换。预处理模块620可以至少基于所述待处理数据的数据内容，从所述多份待处理数据中确定一份或以上有效待处理数据，以实现所述数据过滤操作。所述数据内容中的一项或多项具体信息可以具有一个内容标识
符。预处理模块620可以基于这些标识符确定对应于所述待处理数据的标号。通过确定该标号是否存在于预先确定的产品/服务列表中，并确定该产品/服务能否在互联网平台上进行订购，预处理模块620可以确定所述待处理数据是否有效。所述数据格式转换可以包括转换所述一份或以上有效待处理数据的数据格式。预处理模块620可以将有效待处理数据的格式转换为统一的格式。
79.执行模块630可以基于所述目标数据的数据内容以及所述来源标识，确定唯一标识。所述唯一标识可以用以表征产品/服务的标识。一个产品/服务对应有一个唯一标识。执行模块730可以基于所述一个或以上内容标识以及所述来源标识确定所述唯一标识。在一些实施例中，执行模块630还可以基于所述唯一标识，确定所述目标数据是否有效。执行模块630可以基于所述唯一标识在预先构建的产品/服务数据库中检索与具有与所述唯一标识相同标识的产品/服务。若存在，执行模块630可以对比两者所包含的数据内容。存在差异则说明所述目标数据有效，相同则说明所述目标数据无效。在一些实施例中，执行模块630可以基于所述目标数据执行以下至少一种操作：数据更新和数据传输。所述数据更新可以包括基于所述目标数据的数据内容，更新上述预先构建的产品/服务数据库中与目标数据相关的数据。所述数据传输可以包括将所述目标数据的数据内容传输至一个或以上数据接收方。在一些实施例中，
80.图7是根据本说明书一些实施例所示的执行模块的示例性框图。如图7所示，执行模块630可以包括确定单元710、判定单元720以及执行单元730。
81.确定单元710可以基于所述目标数据的数据内容以及所述来源标识，确定唯一标识。确定单元710可以确定用于指示所述目标数据的数据内容的一个或多个内容标识。所述内容标识可以是用于区分不同目标数据的数据内容中同类信息的标识。确定单元710对所述一个或以上内容标识以及所述来源标识进行编码或哈希计算，以确定所述唯一标识。确定单元710可以对所述来源标识以及所述一个或以上内容标识进行组合以确定所述唯一标识。
82.判定单元720可以基于所述唯一标识，确定所述目标数据是否有效。在一些实施例中，判定单元720可以获取既有数据集。所述既有数据集包括各个产品/服务提供方已向用户提供的各种产品/服务的相关数据。判定单元720可以基于所述唯一标识与所述一份或多份参考数据的参考标识，确定与所述目标数据相关的目标参考数据。判定单元720可以利用所述唯一标识与所述一份或多份参考数据的参考标识进行比较。与所述唯一标识相同的参考标识对应的参考数据，可以被指定为与所述目标数据相关的目标参考数据。判定单元720可以基于所述目标数据的数据内容以及所述目标参考数据的参考数据内容，确定所述目标数据是否有效。判定单元720可以比较两类数据中相同字段的信息，若存在差异，则可以认为所述目标数据有效。否则，可以认为所述目标数据无效。若所述目标数据无效，判定单元720可以舍弃所述目标数据。
83.执行单元730可以基于所述目标数据执行以下至少一种操作：数据更新和数据传输。执行单元730可以将所述目标数据的数据内容与所述既有数据集中相关的已有数据的数据内容进行比对，并对已有数据的数据内容中与所述目标数据的数据内容存在差异的部分进行更新。执行单元730也可以直接使用所述目标数据的数据内容替换已有数据的数据内容。在一些实施例中，执行单元730可以获取关系映射数据，所述关系映射数据可以包括
与所述目标数据的来源标识相关的一个或以上数据接收方。执行单元730可以传输所述目标数据或所述目标数据的适配数据至所述一个或以上数据接收方。
84.关于图6和图7中的模块的其他描述可以参考本说明书流程图部分，例如，图1-图5。
85.应当理解，图6和图7所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
86.需要注意的是，以上对于候选项显示、确定系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
87.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
88.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一个实施例”或“一实施例”或“一些实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
89.此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
90.计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用
的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。
91.本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c 、c#、vb.net、python等，常规程序化编程语言如c语言、visual basic、fortran 2003、perl、cobol 2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。
92.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
93.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
94.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
95.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
96.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。