1.本技术涉及存储领域，特别是涉及一种面向应用观测的流式存储方法及装置。
背景技术：
：：2.在it系统中，logs、traces、metrics是作为应用可观测的三个重要指标，基本可满足各类监控、告警、分析、问题排查等需求，但实际场景中它们拥有各自的适用形态。3.在传统模式下，为了实现为了针对这三种维度的数据进行统一分析、展示，一般系统维度是metrics，一般采用prometheus组件收集、时序数据库tsdb存储；针对log或者trace，则主要是基于消息中间件(kafka)，elasticsearch等完成采集后进行数据的存储。可以很直观的看出，这套架构中依然采用两条技术栈，存储层依然是相互隔离，这使得metrics、logging、tracing三种指标分散在不同存储组件中，无法进行统一访问和有效聚合，这为后续对应用的观测和分析带来了挑战。4.流存储的出现，将流和存储看作一体，实现了对logs、traces、metrics等可观测性数据的一体化采集、存储、分析，完成了一套系统去解决所有类型数据。技术实现要素：5.本技术实施例提供了一种面向应用观测的流式存储方法及装置。6.第一方面，本技术实施例提供了一种面向应用观测的流式存储方法，所述方法包括：7.获取待存储数据流，并将所述待存储数据流stream包括的每个流存储至内存，所述内存包括块缓存blockcache、可变内存表activememtable和不可变内存表immutablememtable所述待存储流在内存中的流转顺序依次为blockcache、activememtable、immutablememtable，所述待存储数据流包括日志log、指标metrics或者调用日志traces中的其中一项或者多项；8.将所述immutablememtable的数据刷到存储介质，并形成至少一个segment存储于第一存储区域；9.将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的键key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。10.可选的，11.所述第一存储区域采用分层、分片结构；12.所述分层是指将第一存储区域划分为多个级(level)，level级数与该level存储的数据的热度反相关，所述至少一个segment存储在所述多个level中的至少一个level中；不同level级采用不同的存储介质，level级数与存储介质的价格反相关，以实现持久化存储、长期存储在不影响查询性能的前提下的混合部署；13.所述分片是指不同存储数据流stream的数据以段segment为单位分布在不同level，一个stream包含多个segment，每个level中包括一个stream对应的多个segment，其中，一个或多个存储数据流stream形成了独立的对象集合schema，不同schema对应不同维度的观测数据，所述schema由用户定义。14.可选的，所述key还用于指示所述待存储数据流的版本。15.可选的，所述待存储数据流的版本信息，包括：16.所述key产生的时间戳；17.针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过所述key版本合并完成旧版本数据的删除；18.针对delete操作，则是通过将版本信息定义为无效信息systemunvalid，使得在第二存储区域中的标识更新，完成了数据的逻辑删除。19.可选的，所述将所述待存储数据流stream包括的每个流存储至内存，包括：20.将所述待存储数据流和无效数据存储至内存中的第一缓存行中，所述内存中的第一缓存行所能容纳的数据量大于所述待缓存数据流对应的数据量，所述待存储数据流对应的数量和所述无效数据的数据流之和，等于所述第一缓存行所能容纳的数据量。21.可选的，所述待存储数据流中包括所述待存储数据流的数据来源。22.可选的，所述待存储数据流，通过如下方式获得：23.采集原始数据；24.为所述原始数据添加数据来源；25.根据所述原始数据和所述原始数据的数据来源，得到所述待存储数据流。26.可选的，所述原始数据包括以下任意一项或者多项：27.log、metrics或者traces。28.可选的，所述待存储数据流对应的数据来源，包括：29.log、metrics以及traces中的其中一项或者多项。30.可选的，所述方法还包括：31.接收数据查询请求，所述数据查询请求中包括查询关键字；32.以所述查询关键字为索引查询所述第二存储区域，得到所述查询关键字对应的存储地址和segment标识；33.以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果；34.输出所述查询结果。35.第二方面，本技术实施例提供了一种面向应用观测的流式存储装置，所述装置包括：36.获取单元，用于获取待存储数据流；37.第一存储单元，用于将所述待存储数据流stream包括的每个流存储至内存，所述内存包括块缓存blockcache、可变内存表activememtable和不可变内存表immutablememtable所述待存储流在内存中的流转顺序依次为blockcache、activememtable、immutablememtable，所述待存储数据流包括日志log、指标metrics或者调用日志traces中的其中一项或者多项；38.第二存储单元，用于将所述immutablememtable的数据刷到存储介质，并形成至少一个segment存储于第一存储区域；39.第三存储单元，用于将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的键key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。40.可选的，41.所述第一存储区域采用分层、分片结构；42.所述分层是指将第一存储区域划分为多个级(level)，level级数与该level存储的数据的热度反相关，所述至少一个segment存储在所述多个level中的至少一个level中；不同level级采用不同的存储介质，level级数与存储介质的价格反相关，以实现持久化存储、长期存储在不影响查询性能的前提下的混合部署；43.所述分片是指不同存储数据流stream的数据以段segment为单位分布在不同level，一个stream包含多个segment，每个level中包括一个stream对应的多个segment，其中，一个或多个存储数据流stream形成了独立的对象集合schema，不同schema对应不同维度的观测数据，所述schema由用户定义。44.可选的，所述key还用于指示所述待存储数据流的版本。45.可选的，所述待存储数据流的版本信息，包括：46.所述key产生的时间戳；47.针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过所述key版本合并完成旧版本数据的删除；48.针对delete操作，则是通过将版本信息定义为无效信息systemunvalid，使得在第二存储区域中的标识更新，完成了数据的逻辑删除。49.可选的，所述将所述待存储数据流stream包括的每个流存储至内存，包括：50.将所述待存储数据流和无效数据存储至内存中的第一缓存行中，所述内存中的第一缓存行所能容纳的数据量大于所述待缓存数据流对应的数据量，所述待存储数据流对应的数量和所述无效数据的数据流之和，等于所述第一缓存行所能容纳的数据量。51.可选的，所述待存储数据流中包括所述待存储数据流的数据来源。52.可选的，所述待存储数据流，通过如下方式获得：53.采集原始数据；54.为所述原始数据添加数据来源；55.根据所述原始数据和所述原始数据的数据来源，得到所述待存储数据流。56.可选的，所述原始数据包括以下任意一项或者多项：57.log、metrics或者traces。58.可选的，所述待存储数据流对应的数据来源，包括：59.log、metrics以及traces中的其中一项或者多项。60.可选的，所述装置还包括：61.接收单元，用于接收数据查询请求，所述数据查询请求中包括查询关键字；62.第一查询单元，用于以所述查询关键字为索引查询所述第二存储区域，得到所述查询关键字对应的存储地址和segment标识；63.第二查询单元，用于以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果；64.输出单元，用于输出所述查询结果。65.与现有技术相比，本技术实施例具有以下优点：66.本技术实施例提供了一种面向应用观测的流式存储方法，它用于存储流数据(stream)，并采用分层和分片的两层架构实现，其中，分层是指层级(level)的概念，不同level中存储不同热度的数据，level级数越高，数据热度越低，实现了数据的冷热分离；不同level可采用不同的存储介质，一般level级越高，介质越廉价，实现了持久化存储、长期存储在不影响查询性能的前提下的混合部署。分片是指所述不同stream的数据以段(segment)为单位分布在不同level，一个stream包含多个segment，每个level中也允许一个stream存在多个segment，其中一个或多个stream形成了独立的对象集合(schema)，不同schema对应了不同维度的观测数据，由用户定义。67.本技术实施例提供了一种面向应用观测的流式存储方法，在一个示例中，可以获取待存储数据流，所述待存储数据流包括日志log、指标metrics或者调用日志traces中的其中一项或者多项。所述待存储数据流至少存在一个segment，随着数据量的增加，segment也会逐步下沉至更高层级的level。在所述方法中，包含两个存储区域，第一存储区域、第二存储区域。其中，第一存储区域将所述至少一个segment和所述至少一个segment中各个segment对应的segment标识顺序存储至存储介质中的至少一个第一存储区域中，所述segment标识用于标识所述待存储数据流对应的数据来源，所述segment会分布在不同level中，在本技术中每个level会设置能存储单个segment最大字节数max，当存储的数据量超过所述max，会自动向下一级level创建新的segment完成新增数据写入，并以此类推，其中不同level可选择不同的存储介质；在第二存储区域中并将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的键key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。由此可见，对于各个segment(也就是所述待存储数据流本身)，仅存储一份，即存储在第一存储区域中，而不是分别在第一存储区域和第二存储区域各存储一份，一方面，避免了重复写入的问题，减少了冗余副本带来的存储开销，另一方面，因在第一存储区内的segment数据是顺序写入，而面对观测数据的查找，也是从segment中顺序读出，能够提升访问的性能。另外，本方案中第二存储区域存储有每个segment分别对应的存储区域的地址、所述每个segment对应的键(key)、以及所述每个segment对应的segment标识，因此，当以key为索引读取第一存储区域中的数据时，可以顺序读取。换言之，本方案可以支持顺序写和顺序读，与顺序写、随机读相比，能够有效提升存储介质的性能。在本方案中，所述key在实际应用中存在键值冲突的场景，因此key中包含了版本信息，一般是指key产生的时间戳，但不局限于此，针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过版本合并完成旧版本数据的删除；针对delete操作，则是通过将版本信息定义为无效信息“systemunvalid”，使得在第二存储区域中的标识更新，完成了数据的逻辑删除，弥补了业界在update、delete操作上的不足。附图说明68.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。69.图1为本技术实施例提供的一种面向应用观测的流式存储方法的流程示意图；70.图2为本技术实施例提供的一种存储数据的示意图；71.图3为本技术实施例提供的一种数据获取方法的流程示意图；72.图4为本技术实施例提供的一种数据查询方法的流程示意图；73.图5为本技术实施例提供的一种面向应用观测的流式存储装置的结构示意图。具体实施方式74.为了使本
技术领域：
：的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。75.下面结合附图，详细说明本技术的各种非限制性实施方式。76.示例性方法77.参见图1，该图为本技术实施例提供的一种面向应用观测的流式存储方法的流程示意图。图1所示的方法，例如可以由服务器执行。在本实施例中，所述方法例如可以包括以下步骤：s101-s103。78.s101：获取待存储数据流stream，并将所述待存储stream中的每个stream存储至内存，所述内存包括块缓存(blockcache)、可变内存表(activememtable)、不可变内存表(immutablememtable)。79.在一个示例中，所述待存储stream在内存中的流转顺序依次为blockcache、activememtable、immutablememtable。在一个示例中，blockcache可以完成对cache操作的优化，它通过内核提供的posix_fadvise予以干预。blockcache可以在几乎不损失性能的前提下，通过主动释放存储文件的页缓存(pagecache)，可以达到减缓内存压力的目的，从而来应对极端内存需求的场景，这一优化能够很好的预防性能抖动的发生。但是，目前的blockcache可能会存在伪共享的问题。因为一个处理器核对内存的修改，将导致另外的核在该处内存上的缓存失效。具体地：当多线程修改看似互相独立的变量时，如果这些变量共享同一个缓存行，就会在无意中影响彼此的性能。80.在一个示例中，为了解决上述问题，在本技术实施例中，当所述待存储数据流的数据量小于内存中某一个缓存行(例如第一缓存行)所能容纳的数据量时，让所述待存储数据流独占所述第一缓存行，对于所述第一缓存行中的多余部分，可以插入无效数据。换言之，在一个示例中，可以将所述待存储数据流和无效数据存储在所述第一缓存行中，所述内存中的第一缓存行所能容纳的数据量大于所述待缓存数据流对应的数据流，所述待存储数据流对应的数量和所述无效数据的数据流之和，等于所述第一缓存行所能容纳的数据量。81.在一个示例中，blockcache中的cache页写满后，即将页内数据写到activememtable，activememtable主要用于缓存用户的写入数据，一般设定最大字节数ac_max，当写入的数据量超过ac_max值，activememtable自动切换为immutablememtable，并重新在内存中创建immutablememtable；所述immutablememtable代表其中存储的不可写，但可读，它代表了用户写磁盘文件的数据，这样的好处是当内存向磁盘进行数据刷新时，块数据能更好的利用io，后台线程存储immutablememtable的数据进磁盘；在所述activememtable、immutablememtable，均针对不同的schema单独开辟，不同stream的activememtable、immutablememtable并不共享。82.在本技术实施例中，所述待存储数据流根据来源不同，一个或多个stream可定义为不同的概要(schema)。在一个示例中，schema可以根据待存储数据流stream对应的数据来源确定。例如，所述待存储数据流包括log、metrics、trace三个数据来源的数据，可分别定义为三个不同的schema，也可以讲log、trace合并为一个schema，具体取决于用户的需求，schema的数据则后续以segment的形式进行存储。83.关于所述数据来源，需要说明的是，在本技术实施例中，所述数据来源可以包括：日志(log)、指标(metrics)或者调用日志(traces)。关于log、metrics和traces，需要说明的是：84.log：记录事/物变化的载体，常见的访问日志、交易日志、内核日志等文本型以及gps、音视频等泛型数据也包含在其中。日志在调用链场景结构化后其实可以转变为trace，在进行聚合、降采样操作后会变成metrics。85.metrics：聚合后的指标，相对比较离散，一般由名称(name)、标签(labels)、时间(time)、值(values)组成。metrics数据量一般不大，相对存储成本更低，查询的速度比较快。86.traces：标准的调用日志，除了定义了调用的父子关系外，一般还会定义操作的服务、方法、属性、状态、耗时等详细信息，通过trace能够代替一部分log的功能，通过trace的聚合也能得到每个服务、方法的metrics指标。87.在传统技术中，为了实现为了针对log、metrics和traces这三种维度的数据进行统一分析、展示。metrics一般采用时序数据库(timeseriesdatabase，tsdb)存储。针对log或者trace，一般输出到elasticsearch(es)进行存储。可以很直观的看出，这套架构中采用两条技术栈，存储层依然是相互隔离的。而存储层隔离主要的而问题包括：数据不互通、系统维护代价巨大。而在本方案中，采用流式存储的方式，统一存储log、metrics以及traces数据，从而有效避免了上述数据不互通以及系统维护代价巨大的问题。88.在一个示例中，所述待存储数据流中包括所述待存储数据流的数据来源，此处提及的数据来源，可以包括以上提及的log、metrics或者traces中的其中一项或者多项。89.s102：将所述immutablememtable的数据刷到存储介质，并形成至少一个segment存储于第一存储区域。90.所述存储介质可以是磁盘存储器，为物理硬件设备；所述第一存储区域位于所述存储介质上，并包含多个level级，所述level的数量在系统初始化前定义。所述数据所在schema首次写所述存储介质时，形成的segment位于level0，而在系统初始化前定义每个level会设置能存储单个segment最大字节数max，当存储的数据量超过所述max，会自动向下一级level1创建新的segment完成新增数据写入，并以此类推至最后一级level所在存储介质。91.所述第一存储区域包括多个级level，level级数与该level存储的数据的热度反相关，所述至少一个segment存储在所述多个level中的至少一个level中。即：level级数越高，该level存储的数据的热度越低。s102在具体实现时，可以将所述至少一个segment和所述至少一个segment中各个segment对应的segment标识顺序存储至存储介质中的至少一个第一存储区域中，所述segment标识用于标识所述待存储数据流对应的数据来源。92.s103：将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。93.关于s102和s103，需要说明的是，本技术不具体限定所述存储介质，所述level层级可由用户自定义，不同level层级可采用采用串行ata(serialadvancedtechnologyattachment，sata)的存储介质，又如可以是固态硬盘(solidstatedrive，ssd)、对象存储(objectstorageservice，oss)，此处不一一列举说明，一般建议level层级越高选用的存储介质成本越低。94.在一个示例中，所述第一存储区域可以对应流存储(streamstorage)区域中的某一区域，所述第二存储区域可以对应流存储表格(streamstoragetable)中的某个流存储表格。接下来，结合图2，介绍s102-s103。图2为本技术实施例提供的一种存储数据的示意图。95.如图2所示，所述streamstorage采用分层和分片两种架构，所谓分层，指的是所述streamstorage包括多个级(level)，所谓分片，指的是一个level可以包括多个不同schema的segment，其中，不同level存储不同热度的数据，level越低，热度越高，相应的，数据访问频率越高。所述streamstoragetable则采用分片结构，主要根据segment的不同进行分片。96.如图2所示，在一个示例中，所述第一存储区域待存储数据可以存储在所述streamstorage的level1中，如图2所示，所述level1中数据按照{value，segment-id}的形式存储，其中，所述value指的是待存储数据中的部分数据(即：segment)，而segment-id为该value对应的segment标识。相应的，所述第二存储区域存储的数据可以对应streamstoragetable中的table(1)，table(1)中的数据按照{key，address，segment-id}，其中，所述key为value对应的key，所述address为value在streamstorage中的存储地址。97.关于所述key需要说明的是，在一个示例中，对于log和traces，可以以业务(例如业务名称，或者，业务标识)作为key，对于metrics，可以以指标作为key。98.通过以上描述可知，利用本技术实施例的方案，对于各个segment(也就是所述待存储数据流本身)，仅存储一份，即存储在第一存储区域中，而不是分别在第一存储区域和第二存储区域各存储一份，避免了重复写入的问题，能够提升存储介质的性能。另外，本方案中第二存储区域存储有每个segment分别对应的存储区域的地址、所述每个segment对应的键(key)、以及所述每个segment对应的segment标识，因此，当以key为索引读取第一存储区域中的数据时，可以顺序读取。换言之，本方案一方面，避免了重复写入的问题，减少了冗余副本带来的存储开销，另一方面，因在第一存储区内的segment数据是顺序写入，而面对观测数据的查找，也是从segment中顺序读出，能够提升访问的性能99.在一个示例中，考虑到传统的流式存储方案(例如基于apachebookkeeper(bk)实现的流式存储方案)，其不支持更新(update)和删除(delete)操作。而在本技术实施例的一种实现方式中，所述key在实际应用中存在键值冲突的场景，因此key中包含了版本信息，一般是指key产生的时间戳，但不局限于此，针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过版本合并完成旧版本数据的删除；针对delete操作，则是通过将版本信息定义为无效信息“systemunvalid”，使得在第二存储区域中的标识更新，完成了数据的逻辑删除，弥补了业界在update、delete操作上的不足。100.如前文，所述待存储数据流可以存储在缓存中，接下来，结合图3介绍在将所述待存储数据存储至缓存中之前，获得所述待缓存数据的方式。图3为本技术实施例提供的一种数据获取方法的流程示意图。图3所示的方法，可以包括如下s201-s203。101.s201：采集原始数据。102.在一个示例中，所述原始数据可以包括log、metrics以及traces。103.在一个示例中，可以按照所述log、metrics以及traces数据分别支持的数据协议，采集所述log、metrics以及traces数据。104.在一个示例中，s201在具体实现时，可以基于flink采集所述原始数据。105.接下来，以采集log为例介绍s201的实现方式。106.由于log为可扩展标记语言(extensiblemarkuplanguage，xml)格式，需要等待接收到完整的结构体才能完成其内容的解析，而log作为流数据一条一条流入flink，无法同一时刻接收到完整的结构体，考虑到其结构的特殊性，可以使用了flinkstate这一特性，并将任务的并行度设置为1，严格保证日志读取的顺序。由于log格式非常统一，每个gc记录均由《gc-start》开始并由《/gc-end》结束，十分便于定位一条gc记录。在接收到一次gc记录的第一行时，不会立即处理而是存储在state中直至读取到最后一行再提交xml解析类去处理。通过解析后即可获得所述日志数据。在一个示例中，解析获得的日志可以组织成map的格式输出至elasticsearch的指定索引(index)中存储。107.s202：为所述原始数据添加数据来源。108.s203：根据所述原始数据和所述原始数据的数据来源，得到所述待存储数据流。109.在一个示例中，获得所述原始数据之后，可以对所述原始数据进行进一步处理，例如，为所述原始数据添加相应的字段(例如时间戳)，得到处理后的中间数据。进一步地，基于所述中间数据和中间数据对应的中间来源，得到所述待存储数据流。110.基于以上实施例提供的流式存储方法，本技术实施例还提供了一种数据查询方法。接下来结合附图介绍该数据查询方法。图4为本技术实施例提供的一种数据查询方法的流程示意图。图4所示的方法，可以包括如下s301-s304。111.s301：接收数据查询请求，所述数据查询请求中包括查询关键字。112.关于所述查询关键字，需要说明的是，在一个示例中，所述查询关键字可以是业务(例如业务名称或者业务标识)，也可以是指标。本技术实施例不做具体限定。113.此处提及的数据查询请求，例如可以是结构化查询语言(structuredquerylanguage，sql)语句。114.s302：以所述查询关键字为索引查询所述第二存储区域，得到所述查询关键字对应的存储地址和segment标识。115.s303：以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果。116.在一个示例中，可以以所述查询关键字为索引，查询所述第二存储区域中对应的key，从而确定与所述查询关键词匹配的key。相应的，将与所述查询关键词匹配的key对应的存储地址和segment标识，确定为所述查询关键字对应的存储地址和segment标识。117.而后，以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果，即得到所述存储地址和segment标识对应的value。118.s304：输出所述查询结果。119.获得所述查询结果之后，可以输出所述查询结果，在本技术实施例中，可以以可视化的方式输出所述查询结果，例如，以文本和/或图表的方式输出所述查询结果。120.示例性设备121.基于以上实施例提供的方法，本技术实施例还提供了一种装置，以下结合附图介绍该装置。122.参见图5，该图为本技术实施例提供的一种面向应用观测的流式存储装置的结构示意图。所述装置500例如可以具体包括：获取单元501、第一存储单元502、第二存储单元503和第三存储单元504。123.获取单元501，用于获取待存储数据流；124.第一存储单元502，用于将所述待存储数据流stream包括的每个流存储至内存，所述内存包括块缓存blockcache、可变内存表activememtable和不可变内存表immutablememtable所述待存储流在内存中的流转顺序依次为blockcache、activememtable、immutablememtable，所述待存储数据流包括日志log、指标metrics或者调用日志traces中的其中一项或者多项；125.第二存储单元503，用于将所述immutablememtable的数据刷到存储介质，并形成至少一个segment存储于第一存储区域；126.第三存储单元504，用于将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的键key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。127.可选的，128.所述第一存储区域采用分层、分片结构；129.所述分层是指将第一存储区域划分为多个级(level)，level级数与该level存储的数据的热度反相关，所述至少一个segment存储在所述多个level中的至少一个level中；不同level级采用不同的存储介质，level级数与存储介质的价格反相关，以实现持久化存储、长期存储在不影响查询性能的前提下的混合部署；130.所述分片是指不同存储数据流stream的数据以段segment为单位分布在不同level，一个stream包含多个segment，每个level中包括一个stream对应的多个segment，其中，一个或多个存储数据流stream形成了独立的对象集合schema，不同schema对应不同维度的观测数据，所述schema由用户定义。131.可选的，所述key还用于指示所述待存储数据流的版本。132.可选的，所述待存储数据流的版本信息，包括：133.所述key产生的时间戳；134.针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过所述key版本合并完成旧版本数据的删除；135.针对delete操作，则是通过将版本信息定义为无效信息systemunvalid，使得在第二存储区域中的标识更新，完成了数据的逻辑删除。136.可选的，所述将所述待存储数据流stream包括的每个流存储至内存，包括：137.将所述待存储数据流和无效数据存储至内存中的第一缓存行中，所述内存中的第一缓存行所能容纳的数据量大于所述待缓存数据流对应的数据量，所述待存储数据流对应的数量和所述无效数据的数据流之和，等于所述第一缓存行所能容纳的数据量。138.可选的，所述待存储数据流中包括所述待存储数据流的数据来源。139.可选的，所述待存储数据流，通过如下方式获得：140.采集原始数据；141.为所述原始数据添加数据来源；142.根据所述原始数据和所述原始数据的数据来源，得到所述待存储数据流。143.可选的，所述原始数据包括以下任意一项或者多项：144.log、metrics或者traces。145.可选的，所述待存储数据流对应的数据来源，包括：146.log、metrics以及traces中的其中一项或者多项。147.可选的，所述装置还包括：148.接收单元，用于接收数据查询请求，所述数据查询请求中包括查询关键字；149.第一查询单元，用于以所述查询关键字为索引查询所述第二存储区域，得到所述查询关键字对应的存储地址和segment标识；150.第二查询单元，用于以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果；151.输出单元，用于输出所述查询结果。152.由于所述装置500是与以上方法实施例提供的方法对应的装置，所述装置500的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置500的各个单元的具体实现，可以参考以上方法实施例的描述部分，此处不再赘述。153.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本公开未公开的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。154.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。155.以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。当前第1页12当前第1页12
背景技术：
：：2.在it系统中，logs、traces、metrics是作为应用可观测的三个重要指标，基本可满足各类监控、告警、分析、问题排查等需求，但实际场景中它们拥有各自的适用形态。3.在传统模式下，为了实现为了针对这三种维度的数据进行统一分析、展示，一般系统维度是metrics，一般采用prometheus组件收集、时序数据库tsdb存储；针对log或者trace，则主要是基于消息中间件(kafka)，elasticsearch等完成采集后进行数据的存储。可以很直观的看出，这套架构中依然采用两条技术栈，存储层依然是相互隔离，这使得metrics、logging、tracing三种指标分散在不同存储组件中，无法进行统一访问和有效聚合，这为后续对应用的观测和分析带来了挑战。4.流存储的出现，将流和存储看作一体，实现了对logs、traces、metrics等可观测性数据的一体化采集、存储、分析，完成了一套系统去解决所有类型数据。技术实现要素：5.本技术实施例提供了一种面向应用观测的流式存储方法及装置。6.第一方面，本技术实施例提供了一种面向应用观测的流式存储方法，所述方法包括：7.获取待存储数据流，并将所述待存储数据流stream包括的每个流存储至内存，所述内存包括块缓存blockcache、可变内存表activememtable和不可变内存表immutablememtable所述待存储流在内存中的流转顺序依次为blockcache、activememtable、immutablememtable，所述待存储数据流包括日志log、指标metrics或者调用日志traces中的其中一项或者多项；8.将所述immutablememtable的数据刷到存储介质，并形成至少一个segment存储于第一存储区域；9.将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的键key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。10.可选的，11.所述第一存储区域采用分层、分片结构；12.所述分层是指将第一存储区域划分为多个级(level)，level级数与该level存储的数据的热度反相关，所述至少一个segment存储在所述多个level中的至少一个level中；不同level级采用不同的存储介质，level级数与存储介质的价格反相关，以实现持久化存储、长期存储在不影响查询性能的前提下的混合部署；13.所述分片是指不同存储数据流stream的数据以段segment为单位分布在不同level，一个stream包含多个segment，每个level中包括一个stream对应的多个segment，其中，一个或多个存储数据流stream形成了独立的对象集合schema，不同schema对应不同维度的观测数据，所述schema由用户定义。14.可选的，所述key还用于指示所述待存储数据流的版本。15.可选的，所述待存储数据流的版本信息，包括：16.所述key产生的时间戳；17.针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过所述key版本合并完成旧版本数据的删除；18.针对delete操作，则是通过将版本信息定义为无效信息systemunvalid，使得在第二存储区域中的标识更新，完成了数据的逻辑删除。19.可选的，所述将所述待存储数据流stream包括的每个流存储至内存，包括：20.将所述待存储数据流和无效数据存储至内存中的第一缓存行中，所述内存中的第一缓存行所能容纳的数据量大于所述待缓存数据流对应的数据量，所述待存储数据流对应的数量和所述无效数据的数据流之和，等于所述第一缓存行所能容纳的数据量。21.可选的，所述待存储数据流中包括所述待存储数据流的数据来源。22.可选的，所述待存储数据流，通过如下方式获得：23.采集原始数据；24.为所述原始数据添加数据来源；25.根据所述原始数据和所述原始数据的数据来源，得到所述待存储数据流。26.可选的，所述原始数据包括以下任意一项或者多项：27.log、metrics或者traces。28.可选的，所述待存储数据流对应的数据来源，包括：29.log、metrics以及traces中的其中一项或者多项。30.可选的，所述方法还包括：31.接收数据查询请求，所述数据查询请求中包括查询关键字；32.以所述查询关键字为索引查询所述第二存储区域，得到所述查询关键字对应的存储地址和segment标识；33.以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果；34.输出所述查询结果。35.第二方面，本技术实施例提供了一种面向应用观测的流式存储装置，所述装置包括：36.获取单元，用于获取待存储数据流；37.第一存储单元，用于将所述待存储数据流stream包括的每个流存储至内存，所述内存包括块缓存blockcache、可变内存表activememtable和不可变内存表immutablememtable所述待存储流在内存中的流转顺序依次为blockcache、activememtable、immutablememtable，所述待存储数据流包括日志log、指标metrics或者调用日志traces中的其中一项或者多项；38.第二存储单元，用于将所述immutablememtable的数据刷到存储介质，并形成至少一个segment存储于第一存储区域；39.第三存储单元，用于将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的键key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。40.可选的，41.所述第一存储区域采用分层、分片结构；42.所述分层是指将第一存储区域划分为多个级(level)，level级数与该level存储的数据的热度反相关，所述至少一个segment存储在所述多个level中的至少一个level中；不同level级采用不同的存储介质，level级数与存储介质的价格反相关，以实现持久化存储、长期存储在不影响查询性能的前提下的混合部署；43.所述分片是指不同存储数据流stream的数据以段segment为单位分布在不同level，一个stream包含多个segment，每个level中包括一个stream对应的多个segment，其中，一个或多个存储数据流stream形成了独立的对象集合schema，不同schema对应不同维度的观测数据，所述schema由用户定义。44.可选的，所述key还用于指示所述待存储数据流的版本。45.可选的，所述待存储数据流的版本信息，包括：46.所述key产生的时间戳；47.针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过所述key版本合并完成旧版本数据的删除；48.针对delete操作，则是通过将版本信息定义为无效信息systemunvalid，使得在第二存储区域中的标识更新，完成了数据的逻辑删除。49.可选的，所述将所述待存储数据流stream包括的每个流存储至内存，包括：50.将所述待存储数据流和无效数据存储至内存中的第一缓存行中，所述内存中的第一缓存行所能容纳的数据量大于所述待缓存数据流对应的数据量，所述待存储数据流对应的数量和所述无效数据的数据流之和，等于所述第一缓存行所能容纳的数据量。51.可选的，所述待存储数据流中包括所述待存储数据流的数据来源。52.可选的，所述待存储数据流，通过如下方式获得：53.采集原始数据；54.为所述原始数据添加数据来源；55.根据所述原始数据和所述原始数据的数据来源，得到所述待存储数据流。56.可选的，所述原始数据包括以下任意一项或者多项：57.log、metrics或者traces。58.可选的，所述待存储数据流对应的数据来源，包括：59.log、metrics以及traces中的其中一项或者多项。60.可选的，所述装置还包括：61.接收单元，用于接收数据查询请求，所述数据查询请求中包括查询关键字；62.第一查询单元，用于以所述查询关键字为索引查询所述第二存储区域，得到所述查询关键字对应的存储地址和segment标识；63.第二查询单元，用于以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果；64.输出单元，用于输出所述查询结果。65.与现有技术相比，本技术实施例具有以下优点：66.本技术实施例提供了一种面向应用观测的流式存储方法，它用于存储流数据(stream)，并采用分层和分片的两层架构实现，其中，分层是指层级(level)的概念，不同level中存储不同热度的数据，level级数越高，数据热度越低，实现了数据的冷热分离；不同level可采用不同的存储介质，一般level级越高，介质越廉价，实现了持久化存储、长期存储在不影响查询性能的前提下的混合部署。分片是指所述不同stream的数据以段(segment)为单位分布在不同level，一个stream包含多个segment，每个level中也允许一个stream存在多个segment，其中一个或多个stream形成了独立的对象集合(schema)，不同schema对应了不同维度的观测数据，由用户定义。67.本技术实施例提供了一种面向应用观测的流式存储方法，在一个示例中，可以获取待存储数据流，所述待存储数据流包括日志log、指标metrics或者调用日志traces中的其中一项或者多项。所述待存储数据流至少存在一个segment，随着数据量的增加，segment也会逐步下沉至更高层级的level。在所述方法中，包含两个存储区域，第一存储区域、第二存储区域。其中，第一存储区域将所述至少一个segment和所述至少一个segment中各个segment对应的segment标识顺序存储至存储介质中的至少一个第一存储区域中，所述segment标识用于标识所述待存储数据流对应的数据来源，所述segment会分布在不同level中，在本技术中每个level会设置能存储单个segment最大字节数max，当存储的数据量超过所述max，会自动向下一级level创建新的segment完成新增数据写入，并以此类推，其中不同level可选择不同的存储介质；在第二存储区域中并将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的键key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。由此可见，对于各个segment(也就是所述待存储数据流本身)，仅存储一份，即存储在第一存储区域中，而不是分别在第一存储区域和第二存储区域各存储一份，一方面，避免了重复写入的问题，减少了冗余副本带来的存储开销，另一方面，因在第一存储区内的segment数据是顺序写入，而面对观测数据的查找，也是从segment中顺序读出，能够提升访问的性能。另外，本方案中第二存储区域存储有每个segment分别对应的存储区域的地址、所述每个segment对应的键(key)、以及所述每个segment对应的segment标识，因此，当以key为索引读取第一存储区域中的数据时，可以顺序读取。换言之，本方案可以支持顺序写和顺序读，与顺序写、随机读相比，能够有效提升存储介质的性能。在本方案中，所述key在实际应用中存在键值冲突的场景，因此key中包含了版本信息，一般是指key产生的时间戳，但不局限于此，针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过版本合并完成旧版本数据的删除；针对delete操作，则是通过将版本信息定义为无效信息“systemunvalid”，使得在第二存储区域中的标识更新，完成了数据的逻辑删除，弥补了业界在update、delete操作上的不足。附图说明68.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。69.图1为本技术实施例提供的一种面向应用观测的流式存储方法的流程示意图；70.图2为本技术实施例提供的一种存储数据的示意图；71.图3为本技术实施例提供的一种数据获取方法的流程示意图；72.图4为本技术实施例提供的一种数据查询方法的流程示意图；73.图5为本技术实施例提供的一种面向应用观测的流式存储装置的结构示意图。具体实施方式74.为了使本
技术领域：
：的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。75.下面结合附图，详细说明本技术的各种非限制性实施方式。76.示例性方法77.参见图1，该图为本技术实施例提供的一种面向应用观测的流式存储方法的流程示意图。图1所示的方法，例如可以由服务器执行。在本实施例中，所述方法例如可以包括以下步骤：s101-s103。78.s101：获取待存储数据流stream，并将所述待存储stream中的每个stream存储至内存，所述内存包括块缓存(blockcache)、可变内存表(activememtable)、不可变内存表(immutablememtable)。79.在一个示例中，所述待存储stream在内存中的流转顺序依次为blockcache、activememtable、immutablememtable。在一个示例中，blockcache可以完成对cache操作的优化，它通过内核提供的posix_fadvise予以干预。blockcache可以在几乎不损失性能的前提下，通过主动释放存储文件的页缓存(pagecache)，可以达到减缓内存压力的目的，从而来应对极端内存需求的场景，这一优化能够很好的预防性能抖动的发生。但是，目前的blockcache可能会存在伪共享的问题。因为一个处理器核对内存的修改，将导致另外的核在该处内存上的缓存失效。具体地：当多线程修改看似互相独立的变量时，如果这些变量共享同一个缓存行，就会在无意中影响彼此的性能。80.在一个示例中，为了解决上述问题，在本技术实施例中，当所述待存储数据流的数据量小于内存中某一个缓存行(例如第一缓存行)所能容纳的数据量时，让所述待存储数据流独占所述第一缓存行，对于所述第一缓存行中的多余部分，可以插入无效数据。换言之，在一个示例中，可以将所述待存储数据流和无效数据存储在所述第一缓存行中，所述内存中的第一缓存行所能容纳的数据量大于所述待缓存数据流对应的数据流，所述待存储数据流对应的数量和所述无效数据的数据流之和，等于所述第一缓存行所能容纳的数据量。81.在一个示例中，blockcache中的cache页写满后，即将页内数据写到activememtable，activememtable主要用于缓存用户的写入数据，一般设定最大字节数ac_max，当写入的数据量超过ac_max值，activememtable自动切换为immutablememtable，并重新在内存中创建immutablememtable；所述immutablememtable代表其中存储的不可写，但可读，它代表了用户写磁盘文件的数据，这样的好处是当内存向磁盘进行数据刷新时，块数据能更好的利用io，后台线程存储immutablememtable的数据进磁盘；在所述activememtable、immutablememtable，均针对不同的schema单独开辟，不同stream的activememtable、immutablememtable并不共享。82.在本技术实施例中，所述待存储数据流根据来源不同，一个或多个stream可定义为不同的概要(schema)。在一个示例中，schema可以根据待存储数据流stream对应的数据来源确定。例如，所述待存储数据流包括log、metrics、trace三个数据来源的数据，可分别定义为三个不同的schema，也可以讲log、trace合并为一个schema，具体取决于用户的需求，schema的数据则后续以segment的形式进行存储。83.关于所述数据来源，需要说明的是，在本技术实施例中，所述数据来源可以包括：日志(log)、指标(metrics)或者调用日志(traces)。关于log、metrics和traces，需要说明的是：84.log：记录事/物变化的载体，常见的访问日志、交易日志、内核日志等文本型以及gps、音视频等泛型数据也包含在其中。日志在调用链场景结构化后其实可以转变为trace，在进行聚合、降采样操作后会变成metrics。85.metrics：聚合后的指标，相对比较离散，一般由名称(name)、标签(labels)、时间(time)、值(values)组成。metrics数据量一般不大，相对存储成本更低，查询的速度比较快。86.traces：标准的调用日志，除了定义了调用的父子关系外，一般还会定义操作的服务、方法、属性、状态、耗时等详细信息，通过trace能够代替一部分log的功能，通过trace的聚合也能得到每个服务、方法的metrics指标。87.在传统技术中，为了实现为了针对log、metrics和traces这三种维度的数据进行统一分析、展示。metrics一般采用时序数据库(timeseriesdatabase，tsdb)存储。针对log或者trace，一般输出到elasticsearch(es)进行存储。可以很直观的看出，这套架构中采用两条技术栈，存储层依然是相互隔离的。而存储层隔离主要的而问题包括：数据不互通、系统维护代价巨大。而在本方案中，采用流式存储的方式，统一存储log、metrics以及traces数据，从而有效避免了上述数据不互通以及系统维护代价巨大的问题。88.在一个示例中，所述待存储数据流中包括所述待存储数据流的数据来源，此处提及的数据来源，可以包括以上提及的log、metrics或者traces中的其中一项或者多项。89.s102：将所述immutablememtable的数据刷到存储介质，并形成至少一个segment存储于第一存储区域。90.所述存储介质可以是磁盘存储器，为物理硬件设备；所述第一存储区域位于所述存储介质上，并包含多个level级，所述level的数量在系统初始化前定义。所述数据所在schema首次写所述存储介质时，形成的segment位于level0，而在系统初始化前定义每个level会设置能存储单个segment最大字节数max，当存储的数据量超过所述max，会自动向下一级level1创建新的segment完成新增数据写入，并以此类推至最后一级level所在存储介质。91.所述第一存储区域包括多个级level，level级数与该level存储的数据的热度反相关，所述至少一个segment存储在所述多个level中的至少一个level中。即：level级数越高，该level存储的数据的热度越低。s102在具体实现时，可以将所述至少一个segment和所述至少一个segment中各个segment对应的segment标识顺序存储至存储介质中的至少一个第一存储区域中，所述segment标识用于标识所述待存储数据流对应的数据来源。92.s103：将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。93.关于s102和s103，需要说明的是，本技术不具体限定所述存储介质，所述level层级可由用户自定义，不同level层级可采用采用串行ata(serialadvancedtechnologyattachment，sata)的存储介质，又如可以是固态硬盘(solidstatedrive，ssd)、对象存储(objectstorageservice，oss)，此处不一一列举说明，一般建议level层级越高选用的存储介质成本越低。94.在一个示例中，所述第一存储区域可以对应流存储(streamstorage)区域中的某一区域，所述第二存储区域可以对应流存储表格(streamstoragetable)中的某个流存储表格。接下来，结合图2，介绍s102-s103。图2为本技术实施例提供的一种存储数据的示意图。95.如图2所示，所述streamstorage采用分层和分片两种架构，所谓分层，指的是所述streamstorage包括多个级(level)，所谓分片，指的是一个level可以包括多个不同schema的segment，其中，不同level存储不同热度的数据，level越低，热度越高，相应的，数据访问频率越高。所述streamstoragetable则采用分片结构，主要根据segment的不同进行分片。96.如图2所示，在一个示例中，所述第一存储区域待存储数据可以存储在所述streamstorage的level1中，如图2所示，所述level1中数据按照{value，segment-id}的形式存储，其中，所述value指的是待存储数据中的部分数据(即：segment)，而segment-id为该value对应的segment标识。相应的，所述第二存储区域存储的数据可以对应streamstoragetable中的table(1)，table(1)中的数据按照{key，address，segment-id}，其中，所述key为value对应的key，所述address为value在streamstorage中的存储地址。97.关于所述key需要说明的是，在一个示例中，对于log和traces，可以以业务(例如业务名称，或者，业务标识)作为key，对于metrics，可以以指标作为key。98.通过以上描述可知，利用本技术实施例的方案，对于各个segment(也就是所述待存储数据流本身)，仅存储一份，即存储在第一存储区域中，而不是分别在第一存储区域和第二存储区域各存储一份，避免了重复写入的问题，能够提升存储介质的性能。另外，本方案中第二存储区域存储有每个segment分别对应的存储区域的地址、所述每个segment对应的键(key)、以及所述每个segment对应的segment标识，因此，当以key为索引读取第一存储区域中的数据时，可以顺序读取。换言之，本方案一方面，避免了重复写入的问题，减少了冗余副本带来的存储开销，另一方面，因在第一存储区内的segment数据是顺序写入，而面对观测数据的查找，也是从segment中顺序读出，能够提升访问的性能99.在一个示例中，考虑到传统的流式存储方案(例如基于apachebookkeeper(bk)实现的流式存储方案)，其不支持更新(update)和删除(delete)操作。而在本技术实施例的一种实现方式中，所述key在实际应用中存在键值冲突的场景，因此key中包含了版本信息，一般是指key产生的时间戳，但不局限于此，针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过版本合并完成旧版本数据的删除；针对delete操作，则是通过将版本信息定义为无效信息“systemunvalid”，使得在第二存储区域中的标识更新，完成了数据的逻辑删除，弥补了业界在update、delete操作上的不足。100.如前文，所述待存储数据流可以存储在缓存中，接下来，结合图3介绍在将所述待存储数据存储至缓存中之前，获得所述待缓存数据的方式。图3为本技术实施例提供的一种数据获取方法的流程示意图。图3所示的方法，可以包括如下s201-s203。101.s201：采集原始数据。102.在一个示例中，所述原始数据可以包括log、metrics以及traces。103.在一个示例中，可以按照所述log、metrics以及traces数据分别支持的数据协议，采集所述log、metrics以及traces数据。104.在一个示例中，s201在具体实现时，可以基于flink采集所述原始数据。105.接下来，以采集log为例介绍s201的实现方式。106.由于log为可扩展标记语言(extensiblemarkuplanguage，xml)格式，需要等待接收到完整的结构体才能完成其内容的解析，而log作为流数据一条一条流入flink，无法同一时刻接收到完整的结构体，考虑到其结构的特殊性，可以使用了flinkstate这一特性，并将任务的并行度设置为1，严格保证日志读取的顺序。由于log格式非常统一，每个gc记录均由《gc-start》开始并由《/gc-end》结束，十分便于定位一条gc记录。在接收到一次gc记录的第一行时，不会立即处理而是存储在state中直至读取到最后一行再提交xml解析类去处理。通过解析后即可获得所述日志数据。在一个示例中，解析获得的日志可以组织成map的格式输出至elasticsearch的指定索引(index)中存储。107.s202：为所述原始数据添加数据来源。108.s203：根据所述原始数据和所述原始数据的数据来源，得到所述待存储数据流。109.在一个示例中，获得所述原始数据之后，可以对所述原始数据进行进一步处理，例如，为所述原始数据添加相应的字段(例如时间戳)，得到处理后的中间数据。进一步地，基于所述中间数据和中间数据对应的中间来源，得到所述待存储数据流。110.基于以上实施例提供的流式存储方法，本技术实施例还提供了一种数据查询方法。接下来结合附图介绍该数据查询方法。图4为本技术实施例提供的一种数据查询方法的流程示意图。图4所示的方法，可以包括如下s301-s304。111.s301：接收数据查询请求，所述数据查询请求中包括查询关键字。112.关于所述查询关键字，需要说明的是，在一个示例中，所述查询关键字可以是业务(例如业务名称或者业务标识)，也可以是指标。本技术实施例不做具体限定。113.此处提及的数据查询请求，例如可以是结构化查询语言(structuredquerylanguage，sql)语句。114.s302：以所述查询关键字为索引查询所述第二存储区域，得到所述查询关键字对应的存储地址和segment标识。115.s303：以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果。116.在一个示例中，可以以所述查询关键字为索引，查询所述第二存储区域中对应的key，从而确定与所述查询关键词匹配的key。相应的，将与所述查询关键词匹配的key对应的存储地址和segment标识，确定为所述查询关键字对应的存储地址和segment标识。117.而后，以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果，即得到所述存储地址和segment标识对应的value。118.s304：输出所述查询结果。119.获得所述查询结果之后，可以输出所述查询结果，在本技术实施例中，可以以可视化的方式输出所述查询结果，例如，以文本和/或图表的方式输出所述查询结果。120.示例性设备121.基于以上实施例提供的方法，本技术实施例还提供了一种装置，以下结合附图介绍该装置。122.参见图5，该图为本技术实施例提供的一种面向应用观测的流式存储装置的结构示意图。所述装置500例如可以具体包括：获取单元501、第一存储单元502、第二存储单元503和第三存储单元504。123.获取单元501，用于获取待存储数据流；124.第一存储单元502，用于将所述待存储数据流stream包括的每个流存储至内存，所述内存包括块缓存blockcache、可变内存表activememtable和不可变内存表immutablememtable所述待存储流在内存中的流转顺序依次为blockcache、activememtable、immutablememtable，所述待存储数据流包括日志log、指标metrics或者调用日志traces中的其中一项或者多项；125.第二存储单元503，用于将所述immutablememtable的数据刷到存储介质，并形成至少一个segment存储于第一存储区域；126.第三存储单元504，用于将所述至少一个segment中每个segment分别对应的存储区域的地址、所述每个segment对应的键key、以及所述每个segment对应的segment标识，存储至所述存储介质中的第二存储区域中。127.可选的，128.所述第一存储区域采用分层、分片结构；129.所述分层是指将第一存储区域划分为多个级(level)，level级数与该level存储的数据的热度反相关，所述至少一个segment存储在所述多个level中的至少一个level中；不同level级采用不同的存储介质，level级数与存储介质的价格反相关，以实现持久化存储、长期存储在不影响查询性能的前提下的混合部署；130.所述分片是指不同存储数据流stream的数据以段segment为单位分布在不同level，一个stream包含多个segment，每个level中包括一个stream对应的多个segment，其中，一个或多个存储数据流stream形成了独立的对象集合schema，不同schema对应不同维度的观测数据，所述schema由用户定义。131.可选的，所述key还用于指示所述待存储数据流的版本。132.可选的，所述待存储数据流的版本信息，包括：133.所述key产生的时间戳；134.针对update操作，数据因具备最新的版本信息使得在segment下沉过程中，通过所述key版本合并完成旧版本数据的删除；135.针对delete操作，则是通过将版本信息定义为无效信息systemunvalid，使得在第二存储区域中的标识更新，完成了数据的逻辑删除。136.可选的，所述将所述待存储数据流stream包括的每个流存储至内存，包括：137.将所述待存储数据流和无效数据存储至内存中的第一缓存行中，所述内存中的第一缓存行所能容纳的数据量大于所述待缓存数据流对应的数据量，所述待存储数据流对应的数量和所述无效数据的数据流之和，等于所述第一缓存行所能容纳的数据量。138.可选的，所述待存储数据流中包括所述待存储数据流的数据来源。139.可选的，所述待存储数据流，通过如下方式获得：140.采集原始数据；141.为所述原始数据添加数据来源；142.根据所述原始数据和所述原始数据的数据来源，得到所述待存储数据流。143.可选的，所述原始数据包括以下任意一项或者多项：144.log、metrics或者traces。145.可选的，所述待存储数据流对应的数据来源，包括：146.log、metrics以及traces中的其中一项或者多项。147.可选的，所述装置还包括：148.接收单元，用于接收数据查询请求，所述数据查询请求中包括查询关键字；149.第一查询单元，用于以所述查询关键字为索引查询所述第二存储区域，得到所述查询关键字对应的存储地址和segment标识；150.第二查询单元，用于以所述存储地址和segment标识为索引，查找所述第一存储区域，得到查询结果；151.输出单元，用于输出所述查询结果。152.由于所述装置500是与以上方法实施例提供的方法对应的装置，所述装置500的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置500的各个单元的具体实现，可以参考以上方法实施例的描述部分，此处不再赘述。153.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本公开未公开的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。154.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。155.以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
