一种基于文本大数据的活荷载变动间隔数据采集方法与流程

本发明涉及建筑结构，尤其是涉及一种基于文本大数据的活荷载变动间隔数据采集方法。

背景技术：

1、荷载随时间发生变化，了解其时变规律，获得给定时段内荷载最大值的概率分布以确定荷载标准值，对于结构设计与分析具有重要意义。在活荷载时变模型中，相邻荷载变动的时间间隔是重要的参数。活荷载的一次变动可以理解为建筑区域的当前使用者搬出，而下一个使用者搬入。因此，相邻两次荷载变动的时间间隔也指当前使用者持续占用该建筑区域的时间。

2、为了掌握活荷载变动间隔的随机性，需要开展荷载采集工作来收集足够的样本数据。目前，常用的采集方法主要包括三种，即查询电话簿、问卷调查和口头询问。然而，查询电话簿方法会错过较短的荷载变动间隔样本，问卷调查和口头询问方法则依赖于被调查人员的主观记忆，导致收集的荷载变动间隔样本可靠性较低。此外，这些采集方法均依赖于人工，使得采集工作成本高且效率低。费时费力的荷载采集导致时变模型研究在数据方面存在以下两个问题：（1）首先是样本量少。例如，以往研究收集的变动间隔样本数量集中在100-1000范围内；（2）其次是数据更新非常缓慢。例如，一些国内外现行荷载规范中的活荷载变动间隔数据仍主要来源于20世纪70年代的荷载采集。

3、不可避免地，研究数据的匮乏也进一步限制了活荷载时变模型的发展和改进。例如，活荷载的时变模型近五十年来未曾变化。自然会带来如下疑问：活荷载当前的变化规律是否还符合现有模型的前提条件，若仍然符合，模型的参数是否发生变化。事实上，由于荷载采集难以开展，现有模型的参数尚未实现定期更新，遑论新模型的发展。而大数据及其技术的普及和应用，例如互联网大数据和自然语言处理技术，为活荷载研究带来了新的机遇。因此，有必要发展一种低成本、可持续、高效的新型采集方法来获取大量的活荷载变动间隔数据，从而促进数据基础和时变模型的更新。

技术实现思路

1、本发明的目的是为了克服人工方式的荷载变动间隔传统采集方法的缺陷，提供一种基于文本大数据的活荷载变动间隔数据采集方法，通过挖掘大量工商文本数据来代替人工调查范式，以获得大量的活荷载变动间隔数据，力求解决荷载数据采集困难以及研究停滞的问题。

2、本发明的目的可以通过以下技术方案来实现：一种基于文本大数据的活荷载变动间隔数据采集方法，包括以下步骤：

3、步骤s1、文本大数据收集：从互联网上收集不同市场主体公开的工商注册信息和变动记录信息形成文本大数据；

4、步骤s2、数据质量检查：对于来自步骤s1的文本大数据，清洗注册信息和变动记录信息中存在缺失、异常情况的数据，并筛选出包含地址变动记录的文本数据；

5、步骤s3、智能地址筛选：利用自然语言处理技术建立智能地址筛选模型，对来自步骤s2的文本数据中的中文地址进行自动分类，挖掘出位于目标建筑类型的市场主体文本数据；

6、步骤s4、地址变动验证：对于来自步骤s3的市场主体文本数据，验证每条地址变动记录是否对应真实搬迁，以排除未发生实际空间位置变化的地址变动记录，确保建筑中荷载发生了变化；

7、步骤s5、荷载变动间隔计算：对于经过步骤s4验证后的文本数据，将同一市场主体的工商注册信息和有效地址变动记录进行关联，并按照注册日期及有效地址变动日期的时间先后顺序构建地址占用序列；将注册日期或前一次有效地址变动日期作为对应地址的搬入时间节点，将后一次有效地址变动日期作为对应地址的搬出时间节点，根据搬出时间节点与搬入时间节点之间的时间差计算该市场主体在对应地址的持续占用时间，将所述持续占用时间作为荷载变动间隔样本数据，完成荷载变动间隔采集。

8、本发明所述的步骤s1具体为：从互联网收集不同市场主体公开的工商注册信息和变动记录信息，工商注册信息包括市场主体名称、市场主体类型、注册日期、所在城市、注册资本、经营场所和行业类型，并包括统一社会信用代码、注册号或者其他能够区分同一市场主体的信息中的至少一种；变动记录信息包括变动项目、变动内容和变动日期，两部分数据共同组成文本大数据。

9、本发明所述的步骤s3中，智能地址筛选模型包含三部分结构：输入层、编码器和输出层；其中，输入层将中文地址转化为输入向量；编码器由若干编码层堆叠组成，基于自注意力机制提取输入向量的特征以用于后续地址的分类；输出层由一个分类层构成，输出为中文地址的类别标签。

10、本发明所述的步骤s3中，所述的编码层由两个残差结构组成，第一个残差结构包含多头注意力层和标准化层，第二个残差结构包含前馈网络层和标准化层。

11、本发明所述的步骤s4中，在验证地址变动的有效性时，对变动前地址和变动后地址分别进行文本相似度判别和地理编码判别，以排除未真实发生空间位置变化的地址变动记录；其中，文本相似度判别用于识别地址信息修改类记录，地理编码判别用于识别因地址描述方式变化而导致文本表述变化、但实际空间位置未发生变化的地址变动记录。

12、与现有技术相比，本发明具有以下优点：

13、（1）无需人工现场调查，显著降低人工调查成本，提高荷载调查效率；

14、（2）获得的荷载变动间隔样本数据量大、可靠性高且覆盖面广，能够为全国不同区域的荷载标准值精细化制定提供更真实的数据基础；

15、（3）可持续性强，能够跟随时代变化及时更新荷载变动间隔统计数据，使得荷载时变模型与时俱进；

16、（4）可扩展性强，能够拓展到其他建筑类型的荷载变动间隔样本的调查，例如商场、工业厂房等建筑类型。

1.一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：所述的步骤s1具体为：从互联网收集不同市场主体公开的工商注册信息和变动记录信息，工商注册信息包括市场主体名称、市场主体类型、注册日期、所在城市、注册资本、经营场所和行业类型，并包括统一社会信用代码、注册号或者其他能够区分同一市场主体的信息中的至少一种；变动记录信息包括变动项目、变动内容和变动日期，两部分数据共同组成文本大数据。

3.根据权利要求1所述的一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：所述的步骤s3中，智能地址筛选模型包含三部分结构：输入层、编码器和输出层；其中，输入层将中文地址转化为输入向量；编码器由若干编码层堆叠组成，基于自注意力机制提取输入向量的特征以用于后续地址的分类；输出层由一个分类层构成，输出为中文地址的类别标签。

4.根据权利要求3所述的一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：所述的步骤s3中，所述的编码层由两个残差结构组成，第一个残差结构包含多头注意力层和标准化层，第二个残差结构包含前馈网络层和标准化层。

5.根据权利要求4所述的一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：所述的前馈网络层的数学表达为：

6.根据权利要求4所述的一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：所述的标准化层的数学表达为：

7.根据权利要求4所述的一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：所述的多头注意力层的数学表达为：

8.根据权利要求7所述的一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：所述的hi的数学表达为：

9.根据权利要求1所述的一种基于文本大数据的活荷载变动间隔数据采集方法，其特征在于：所述的步骤s4中，计算变动前地址与变动后地址之间的文本相似度，并分别对变动前地址和变动后地址进行地理编码以获得对应的空间位置信息；当所述文本相似度大于或等于预设相似度阈值，或者所述空间位置信息相同，或者所述空间位置信息之间的距离小于或等于预设距离阈值时，判定该地址变动记录未反映真实搬迁，并将其作为无效地址变动记录予以清洗。