用于工作技能的自动化数据管理系统和方法

本发明涉及数据处理与分析的，并且具体地涉及一种用于工作技能的自动化数据管理系统和方法。

背景技术：

1、在当今瞬息万变的就业市场中，技能供需不匹配带来的挑战日益凸显。企业遇到的困难在于，企业发现应届毕业生和求职者往往缺乏企业运营所需的关键技能，这给招聘过程造成了巨大障碍。与此同时，求职者常常不清楚自己所申请的工作具体需要的技能集合，导致求职效率低下。由于各种招聘平台上可得的职位列表浩如烟海，求职者需要投入大量时间和精力去收集和分析相关信息以了解当前的市场需求。

2、人才供需不匹配这一长期存在的问题一直是就业市场关注的焦点。尽管最优化配置和利用技能仍然是希望达到的理想目标，在具体实践中往往难以实现。在全球经济结构发生深刻转变的背景下，数百万求职者正在艰难应对找到与自身技能集合相匹配的工作的挑战，这进一步加重了现有的不匹配。

3、此外，企业越来越意识到，只有一小部分毕业生或求职者具备对于推动业务增长与发展而言必不可少的所需技能。许多新入职的毕业生需要额外的培训才能有效地贡献价值。反之，相当一部分学生缺乏对企业所寻求的技能以及自身未来成功需要培养的技能的洞察。雇主们观察到，只有少数毕业生或求职者具备业务运营和扩张所必需的基本技能，这凸显了补充培训对于提升员工效能的重要性。

4、因此，迫切需要一种精简的解决方案，其能够使求职者了解当前招聘工作中符合其个人条件的公司所寻求的具体技能。这种工具将显著地简化求职过程，使个人无需筛选大量工作信息并自行整合技能要求。该资源不仅能提高找到符合自身偏好的工作的几率，还能帮助学生全面了解其理想岗位必备的技能，从而促进其技能发展的战略规划。

技术实现思路

1、本专利申请提出了一种全面的解决方案，其通过提出基于自然语言处理（nlp）的专业技能分析系统解决就业市场上普遍存在的低效问题。该解决方案自动分析招聘信息以识别当前市场所需的关键技能要求。系统采用包括网络爬虫技术的各种技术，从各种招聘网站收集数据，并利用诸如分词（tokenization）、词频分析和语义分析等nlp技术，从职位描述中提取关键技能信息。该方法不仅节省求职者的时间，提高他们获得理想职位的机会，还为企业提供精确的人才匹配数据，从而提高招聘效率并降低人力资源成本。此外，该系统为招聘过程提供数据驱动的决策支持，辅助企业制定有针对性的招聘策略，同时也使教育机构能够紧跟市场需求，优化其课程设置，并培养符合当前市场需求的人才。

2、根据本技术的第一方面，提供了一种用于工作技能的自动化数据管理系统。该系统包括：数据采集模块，用于从多个公共资源采集原始职位数据；数据预处理模块，用于预处理采集到的原始职位数据，以去除无关信息和/或符号；数据识别模块，用于从预处理后的数据中识别与工作技能要求相关的文本，并识别与工作技能相关的关键词；语义分析模块，用于对识别出的与工作技能相关的关键词进行语义分析，并形成技能分类方案；数据存储模块，用于基于技能分类方案建立技能数据库并存储技能分类方案。

3、优选地，数据预处理模块被配置为执行以下操作中的至少一项：从采集到的原始职位数据中清除html格式标签、分词、词形还原、识别和去除停用词。

4、优选地，数据识别模块存储“技能标题”和“技能词”的列表，并且被配置为执行以下操作：利用第一移动窗口和第二移动窗口从头开始遍历预处理后的数据；评估第一移动窗口中的任何词是否与技能标题的列表中的任何技能标题匹配，并计算第一移动窗口和第二移动窗口中技能词的密度，其中，密度是技能词与总词数的比值；从预处理后的数据中识别技能要求部分；从识别出的技能要求部分中识别与工作技能相关的关键词。

5、优选地，从预处理后的数据中识别技能要求部分还包括：如果在第一移动窗口中找到技能标题，或者如果第一移动窗口或第二移动窗口中技能词的密度超过第一阈值，则确定技能要求部分开始；如果在两个连续窗口中技能词的密度低于第二阈值，则确定技能要求部分结束。

6、优选地，第一阈值和第二阈值在50%到90%之间，并且第一移动窗口和第二移动窗口的长度是固定的或可调的。

7、优选地，语义分析模块被配置为：将关键词转换为数值向量；使用统计聚类方法对关键词进行聚类；将聚类簇与相关技能集合对齐，以创建技能分类方案。

8、优选地，自动化数据管理系统还包括以下模块中的一个或多个：更新模块，用于实时或定期更新工作数据和技能要求信息，以更新技能分类方案；用户交互模块，提供用户界面，用于与用户沟通、向用户显示与工作技能相关的查询信息、展示与工作技能分析相关的信息和/或采集技能要求反馈；智能匹配模块，用于基于用户查询信息，使用字符串精确匹配或模糊算法搜索工作技能数据库，以找到匹配的工作技能；用户定制模块，用于基于用户反馈优化工作技能的搜索和匹配结果；统计分析模块，用于计算特定工作技能的需求百分比；工作技能分析报告模块，用于根据用户请求，基于技能分类方案生成定制的工作技能分析报告；数据分类模块，用于对采集到的原始职位数据进行分类，以区分不同类型的招聘数据，并将分类后的信息馈送到数据预处理模块中。

9、优选地，招聘数据的类型包括公司介绍、职位描述、福利待遇、技能要求和学历要求中的至少一项。

10、根据本技术的第二方面，提供了一种用于工作技能的自动化数据管理方法。该方法包括以下步骤：步骤一，从多个公共资源采集原始职位数据；步骤二，预处理采集到的原始职位数据，以去除无关信息和/或符号；步骤三，从标准化数据中识别与工作技能要求相关的文本，并识别与工作技能相关的关键词；步骤四，对识别出的与工作技能相关的关键词进行语义分析，并形成技能分类方案；步骤五，基于技能分类方案建立技能数据库。

11、优选地，预处理包括以下操作中的至少一项：从采集到的原始职位数据中清除html格式标签、分词、词形还原、识别和去除停用词。

12、优选地，步骤三还包括：利用第一移动窗口和第二移动窗口从头开始遍历预处理后的数据，以找到与预先存储的“技能标题”和“技能词”的列表匹配的短语；评估第一移动窗口中的任何词是否与技能标题的列表中的任何技能标题匹配，并计算第一移动窗口和第二移动窗口中技能词的密度，其中，密度是技能词与总词数的比值；从预处理后的数据中识别技能要求部分；从识别出的技能要求部分中识别与工作技能相关的关键词。

13、优选地，从预处理后的数据中识别技能要求部分还包括：如果在第一移动窗口中找到技能标题，或者如果第一移动窗口或第二移动窗口中技能词的密度超过第一阈值，则确定技能要求部分开始；如果在两个连续窗口中技能词的密度低于第二阈值，则确定技能要求部分结束。

14、优选地，第一阈值和第二阈值在50%到90%之间，并且第一移动窗口和第二移动窗口的长度是固定的或可调的。

15、优选地，步骤四还包括：将关键词转换为数值向量；使用统计聚类方法对关键词进行聚类；将聚类簇与相关技能集合对齐，以创建技能分类方案。

16、优选地，自动化数据管理方法还包括以下操作中的一项或多项：实时或定期更新工作数据和技能要求信息，以更新技能分类方案；从用户获得与工作技能相关的查询信息，向用户显示与工作技能分析相关的信息和/或采集用户对技能要求的反馈；结合用户查询信息，并使用字符串精确匹配或模糊算法搜索工作技能数据库，以找到与用户查询匹配的工作技能；获取用户反馈以优化对工作技能的搜索和匹配结果；对采集到的招聘职位数据进行分类，以区分不同类型的招聘数据；计算特定工作技能的需求百分比；根据用户请求，基于技能分类方案生成定制的工作技能分析报告；对采集到的原始职位数据进行分类，以区分不同类型的招聘数据，并将分类后的信息馈送到数据预处理模块中。

17、优选地，招聘数据的类型包括公司介绍、职位描述、福利待遇、技能要求和学历要求中的至少一项。

18、根据本技术的第三方面，提供了一种自动化数据管理系统，包括：数据存储资源，被配置为存储数据和指令；以及处理电路，被配置为实现上述定义的方法。

19、根据本技术的第四方面，提供了一种用于工作技能的计算机实现的自动化数据管理方法，该方法由一个或多个处理器执行并且包括：在数据采集单元处从公共资源采集原始职位数据；在数据预处理单元处预处理采集到的原始职位数据，以去除无关信息和/或符号；在数据识别单元处从标准化数据中识别与工作技能要求相关的文本，并识别与工作技能相关的关键词；在语义分析单元处对识别出的与工作技能相关的关键词进行语义分析，并形成技能分类方案；在数据存储单元处基于技能分类方案建立技能数据库。

20、根据本技术的第五方面，提供了一种自动化数据管理系统，包括：一个或多个处理器；以及计算机可读存储装置，耦接到一个或多个处理器并且其上存储有指令，这些指令在由一个或多个处理器执行时，使一个或多个处理器执行用于自动化数据管理的操作，这些操作包括上述定义的步骤。

21、根据本技术的第六方面，提供了一种非暂时性计算机可读介质，其存储多条指令，这些指令在被执行时，控制包括一个或多个处理器的计算机来实现上述定义的方法。

22、本发明提供了若干关键优点。首先，通过利用nlp技术进行自动化工作数据分析，突出自动化和效率，使系统能够展现出对与工作相关的大量信息的高效处理与有效管理。另外，系统提供了市场技能需求的实时更新，从而确保用户获得最新数据。此外，数据驱动的分析方法的实施能够进行客观分析，从而减少主观偏差并提高技能需求分析的准确度。最后，系统同时处理多个招聘信息的能力允许其识别行业技能趋势和需求变化，从而最终促进求职者与企业之间提高的匹配度。

23、附图说明

24、附图并入本说明书并构成说明书的一部分，展示了本发明的一个或多个实施例，并且与说明书一起用于解释本发明的原理。

25、图1示出了根据本技术的第一实施例的自动化数据管理系统。

26、图2示出了由图1的自动化数据管理系统实施的自动化数据管理方法。

27、图3进一步示出了基于本技术的另一实施例的用于工作技能的自动化数据管理系统。

28、图4a至图4d示出了由本技术的实施例生成的与通用技能百分比相关的结果。

29、图5a至图5c示出了由本技术的实施例生成的其他结果（即，技术技能的百分比）。

30、图6示出了采用本技术的自动化系统和方法的实时工作技能分析器的用户界面的示例。

31、具体实施方式

32、现对本技术的实施例进行详细说明，附图示出了一个或多个实施例。在本说明书及附图中重复使用的附图标记旨在表示本技术的相似特征或元素。需要注意的是，提供以下内容来帮助本领域技术人员进一步理解本技术，但不以任何形式对本技术构成限制。应注意，本领域技术人员在不脱离本技术的构思的情况下，可以进行各种修改和改变。例如，作为一个实施例的一部分示出或描述的特征可以结合另一实施例使用，以产生另外的实施方式。因此，本技术旨在涵盖在所附权利要求及其等同方案的范围内的这种变型和改变。

33、图1示出了根据本技术的第一实施例的自动化数据管理系统。如图所示，系统包括职位数据采集模块110、职位数据预处理模块120、工作文本数据识别模块130、文本数据语义分析模块140以及数据存储模块150。职位数据采集模块110负责利用互联网和数据库技术从公共资源160采集公开招聘职位的相关数据，包括文本数据和数值数据两者。职位数据预处理模块120负责对各种类型的职位数据进行标准化，以便后续模块进行增强分析。工作文本数据识别模块130采用自然语言处理方法对相关文本数据进行分词和分类，并识别关键术语。文本数据语义分析模块140对分词后的数据进行语义分析以提取职位所需的特定技能，从而生成技能分类方案。数据存储模块150基于该技能分类方案建立技能数据库并存储技能分类方案。技能分类方案可供用户170访问。

34、图2示出了由图1的自动化数据管理系统实施的自动化数据管理方法。如图2所示，方法包括以下步骤：步骤210，从公共资源采集原始职位数据；步骤220，预处理采集到的原始职位数据，以去除无关信息和/或符号；步骤230，从标准化数据中识别与工作技能要求相关的文本，并识别与工作技能相关的关键词；步骤240，对识别出的与工作技能相关的关键词进行语义分析，并形成技能分类方案；步骤250，基于技能分类方案建立技能数据库。

35、下面详述图1和图2所示的自动化数据管理系统和方法。

36、职位数据采集模块110

37、步骤210由职位数据采集模块110实现。该模块被设计为通过利用互联网和数据库技术，从公开招聘职位列表中收集相关数据，包括文本信息和数字信息两者。该模块主要通过数据采集模块运行，该数据采集模块采用人工采集技术和网络爬虫方法的组合来收集数据。

38、系统的数据采集功能通过如手动输入、网络爬虫和人机交互界面等机制，促进将信息转换为所需的数据格式。用户可以配置数据采集频率和时间表，以确保及时且便捷的数据检索。

39、网络爬虫功能利用网络爬虫语言和计算机工具访问公开可用数据，显著地提升了数据更新速度和时效性。此外，自检和确认过程提高了数据准确性，同时降低了数据采集成本。

40、在特殊情况下，诸如手写招聘信息，采用人工采集方式。对于难以准确定位并需要现场调查、电话询问或其他形式的人工干预的来源，采用人工数据采集。在整个采集过程中，使用扫描和图像识别技术、人工数据录入或如excel等存储工具来获取和更新数据。excel用于支持和指导数据录入，从而实现后台的人工数据更新。

41、职位数据预处理模块120

42、步骤220由职位数据预处理模块120实现。在准备从招聘广告中识别技能时，必要的初步阶段涉及对广告文本进行细致的清理和预处理。常规上，该准备阶段涉及去除html格式标签、分词、词形还原以及识别并后续消除停用词。通过参考nltk（natural languagetoolkit，自然语言工具包）的已建立列表来促进常用英语停用词的识别。

43、数据预处理过程涵盖一系列活动，包括预处理任务、修正缺失数据、校正格式错误、解决逻辑不一致、信息去重、消除无关数据以及验证相关性。要注意的是，在处理招聘信息期间，提取特殊字符并将其归档到数组中，以为后续分析阶段准备好数据。这些严谨的过程确保了汇编的工作数据经过完善以产生期望的信息输出。

44、数据清理过程涉及对数据进行彻底审查和验证，以删除重复数据、纠正错误并确保数据一致性。它实施为清除数据杂质的行为，象征着识别和纠正数据集中明显错误的最终阶段。鉴于数据库整合了来自不同来源（包括历史记录）的数据，面临错误或冲突数据（俗称“脏数据”），会不可避免地发生。总体目标是根据预定义的标准净化这些“脏数据”，仅保留必要信息。特征为不完整、错误或重复的条目的被认为不合适的数据，会被系统地筛选掉，从而允许完善后的数据前进到后续处理阶段。

45、在具体的实施场景中，数据预处理过程通过旨在获取目标数据的一系列分组步骤来实现。该方法包括：为每个数据模块组划定清理条件；应用这些条件对相应组内的数据进行净化；最终提取目标数据模块组，从而基于完善后的数据提供最终数据集。

46、在针对职位空缺进行人才招聘领域，潜在雇主会经常在其线上招聘信息中列出详细的技能先决条件。本文呈现了线上招聘广告的三个实例，用以说明这些广告通常划分为不同的部分。

47、示例1

48、指数股票投资组合经理

49、全职

50、中层管理

51、7年经验

52、银行与金融

53、每月15,000至19,000美元

54、共24份申请，发布日期：2022年11月24日，截止日期：2022年12月24日

55、角色与职责

56、etf和指数投资-投资组合管理

57、你的团队

58、你准备好加入全球最大的资产管理公司并引领指数投资潮流了吗？

59、贝莱德的etf和指数投资团队（eii）管理着跨全球发达市场、新兴市场、大宗商品和房地产投资信托基金的超过4万亿美元的全球指数股票资产。我们为投资者提供业内最丰富的指数投资选择之一。

60、我们的投资团队包括在各自市场拥有丰富经验的专业人士，他们为机构投资者和个人投资者管理资产。我们的客户受益于我们专业的投资组合管理专长以及我们注重业绩和风险管理的企业文化。

61、我们的宗旨是帮助越来越多的人实现更好的财务状况，我们对此充满热情！

62、你的角色和影响

63、我们诚邀一位投资组合经理加入我们的etf和指数投资团队。您将负责指数股票投资组合管理的各个方面，包括我们指数投资组合的日常投资组合管理、风险和业绩分析以及业务流程重组。我们正在寻找充满热情、渴望有所作为且具备相关专业知识的人才-既要精通市场，也要精通技术！

64、你的职责

65、· 执行日常投资组合管理任务；日常流动性管理、投资组合再平衡、公司行为分析、客户活动监控；风险和业绩监控。

66、· 业绩与风险管理

67、· 与我们的全球交易团队合作，应对再平衡和其他大规模投资事件

68、· 协助建立可全球共享的投资组合管理最佳实践

69、· 构建我们的下一代投资平台

70、· 识别并推动降低全球团队风险并提高全球团队的效率的运营改进

71、· 与业务伙伴合作，提供思想领导力和建议，以促进高质量的客户解决方案

72、· 积极贡献于我们的文化，并支持多元化、公平性和包容性

73、你要具备：

74、我们正在寻找来自不同背景的具备以下条件的人才：

75、· 对金融市场和技术充满热情

76、· 熟悉股票和指数化生态系统

77、· 7年以上投资行业/投资组合管理经验

78、· 具备较强的技术才能，对投资组合管理、交易和数据分析相关的技术解决方案感兴趣。有python、sql或其他编程经验者优先考虑。

79、· 较强的分析和解决问题的能力

80、· 高度的自我激励能力和强烈的职业道德

81、· 高度注重细节和责任心，具备组织和项目管理能力

82、· 能够在快节奏的环境中快速准确地工作

83、· 乐于团队合作，并具备出色的人际关系建立能力

84、· 优秀的书面和口头沟通能力

85、在第一示例中，在不同的标题下组织信息，这些标题诸如为“角色与职责”、“你的团队”、“你的角色和影响”、“你的职责”和“你要具备”，其中，技能分析的相关数据通常位于“你要具备”部分中。

86、预处理结果如下：

87、“指数股票投资组合经理，全职，中层管理，经验年限，银行金融，月薪，申请，发布，11月，12月，角色职责，etfs，指数投资，投资组合管理，团队，准备好加入全球最大的资产管理公司，引领指数投资潮流，贝莱德etfs，指数投资团队，eii，管理全球指数股票资产，全球发达市场，新兴市场，商品，房地产投资，信托基金，为投资者提供业内最丰富的指数投资选择，投资团队包括在各自市场拥有丰富经验的专业人士，照看资产，机构，个人投资者等，客户受益于专业的投资组合管理能力，文化，业绩，风险管理，宗旨，帮助人实现更好的财务状况，充满热情，角色，影响，诚邀，投资组合经理，加入，etf，指数投资团队，负责，方面，指数股票投资组合管理，包括日常投资组合管理，投资组合，风险，业绩分析，业务流程重组。正在寻找，人才，热情，有所作为，精通市场，精通技术，职责，执行日常投资组合管理任务，日常流动性管理，投资组合再平衡，公司行为分析，客户活动，风险，业绩监控，业绩，风险管理，合作，全球交易团队，应对再平衡，大规模投资事件，协助建立全球共享的投资组合管理最佳实践，构建下一代投资平台，识别，推动，运营改进，降低风险，提高效率，全球团队，合作，业务伙伴，提供思考领导力，建议，促进高质量的客户解决方案，积贡献于文化，支持多元化，公平性，包容性，寻找，人才，不同背景，热情，金融市场，技术，熟悉股票，指数化生态系统，年限，投资行业，投资组合管理经验，较强的技术能力，兴趣，投资组合管理、交易、数据分析相关的技术解决方案，python，sql，编程经验，优先考虑，分析，解决问题的能力，高度的自我激励能力，强烈的职业道德，高度注重细节，责任心，组织，项目管理技能，能力，快速准确地工作，快节奏的环境，乐于团队合作，出色的人际关系建立能力，优秀，书面，口头沟通能力”

88、示例2

89、该职位将协助财务主管执行所有财务和会计职能。

90、职责和责任

91、内部/外部汇报

92、现金管理

93、监管和税务事项

94、协助系统实施

95、资格要求

96、职位要求：

97、能够同时处理多项任务并在压力下工作

98、较强的电脑技能

99、良好的英语书面和口语能力

100、教育：

101、持有会计资格证书，并拥有金融或相关专业的学士学位

102、经验：

103、至少5年审计或会计经验

104、有一般保险会计和审计背景者优先考虑

105、有意者请点击下方“立即申请”按钮，通过电子邮件发送完整简历（注明可到岗时间、目前/上一份工作及期望薪资）。

106、所有收集到的个人数据将严格保密，仅用于招聘目的。

107、第二个招聘广告在标题“职责和责任”和“资格要求”下的两个部分中组织信息。所需技能在“资格要求”部分中具体说明。

108、预处理结果如下：

109、“职位，协助财务主管执行财务会计职能，职责，责任，内部，外部汇报，现金管理，监管，税务事项，协助系统实施，资格要求，职位要求，能力，多项任务，工作，压力，较强的电脑技能，良好，英语书面和口语能力，教育，持有会计资格证书，学士学位，金融，相关专业，经验，最少年限，审计，会计经验，一般保险会计，审计背景，优先考虑，有意者，请通过电子邮件发送完整简历，可到岗时间，目前工作，上一份工作，期望薪资，注明，点击按钮，申请，收集到的个人数据，严格保密，用于招聘目的”

110、示例3

111、

skills & requirements: 

112、

113、

• excellent command of written and spoken english and chinese withnative/near-native proficiency; 

114、

• 115、16px; font-family: helvetica neue" ", helvetica, calibri, arial,sans-serif; " ">ability to translate complicated technical information intoan easily understood format

116、

• 117、16px; font-family: helvetica neue" ", helvetica, calibri, arial,sans-serif; " ">sound planning and organisational skills

118、

• 119、16px; font-family: helvetica neue" ", helvetica, calibri, arial,sans-serif; " ">presentation skills

120、

• entry-level advertising, marketing, copywriting

121、

• market trends research and reporting

122、

• 123、medium; font-family: roboto, helvetica, arial, sans-serif; " ">hkidholder

124、

125、

126、

nice to have: 

127、

128、

• knowledge and experience in cryptocurrency trading, blockchain/dlt; 

129、

• 130、medium; font-family: roboto, helvetica, arial, sans-serif; " ">knowledge in the areas of risk management in financial services industries orfintech environment; 

131、

• 132、medium; font-family: roboto, helvetica, arial, sans-serif; " ">broadknowledge of the financial services industries, familiarity with kyc and/oraml/cft regulatory requirements 

133、

134、

135、第三个招聘广告包含处于html格式的工作技能要求文本。在识别任何所需技能之前，必须先清理html标签。

136、预处理结果如下：

137、“技能要求，优秀，英语书面和口语能力，中文母语，精通，能力，翻译复杂技术信息，易于理解的方式，良好的计划组织技能，演示技能，入门级广告营销文案撰写，市场趋势研究，报告，持有中国香港身份证，丰富的知识，经验，加密货币交易，区块链，dlt知识领域，风险管理，金融服务行业，金融科技环境，广泛了解，金融服务行业，熟悉kyc、aml、cft监管要求（“skills requirements excellent command written spoken english chinesenative native proficiency ability translate complicated technical informationeasily understood format sound planning organisational skills presentationskills entry level advertising marketing copywriting market trends researchreporting hkid holder nice knowledge experience cryptocurrency tradingblockchain dlt knowledge areas risk management financial services industriesfintech environment broad knowledge financial services industries familiaritykyc aml cft regulatory requirements”）”

138、工作文本数据识别模块130

139、步骤230由工作文本数据识别模块130实现。所提供的线上招聘广告示例凸显了广告发布实体普遍采用的做法，即利用文本内容来描绘公司背景、工作环境、工作范围、角色和职责。尽管这种文本信息量很大，但对于工作技能分析而言却被认为是无关紧要的。将这些无关文本纳入采用统计模型（比如关键词频率分析或语义嵌入语言模型）的分析过程中可能会将偏差和不准确性引入招聘信息中规定的工作技能的评估。

140、本技术所提供的关键进展在于：认识到将线上招聘广告中规定工作技能要求的文本与无关文本内容分离开来的关键性。为了实现这一点，本技术设计了算法，并利用自然语言处理（nlp）方法使该算法运行。

141、所提出的算法依赖于在线招聘信息中用于描述技能先决条件的两个必要文本特征。首先，这种文本通常在广告正文中形成独立的部分，通常以如“技能要求”、“资格要求”、“你要具备”等部分标题表示。其次，这些技能要求通常并非以完整的句子表达，而是通过关键词或短语表达。这些特征有助于广告发布实体清晰地阐述职位技能先决条件，并促进筛选招聘职位的潜在候选人。所提出的算法正是利用这些特征，有效地将技能要求文本与无关内容分开。

142、算法的执行分为三个连续步骤。首先，工作文本数据识别模块130编译通常用于在在线招聘广告中指定技能要求的“技能标题”和“技能词（包括短语）”的列表。这些列表是通过以下方式构建的：对大量在线招聘信息进行详尽审查以收集表示所需技能的常用标题和术语。

143、随后，“移动窗口”从广告正文的开头开始遍历广告正文。工作文本数据识别模块130评估移动窗口中的任何词语是否与技能标题列表相符，并统计其中包含的技能词数量。窗口内技能词的密度（计算为技能词与总词数的比值）有助于识别技能要求部分的起始位置。移动窗口的长度（固定或基于广告文本可调）对该确定至关重要。算法采用阈值（通常在50%到90%之间）来基于技能词密度来确定技能要求部分的存在。

144、接下来，移动窗口遍历整个广告。如果连续两个窗口中技能词的密度低于规定阈值，则算法识别出技能要求部分结束。该阈值（也是在50%到90%的范围内可调的）可以与之前步骤中应用的阈值不同。

145、所提出的算法在将技能要求文本与无关内容分开方面展现出卓越的效能。在包括33,613条在线招聘广告的数据集中，算法自主地识别出28,128条招聘广告中的技能要求。在剩余的5,485条招聘广告中，人工审核发现2,567个实例中包含技能要求，从而证实了其余2,918条广告中不存在此类要求。这表明算法的成功率为91.6%（=28,128/（33,613-2,918））。在8,661条在线招聘广告的独立样本中，算法成功地辨别出8,344条招聘广告中的技能要求，实现96.4%（=8,344/8,661）的成功率。

146、文本数据语义分析模块140

147、步骤240由文本数据语义分析模块140实现。在该模块内，利用语义嵌入语言模型将关键词转换为数值向量，使其能够以数学格式表示。随后，应用统计聚类方法将这些关键词分类到不同的聚类簇中，然后将这些聚类簇与相关知识领域内的相关技能集合进行匹配。结果是产生技能分类方案，该技能分类方案用户友好且有利于清晰有效的沟通。

148、首先，语义嵌入语言模型用于将关键词转换为数值向量，从而以数值形式封装这些关键词的语义本质。这些向量用于封装关键词之间的语义关系，其中相邻向量表示含义相近。该处理依赖于经预训练的语言模型（诸如bert、word2vec或glove），这些模型从庞大的文本语料库中提取出语义关联。

149、随后，采用统计聚类技术来基于关键词的这些数值表示的相似性将它们分组到各聚类簇中。该方法将这些聚类簇内的相关关键词聚合在一起，有助于识别语义分组。

150、接下来，将关键词的各聚类簇映射到所分析的特定领域内的相关技能集合。例如，特征为如“python”、“数据分析”和“机器学习”等关键词的聚类簇可以被链接到技能集合“数据科学”。

151、该过程的最终成果是建立了结构化的技能分类系统。该系统被设计为便于理解，从而促进对识别出的技能的有效沟通。通过将关键词组织成各聚类簇，并将其与相关的技能集合相匹配，该分类方案能够清晰地概述所研究领域内所需的各技能。

152、本质上，该自动化方法涉及将关键词转换为技能集合。它通过语义嵌入来封装关键词含义，采用聚类方法将语义相近的关键词分组，随后将这些分组与特定的技能集合关联起来，从而促进关键词到技能的自动分类。该方法的优势在于能够处理大量关键词，自动识别潜在的技能关系，提高效率，并减轻人工标注负担。

153、本技术的一个说明性实施例采用术语“通用/软技能”和“技术/硬技能”。术语“通用/软技能”涵盖了有助于个人融入工作环境的特质，包括与个性、特征、适应性、驱动力、目标和偏好相关的各方面（heckman&kautz，2012）。

154、在de freitas和almendra（2021）的研究基础上，本技术进一步细化了通用技能的分类，将其分为社交技能和认知技能。正如de freitas和almendra（2021）所强调的，门槛级技能在促进高阶技能发展方面发挥着关键作用。与之相对，“技术/硬技能”指的是使个人能够在特定任务中脱颖而出的能力，诸如科学知识、专业技能和技术能力（laker&powell，2011）。

155、为了便于说明，接下来的两个表格中呈现了专为会计和金融行业定制的技能分类方案的示例。表1列出了26项常被引用的技能，而表2描绘了会计与金融领域内公司通常对于岗位所描述的23项技术技能。这些表格中的每项技能与对应的关键词集合相关联。在实际中，对于每份招聘广告，提取详述步骤4中概述的工作技能先决条件的文本，利用识别出的关键词来确定由广告发布实体所强制要求的技能。

156、

157、

158、表1. 每项通用技能的最常用五个关键词

159、

160、

161、表2. 每项技术技能的最常用五个关键词

162、图3中描绘的实施例进一步示出了基于本技术的另一实施例的用于工作技能的自动化数据管理系统300。该实施例包括图1所示模块之外的附加模块。与图1中相同的模块使用对应的附图标记进行标识，其功能和操作与图1中所述相同。

163、如图3所示，自动化数据管理系统300包括：更新模块310、用户交互模块320、智能匹配模块330、用户定制模块340、统计分析模块350、工作技能分析报告模块360以及数据分类模块370。要注意的是，可能的情况是系统300可以包括额外的模块以满足用户需求。也可以移除这些模块中的任一个以降低成本。

164、更新模块310负责促进工作数据和技能要求信息的实时或定期更新，以确保技能分类方案根据不断变化的就业市场趋势的准确性和相关性。

165、用户交互模块320作为用户界面，用于与用户互动。它显示与工作技能相关的查询信息，提供工作技能分析见解，并收集技能要求反馈，以增强用户体验和智能匹配模块系统的效率。

166、智能匹配模块330利用字符串精确匹配或模糊算法。该模块基于用户查询信息搜索工作技能数据库以识别匹配的工作技能，从而精简针对用户的职位匹配过程。

167、用户定制模块340使用户能够通过整合用户反馈来优化工作技能的搜索和匹配结果，从而确保基于个人偏好和要求的个性化和定制的工作技能推荐。

168、统计分析模块350专门用于计算特定工作技能的需求百分比。该模块提供关于就业市场趋势和各种技能集合受欢迎度的有价值洞察，从而有助于战略决策。

169、工作技能分析报告模块360基于技能分类方案生成定制的工作技能分析报告，从而满足用户请求，并提供关于工作技能趋势和要求的详细见解，以便做出明智的决策。

170、数据分类模块370负责对采集到的原始职位数据进行分类，以区分各种类型的招聘数据，从而确保组织有序且结构化的数据，以便在系统内进行进一步处理和分析。

171、图4a至图4d和图5a至图5c示出了由图3的系统使用至少一个列出的模块（如统计分析模块350和/或工作技能分析报告模块360）生成的结果。

172、从公共招聘资源网站采集会计、银行与金融、电子商务和保险这四种职位职能下在2023年2月、5月、8月和11月这四个月内的招聘信息。招聘信息数量在表3中呈现。

173、

174、表3

175、使用自动化方法提取所需技能，并利用表1和表2所示的关键词-技能映射识别各招聘公司期望职位候选者具备的通用技能和技术技能。对于每项通用/技术技能，对要求该技能的招聘信息的数量进行计数，并计算这种招聘信息占同一月份中所有招聘信息（汇总了所有四种职位职能）的百分比。

176、步骤250由数据存储模块150实现。模块150使用技能分类方案构建技能数据库。技能分类方案存储在该数据库中，并且可以根据需要访问。

177、图4a至图4d示出了所有通用技能的百分比。根据表3，通用技能被分类为“社交0”、“社交”、“认知0”和“认知”。“社交0”类别包含门槛级社交技能，“社交”类别包括高级社交技能，“认知0”类别包括门槛级认知技能，而“认知”类别涉及高级认知技能。图4a至图4d的每个分图（panel）中水平轴索引表示月份，其中“_8”表示8月，“_5”表示5月，“_2”表示2月，并且“11”表示11月。图5a至图5c呈现了分组为“商业”、“技术”和“其他”的所有技术技能的百分比。图5a至图5c的每个分图（panel）中水平轴索引表示相应的月份。

178、分析成功地应用于分析从公共招聘资源网站采集到的近5万份招聘信息。识别出了各个招聘信息中所需的通用技能和技术技能。对每个技能的需求通过计算需要该技能的招聘信息在所有招聘信息中的百分比来评估。附图表明，在中国香港就业市场中技能需求存在显著差异，但在2023年的整整四个月中观察到相对稳定的需求。报告中记录的分析和发现有力地证明了基于自然语言处理（nlp）的工作技能分析系统产生了有价值的工作技能信息。

179、图6进一步展示了采用上述自动化系统和方法的实时工作技能分析器的用户界面的示例。如图所示，在输入期望的职位名称或描述后，用户可以轻松地找到所需的技能。

180、综上，本技术提出了基于自然语言处理的专业技能分析与管理系统及方法。该系统使得招聘信息的分析自动化，以识别当前市场上需求最大的技能。通过大数据分析，本发明准确地评估对各种技能的需求，为求职者和企业提供有价值的数据支持。求职者可以利用该系统了解市场需要的技能，从而提升自身竞争力，并增加就业机会。企业可以利用该系统快速识别称职的候选人，从而提高招聘效率，并降低人力资源成本。系统为招聘过程提供数据支持，从而辅助企业制定更精确的招聘策略。此外，系统使教育机构能够及时洞察市场需求，从而促进优化其课程设置以培养符合市场需求的人才。

181、一般来说，系统100和300均包括处理器和存储器。处理器可以具有一个或多个处理核心，诸如4核处理器或8核处理器。可以使用如数字信号处理器（dsp）、现场可编程门阵列（fpga）或可编程逻辑阵列（pla）等硬件实现处理器。处理器还可以包括主处理器和协处理器。主处理器（也称为中央处理单元（cpu））在唤醒状态下处理数据，而协处理器是用于备用状态数据的低功耗处理器。在某些情况下，处理器可以集成图形处理器（gpu）以渲染和绘制显示画面的内容。此外，处理器可以具有用于机器学习任务的人工智能（ai）处理器。

182、存储器可以由一个或多个非瞬时性计算机可读存储介质形成。它可以包括高速随机存取存储器和非易失性存储器，如磁盘存储装置和闪存存储装置。在某些情况下，存储器存储指令，处理器执行该指令以实现本技术中所述的方法。

183、因此，本技术的实施例提供了具有处理器和用于存储指令的存储器的系统，这些指令由处理器执行，以执行图2所示的方法。本技术还包括存储程序的计算机可读存储介质，该程序在由处理器执行时，实现图2所示的方法。此外，包含指令的计算机程序产品在计算机上运行时，使计算机能够执行图2所示的方法。

184、本领域技术人员应当理解，用于实现所述实施例的全部或部分框可以由硬件完成，也可以由程序指示相关硬件完成。该程序可以存储在计算机可读存储介质（诸如只读存储器、磁盘或光盘）中。所述实施例是可选的，并非旨在限制本技术。任何在本技术的精神和原理内进行的修改、等效替换、改进等均包括在本技术的保护范围内。