一种基于人工智能的协助自动办公方法及系统与流程

本发明涉及智能办公，尤其涉及一种基于人工智能的协助自动办公方法及系统。

背景技术：

1、现有办公自动化技术无法对办公场景下的键盘输入、鼠标点击、剪贴板内容变更等多源输入数据流进行统一监听与整合解析，无法按时间窗口对操作类型与操作对象进行归类以提取候选操作片段，也无法通过操作频次与操作间隔筛选识别重复性操作片段，同时不能对活动文档内的文本、表格及格式标记进行结构化解析，更无法建立操作行为与文档内容的关联约束，无法自主形成贴合实际办公场景的办公任务意图，导致办公需求识别模糊且缺乏精准性。

2、现有办公自动化技术无法将办公任务意图转化为适配办公场景的标准化操作指令，不具备结合界面元素标识与用户操作权限等级对指令进行适配调整的能力，无法判断办公软件自动化接口的可用性并完成智能调用，也不能精准模拟用户鼠标点击与键盘输入完成操作执行，执行过程缺乏状态校验与异常重试机制，同时无法收集任务输出结果、完整记录操作日志并进行可视化展示，导致办公操作流程衔接不畅、执行管控缺失，整体自动化执行效率与操作可控性均处于较低水平。

技术实现思路

1、本发明提供一种基于人工智能的协助自动办公方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供的一种基于人工智能的协助自动办公方法，包括：

3、步骤1、基于注意力机制，对办公场景中多源输入数据解析出的重复性操作片段与目标对象的当前活动文档中内容数据进行关联约束，构建办公场景的办公任务意图；

4、步骤2、将办公任务意图中任务类型标签和关键执行参数转换为办公操作指令，结合办公场景中上下文信息的界面元素标识和当前用户权限信息，调整办公操作指令；

5、步骤3、依次调用办公软件的自动化接口或模拟用户输入操作，执行调整后操作指令，并将任务输出结果与指令操作日志以可视化方式呈现。

6、在一个优选的实施方式中，所述对办公场景中多源输入数据解析，包括：

7、监听目标对象在办公场景中触发的键盘输入事件、鼠标点击事件及剪贴板内容变更事件整合原始数据流；

8、将原始数据流中每个时间窗口内具有相同操作类型和操作对象的操作序列作为候选操作片段；

9、读取目标对象的当前活动文档中文本内容、表格数据及格式标记，生成内容数据的结构化表示；

10、对候选操作片段进行频次统计，将出现频次超过第一阈值且操作间隔小于第二阈值的连续操作序列标记为重复性操作片段。

11、在一个优选的实施方式中，所述基于注意力机制，对办公场景中多源输入数据解析出的重复性操作片段与目标对象的当前活动文档中内容数据进行关联约束，构建办公场景的办公任务意图，包括：

12、将重复性操作片段中的每一个操作动作转换为一个操作特征向量，并将内容数据按照段落、单元格或标记块拆分为多个内容特征向量；

13、基于注意力机制，计算操作特征向量与内容特征向量间的关联强度值；

14、根据关联强度值，筛选出关联强度超过预设阈值的操作－内容对，形成办公场景中的候选任务节点；

15、将所有候选任务节点按照操作发生的时序，去除重复或冲突的任务节点，生成办公场景的办公任务意图。

16、在一个优选的实施方式中，所述关联强度值的计算公式如下：

17、；

18、式中，为关联强度值，为操作特征向量，为内容特征向量，为模长运算符，为重复性操作片段中同一操作动作的出现次数，为总操作动作次数，为用户在当前活动文档中光标所在位置的停留时长，为用户在当前活动文档上的总编辑时长。

19、在一个优选的实施方式中，所述将办公任务意图中任务类型标签和关键执行参数转换为办公操作指令，包括：

20、根据办公任务意图中任务类型标签，将具有与任务类型标签对应的指令字段结构以及字段间的逻辑嵌套关系的模板作为操作指令模板；

21、将关键执行参数按照字段名称映射到操作指令模板中的对应字段上，生成初始化的办公操作指令。

22、在一个优选的实施方式中，所述结合办公场景中上下文信息的界面元素标识和当前用户权限信息，调整办公操作指令，包括：

23、从办公场景的上下文信息中提取当前活动窗口的界面元素标识；

24、根据当前用户权限信息，确定当前用户在当前活动文档或当前办公应用中的操作权限等级，操作权限等级包括只读权限、编辑权限或管理权限；

25、将办公操作指令中的界面元素占位符替换为界面元素标识，并根据操作权限等级，移除或禁用办公操作指令中超出操作权限等级的操作步骤，以调整办公操作指令。

26、在一个优选的实施方式中，所述将关键执行参数按照字段名称映射到操作指令模板中的对应字段位上，生成一个初始化的办公操作指令，包括：

27、将关键执行参数中的目标文档路径、目标表格行号或目标邮件收件人地址填充至办公场景的基础指令模板中操作对象占位符；

28、将关键执行参数中的复制内容、移动位置坐标或格式设置值填充至基础指令模板中的操作参数占位符；

29、将填充完成后的基础指令模板转换为办公软件自动化接口可识别的结构化指令对象，得到办公操作指令。

30、在一个优选的实施方式中，所述依次调用办公软件的自动化接口或模拟用户输入操作，执行调整后操作指令，包括：

31、从调整后操作指令中解析出第一条待执行的操作指令，并识别操作指令所对应的目标办公软件及操作类型；

32、判断目标办公软件是否提供公开的自动化接口，若提供则通过自动化接口直接调用执行调整后操作指令，若不提供则获取当前屏幕中该操作指令对应的界面控件位置，生成模拟的鼠标点击或键盘输入事件以执行调整后操作指令；

33、等待当前操作指令执行完毕后，捕获执行完成的状态标识，并根据状态标识判断执行是否成功，若成功则继续解析下一条操作指令，若失败则触发重试机制并在重试次数耗尽后终止执行；

34、按照操作指令的原始顺序，逐条执行，直至所有调整后操作指令均被执行完毕。

35、在一个优选的实施方式中，所述将任务输出结果与指令操作日志以可视化方式呈现，包括：

36、收集每一条操作指令执行后产生的文件内容、修改的数据记录或完成的通知消息作为任务输出结果；

37、同步记录每一条操作指令的指令执行时间、操作名称、执行状态以及返回的异常码或成功标识作为指令操作日志；

38、将任务输出结果按照完成时间顺序排列，并在用户界面的结果展示区域以列表或卡片形式逐条显示，每条结果附带有对应的操作名称；

39、将指令操作日志在用户界面的日志区域以时间轴形式滚动展示，并对执行失败的操作日志进行高亮标识；

40、提供切换视图按钮，允许用户选择仅显示成功操作的输出结果或同时显示完整的指令操作日志。

41、为了解决上述问题，本发明还提供一种基于人工智能的协助自动办公系统，所述系统包括：

42、意图构建模块，用于基于注意力机制，对办公场景中多源输入数据解析出的重复性操作片段与目标对象的当前活动文档中内容数据进行关联约束，构建办公场景的办公任务意图；

43、指令调适模块，用于将办公任务意图中任务类型标签和关键执行参数转换为办公操作指令，结合办公场景中上下文信息的界面元素标识和当前用户权限信息，调整办公操作指令；

44、执行呈现模块，用于依次调用办公软件的自动化接口或模拟用户输入操作，执行调整后操作指令，并将任务输出结果与指令操作日志以可视化方式呈现。

45、与现有技术相比，本发明具有以下有益效果：

46、1.本发明基于注意力机制对办公场景中提取的重复性操作片段与当前活动文档内的文本、表格、格式标记等内容数据进行深度关联约束，将操作动作与文档内容转化为对应特征向量并完成关联强度判别，筛选形成有效候选任务节点并按操作时序去除重复与冲突节点，自主构建出高度适配办公场景的办公任务意图，精准识别并完整提炼用户真实办公操作需求，让办公任务的规划与设定完全贴合实际办公场景的执行逻辑与操作需求。

47、2.本发明可将办公任务意图中的任务类型标签与关键执行参数精准映射转换为标准化办公操作指令，结合办公场景界面元素标识与用户操作权限等级完成指令的适配优化，智能判断办公软件自动化接口可用性并完成高效调用，无公开接口时精准模拟用户鼠标点击与键盘输入操作执行指令，同步收集任务输出结果并完整记录指令执行日志，以可视化形式直观呈现执行状态与操作轨迹，简化办公操作全流程衔接，大幅提升办公自动化执行效率，同时增强操作管控的直观性与执行过程的可追溯性。