一种基于云边端架构的远程桌面系统的制作方法

1.本发明涉及嵌入式系统技术领域，具体涉及一种基于云边端架构的远程桌面系统。


背景技术：

2.传统远程云桌面系统为了数据保密需要，将数据均保存于远程云端服务器，此方法可以有效保护数据，但会受到网络环境的影响，一旦终端与云服务器之间的网络环境发生变化，整个系统即发生瘫痪，影响用户使用。


技术实现要素：

3.本发明为了克服以上技术的不足，提供了一种实现数据的云端、边缘端分层保护，不重要数据保存于边缘端，由边缘端与终端进行主要交互，重要数据保存于云端，当网络发生故障时，系统仍能维持基本运行的远程桌面系统。
4.本发明克服其技术问题所采用的技术方案是：一种基于云边端架构的远程桌面系统，包括：云端服务端，云服务端内设置有图像重组与重绘模块以及通信协议服务端；边缘端，其内部设置有数据分析、存储与处理模块，边缘端通过远程网络与云端服务端的通信协议服务端连接；终端，由fpga主控芯片构成，fpga主控芯片内部由主状态机模块以及与主状态机模块相连的显示模块、鼠标键盘控制模块、声音模块、网络模块构成，终端在网络模块控制下通过边缘端与云端服务端建立主连接并维持，建立主连接后云端服务端下发命令通知边缘端与终端的网络模块建立从连接，当边缘端检测到云端服务端网络环境变化时，边缘端作为服务端与终端进行通信；鼠标键盘控制模块对采集的鼠标的输入数据进行分析，当鼠标数据单位时间内x坐标变化大于5且y坐标变化大于8且数据坐标变化持续时间大于3s时，边缘端缓存输入数据后计算鼠标运动轨迹梯度值，当梯度值小于一个常数g，g<0.5，则根据梯度值大小确定采样频率进行数据降采样后将鼠标运动轨迹上传至云端服务端,然后远程桌面系统根据当前时刻与之前时刻鼠标坐标进行拟合，并根据拟合曲线与当前梯度值在拟合曲线上的指向方向对下一时刻运动轨迹进行预测，将预测的运动轨迹上传至云端服务端后由云端服务端通过相邻插值算法还原运动轨迹，云端服务端计算还原运动轨迹与上一时刻上传的鼠标运动轨迹的差值，差值大于一个常数h，0.5<h<1时，云端服务端向边缘端发送控制命令使边缘端重新上传鼠标的输入数据并重新计算插值，当插值小于常数l，0.2<l<0.4时，更新此时刻鼠标运动轨迹；云端服务端对桌面图像进行分类打包，将打包的显示数据按照30
×
50窗口大小对图像进行随机采样，每帧图像共采样15个区域，提取各区域边缘像素特征，统计边缘像素在n时刻内变化的次数，n为常数，且n>10,当区域变化次数小于常数m，m=5，则认为此区域为不
重要区域，将不重要的数据的显示数据发送至边缘端的数据分析、存储与处理模块中进行存储，边缘端根据先后时间、区域位置建立哈希表映射数据存储地址，当云端服务端需在终端显示图像时，云端服务端根据要显示的图像序列向边缘端下方编排好的寻址命令，边缘端将对应数据取出、重呈完整图像序列数据后发送至终端的显示模块，显示模块根据对应坐标、区域大小进行显示。
5.优选的，上述fpga芯片为ep4ce115f29c7型fpga芯片。
6.优选的，上述边缘端采用arm架构。
7.优选的，终端利用verilog硬件描述语言设计，采用硬件逻辑及状态机方式控制，终端无软核及硬核cpu。
8.进一步的，网络模块与边缘端采用mqtt协议通信，边缘端与通信协议服务端采用mqtt协议连接，鼠标键盘控制模块、网络模块和声音模块与主状态机模块通过mqtt协议连接，显示模块与主状态机模块通过http协议连接。
9.进一步的，当终端与云端服务端的网络连接中断时，边缘端代替云端服务端与终端建立主连接。
10.进一步的，声音模块采集的声音通过边缘端内的数据分析、存储与处理模块进行压缩编码、滤波降噪、增强处理，当声音为人声或用户指定重要录音时，边缘端将其实时发送至云端服务端进行存储，当声音不为人声或用户指定重要录音时，边缘端的数据分析、存储与处理模块对其进行存储，并将声音的摘录信息发送给云端服务端，云端服务端根据摘录信息向边缘端发送命令提取声音。
11.进一步的，云端服务端需要播放的声音经过边缘端的数据分析、存储与处理模块进行压缩编码、滤波降噪、增强处理后发送至终端的声音模块进行播放。
12.进一步的，云端服务端对显示数据进行随机像素采样p个点，p为常数，且p>100,计算统计采样点像素帧间差值，当差数和大于一个常数q时，对本帧图像数据进行隔行扫描并将扫描后的数据发送至边缘端，边缘端通过数据分析、存储与处理模块插值处理还原图像数据后发送至终端显示模块渲染更新至当前帧图像对应区域，终端显示完成后向边缘端发送清除存储请求，边缘端清除对应图像存储。
13.本发明的有益效果是：整个数据处理过程不在终端存储任何有效数据，重要数据全部存储在服务端的虚拟机内，终端数据处理全部采用流水线式处理，处理完成即消失，获得机器人无法获取任何数据，且服务端数据存储于虚拟机内，与物理机隔离，安全性较高，销毁方便，通过本系统可以有效保证系统的安全。且边缘端对数据进行分层处理，不重要数据在边缘端存储，减少上传至云端数据量，节省本地与云端之间网络带宽，保证了系统的稳定可靠性。边缘端对数据进行分层处理，不重要数据在边缘端存储，减少上传至云端数据量，节省本地与云端之间网络带宽，保证了系统的稳定可靠性。终端采用fpga硬件描述语言编写，无cpu，无软件顺序执行造成的延迟，速度较快，实时性强。
附图说明
14.图1为本发明的远程桌面系统的结构框图。
具体实施方式
15.下面结合附图1对本发明做进一步说明。
16.一种基于云边端架构的远程桌面系统，包括：云端服务端，云服务端内设置有图像重组与重绘模块以及通信协议服务端；边缘端，其内部设置有数据分析、存储与处理模块，边缘端通过远程网络与云端服务端的通信协议服务端连接；终端，由fpga主控芯片构成，fpga主控芯片内部由主状态机模块以及与主状态机模块相连的显示模块、鼠标键盘控制模块、声音模块、网络模块构成，终端在网络模块控制下通过边缘端与云端服务端建立主连接并维持，建立主连接后云端服务端下发命令通知边缘端与终端的网络模块建立从连接，当边缘端检测到云端服务端网络环境变化时，边缘端作为服务端与终端进行通信；鼠标键盘控制模块对采集的鼠标的输入数据进行分析，当鼠标数据单位时间内x坐标变化大于5且y坐标变化大于8且数据坐标变化持续时间大于3s时，边缘端缓存输入数据后计算鼠标运动轨迹梯度值，当梯度值小于一个常数g，g<0.5，则根据梯度值大小确定采样频率进行数据降采样后将鼠标运动轨迹上传至云端服务端,然后远程桌面系统根据当前时刻与之前时刻鼠标坐标进行拟合，并根据拟合曲线与当前梯度值在拟合曲线上的指向方向对下一时刻运动轨迹进行预测，将预测的运动轨迹上传至云端服务端后由云端服务端通过相邻插值算法还原运动轨迹，云端服务端计算还原运动轨迹与上一时刻上传的鼠标运动轨迹的差值，差值大于一个常数h，0.5<h<1时，云端服务端向边缘端发送控制命令使边缘端重新上传鼠标的输入数据并重新计算插值，当插值小于常数l，0.2<l<0.4时，更新此时刻鼠标运动轨迹；云端服务端对桌面图像进行分类打包，将打包的显示数据按照30
×
50窗口大小对图像进行随机采样，每帧图像共采样15个区域，提取各区域边缘像素特征，统计边缘像素在n时刻内变化的次数，n为常数，且n>10,当区域变化次数小于常数m，m=5，则认为此区域为不重要区域，将不重要的数据的显示数据发送至边缘端的数据分析、存储与处理模块中进行存储，边缘端根据先后时间、区域位置建立哈希表映射数据存储地址，当云端服务端需在终端显示图像时，云端服务端根据要显示的图像序列向边缘端下方编排好的寻址命令，边缘端将对应数据取出、重呈完整图像序列数据后发送至终端的显示模块，显示模块根据对应坐标、区域大小进行显示。
17.整个数据处理过程不在终端存储任何有效数据，重要数据全部存储在服务端的虚拟机内，终端数据处理全部采用流水线式处理，处理完成即消失，获得机器人无法获取任何数据，且服务端数据存储于虚拟机内，与物理机隔离，安全性较高，销毁方便，通过本系统可以有效保证系统的安全。且边缘端对数据进行分层处理，不重要数据在边缘端存储，减少上传至云端数据量，节省本地与云端之间网络带宽，保证了系统的稳定可靠性。边缘端对数据进行分层处理，不重要数据在边缘端存储，减少上传至云端数据量，节省本地与云端之间网络带宽，保证了系统的稳定可靠性。终端采用fpga硬件描述语言编写，无cpu，无软件顺序执行造成的延迟，速度较快，实时性强。
18.实施例1：fpga芯片为ep4ce115f29c7型fpga芯片。
19.实施例2：边缘端采用arm架构。
20.实施例3：终端利用verilog硬件描述语言设计，采用硬件逻辑及状态机方式控制，终端无软核及硬核cpu。
21.实施例4：网络模块与边缘端采用mqtt协议通信，边缘端与通信协议服务端采用mqtt协议连接，鼠标键盘控制模块、网络模块和声音模块与主状态机模块通过mqtt协议连接，显示模块与主状态机模块通过http协议连接。
22.实施例5：当终端与云端服务端的网络连接中断时，边缘端代替云端服务端与终端建立主连接。
23.实施例6：声音模块采集的声音通过边缘端内的数据分析、存储与处理模块进行压缩编码、滤波降噪、增强处理，当声音为人声或用户指定重要录音时，边缘端将其实时发送至云端服务端进行存储，当声音不为人声或用户指定重要录音时，边缘端的数据分析、存储与处理模块对其进行存储，并将声音的摘录信息发送给云端服务端，云端服务端根据摘录信息向边缘端发送命令提取声音。
24.实施例7：云端服务端需要播放的声音经过边缘端的数据分析、存储与处理模块进行压缩编码、滤波降噪、增强处理后发送至终端的声音模块进行播放。
25.实施例8：云端服务端对显示数据进行随机像素采样p个点，p为常数，且p>100,计算统计采样点像素帧间差值，当差数和大于一个常数q时，对本帧图像数据进行隔行扫描并将扫描后的数据发送至边缘端，边缘端通过数据分析、存储与处理模块插值处理还原图像数据后发送至终端显示模块渲染更新至当前帧图像对应区域，终端显示完成后向边缘端发送清除存储请求，边缘端清除对应图像存储。
26.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。