使用边缘计算服务来发送图像内容的方法和设备与流程

1.本公开涉及用于通过使用边缘计算服务(例如，多接入边缘计算(mec)服务)来发送图像内容的方法和设备。


背景技术：

2.近来，已讨论了用于通过使用边缘服务器来发送数据的边缘计算技术。边缘计算技术可以包括例如多接入边缘计算(mec)或雾计算(foc)。边缘计算技术可以指用于经由单独的服务器(以下，称为“边缘数据网络”或“mec服务器”)向电子设备提供数据的技术，该单独的服务器设置在地理上接近电子设备的位置处，例如，在基站内部或周围。例如，安装在电子设备中的至少一个应用当中的要求低延迟的应用可以经由设置在地理上接近的位置处的边缘服务器而不是经由位于外部数据网络(dn)(例如，因特网)中的服务器来发送和接收数据。
3.近来，已讨论了使用边缘计算技术的服务(以下，称为“基于mec的服务”或“mec服务”)，并且已进行了支持基于mec的服务的电子设备的研究和开发。例如，电子设备的应用可以在应用层中向边缘服务器(或边缘服务器的应用)发送基于边缘计算的数据并且从边缘服务器(或边缘服务器的应用)接收基于边缘计算的数据。
4.随着支持基于mec的服务的研究和开发的进展，已讨论了用于通过使用mec来向电子设备提供高分辨率图像内容的技术。


技术实现要素：

5.技术问题
6.基于上述讨论，本公开涉及用于通过使用边缘计算服务来发送图像内容的方法和设备。
7.详细地，提供了由边缘数据网络执行的向电子设备发送图像内容的方法以及用于向该电子设备提供该图像内容的该边缘数据网络。
8.另外，提供了由电子设备执行的从边缘数据网络接收图像内容的方法以及用于从该边缘数据网络接收图像内容的该电子设备。
9.技术方案
10.根据实施例，一种由边缘数据网络执行的方法包括：
11.从连接到所述边缘数据网络的电子设备获得方位信息和焦点位置信息；
12.基于所述焦点位置信息在多个滤波器当中确定一个滤波器；
13.通过使用基于所述焦点位置信息确定的所述滤波器对与所述方位信息相对应的第一局部图像执行滤波来生成滤波后的第一局部图像；
14.通过对所述滤波后的第一局部图像进行编码来生成第一帧；以及
15.向所述电子设备发送所生成的第一帧。
16.所述第一局部图像可以是包括多个帧的vr序列的具有预定帧索引的第一vr图像
内的局部图像，并且所述第一局部图像可以包括指示所述局部图像的位置的方位信息。
17.所述方法还可以包括：生成与图像内的多个预定区域中的每一者相对应的区域对应滤波器的信息；
18.存储所生成的所述多个区域对应滤波器的信息；以及
19.向所述电子设备发送所述多个区域对应滤波器的所述信息。
20.基于所述焦点位置信息在所述多个滤波器当中确定所述一个滤波器可以包括：
21.基于所述焦点位置信息确定所述多个区域中的一者，并且确定与所确定的区域相对应的区域对应滤波器。
22.通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成所述滤波后的第一局部图像可以包括：
23.通过基于存储的有关与所确定的区域相对应的所述区域对应滤波器的信息对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
24.向所述电子设备发送所生成的第一帧可以包括：
25.发送所生成的第一帧以及指示所述多个区域对应滤波器中的一者的索引信息。
26.从连接到所述边缘数据网络的所述电子设备获得所述方位信息和所述焦点位置信息可以包括：
27.从所述电子设备获得所述方位信息、所述焦点位置信息和焦点移动矢量信息。
28.基于所述焦点位置信息在所述多个滤波器当中确定所述一个滤波器可以包括：
29.基于所述焦点位置信息和所述焦点移动矢量信息，在所述多个区域对应滤波器当中确定一个区域对应滤波器。
30.通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成所述滤波后的第一局部图像可以包括：
31.通过基于存储的有关所确定的一个区域对应滤波器的信息对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
32.所述焦点位置信息可以包括第一焦点位置信息和第二焦点位置信息。
33.基于所述焦点位置信息在所述多个滤波器当中确定所述一个滤波器可以包括：
34.基于所述第一焦点位置信息和所述第二焦点位置信息，在多个区域对应滤波器当中确定一个区域对应滤波器。
35.通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成所述滤波后的第一局部图像可以包括：
36.通过使用所确定的一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
37.所述方法还可以包括：生成多个区域对应滤波器组的信息；
38.存储所生成的所述多个区域对应滤波器组的信息；以及
39.向所述电子设备发送所述多个区域对应滤波器组的所述信息。
40.多个区域对应滤波器组中的每一者可以包括与图像内的多个预定区域中的每一者相对应的区域对应滤波器。
41.基于所述焦点位置信息在所述多个滤波器当中确定所述一个滤波器可以包括：
42.基于网络信息在所述多个区域对应滤波器当中确定一个区域对应滤波器组，并且
基于所述焦点位置信息在所述一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器。
43.通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成所述滤波后的第一局部图像可以包括：
44.通过基于所确定的一个区域对应滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
45.向所述电子设备发送所生成的第一帧可以包括：
46.向所述电子设备发送所生成的第一帧以及指示所述多个区域对应滤波器当中的一个区域对应滤波器组的第一索引信息。
47.向所述电子设备发送所生成的第一帧和所述第一索引信息可以包括：
48.向所述电子设备发送所生成的第一帧、所述第一索引信息、以及指示所述一个区域对应滤波器组中包括的一个区域对应滤波器的第二索引信息。
49.所述方法还可以包括：生成多个区域对应滤波器组的信息；
50.存储所生成的所述多个区域对应滤波器组的信息；以及
51.向所述电子设备发送所述多个区域对应滤波器组的所述信息。
52.多个区域对应滤波器组中的每一者可以包括与图像内的多个预定区域中的每一者相对应的区域对应滤波器。
53.从连接到所述边缘数据网络的所述电子设备获得所述方位信息和所述焦点位置信息可以包括：
54.从所述电子设备获得所述方位信息、所述焦点位置信息和焦点移动矢量信息。
55.基于所述焦点位置信息在所述多个滤波器当中确定所述一个滤波器可以包括：
56.基于所述焦点位置信息和所述焦点移动矢量信息，在所述多个区域对应滤波器当中确定一个区域对应滤波器组，并且基于所述焦点位置信息，在所述一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器。
57.通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成所述滤波后的第一局部图像可以包括：
58.通过基于所确定的一个区域对应滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
59.应用于与所述区域对应滤波器相对应的预定区域的滤波器中大于或等于第一值的系数的数量可以大于应用于除了所述预定区域之外的区域的滤波器中大于或等于所述第一值的系数的数量。
60.可以在与各个区域对应滤波器相对应的预定区域之间包括交叠区域。
61.根据实施例，一种用于向电子设备发送图像内容的边缘数据网络包括：
62.网络接口；
63.存储器，所述存储器存储一个或更多个指令；以及
64.处理器，所述处理器被配置为执行所述一个或更多个指令，
65.其中，所述处理器被配置为执行所述一个或更多个指令以：
66.从连接到所述边缘数据网络的电子设备获得方位信息和焦点位置信息；
67.基于所述焦点位置信息在多个滤波器当中确定一个滤波器；
68.通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的第一局部图像执行滤波来生成滤波后的第一局部图像；
69.通过对所述滤波后的第一局部图像进行编码来生成第一帧；以及
70.向所述电子设备发送所生成的第一帧。
71.所述处理器可以被进一步配置为执行所述一个或更多个指令以：
72.生成与图像内的多个预定区域中的每一者相对应的区域对应滤波器的信息；
73.存储所生成的多个区域对应滤波器的信息；
74.向所述电子设备发送所述多个区域对应滤波器的所述信息；
75.当基于所述焦点位置信息在多个滤波器当中确定一个滤波器时，
76.基于所述焦点位置信息确定所述多个区域中的一者，并且确定与所确定的区域相对应的区域对应滤波器；
77.当通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成滤波后的第一局部图像时，
78.通过基于存储的有关与所确定的区域相对应的所述区域对应滤波器的信息对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像；并且
79.当向所述电子设备发送所生成的第一帧时，
80.发送所生成的第一帧以及指示所述多个区域对应滤波器中的一者的索引信息。
81.所述处理器可以被进一步配置为执行所述一个或更多个指令以：
82.当从连接到所述边缘数据网络的电子设备获得方位信息和焦点位置信息时，
83.从所述电子设备获得所述方位信息、所述焦点位置信息和焦点移动矢量信息；
84.当基于所述焦点位置信息在多个滤波器当中确定一个滤波器时，
85.基于所述焦点位置信息和所述焦点移动矢量信息，在所述多个区域对应滤波器当中确定一个区域对应滤波器；并且
86.当通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成滤波后的第一局部图像时，
87.通过基于存储的有关所确定的一个区域对应滤波器的信息对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
88.所述处理器可以被进一步配置为执行所述一个或更多个指令以：
89.当所述焦点位置信息包括第一焦点位置信息和第二焦点位置信息并且基于所述焦点位置信息在多个滤波器当中确定一个滤波器时，
90.基于所述第一焦点位置信息和所述第二焦点位置信息，在多个区域对应滤波器当中确定一个区域对应滤波器；并且
91.当通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成滤波后的第一局部图像时，
92.通过使用所确定的一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
93.所述处理器可以被进一步配置为执行所述一个或更多个指令以：
94.生成多个区域对应滤波器组的信息；
95.存储所生成的所述多个区域对应滤波器组的信息；
96.向所述电子设备发送所述多个区域对应滤波器组的所述信息，其中，所述多个区域对应滤波器组中的每一者包括与图像内的多个预定区域中的每一者相对应的区域对应滤波器；
97.当基于所述焦点位置信息在多个滤波器当中确定一个滤波器时，
98.基于网络信息在所述多个区域对应滤波器当中确定一个区域对应滤波器组，并且基于所述焦点位置信息在所述一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器；并且
99.当通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成滤波后的第一局部图像时，
100.通过基于所确定的一个区域对应滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
101.所述处理器可以被进一步配置为执行所述一个或更多个指令以：
102.当向所述电子设备发送所生成的第一帧时，
103.向所述电子设备发送所生成的第一帧以及指示所述多个区域对应滤波器当中的一个区域对应滤波器组的第一索引信息。
104.所述处理器可以被进一步配置为执行所述一个或更多个指令以：
105.当向所述电子设备发送所生成的第一帧和所述第一索引信息时，
106.向所述电子设备发送所生成的第一帧、所述第一索引信息、以及指示所述一个区域对应滤波器组中包括的一个区域对应滤波器的第二索引信息。
107.所述处理器可以被进一步配置为执行所述一个或更多个指令以：
108.生成多个区域对应滤波器组的信息；
109.存储所生成的所述多个区域对应滤波器组的信息并且向所述电子设备发送所述多个区域对应滤波器组的所述信息，其中，所述多个区域对应滤波器组中的每一者包括与图像内的多个预定区域中的每一者相对应的区域对应滤波器；
110.当从连接到所述边缘数据网络的电子设备获得方位信息和焦点位置信息时，
111.从所述电子设备获得所述方位信息、所述焦点位置信息和焦点移动矢量信息；
112.当基于所述焦点位置信息在多个滤波器当中确定一个滤波器时，
113.基于所述焦点位置信息和所述焦点移动矢量信息，在所述多个区域对应滤波器当中确定一个区域对应滤波器组，并且基于所述焦点位置信息，在所述一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器；并且
114.当通过使用基于所述焦点位置信息确定的所述一个滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成滤波后的第一局部图像时，
115.通过基于所确定的一个区域对应滤波器对与所述方位信息相对应的所述第一局部图像执行滤波来生成缩减的第一局部图像。
116.根据实施例，一种计算机可读记录介质在其上记录有程序，所述程序当由计算机运行时，执行一种由边缘数据网络执行的方法，所述方法包括：
117.从连接到所述边缘数据网络的电子设备获得方位信息和焦点位置信息；
118.基于所述焦点位置信息在多个滤波器当中确定一个滤波器；
119.通过使用基于所述焦点位置信息确定的所述滤波器对与所述方位信息相对应的
第一局部图像执行滤波来生成滤波后的第一局部图像；
120.通过对所述滤波后的第一局部图像进行编码来生成第一帧；以及
121.向所述电子设备发送所生成的第一帧。
122.根据实施例，一种由电子设备执行的从连接到所述电子设备的边缘数据网络提供图像内容的方法包括：
123.向所述边缘数据网络发送方位信息和焦点位置信息；
124.通过基于所述焦点位置信息对与所述方位信息相对应的第一局部图像进行滤波和编码来从所述边缘数据网络获得第一帧；
125.通过对所述第一帧进行解码来获得第一局部图像；
126.通过使用多个滤波器当中基于所述焦点位置信息确定的一个滤波器来重构所述第一局部图像；以及
127.再现所重构的第一局部图像。
附图说明
128.图1是根据本公开的实施例的用于说明网络环境中的多接入边缘计算(mec)技术的示意图。
129.图2a是用于说明根据本公开的实施例的在边缘数据网络正在根据视场(fov)传输技术向电子设备提供内容的同时发生的运动到光子(mtp)延迟的视图。
130.图2b是用于说明根据本公开的实施例的在边缘数据网络正在根据分隔渲染技术向电子设备提供内容的同时发生的mtp延迟的视图。
131.图2c是用于说明根据本公开的实施例的在根据fov传输技术和分隔渲染技术提供内容的过程中当由用户在电子设备中发生移动时可变地发生的mtp延迟的视图。
132.图3是用于说明凹形渲染的视图。
133.图4是用于示意性地说明电子设备与边缘数据网络之间的操作过程的视图。
134.图5是用于示意性地说明电子设备与边缘数据网络之间的操作过程的视图。
135.图6是用于说明根据实施例的边缘数据网络用来通过使用滤波器对缩减图像进行编码和发送的过程的视图。
136.图7是用于说明根据实施例的电子设备用来通过使用滤波器对解码后的图像进行扩展和插值并且渲染插值图像的过程的视图。
137.图8a是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
138.图8b是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
139.图9a是用于说明根据本公开的实施例的多个区域对应滤波器的视图。
140.图9b是用于说明根据本公开的实施例的通过使用多个区域对应滤波器当中与焦点区域相对应的区域对应滤波器来执行滤波的方法的视图。
141.图9c是用于说明根据本公开的实施例的通过使用多个区域对应滤波器当中与焦点区域相对应的区域对应滤波器来执行滤波的方法的视图。
142.图10a是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程
图。
143.图10b是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
144.图11a是用于说明根据本公开的实施例的多个滤波区域之间的交叠区域的视图。
145.图11b是用于说明根据本公开的实施例的由边缘数据网络2000执行的通过使用在相邻区域之间具有交叠区域的多个区域对应滤波器来执行滤波的方法的视图。
146.图11c是用于说明根据本公开的实施例的由边缘数据网络2000执行的通过使用在相邻区域之间具有交叠区域的多个区域对应滤波器来执行滤波的方法的视图。
147.图12a是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
148.图12b是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
149.图12c是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
150.图13a是用于说明根据本公开的实施例的当网络情形好或者用户的焦点区域清楚时使用的滤波器的视图。
151.图13b是用于说明根据本公开的实施例的当网络情形不好或者用户的焦点区域不清楚时使用的滤波器的视图。
152.图14a是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
153.图14b是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
154.图14c是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
155.图14d是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
156.图15是用于示意性地说明电子设备、边缘数据网络和vr游戏接口设备之间的操作过程的视图。
157.图16是用于说明根据本公开的实施例的在vr游戏领域中另外地对焦点移动预测区域和界面区域进行滤波的操作的视图。
158.图17a是根据本公开的实施例的由边缘数据网络执行的流传输图像内容的方法的流程图。
159.图17b是用于详细地说明根据本公开的实施例的由边缘数据网络执行的以下操作的方法的流程图：基于焦点位置信息确定区域对应滤波器，并且基于提前存储的关于所确定的区域对应滤波器的信息对第一局部图像进行滤波。
160.图17c是用于详细地说明根据本公开的另一实施例的由边缘数据网络执行的以下操作的方法的流程图：基于焦点位置信息确定区域对应滤波器，并且基于提前存储的关于所确定的区域对应滤波器的信息对第一局部图像进行滤波。
161.图17d是用于详细地说明根据本公开的另一实施例的由边缘数据网络执行的以下
操作的方法的流程图：基于焦点位置信息确定区域对应滤波器，并且基于提前存储的关于所确定的区域对应滤波器的信息对第一局部图像进行滤波。
162.图18a是根据本公开的实施例的由电子设备执行的流传输从边缘数据网络获得的图像内容的方法的流程图。
163.图18b是根据本公开的另一实施例的由电子设备执行的流传输从边缘数据网络获得的图像内容的方法的流程图。
164.图18c是根据本公开的另一实施例的由电子设备执行的流传输从边缘数据网络获得的图像内容的方法的流程图。
165.图18d是根据本公开的另一实施例的由电子设备执行的流传输从边缘数据网络获得的图像内容的方法的流程图。
166.图19是根据本公开的实施例的电子设备的框图。
具体实施方式
167.现在将参照附图更充分地描述本公开的实施例。
168.在本公开的实施例的以下描述中，在本领域中公知的并且与本公开不直接相关的技术的描述被省略。这是为了通过省略任何不必要的说明来清楚地传达本公开的要旨。
169.出于相同原因，附图中的一些元素被夸大、省略或示意性地图示。另外，不一定在附图中表示相应元素的实际大小。在附图中，相同或对应的元素由相同的附图标记表示。
170.参照在下面参照附图详细地描述的本公开的实施例，本公开的优点和特征以及实现这些优点和特征的方法将变得显而易见。然而，本公开可以被以许多不同形式体现，而不应当被解释为限于本文阐述的实施例；相反，这些实施例被提供为使得本公开将是彻底且完整的，并且将向本领域普通技术人员充分地传达本公开的构思。本公开的范围仅在权利要求书中被限定。在整个说明书中，相同的附图标记或字符指相同的元素。
171.应理解的是，可以通过计算机程序指令来实现流程图图示的每个块以及流程图图示的各块的组合。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器，使得经由该计算机或其他可编程数据处理设备的处理器执行的指令生成用于执行流程图块中指定的功能的装置。这些计算机程序指令还可以被存储在计算机可用或计算机可读存储器中，该计算机可用或计算机可读存储器可以引导计算机或其他可编程数据处理设备以特定方式起作用，使得存储在该计算机可用或计算机可读存储器中的指令产生包括执行流程图块中指定功能的指令手段的制品。计算机程序指令还可以被加载到计算机或其他可编程数据处理设备上，以使得在该计算机或其他可编程数据处理设备上执行一系列操作步骤以产生计算机可执行过程，使得在该计算机或其他可编程数据处理设备上执行的指令提供用于实现一个或更多个流程图块中指定的功能的步骤。
172.另外，每个块可以表示代码的模块、段或部分，该代码包括用于实现指定的逻辑功能的一个或更多个可执行指令。还应当注意的是，在一些替代实现方式中，各块中指出的功能可以不按所呈现的顺序发生。例如，根据所涉及的功能性，实际上可以基本上并发地执行相继示出的两个块，或者有时可以按相反顺序执行块。
173.实施例中使用的术语“单元”或“～者(器)”指示软件部件或硬件部件，诸如现场可编程门阵列(fpga)或专用集成电路(asic)，并且术语“单元”或“～者(器)”执行某些作用。
然而，术语“单元”或“～者(器)”不限于软件或硬件。术语“单元”或“～者(器)”可以被配置为被包括在可寻址存储介质中或者再现一个或更多个处理器。因此，作为示例，术语“单元”或“～者(器)”可以包括面向对象的软件部件、类部件和任务部件，以及进程、功能、属性、过程、子例程、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。由部件和“单元”或“～者(器)”提供的功能可以被组合成较小数量的部件并且“单元”或“～者(器)”可以被进一步分成附加部件和“单元”或“～者(器)”。另外，部件和“单元”或“～者(器)”可以被实现为在设备或安全多媒体卡中操作一个或更多个中央处理单元(cpu)。根据本公开的实施例，“单元”或“～者(器)”可以包括一个或更多个处理器。
174.图1是根据本公开的实施例的用于说明网络环境中的多接入边缘计算(mec)技术的示意图。
175.参照图1，本公开的网络环境100可以包括电子设备1000、边缘数据网络2000、云服务器3000和接入网络(an)1100。然而，网络环境100中包括的部件不限于此。
176.根据实施例，网络环境100中包括的每一个部件可以指物理实体单元，或者可以指能够执行单独功能的软件或模块单元。
177.根据实施例，电子设备1000可以指由用户使用的设备。例如，电子设备1000可以指终端、用户设备(ue)、移动站、订户站、远程终端、无线终端或用户设备。
178.电子设备1000可以是用于提供内容以便用户沉浸在包括以下至少一者的虚拟环境中的终端：虚拟现实(vr)、增强现实(ar)或混合现实(mr)。即，根据实施例，电子设备1000可以是用于为vr、ar或mr提供内容的头戴式显示器(hmd)或虚拟现实耳机(vrh)。
179.参照图1，电子设备1000可以包括第一应用客户端(或应用客户端)122、第二应用客户端124和边缘使能器客户端(或mec使能层(mel))130。为了使用mec服务，电子设备1000可以通过使用边缘使能器客户端130来执行必要的操作。下面将对边缘使能器客户端130进行详细描述。
180.根据实施例，电子设备1000可以执行多个应用。例如，电子设备1000可以执行第一应用客户端122和第二应用客户端124。多个应用可以基于以下至少一者要求不同的网络服务：要求的数据传输速率、延迟时间(或速度)、可靠性、已接入网络的电子设备的数量、电子设备1000的网络接入周期、或平均数据使用量。不同的网络服务可以包括例如增强移动宽带(embb)服务、超可靠和低延迟通信(urllc)服务、或大规模机器类型通信(mmtc)服务。
181.电子设备1000的应用客户端可以指先前安装在电子设备1000中的默认应用或由第三方提供的应用。即，电子设备1000的应用客户端可以指在电子设备1000中运行的用于特定应用服务的客户端应用程序。若干应用客户端可以在电子设备1000中运行。应用客户端中的至少一者可以使用由边缘数据网络2000提供的服务。例如，应用客户端是在电子设备1000中安装并执行的应用，并且可以提供经由边缘数据网络2000发送和接收数据的功能。电子设备1000的应用客户端可以指在电子设备1000中执行以使用由一个或更多个特定边缘应用提供的功能的应用软件。
182.根据实施例，电子设备1000中的多个应用(即，第一应用客户端122和第二应用客户端124)可以基于要求的网络服务类型与云服务器3000执行数据传输，或者基于边缘计算与边缘数据网络2000执行数据传输。例如，当第一应用客户端122不要求低延迟时间时，第一应用客户端122可以与云服务器3000执行数据传输。作为另一示例，当第二应用客户端
124要求低延迟时间时，第二应用客户端124可以与边缘数据网络2000执行基于mec的数据传输。
183.根据实施例，电子设备1000中的应用可以被称为应用客户端、客户端应用(客户端app)或ue应用(ue app)。为了方便，以下，在本公开中，电子设备1000中的应用被称为应用客户端。
184.根据实施例，an 1100可以提供用于与电子设备1000进行无线通信的信道。例如，an 1100可以指无线电接入网络(ran)、基站、演进型节点b(enodeb或enb)、第五代(5g)节点、传输/接收点(trp)或5g nodeb(5gnb)。
185.根据实施例，边缘数据网络2000可以指电子设备1000接入以使用mec服务的服务器。边缘数据网络2000可以被设置在地理上靠近电子设备1000的位置处，例如，在基站内部或周围。根据实施例，边缘数据网络2000可以在不用经过外部数据网络(dn)(例如，因特网)的情况下向电子设备1000发送数据并且从电子设备1000接收数据。根据实施例，mec可以代表多接入边缘计算或移动边缘计算。
186.根据实施例，边缘数据网络2000可以被称为mec主机、边缘计算服务器、移动边缘主机、边缘计算平台、mec服务器或类似物。为了方便，以下，在本公开中，边缘数据网络2000可以被称为mec服务器。参照图1，边缘数据网络2000可以包括第一边缘应用142、第二边缘应用144和边缘使能器服务器(或mec平台(mep))146。边缘使能器服务器146在边缘数据网络2000中提供mec服务或者执行业务控制等，下面将做出边缘使能器服务器146的详细描述。
187.根据实施例，边缘数据网络2000可以执行多个应用。例如，边缘数据网络2000可以执行第一边缘应用142和第二边缘应用144。根据实施例，边缘应用可以指由提供mec服务的边缘数据网络中的第三方提供的应用，并且还可以被称为边缘应用。边缘应用可以用于与应用客户端建立数据会话，以便发送和接收与应用客户端相关联的数据。即，边缘应用可以与应用客户端建立数据会话。根据实施例，数据会话可以指为电子设备1000中的应用客户端和边缘数据网络2000中的边缘应用建立的通信路径，以向彼此发送数据并且从彼此接收数据。
188.根据实施例，边缘数据网络2000中的应用可以被称为mec应用(mec app)、me(mec)应用、边缘应用服务器或边缘应用。为了方便，以下，在本公开中，边缘数据网络2000中的应用被称为边缘应用。尽管在本公开中使用术语“应用”，但是边缘应用可以指存在于边缘数据网络中的应用服务器。
189.根据实施例，云服务器3000可以提供与应用相关联的内容。例如，云服务器3000可以由内容提供商管理。根据实施例，云服务器3000可以经由外部dn(例如，因特网)向电子设备1000发送数据并且从电子设备1000接收数据。
190.尽管在图1中未示出，但是核心网络(cn)和dn可以位于an 1100与边缘数据网络2000之间。根据实施例，dn可以通过经由cn和an 1100向电子设备1000发送数据(或数据分组)并且从电子设备1000接收数据来提供服务(例如，因特网服务或网际协议(ip)多媒体子系统(ims)服务)。例如，dn可以由通信提供商管理。根据实施例，边缘数据网络2000可以经由dn(例如，本地dn)与an 1100或cn连接。
191.根据实施例，当在电子设备1000中执行第一应用客户端122或第二应用客户端124
时，电子设备1000可以经由an 1100接入边缘数据网络2000以发送和接收用于执行应用客户端的数据。
192.在本公开中，可以提供一种在上述电子设备1000、边缘数据网络2000和云服务器3000之间流传输图像内容的方法。更详细地，描述了基于用户的关于由电子设备1000再现的图像的交互信息有效地向用户提供用于vr、ar或mr的内容的方法。现在将描述由边缘数据网络2000执行的基于关于由电子设备1000再现的图像内容的方位信息和焦点位置信息流传输图像内容的方法的实施例。
193.图2a是用于说明根据本公开的实施例的在边缘数据网络正在根据视场(fov)传输技术向电子设备提供内容的同时发生的运动到光子(mtp)延迟的视图。
194.参照图2a，电子设备1000可以通过感测模块获得包括方位信息等的传感器信息，并且可以在传感器信息的值发生改变时周期性地或非周期性地向边缘数据网络2000发送传感器信息。边缘数据网络2000可以基于方位信息从vr序列内的第一帧210获得fov帧220。边缘数据网络2000可以对fov帧220进行编码以生成编码fov帧信息，并且可以向电子设备1000发送编码fov帧信息。
195.电子设备1000可以通过对编码fov帧信息进行解码来获得fov重构帧230，并且对该fov重构帧执行渲染，然后电子设备1000可以在电子设备1000的显示器上显示渲染fov帧240。
196.在此情况下，从通过使用通过电子设备1000获得的传感器信息来检测用户的运动、基于传感器信息通过边缘数据网络2000接收编码fov帧信息、并且执行解码和渲染的时间到在显示器上显示渲染fov帧的时间段可以被定义为运动到光子(mtp)延迟。当mtp延迟大时，用户可能感觉到在通过电子设备1000再现的帧中发生延迟，因此，用户可能感觉到帧再现是不平滑的。当mtp延迟足够小时，用户可能不感觉到在通过电子设备1000再现的帧中发生延迟，因此，用户可以感觉到帧再现是平滑的。
197.因此，当能够足够地减小mtp延迟时，用户可以感觉到在边缘数据网络正在根据fov传输技术向电子设备提供内容的同时，帧再现是平滑的。
198.图2b是用于说明根据本公开的实施例的在边缘数据网络正在根据分隔渲染技术向电子设备提供内容的同时发生的mtp延迟的视图。
199.参照图2b，与图2a不同，边缘数据网络2000可以获得具有从fov帧260的大小扩大了预定范围的大小的扩大fov帧265，而不是基于方位信息获得fov帧。电子设备1000可以接收编码扩大fov帧信息，通过对扩大fov帧信息进行解码来获得扩大重构fov帧270，基于扩大重构fov帧270确定扩大重构fov帧内的fov部分275，并且对所确定的fov部分(fov帧)275执行渲染，然后电子设备1000可以在电子设备1000的显示器上显示渲染fov帧280。即，可以通过基于在恢复后渲染时感测的方位信息渲染并显示fov帧来减小延迟，该方位信息是比在获得扩大fov帧265时使用的传感器信息更近的传感器信息。
200.如在图2a中一样，在边缘数据网络根据分隔渲染技术向电子设备提供内容的过程中，可能发生mtp延迟，并且，当mtp延迟足够小(例如，小于20ms)时，用户可以感觉到帧再现是平滑的。
201.图2c是用于说明根据本公开的实施例的在根据fov传输技术和分隔渲染技术提供内容的过程中当由用户在电子设备中发生移动时可变地发生的mtp延迟的视图。
202.当用户在穿戴电子设备1000的同时移动时，在电子设备1000中可能发生移动285。
203.电子设备1000可以发送有关移动的传感器信息并且基于该传感器信息接收编码fov帧信息或扩大fov帧信息，以再现fov帧。在此情况下，生成的mtp延迟可以是可变的。即，根据当边缘数据网络2000基于传感器信息对fov帧或扩大fov帧290进行编码和发送时的时间点，总延迟可以是可变的。
204.因此，需要减小当边缘数据网络2000基于传感器信息对fov帧或扩大fov帧进行编码和发送时的处理延迟。例如，当边缘数据网络2000能够基于传感器信息对fov帧或扩大fov帧进行编码和发送，使得处理延迟被保证在14ms内时，用户可以感觉到通过电子设备1000的显示器的帧再现是平滑的。
205.现在将描述根据本公开的各种实施例的用于减小mtp延迟当中的处理延迟的技术。
206.图3是用于说明凹形渲染的视图。
207.参照图3，当用户通过电子设备1000观看vr图像300时，用户实际上看到的vr图像可能根据用户的眼睛的焦点变化。例如，当用户凝视vr图像300的中心部分时，焦点位于中心部分处，仅位于vr图像310中心的焦点区域315是清楚可见的，而在焦点区域315外部的区域是模糊的。当用户凝视vr图像300的下部部分时，焦点位于下部部分处，仅位于vr图像320的下部部分中的焦点区域325是清楚可见的，而在焦点区域325外部的区域是模糊的。当用户凝视vr图像300的左侧部分时，焦点位于左侧部分处，仅位于vr图像330的左侧部分中的焦点区域335是清楚可见的，而在焦点区域335外部的区域是模糊的。
208.即使当vr图像的焦点区域的周围环境是模糊的时，用户的眼睛也可能无法辨别出周围环境是模糊的。即，锥体的作用对人类眼睛辨别对象而言是重要的，并且锥体以大约
±
10
°
集中于形成在视网膜上的图像上，并且，在
±
10
°
外部的区域中，形成在视网膜上的图像难以清楚地辨别，因为其是模糊的。因此，即使当vr图像的焦点区域的周围环境是模糊的时，用户的眼睛也可能无法辨别出周围环境是模糊的。
209.结果，当根据凹形渲染技术处理vr图像时，可以减少处理后的图像数据。
210.现在将描述根据本公开的各种实施例的用于考虑凹形渲染减小mtp延迟当中的处理延迟的技术。
211.图4是用于示意性地说明电子设备与边缘数据网络之间的操作过程的视图。
212.参照图4，边缘数据网络2000可以通过使用vr图像序列的一个vr图像(例如，第一图像)作为输入图像来执行操作。在此情况下，包括在边缘数据网络2000中的图像裁切器2010可以基于从电子设备1000接收到的传感器信息中包括的方位信息通过裁切第一图像从第一图像获得第一局部图像。根据实施例，图像裁切器2010从第一图像获得第一局部图像可能要花费约4至5ms。
213.包括在边缘数据网络2000中的vr视图着色器2020可以执行将3d第一局部图像变换成平面第一局部图像的过程。根据实施例，vr视图着色器2020执行将3d第一局部图像变换成平面第一局部图像的过程可能要花费大约1ms。
214.包括在边缘数据网络2000中的编码器2040可以通过使用各种常规编解码器(例如，h.264、hevc、vp9和av1)对第一局部图像进行编码。包括在边缘数据网络2000中的发送器2050可以向电子设备1000发送编码的第一局部图像信息。在此情况下，可以以比特流形
式并且特别地以分组形式发送编码的第一局部图像信息。根据实施例，对第一局部图像进行编码和发送可能要花费约5至6ms。
215.包括在电子设备1000中的接收器1010可以从边缘数据网络2000接收编码的第一局部图像信息。包括在电子设备1000中的接收器1010可以以分组形式从编码的第一局部图像信息获得第一局部图像信息并且向解码器1020输出第一局部图像信息。根据实施例，接收器1010从边缘数据网络2000接收第一局部图像信息并且向解码器1020输出第一局部图像信息可能要花费约1至2ms。
216.包括在电子设备1000中的解码器1020可以对编码的第一局部图像信息进行解码以获得重构的第一局部图像。根据实施例，解码器1020对第一局部图像信息进行解码可能要花费约1ms。
217.包括在电子设备1000中的渲染器1040可以以平面形式接收重构的第一局部图像并且将该重构的第一局部图像投影到虚拟球体以以3d形式输出该重构的第一局部图像。
218.电子设备1000的传感器单元1050可以在传感器信息的值改变时周期性地或非周期性地获得诸如电子设备1000的方位信息或焦点位置信息的传感器信息，并且可以向边缘数据网络2000发送该传感器信息。包括在边缘数据网络2000中的传感器信息接收器2060可以从电子设备1000接收传感器信息。
219.在用于减小mtp延迟当中的处理延迟的技术中，根据本公开的各种实施例，边缘数据网络2000可以包括位于vr视图着色器2020与编码器2040之间的滤波单元2030。电子设备1000可以包括位于解码器1020与渲染器1040之间的滤波单元1030。
220.滤波单元2030可以对由vr视图着色器2020输出的平面第一局部图像执行滤波以获得滤波后的第一局部图像，并且可以向编码器2040输出该滤波后的第一局部图像。通过经滤波压缩第一局部图像，滤波单元2030可以减小编码的第一局部图像的大小，从而减少编码所要求的时间，并且还减小网络带宽。因此，边缘数据网络2000可以减少编码器2040和发送器2050的操作时间。根据实施例，处理延迟在边缘数据网络2000中可以是约10至12ms，在电子设备1000中可以是约2至3ms，因此，总处理延迟可以是电子设备1000和边缘数据网络2000的网络延迟和处理延迟之和(约12至15ms)，但是可以通过滤波单元2030和滤波单元1030的操作来减小处理延迟。
221.电子设备1000可以通过接收大小通过滤波减小了的压缩编码的第一局部图像并且对其进行解码来减少接收器1010和解码器1020的操作时间。滤波单元1030可以通过经由插值技术对重构的第一局部图像进行插值来以凹形形式重构第一局部图像。
222.结果，滤波单元2030可以获得焦点区域，使得可以无变化地对焦点区域进行编码，并且可以获得仅除了焦点区域之外的区域的一部分，使得仅该部分可以通过滤波被编码，或者可以通过滤波(例如，低通滤波器，诸如高斯模糊滤波器)压缩除了焦点区域之外的区域的信息。
223.在电子设备1000从边缘数据网络2000接收由滤波单元2030通过滤波获得的图像并且对其进行解码之后，滤波单元1030可以通过插值技术来对由滤波单元2030获得的第一局部图像的除了焦点区域之外的区域的一部分以外的剩余部分的未获得部分进行插值，或者通过滤波来处理由解码器1020获得的重构图像，从而重构第一局部图像，使得用户可以感觉到除焦点区域以外的区域不粗劣。
224.图5是用于示意性地说明电子设备与边缘数据网络之间的操作过程的视图。
225.根据实施例，电子设备1000可以包括感测模块510、网络接口520、处理器530和存储器540。然而，电子设备的结构不限于此，并且电子设备可以包括比图5所图示的部件更多或更少的部件。
226.电子设备1000可以对从边缘数据网络2000或云服务器3000接收到的图像进行解码，并且可以在电子设备的显示器上显示解码后的图像。电子设备1000可以通过使用感测模块510来获得传感器信息，该传感器信息包括有关再现图像的方位信息和焦点位置信息。方位信息可以包括使用感测模块测量的电子设备的用户所期望的凝视角度值。焦点位置信息可以是指示用户的瞳孔的焦点的位置的信息。
227.例如，传感器信息可以包括与第一局部图像相对应的第一方位信息，并且可以基于第一方位信息在第一vr图像内确定第一局部图像的位置。即，方位信息可以指示局部图像相对于vr图像的相应位置，并且可以基于方位信息在vr图像内确定每一个局部图像的位置。根据实施例，可以基于方位信息辨别的vr图像内的局部图像的范围可以根据显示设备中电子设备1000的用户能够查看的显示区域(例如，视口区域的大小)而变化。
228.根据实施例，电子设备1000可以通过使用感测模块(例如，3轴倾斜传感器)来感测用户的盯着vr图像内的特定局部图像的凝视的方位信息(例如，横摇值、俯仰值和偏航值)，并且可以将所感测到的方位信息与对应于该方位信息的局部图像相匹配。电子设备1000可以通过向边缘数据网络2000发送所感测到的方位信息来与边缘数据网络2000共享关于当前电子设备的用户查看vr图像的哪个部分的信息。
229.电子设备1000通过使用网络接口520来向边缘数据网络2000发送方位信息和焦点位置信息552。此时，电子设备1000可以在方位信息和焦点位置信息被感测到时向边缘数据网络2000发送帧索引信息。然而，本公开不限于此，并且电子设备1000可以向边缘数据网络2000发送在方位信息和焦点位置信息被感测到之前重构的帧中包括的参考帧信息。帧索引可以是指示帧的编码/解码顺序的信息，但是不限于此并且可以是指示帧的渲染顺序的信息。
230.处理器530可以通过执行存储器540中存储的一个或更多个指令来控制电子设备1000的整体操作。例如，处理器530可以通过执行存储器540中存储的一个或更多个指令来控制感测模块510和网络接口520。根据实施例，处理器530可以基于有关由电子设备1000再现的第一局部图像的第一方位信息从边缘数据网络2000获得第一局部图像。在此情况下，第一局部图像可以是帧内编码(i)帧或预测编码(p)帧(或双向编码(b)帧)。
231.例如，边缘数据网络2000可以在数据库(db)中存储包括所有帧的vr序列。边缘数据网络2000可以通过使用由电子设备1000获得的第一方位信息来从存储在db中的vr序列识别第一局部图像。
232.根据实施例，处理器530可以从边缘数据网络2000接收编码帧信息554，并且可以基于编码帧信息554对第一局部图像进行解码以获得第一局部图像。处理器530可以通过使用多个滤波器当中基于焦点位置信息确定的一个滤波器来重构第一局部图像。处理器530可以根据焦点位置信息在多个滤波器当中确定一个滤波器，并且可以通过使用所确定的一个滤波器对第一局部图像执行滤波以重构第一局部图像。例如，处理器530可以通过使用滤波器信息来扩大第一局部图像，并且可以通过使用插值技术(例如，使用插值滤波器)对经
扩大的第一局部图像进行插值来获得第一局部图像。将稍后参照图7详细地描述基于滤波器信息546处理从边缘数据网络2000接收到的帧554的操作。
233.处理器530可以再现重构的第一局部图像。
234.处理器530可以从边缘数据网络2000接收与多个区域中的每一者相对应的区域对应滤波器的信息，并且可以将多个区域对应滤波器的信息存储在存储器540中。
235.处理器530可以接收多个区域对应滤波器组的信息，并且可以将多个区域对应滤波器组的信息存储在存储器540中。多个区域对应滤波器组中的每一者可以包括与图像内的多个预定区域中的每一者相对应的区域对应滤波器。
236.根据实施例，存储器540可以包括：解码器模块542，用于存储用于对从边缘数据网络2000接收到的编码帧进行解码的指令；以及滤波器模块544，用于对解码后的图像执行滤波，并且存储器540可以存储在滤波器模块544中使用的滤波器信息546，但是本公开不限于此。例如，滤波器模块544可以包括但限于用于存储用于以下操作的指令的模块：在计算机中通过使用多个滤波器当中使用焦点位置信息确定的一个滤波器来执行重构第一局部图像的方法。
237.根据实施例，边缘数据网络2000可以包括网络接口560、处理器570和存储器580。然而，边缘数据网络2000的结构不限于上述结构，并且边缘数据网络2000可以包括比图5所图示的部件更多的部件，或者可以省略图5所图示的一些部件。
238.边缘数据网络2000可以通过使用网络接口560来从电子设备1000获得方位信息和焦点位置信息，并且可以从边缘数据网络2000向电子设备发送编码帧信息。
239.处理器570通过执行存储器580中存储的一个或更多个指令来控制边缘数据网络2000的整体操作。例如，处理器570可以基于焦点位置信息在多个滤波器当中确定一个滤波器，并且可以通过使用该一个滤波器对与方位信息相对应的第一局部图像执行滤波以生成滤波后的第一局部图像。
240.处理器570可以基于焦点位置信息生成与图像内的多个预定区域中的每一者相对应的区域对应滤波器的信息，并且可以将所生成的信息存储在存储器580中。服务器570可以向电子设备1000发送多个区域对应滤波器的信息。
241.处理器570可以生成多个区域对应滤波器组的信息(例如，滤波器信息588)并且可以将该信息存储在存储器580中。一个区域对应滤波器组可以包括多个区域对应滤波器。
242.处理器570可以基于焦点位置信息在多个区域当中确定一个区域，并且可以确定与所确定的区域相对应的区域对应滤波器。
243.处理器570可以通过基于存储的有关与所确定的区域相对应的区域对应滤波器的信息对与方位信息相对应的第一局部图像执行滤波来生成缩减的第一局部图像。下面将参照图6详细地描述通过使用从电子设备1000接收到的方位信息和焦点位置信息552以及存储器580中存储的滤波器信息588来处理第一局部图像的操作。
244.根据实施例，存储器580可以包括：编码器模块582，用于存储用于对要由边缘数据网络2000向电子设备1000发送的图像进行编码的指令；以及滤波器模块584，用于在编码之前执行滤波。并且存储器580可以存储滤波器信息588以及包括关于vr序列的整体图像数据的vr序列586，但是本公开不限于此。
245.图6是用于说明根据实施例的边缘数据网络用来通过使用滤波器对缩减图像进行
编码和发送的过程的视图。
246.参照图6，边缘数据网络2000可以获得与vr图像中包括的方位信息相对应的原始图像610。边缘数据网络2000可以通过使用滤波器620来获得滤波后的图像630。例如，滤波器可以是其中系数被表达为0或1的数字滤波器。优选地，考虑到焦点位置，与焦点区域相对应的滤波器的系数可以为1，并且仅与除焦点区域以外的区域相对应的滤波器的系数的一部分可以为1而且可以在远离焦点区域的方向上减小。
247.边缘数据网络2000可以通过将原始图像610的矩阵的元素乘以包括滤波器620的系数的滤波器矩阵的元素来获得滤波后的图像630。当滤波器系数为1时，边缘数据网络2000可以获得仅与滤波器系数相对应的图像中的像素的数据，而当滤波器系数为0时，边缘数据网络2000可以不获得与滤波器系数相对应的图像中的像素的数据。结果，滤波后的图像可以是其中一部分没有数据的图像。
248.边缘数据网络2000可以通过重排滤波后的图像630中具有数据的像素(数据像素)来缩减没有数据的一部分，并且因此可以获得缩减图像640。具有数据的像素可以根据预定方法被重排。例如，预定方法指根据预定扫描顺序按照在滤波后的图像630中扫描的数据像素的顺序重排具有数据的像素的方法。预定扫描顺序可以是但不限于以下之一：光栅扫描顺序、垂直扫描顺序、水平扫描顺序或之字形扫描顺序。预定方法不限于基于预定扫描顺序的方法，并且可以是各种方法中的任一种。
249.边缘数据网络2000可以通过对缩减图像640进行编码来生成编码缩减图像650，并且可以发送编码缩减图像650。
250.边缘数据网络2000可以使用滤波器620来执行滤波以获得缩减图像640，并且对缩减图像640进行编码，从而减少编码图像数据量并且因此减小处理延迟。
251.图7是用于说明根据实施例的电子设备用来通过使用滤波器对解码后的图像进行扩展和插值并且渲染插值图像的过程的视图。
252.参照图7，电子设备1000可以通过从边缘数据网络2000接收编码缩减图像650并且对其进行解码来获得解码后的图像710。
253.电子设备1000可以扩展经解码后的图像710。此时，基于从边缘数据网络2000接收到的滤波器信息，电子设备1000可以通过由边缘数据网络2000根据预定方法使具有数据的像素的重排颠倒来将具有数据的像素移动到原先定位有数据的像素的位置，并且可以获得扩展图像720，而没有数据的像素可以存在于扩展图像720中。
254.电子设备1000可以通过对扩展图像720执行插值法来获得插值图像730。电子设备1000可以渲染插值图像730。
255.电子设备1000可以扩展由边缘数据网络2000获得的缩减图像以获得与原始图像610相同的大小的图像，并且对在边缘数据网络2000中通过滤波生成的没有数据的区域进行插值，从而从缩减图像的数据重构在被用户观看时不使用户感觉到粗劣的图像。
256.图8a是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
257.参照图8a，在操作s802中，电子设备1000可以获得方位信息和焦点位置信息。根据实施例，方位信息可以包括指示由电子设备1000再现的第一局部图像在第一vr图像内的位置的信息。根据实施例，焦点位置信息是指指示用户的瞳孔的焦点在由电子设备1000再现
的第一局部图像内的位置的信息，并且可以是通过眼睛追踪器获得的用户的瞳孔的凝视信息。
258.在操作s804中，电子设备1000可以向边缘数据网络2000发送方位信息和焦点位置信息。
259.在操作s806中，边缘数据网络2000可以基于焦点位置信息在多个滤波器当中确定一个滤波器。在此情况下，当应用了滤波器的区域(例如，排除焦点区域的区域)、蒙版(mask)的大小和蒙版内的系数的值中的至少一者在滤波器之间不同时，可以将多个滤波器认为是不同的滤波器。例如，即使当使用高斯滤波器时，当高斯滤波器的蒙版的大小、应用了高斯滤波器的区域、以及蒙版内的系数的值中的至少一者在高斯滤波器之间不同时，也可以将多个高斯滤波器认为是不同的滤波器。
260.在操作s808中，边缘数据网络2000可以通过使用基于焦点位置信息确定的滤波器对与方位信息相对应的第一局部图像执行滤波来生成滤波后的第一局部图像。
261.在操作s810中，边缘数据网络2000可以通过对滤波后的第一局部图像进行编码来生成第一帧。例如，边缘数据网络2000可以通过对第一局部图像进行编码来生成第一帧，诸如i帧或p帧(或b帧)。前述i帧、p帧和b帧可以是用于根据由国际标准化组织移动图像专家组(mpeg)开发的有损压缩算法来压缩图像的数据帧。另外，b帧可以表示用于通过参考p帧或i帧中的至少一者以高压缩率压缩图像的数据帧。
262.在操作s812中，边缘数据网络2000可以向电子设备1000发送第一帧。
263.在操作s814中，电子设备1000可以通过对第一帧进行解码来获得第一局部图像。
264.在操作s816中，电子设备1000可以基于焦点位置信息在多个滤波器当中确定一个滤波器，并且可以通过使用该一个滤波器对第一局部图像执行滤波来重构第一局部图像。在此情况下，焦点位置信息可以是在操作s802中获得的信息，但是不限于此，并且可以是在用于确定当前滤波器的时间重新获得的信息。
265.在操作s818中，电子设备1000可以再现重构的第一局部图像。
266.图8b是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
267.排除图8b的操作s828、s830、s836和s838的操作可以对应于图8a的操作，因此，将省略其详细描述。
268.在操作s828中，边缘数据网络2000可以通过使用基于焦点位置信息确定的滤波器对与方位信息相对应的第一局部图像执行滤波来生成缩减的第一局部图像。已经在上面参照图6描述了通过执行滤波来生成缩减的第一局部图像的示例。
269.在操作s830中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来生成第一帧。
270.在操作s836中，电子设备1000可以基于焦点位置信息在多个滤波器当中确定一个滤波器，并且可以通过使用所确定的一个滤波器来扩展第一局部图像。已经在上面参照图7描述了通过使用滤波器来扩展第一局部图像的示例。
271.在操作s838中，电子设备1000可以通过对扩展的第一局部图像进行插值来重构第一局部图像。
272.图9a是用于说明根据本公开的实施例的多个区域对应滤波器的视图。
273.参照图9a，边缘数据网络2000可以在图像900内生成多个分隔区域(例如，区域a、b、c、d、e、f、g、h和i)，并且可以存储分别对应于多个分隔区域的区域对应滤波器(例如，对应于区域a的滤波器a、对应于区域b的滤波器b、...、以及对应于区域i的滤波器i)。在此情况下，每个分隔区域附近的区域是高清晰度区域，区域在远离每个分隔区域的方向上被分类成中清晰度区域和低清晰度区域，使得可以确定区域对应滤波器的系数。在此情况下，高清晰度区域的大多数系数可以是大于或等于第一值的系数，中清晰度区域的系数与高清晰度区域的系数比可以具有较小数量的大于或等于第一值的系数，而低清晰度区域的系数与中清晰度区域的系数比可以具有较小数量的大于或等于第一值的系数。第一值可以为1，但是不限于此。
274.边缘数据网络2000通过基于从所存储的多个区域对应滤波器的信息当中获得使用电子设备1000的用户的瞳孔的焦点所位于的区域的区域对应滤波器的信息对第一局部图像执行滤波来无变化地获得与焦点区域相对应的高清晰度区域的数据，并且选择性地仅获得中清晰度区域和低清晰度区域的数据的一部分，从而减小数据的大小。
275.图9b是用于说明根据本公开的实施例的通过使用多个区域对应滤波器当中与焦点区域相对应的区域对应滤波器来执行滤波的方法的视图。
276.参照图9b，边缘数据网络2000可以基于从电子设备1000接收到的焦点位置信息确定焦点915在第一局部图像910内的位置。边缘数据网络2000可以通过对针对与区域d(其为焦点915所位于的区域)相对应的区域对应滤波器d存储的矩阵920和第一局部图像910的矩阵执行乘法操作来执行滤波。
277.图9c是用于说明根据本公开的实施例的通过使用多个区域对应滤波器当中与焦点区域相对应的区域对应滤波器来执行滤波的方法的视图。
278.参照图9c，边缘数据网络2000可以基于从电子设备1000接收到的焦点位置信息确定焦点935在第一局部图像930内的位置。边缘数据网络2000可以通过对针对与区域f(其为焦点935所位于的区域)相对应的区域对应滤波器f存储的矩阵940和第一局部图像910的矩阵执行乘法操作来执行滤波。
279.图10a是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
280.参照图10a，在操作s1002中，边缘数据网络2000可以在预定图像内生成多个区域对应滤波器，并且可以存储所生成的多个区域对应滤波器。每一个区域对应滤波器可以被以查找表(lut)的形式存储。
281.在操作s1004中，边缘数据网络2000可以向电子设备1000发送多个区域对应滤波器的信息。
282.在操作s1006中，电子设备1000可以存储多个区域对应滤波器的信息。
283.在操作s1008中，电子设备1000可以获得方位信息和焦点位置信息。
284.在操作s1010中，电子设备1000可以向边缘数据网络2000发送方位信息和焦点位置信息。
285.在操作s1012中，边缘数据网络2000可以基于焦点位置信息在多个区域当中确定一个区域，并且可以通过基于存储的有关与所确定的区域相对应的区域对应滤波器的信息对与方位信息相对应的第一局部图像执行滤波来生成缩减的第一局部图像。
286.在操作s1014中，边缘数据网络2000可以通过对滤波后的第一局部图像进行编码来生成第一帧。
287.在操作s1016中，边缘数据网络2000可以向电子设备1000发送第一帧。
288.在操作s1018中，电子设备1000可以通过对第一帧进行解码来获得第一局部图像。
289.在操作s1020中，电子设备1000可以基于焦点位置信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过使用存储的有关所确定的区域对应滤波器的信息来扩展第一局部图像。
290.在操作s1022中，电子设备1000可以通过对扩展的第一局部图像进行插值来重构第一局部图像。
291.在操作s1024中，电子设备1000可以再现重构的第一局部图像。
292.图10b是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
293.图10b的排除操作s1044、s1046和s1050的操作可以对应于图10a的操作，因此，将省略其详细描述。
294.参照图10b，在操作s1044中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来生成第一帧以及指示多个区域对应滤波器中的一者的索引信息。
295.在操作s1046中，边缘数据网络2000可以向电子设备1000发送第一帧和索引信息。
296.在操作s1050中，电子设备1000可以根据索引信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过使用存储的关于确定的区域对应滤波器的信息扩展第一局部图像。
297.图11a是用于说明根据本公开的实施例的多个滤波区域之间的交叠区域的视图。
298.参照图11a，用于确定区域对应滤波器的区域a、b、c、d、e、f、g、h和i可以包括相邻区域之间的交叠区域1105。
299.例如，区域a的右侧部分和区域b的左侧部分可以是交叠区域。在交叠区域中，可以确定与区域a相对应的区域对应滤波器a，并且可以确定与区域b相对应的区域对应滤波器b。确定多个区域使得存在交叠区域的原因是为了使得图像被自然地再现在相邻区域之间的边界区域中。
300.现在将参照图11b和图11c描述根据本公开的实施例的由边缘数据网络2000执行的通过使用在相邻区域之间具有交叠区域的多个区域对应滤波器来执行滤波的方法。
301.图11b是用于说明根据本公开的实施例的由边缘数据网络2000执行的通过使用在相邻区域之间具有交叠区域的多个区域对应滤波器来执行滤波的方法的视图。
302.边缘数据网络2000可以基于当前焦点位置信息和焦点移动矢量信息在区域a与b之间的交叠区域1110中确定区域对应滤波器。例如，参考图11b，当当前焦点位于交叠区域1110中，焦点移动矢量的大小大于或等于预定大小，并且焦点移动矢量的方向是从区域a到区域b时，边缘数据网络2000可以在交叠区域1110中确定与区域b相对应的滤波器b，并且可以通过应用滤波器b来对与方位信息相对应的第一局部图像执行滤波。然而，本公开不限于此，并且当焦点移动矢量的大小小于或等于预定大小时，边缘数据网络2000可以确定与区域a相对应的滤波器a。
303.图11c是用于说明根据本公开的实施例的由边缘数据网络2000执行的通过使用在
相邻区域之间具有交叠区域的多个区域对应滤波器来执行滤波的方法的视图。
304.参考图11c，当当前焦点位于区域a与b之间的交叠区域1120中，焦点移动矢量的大小大于或等于预定大小，并且焦点移动矢量的方向是从区域b到区域a时，边缘数据网络2000可以在交叠区域1120中确定与区域a相对应的滤波器a，并且可以通过应用滤波器a来对与方位信息相对应的第一局部图像执行滤波。然而，本公开不限于此，并且当焦点移动矢量的大小小于或等于预定大小时，边缘数据网络2000可以确定与区域b相对应的滤波器b。
305.图12a是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
306.参照图12a，在操作s1202中，边缘数据网络2000可以生成与多个预定区域中的每一者相对应的区域对应滤波器并且可以存储所生成的多个区域对应滤波器。
307.在操作s1204中，边缘数据网络2000可以向电子设备1000发送多个区域对应滤波器的信息。
308.在操作s1206中，电子设备1000可以存储多个区域对应滤波器的信息。
309.在操作s1208中，电子设备1000可以获得方位信息、焦点位置信息和焦点移动矢量信息。在此情况下，焦点移动矢量可以指以预定时间之前的焦点位置作为起点并且以当前焦点位置作为终点的矢量。
310.在操作s1210中，电子设备1000可以向边缘数据网络2000发送方位信息、焦点位置信息和焦点移动矢量信息。
311.在操作s1212中，边缘数据网络2000可以基于焦点位置信息和焦点移动矢量信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过基于存储的有关所确定的一个区域对应滤波器的信息对与方位信息相对应的第一局部图像执行滤波来生成缩减的第一局部图像。已经在上面参考图11b和图11c描述了电子设备1000通过使用焦点位置信息和焦点移动矢量信息在多个区域对应滤波器当中确定一个区域对应滤波器的示例。
312.在操作s1214中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来生成第一帧。
313.在操作s1216中，边缘数据网络2000可以向电子设备1000发送第一帧。
314.在操作s1218中，电子设备1000可以通过对第一帧进行解码来获得第一局部图像。
315.在操作s1220中，电子设备1000可以基于焦点位置信息和焦点移动矢量信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过使用存储的有关所确定的区域对应滤波器的信息来扩展第一局部图像。
316.在操作s1222中，电子设备1000可以通过对扩展的第一局部图像进行插值来重构第一局部图像。
317.在操作s1224中，电子设备1000可以再现重构的第一局部图像。
318.图12b是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
319.图12b的排除操作s1244、s1246和s1250的操作可以对应于图12a的操作，因此，将省略其详细描述。
320.在操作s1244中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来发送第一帧以及指示多个区域对应滤波器中的一者的索引信息。
321.在操作s1246中，边缘数据网络2000可以向电子设备1000发送第一帧和索引信息。
322.在操作s1250中，电子设备1000可以基于索引信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过使用存储的有关所确定的一个区域对应滤波器的信息来扩展第一局部图像。
323.图12c是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
324.图12c的排除操作s1262至s1270的操作可以对应于图12a的操作，因此，将省略其详细描述。尽管在图12c中未示出，但是如在上面参照图12a和图12b所描述，边缘数据网络2000可以生成与多个区域中的每一者相对应的区域对应滤波器，并且可以将所生成的多个区域对应滤波器存储在边缘数据网络2000和电子设备1000中。
325.参照图12c，在操作s1262中，电子设备1000可以获得第一方位信息和第一焦点位置信息。根据实施例，电子设备1000可以通过使用电子设备中包括的感测模块来获得指示第一局部图像在第一vr图像内的位置的三轴角度值作为第一方位信息。根据另一实施例，第一方位信息可以包括在第一局部图像由电子设备再现之前再现的局部图像的多个方位信息。
326.根据实施例，除了第一方位信息之外，边缘数据网络2000还可以从电子设备1000进一步接收关于指示vr序列内的帧号(例如，要当前再现的第一局部图像的帧号，但是本公开不限于此，或在第一局部图像由电子设备再现之前再现的局部图像的帧号)的帧索引的信息。
327.在操作s1264中，电子设备1000可以向边缘数据网络2000发送第一方位信息和第一焦点位置信息。此后，电子设备1000和边缘数据网络2000可以执行图10a的操作s1012至s1024。
328.在操作s1266中，电子设备1000可以获得第二方位信息和第二焦点位置信息。在此情况下，电子设备1000可以在获得第一方位信息和第一焦点位置信息之后的预定时间段之后获得第二方位信息和第二焦点位置信息。
329.在操作s1268中，电子设备1000可以向边缘数据网络2000发送第二方位信息和第二焦点位置信息。此时，电子设备1000可以仅向边缘数据网络2000发送方位信息和焦点位置信息当中的改变的信息。
330.在操作s1270中，边缘数据网络2000可以基于第一焦点位置信息和第二焦点位置信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过基于存储的有关所确定的一个区域对应滤波器的信息对与第二方位信息相对应的第二局部图像执行滤波来生成缩减的第二局部图像。
331.根据实施例，边缘数据网络2000可以基于第一方位信息和第二方位信息确定是否存在方位变化。
332.当第一方位与第二方位之间的差异在预定范围内时，边缘数据网络2000可以确定没有方位变化。当存在方位变化时，电子设备1000和边缘数据网络2000可以执行图10a的操作s1012至s1024。例如，当第一方位信息与第二方位信息之间的每个角度分量(例如，俯仰值、横摇值或偏航值)的差异值的平均值大于预设临界值时，边缘数据网络2000可以确定第一方位信息和第二方位信息彼此不一致(存在方位变化)。
333.当确定了在由第一方位信息指示的第一方位与由第二方位信息指示的第二方位之间没有差异时，电子设备1000可以不发送第二方位信息。在此情况下，边缘数据网络2000可以识别第二方位信息未被发送，并且确定与第一方位没有方位变化。
334.当没有方位变化时，边缘数据网络2000可以基于第一焦点位置信息和第二焦点位置信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过基于存储的有关所确定的一个区域对应滤波器的信息对与第二方位信息相对应的第二局部图像执行滤波来生成缩减的第二局部图像。例如，边缘数据网络2000可以基于由第一焦点位置信息指示的第一焦点位置和由第二焦点位置信息指示的第二焦点位置之间的差异在多个区域对应滤波器当中确定一个区域对应滤波器。此时，可以从第一焦点位置与第二焦点位置之间的差异获得焦点移动矢量信息，并且边缘数据网络2000可以执行与图12a的操作s1212类似的操作。
335.在操作s1272中，边缘数据网络2000可通过对缩减的第二局部图像进行编码来生成第二帧。边缘数据网络2000可通过对缩减的第二局部图像进行编码来生成第二帧。
336.在操作s1274中，边缘数据网络2000可以向电子设备1000发送第二帧。
337.在操作s1276中，电子设备1000可以通过对第二帧进行解码来获得第二局部图像。
338.在操作s1278中，电子设备1000可以基于第一焦点位置信息和第二焦点位置信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过使用存储的有关所确定的一个区域对应滤波器的信息来扩展第一局部图像。
339.在操作s1280中，电子设备1000可以通过对扩展的第二局部图像进行插值来重构第二局部图像。
340.在操作s1282中，电子设备1000可以再现重构的第二局部图像。
341.然而，本公开不限于此，并且，与在操作s1272、s1274和s1278中给出的描述不同，边缘数据网络2000可以生成指示多个区域对应滤波器中的一者的索引信息并且向电子设备1000发送该索引信息，而且电子设备1000可以基于该索引信息在多个区域对应滤波器当中确定一个区域对应滤波器。
342.图13a是用于说明根据本公开的实施例的当网络情形好或者用户的焦点区域清楚时使用的滤波器的视图。
343.参照图13a，当连接到电子设备1000的网络状况差或者用户的焦点区域清楚时，边缘数据网络2000可以通过使用包括具有窄的高清晰度区域的多个区域对应滤波器的第一滤波器组当中与焦点位置相对应的一个区域对应滤波器1310来对第一局部图像1300执行滤波，从而生成滤波后的第一局部图像1320。在此情况下，焦点区域清楚可以意味着因为瞳孔的移动不大所以在焦点上(in focus)。
344.图13b是用于说明根据本公开的实施例的当网络情形不好或者用户的焦点区域不清楚时使用的滤波器的视图。
345.参照图13b，当连接到电子设备1000的网络状况好或者用户的焦点区域不清楚时，边缘数据网络2000可以通过使用包括具有宽的高清晰度区域的多个区域对应滤波器的第二滤波器组当中与焦点位置相对应的一个区域对应滤波器1340来对第一局部图像1330执行滤波，从而生成滤波后的第一局部图像1350。焦点区域不清楚可以意味着因为瞳孔的移动大(瞳孔的移动速度高)所以在焦点外(out of focus)。
346.图14a是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
347.参照图14a，在操作s1401中，边缘数据网络2000可以生成多个区域对应滤波器组，并且可以存储所生成的多个区域对应滤波器组。一个区域对应滤波器组可以包括多个区域对应滤波器。在此情况下，区域对应滤波器组可以在多个区域的大小和区域的数量方面彼此不同。
348.在操作s1402中，边缘数据网络2000可以向电子设备1000发送多个区域对应滤波器组的信息。
349.在操作s1403中，电子设备1000可以存储多个区域对应滤波器组的信息。
350.在操作s1404中，电子设备1000可以获得方位信息和焦点位置信息。
351.在操作s1405中，电子设备1000可以向边缘数据网络2000发送方位信息和焦点位置信息。此时，还可以发送网络信息。
352.在操作s1406中，边缘数据网络2000可以基于网络信息在多个区域对应滤波器组当中确定一个区域对应滤波器组。如上所述，网络信息可以是从电子设备1000接收的，但是本公开不限于此，并且边缘数据网络2000可以不从电子设备1000接收网络信息。网络信息是关于网络状况(例如，连接状态)的信息，但是本公开不限于此，并且诸如目标比特率和目标分辨率的信息片也可以被用作用于确定对应滤波器组的信息。
353.边缘数据网络2000可以基于焦点位置信息在一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过基于存储的有关所确定的一个区域对应滤波器的信息对与方位信息相对应的第一局部图像执行滤波来生成缩减的第一局部图像。
354.在操作s1407中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来生成第一帧。
355.在操作s1408中，边缘数据网络2000可以向电子设备1000发送第一帧。
356.在操作s1409中，电子设备1000可以通过对第一帧进行解码来获得第一局部图像。
357.在操作s1410中，电子设备1000可以基于网络信息在多个区域对应滤波器组当中确定一个区域对应滤波器组。电子设备1000可以基于焦点位置信息在一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过使用存储的有关所确定的一个区域对应滤波器的信息来扩展第一局部图像。
358.在操作s1411中，电子设备1000可以通过对扩展的第一局部图像进行插值来重构第一局部图像。
359.在操作s1412中，电子设备1000可以再现重构的第一局部图像。
360.图14b是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
361.图14b的排除操作s1427、s1428和s1430的操作可以对应于图14a的操作，因此，将省略其详细描述。
362.在操作s1427中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来生成第一帧以及指示多个区域对应滤波器组当中的一个区域对应滤波器组的第一索引信息。
363.在操作s1428中，边缘数据网络2000可以向电子设备1000发送第一帧和第一索引信息。
364.在操作s1430中，电子设备1000可以基于第一索引信息在多个区域对应滤波器组当中确定一个区域对应滤波器组，并且可以通过使用存储的有关基于焦点位置信息确定的区域对应滤波器组中包括的一个区域对应滤波器的信息来扩展第一局部图像。
365.图14c是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
366.图14c的排除操作s1447、s1448和s1450的操作可以对应于图14a的操作，因此，将省略其详细描述。
367.在操作s1447中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来生成第一帧、指示多个区域对应滤波器组当中的一个区域对应滤波器组的第一索引信息、以及指示一个区域对应滤波器组中包括的多个区域对应滤波器当中的一个区域对应滤波器的第二索引信息。
368.在操作s1448中，边缘数据网络2000可以向电子设备1000发送第一帧、第一索引信息和第二索引信息。
369.在操作s1450中，电子设备1000可以基于第一索引信息在多个区域对应滤波器组当中确定一个区域对应滤波器组。电子设备1000可以基于第二索引信息确定一个区域对应滤波器组中包括的一个区域对应滤波器，并且可以基于存储的有关所确定的一个区域对应滤波器的信息扩展第一局部图像。
370.图14d是根据本公开的实施例的电子设备与边缘数据网络之间的操作过程的流程图。
371.图14d的排除操作s1464、s1465、s1466和s1470的操作可以对应于图14a的操作，因此，将省略其详细描述。
372.在操作s1464中，电子设备1000可以获得方位信息、焦点位置信息和焦点移动矢量信息。
373.在操作s1465中，电子设备1000可以向边缘数据网络2000发送方位信息、焦点位置信息和焦点移动矢量信息。
374.在操作s1466中，边缘数据网络2000可以在多个区域对应滤波器组当中确定一个区域对应滤波器组，并且基于焦点位置信息和焦点移动矢量信息在该一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器，以及可以通过基于存储的有关所确定的一个区域对应滤波器的信息执行滤波来生成缩减的第一局部图像。
375.在操作s1470中，电子设备1000可以基于焦点位置信息和焦点移动矢量信息，在多个区域对应滤波器组当中确定一个区域对应滤波器组，并且在该一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器。电子设备1000可以基于存储的有关所确定的一个区域对应滤波器的信息扩展第一局部图像。
376.然而，本公开不限于此，并且本领域普通技术人员可以理解的是，可以使用先前获得的焦点位置信息而不是焦点移动矢量信息来确定一个区域对应滤波器。如在上面参照图14b至图14c所描述，本领域普通技术人员可以理解的是，电子设备1000可以通过与第一帧一起进一步发送指示多个区域对应滤波器组当中的一个区域对应滤波器组的第一索引信
息以及指示一个区域对应滤波器组中包括的多个区域对应滤波器当中的一个区域对应滤波器的第二索引信息来确定区域对应滤波器。
377.图15是用于示意性地说明电子设备、边缘数据网络和vr游戏接口设备之间的操作过程的视图。
378.参照图15，与图5不同，进一步图示了vr游戏接口设备4000。在vr游戏领域中，与vr流领域不同，存在用户的交互，因此，除了电子设备1000之外还可以使用vr游戏接口设备4000。
379.已经在上面参照图5描述了vr流领域中的电子设备与边缘数据网络之间的操作过程，因此，将省略其重复描述。下面将描述vr游戏领域中的电子设备、边缘数据网络和vr游戏接口设备之间的操作过程。
380.边缘数据网络2000可以基于vr游戏处理模块1586的指令生成包括在vr序列中的vr游戏图像(交互式vr图像)。
381.详细地，vr游戏处理模块1586可以存储用于基于方位信息、焦点位置信息和vr游戏接口设备感测信息1552生成vr游戏图像的第一局部图像的指令。vr游戏处理模块1586可以存储用于输出vr游戏接口设备控制信息1554的指令。
382.电子设备1000可以向边缘数据网络2000发送vr游戏接口设备感测信息1552以便执行vr游戏处理。在此情况下，电子设备1000可以从vr游戏接口设备4000接收vr游戏接口设备感测信息。
383.vr游戏接口设备4000可以包括网络接口4020、感测模块4010和致动模块4030。网络接口4020可以是用于与外部通信的模块，而感测模块4010可以是用于感测用户的运动的模块。感测模块4010可以获得vr游戏接口设备感测信息。
384.致动模块4030可以是给用户提供各种类型的输出(例如，触觉反馈)如振动的模块。致动模块4030可以基于vr游戏接口设备感测控制信息给用户提供各种类型的输出。
385.vr游戏接口设备4000可以向电子设备1000发送vr游戏接口设备感测信息。vr游戏接口设备4000可以从电子设备1000接收vr游戏接口设备控制信息。
386.已经在上面描述了vr接口设备感测信息经由电子设备1000被发送到边缘数据网络2000，或者vr接口设备感测信息和vr游戏接口设备控制信息经由电子设备1000被发送到vr游戏接口设备4000。然而，本公开不限于此，并且可以在vr游戏接口设备4000与边缘数据网络2000之间直接地对其交换。在此情况下，还可以发送用于与电子设备1000同步的同步信息。
387.尽管已经在上面关于图15描述了vr游戏领域中的电子设备、边缘数据网络和vr游戏接口设备之间的操作过程，但是本公开不限于此，并且本领域普通技术人员应理解的是，可以主要在用户可以直接地干预内容并且执行活动的许多领域(例如，模拟、训练或类似领域)中利用交互式vr。
388.图16是用于说明根据本公开的实施例的在vr游戏领域中另外地对焦点移动预测区域和界面区域进行滤波的操作的视图。
389.参照图16，当用户正在观看vr赛车游戏图像时，用户的瞳孔的焦点可能位于车辆前方的道路上。然而，根据车辆的预期行驶方向，用户高度很可能看到将来要到达的道路。即，边缘数据网络2000可以根据车辆的预期行驶方向另外地对除焦点区域1600以外的焦点
移动预期区域1610进行滤波。界面区域1620或主要地形特征区域1630在其变得模糊时可能难以识别，因为其是用文本显示的，或者可能是游戏进展中的重要部分。边缘数据网络2000可以进一步对界面区域1620或主要地形特征区域1630进行滤波。
390.电子设备1000和边缘数据网络2000可以在执行vr游戏应用时预先确定除焦点区域以外的要另外地滤波的区域的一部分，或者边缘数据网络2000可以向电子设备1000动态地发送关于要另外地滤波的区域的信息。关于要滤波的区域的信息可以是指示图像的预先确定的分隔区域当中的至少一个分隔区域的索引信息。本公开不限于此，并且当要滤波的区域是矩形区域时，关于要滤波的区域的信息可以是关于区域的左上顶点(参考点)的位置和区域的大小的信息，而当要滤波的区域是圆形区域时，要滤波的区域可以是关于中心位置和半径(在椭圆的情况下，半径穿过长轴和短轴)的信息。在此情况下，为了减少信息量，可以确定有限的候选并且可以以指示有限的候选之一的索引信息的形式发送关于要滤波的区域的信息。然而，本公开不限于此，并且可以使用用于减少信息量的各种技术。
391.图17a是根据本公开的实施例的由边缘数据网络执行的流传输图像内容的方法的流程图。
392.参照图17a，在操作s1702中，边缘数据网络2000可以从电子设备获得方位信息和焦点位置信息。
393.在操作s1704中，边缘数据网络2000可以基于焦点位置信息在多个滤波器当中确定一个滤波器。
394.在操作s1706中，边缘数据网络2000可以通过使用基于焦点位置信息确定的滤波器对与方位信息相对应的第一局部图像执行滤波来生成滤波后的第一局部图像。
395.在操作s1708中，边缘数据网络2000可以通过对滤波后的第一局部图像进行编码来生成第一帧。
396.在操作s1710中，边缘数据网络2000可以向电子设备发送第一帧。
397.图17b是用于详细地说明根据本公开的实施例的由边缘数据网络执行的以下操作的方法的流程图：基于焦点位置信息确定区域对应滤波器，并且基于提前存储的关于所确定的区域对应滤波器的信息对第一局部图像进行滤波。
398.参照图17b，在操作s1712中，边缘数据网络2000可以基于焦点位置信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过基于提前存储的有关所确定的一个区域对应滤波器的信息对第一局部图像执行滤波来生成缩减的第一局部图像。
399.在操作s1714中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来生成第一帧。
400.图17c是用于详细地说明根据本公开的另一实施例的由边缘数据网络执行的以下操作的方法的流程图：基于焦点位置信息确定区域对应滤波器，并且基于提前存储的关于所确定的区域对应滤波器的信息对第一局部图像进行滤波。
401.参考图17c，在操作s1716中，边缘数据网络2000可以基于网络信息在多个区域对应滤波器组当中确定一个区域对应滤波器组，可以基于焦点位置信息确定该一个区域对应滤波器组中包括的一个区域对应滤波器，并且可以通过基于提前存储的有关所确定的一个区域对应滤波器的信息对第一局部图像执行滤波来生成缩减的第一局部图像。
402.在操作s1718中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来
生成第一帧。
403.图17d是用于详细地说明根据本公开的另一实施例的由边缘数据网络执行的以下操作的方法的流程图：基于焦点位置信息确定区域对应滤波器，并且基于提前存储的关于所确定的区域对应滤波器的信息对第一局部图像进行滤波。
404.在操作s1720中，边缘数据网络2000可以基于焦点位置信息和焦点移动矢量信息在多个区域对应滤波器组当中确定一个区域对应滤波器组，可以在所确定的一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器，并且可以基于提前存储的有关所确定的一个区域对应滤波器的信息针对第一局部图像生成缩减的第一局部图像。
405.在操作s1722中，边缘数据网络2000可以通过对缩减的第一局部图像进行编码来生成第一帧。
406.图18a是根据本公开的实施例的由电子设备执行的流传输从边缘数据网络获得的图像内容的方法的流程图。
407.在操作s1802中，电子设备1000可以向边缘数据网络2000发送方位信息和焦点位置信息。
408.在操作s1804中，电子设备1000可以从边缘数据网络2000获得第一帧，该第一帧是通过基于焦点位置信息对与方位信息相对应的第一局部图像进行滤波和编码而获得的。
409.在操作s1806中，电子设备1000可以通过对第一帧进行解码来获得第一局部图像。
410.在操作s1808中，电子设备1000可以通过使用多个滤波器当中基于焦点位置信息确定的一个滤波器来重构第一局部图像。本公开不限于此，并且在一些情况下，可以省略此操作，并且通过对第一帧进行解码所获得的第一局部图像可以是重构的第一局部图像。
411.在操作s1810中，电子设备1000可以再现重构的第一局部图像。
412.图18b是根据本公开的另一实施例的由电子设备执行的流传输从边缘数据网络2000获得的图像内容的方法的流程图。
413.在操作s1812中，电子设备1000可以向边缘数据网络2000发送方位信息和焦点位置信息。
414.在操作s1814中，电子设备1000可以通过基于焦点位置信息对与方位信息相对应的第一局部图像进行滤波和编码来从边缘数据网络2000获得第一帧。
415.在操作s1816中，电子设备1000可以通过对第一帧进行解码来获得第一局部图像。
416.在操作s1818中，电子设备1000可以基于焦点位置信息在多个区域对应滤波器当中确定一个区域对应滤波器，并且可以通过使用提前存储的有关所确定的区域对应滤波器的信息来扩展第一局部图像。
417.在操作s1820中，电子设备1000可以通过对扩展的第一局部图像进行插值来重构第一局部图像。
418.在操作s1822中，电子设备1000可以再现重构的第一局部图像。
419.图18c是根据本公开的另一实施例的由电子设备执行的流传输从边缘数据网络2000获得的图像内容的方法的流程图。
420.参照图18c，在操作s1824中，电子设备1000可以向边缘数据网络2000发送方位信息、焦点位置信息和焦点移动矢量信息。
421.在操作s1826中，电子设备1000可以从边缘数据网络2000获得第一帧，该第一帧是通过基于焦点位置信息和焦点移动矢量信息对与方位信息相对应的第一局部图像进行滤波和编码而获得的。
422.在操作s1828中，电子设备1000可以通过对第一帧进行解码来获得第一局部图像。
423.在操作s1830中，电子设备1000可以基于焦点位置信息和焦点移动矢量信息在多个区域对应滤波器组当中确定一个区域对应滤波器组，可以在所确定的一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器，并且可以基于提前存储的有关所确定的一个区域对应滤波器的信息扩展第一局部图像。
424.在操作s1832中，电子设备1000可以通过对扩展的第一局部图像进行插值来重构第一局部图像。
425.在操作s1834中，电子设备1000可以再现重构的第一局部图像。
426.图18d是根据本公开的另一实施例的由电子设备执行的流传输从边缘数据网络2000获得的图像内容的方法的流程图。
427.在操作s1836中，电子设备1000可以向边缘数据网络2000发送方位信息和焦点位置信息。
428.在操作s1838中，电子设备1000可以从边缘数据网络2000获得第一帧，该第一帧是通过基于焦点位置信息对与方位信息相对应的第一局部图像进行滤波和编码而获得的。
429.在操作s1840中，电子设备1000可以通过对第一帧进行解码来获得第一局部图像。
430.在操作s1842中，电子设备1000可以基于网络信息在多个区域对应滤波器组当中确定一个区域对应滤波器组，可以基于焦点位置信息在所确定的一个区域对应滤波器组中包括的多个区域对应滤波器当中确定一个区域对应滤波器，并且可以基于提前存储的有关所确定的一个区域对应滤波器的信息扩展第一局部图像。
431.在操作s1844中，电子设备1000可以通过对扩展的第一局部图像进行插值来重构第一局部图像。
432.在操作s1846中，电子设备1000可以再现重构的第一局部图像。
433.图19是根据本公开的实施例的电子设备的框图。
434.连接到图1至图18的边缘数据网络的电子设备可以对应于图19的电子设备110。例如，在网络环境100中，电子设备110可以经由第一网络1798(例如，短程无线通信网络)与电子设备1702(这里，该电子设备包括vr游戏接口设备)通信，或者可以经由第二网络1799(例如，远程无线通信网络)与电子设备1704或服务器1708通信。根据实施例，电子设备110可以经由服务器1708与电子设备1704通信。根据实施例，电子设备110可以包括处理器1720、存储器1730、输入设备1750、声音输出设备1755、显示设备1760、音频模块1770、传感器模块1776、接口1777、触觉模块1779、相机模块1780、电力管理模块1788、电池1789、通信模块1790、订户识别模块1796或天线模块1797。在一些实施例中，在电子设备110中，可以省略至少一个部件(例如，显示设备1760或相机模块1780)，或者可以进一步包括一个或更多个其他部件。在一些实施例中，一些部件可以由一个集成电路实现。例如，传感器模块1776(例如，指纹传感器、虹膜传感器或照度传感器)可以通过被嵌入在显示设备1760(例如，显示器)中来实现。
435.处理器1720可以通过执行软件(例如，程序1740)来控制电子设备110的连接到处
理器1720的一个或更多个其他部件(例如，硬件部件或软件部件)，并且可以执行各种数据处理或计算。根据实施例，作为至少一些数据处理或计算，处理器1720可以在易失性存储器1732中加载从另一部件(例如，传感器模块1776或通信模块1790)接收到的命令或数据，处理易失性存储器1732中存储的命令或数据，并且将结果数据存储在非易失性存储器1734中。
436.根据实施例，处理器1720可以执行应用客户端，并且根据应用客户端的执行，处理器1720可以向边缘数据网络2000发送用于检查要由应用客户端使用的网络协议的请求消息。另外，处理器1720可以从边缘数据网络2000接收指示将由应用客户端使用的网络协议的响应消息。处理器1720可以基于响应消息更新要由ue应用使用的网络协议。处理器1720可以选择与更新的网络协议相对应的网络套接字(socket)。处理器1720可以通过使用所选择的网络套接字来从边缘数据网络2000接收为应用客户端生成的数据。
437.根据实施例，处理器1720可以包括主处理器1721(例如，cpu或应用处理器(ap))以及可独立于主处理器1724或者与之一起操作的辅助处理器1723(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器集线器处理器或通信处理器(cp))。另外地或可替代地，辅助处理器1723可以被配置为使用比主处理器1721更低的功率或者专用于指定的功能。辅助处理器1723可以被与主处理器1721分开地实现或者作为主处理器1721的一部分被实现。
438.当主处理器1721处于不活动状态(例如，休眠状态)时代替主处理器1721，或者当主处理器1721处于活动状态(例如，应用执行状态)时与主处理器1721一起，辅助处理器1723可以控制与电子设备110的部件中的至少一个部件(例如，显示设备1760、传感器模块1776或通信模块1790)相关的至少一些功能或状态。根据实施例，辅助处理器1723(例如，图像信号处理器或通信处理器)可以作为功能上相关的其他部件(例如，相机模块1780或通信模块1790)的一部分被实现。
439.存储器1730可以存储由电子设备110的至少一个部件(例如，处理器1720或传感器模块1776)使用的各种数据。数据可以包括例如软件(例如，程序1740)和关于与该软件相关的命令的输入数据或输出数据。存储器1730可以包括易失性存储器1732或非易失性存储器1734。
440.程序1740可以作为软件被存储在存储器1730中，并且可以包括例如操作系统(os)1742、中间件1744或应用1746。根据实施例，程序1740可以包括图1的第一应用客户端122和第二应用客户端124。程序1740可以包括图1的边缘使能器客户端130。
441.输入设备1750可以从电子设备110的外部(例如，用户)接收要用于电子设备1710的部件(例如，处理器1720)的命令或数据。
442.声音输出设备1755可以向电子设备110的外部输出音频信号。声音输出设备1755可以包括例如扬声器。扬声器可以被用于诸如多媒体播放或录音重放的一般目的。
443.显示设备1760可以在视觉上向电子设备110的外部提供信息。显示设备1760可以包括例如显示器、全息图设备或投影仪，以及用于控制对应设备的控制电路。根据实施例，显示设备1760可以包括被配置为检测触摸的触摸电路，或被配置为测量由触摸产生的力的强度的传感器电路(例如，压力传感器)。
444.音频模块1770可以将声音转换成电信号或者相反地将电信号转换成声音。根据实
施例，音频模块1770可以通过输入设备1750获得声音，或者可以通过声音输出设备1755或直接地或无线地连接到电子设备110的外部电子设备(例如，电子设备1702)(例如，扬声器或耳机)输出声音。
445.传感器模块1776可以检测电子设备110的操作状态(例如，功率或温度)或外部环境状态(例如，用户状态)，并且可以生成与所检测到的状态相对应的电信号或数据值。根据实施例，传感器模块1776可以包括例如手势传感器、陀螺仪传感器、气压计传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器(例如，rgb(红色、绿色、蓝色)传感器)、红外(ir)传感器、生物计量传感器、温度传感器、湿度传感器、照度传感器或与自主车辆相关的传感器(例如，惯性测量单元(imu)、全球定位系统(gps)传感器、相机、光成像检测和测距(lidar)传感器以及无线电检测和测距(radar)传感器)。
446.接口1777可以支持一个或更多个指定的协议，这些协议可以被用于电子设备110直接地或无线地连接到外部电子设备(例如，电子设备1702)。
447.连接端子1778可以包括连接器，通过该连接器电子设备110可以物理上连接到外部电子设备(例如，电子设备1702)。
448.触觉模块1779可以将电信号转换成机械刺激(例如，振动或移动)或电刺激，这些刺激可由用户通过触觉或运动感觉感知。
449.相机模块1780可以捕获静止图像和视频。根据实施例，相机模块1780可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
450.电力管理模块1788可以管理向电子设备1710供应的电力。
451.电池1789可以向电子设备1710的至少一个部件供应电力。
452.通信模块1790可以在移动设备110与外部电子设备(例如，电子设备1702、电子设备1704或服务器1708)之间建立直接(例如，有线)通信信道和/或无线通信信道，并且可以通过建立的通信信道支持通信。通信模块1790可以独立于处理器1720(例如，应用处理器)被操作，并且可以包括支持直接(例如，有线)通信和/或无线通信的一个或更多个通信处理器。根据实施例，通信模块1790可以包括无线通信模块1792(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块1794(例如，局域网(lan)通信模块或电力线通信模块)。上述通信模块当中的对应通信模块可以通过第一网络1798(例如，诸如蓝牙、wifi直连或红外数据协会(irda)的短程通信网络)或第二网络1799(例如，诸如蜂窝网络、因特网或计算机网络(例如，lan或广域网(wan)的远程通信网络)与外部电子设备通信。这些各种类型的通信模块可以被集成到一个部件(例如，单个芯片)中，或者可以被实现为多个单独的部件(例如，多个芯片)。
453.无线通信模块1792可以通过使用存储在订户识别模块1796中的订户信息(例如，国际移动用户标识符(imsi))来对诸如第一网络1798或第二网络1799的通信网络中的电子设备110进行验证和认证。
454.天线模块1797可以向外部(例如，外部电子设备)发送信号或电力或者从外部接收信号或电力。
455.至少一些部件可以通过外围设备之间的通信方法(例如，总线、一般输入和输出(gpio)、串行外围接口(spi)或移动工业处理器接口(mipi))彼此连接并且可以相互交换信号(例如，命令或数据)。
456.根据实施例，可以通过连接到第二网络1799的服务器1708在电子设备110与外部电子设备1704之间发送或者接收命令或数据。电子设备1702和1704可以是与电子设备110相同或不同的类型。
457.根据实施例，可以在外部电子设备(即电子设备1702和1704以及服务器1708)当中的一个或更多个外部电子设备中执行在电子设备110中执行的操作中的全部或一些。例如，当电子设备110需要自动地或者响应于来自用户或另一设备的请求执行功能或服务时，电子设备110可以请求一个或更多个外部电子设备1702和1704执行该功能或服务的部分或全部，而不是执行该功能或服务或者作为执行该功能或服务的补充。接收到请求的一个或更多个电子设备可以执行所请求的功能或服务或与该请求相关的附加功能或服务的至少一部分，并且可以向电子设备110发送执行的结果。电子设备110可以无变化地或另外地处理所接收到的结果，并且提供处理后的结果作为对该请求的响应的至少一部分。为此目的，例如，可以使用云计算技术、分布式计算技术或客户-服务器计算技术。