眼镜、推荐化妆品呈现控制系统和推荐化妆品呈现控制方法与流程

1.本发明涉及眼镜等。当计算机系统确定佩戴眼镜的人的脸部颜色时使用该眼镜。


背景技术：

2.对于化妆的人，尤其是对于每天都化妆的人来说，选择适合自己的化妆品或使得她们到达理想妆容的化妆品是一项日常而重要的工作。用户经常根据其积累的关于化妆的知识、从互联网上获得的信息、商店化妆品销售柜台销售人员的建议等来选择和购买化妆品。用于选择化妆品的已知计算机系统技术的示例包括推荐系统的技术，其能够从注册在数据库中的化妆品中基于用户的皮肤颜色呈现推荐化妆品(例如，见专利文献1)。
3.引文列表
4.专利文献
5.专利文献1：日本专利公开第2019-195619号


技术实现要素：

6.技术问题
7.然而，为了使计算机系统能够呈现推荐化妆品，重要的是找到一种获得用户皮肤颜色的正确信息的方法。在专利文献1的技术中，为了获得用户的皮肤颜色，需要准备特殊的照明环境和特殊的摄影设备来拍摄用户的照片。例如，一般用户可能希望在家中卸妆后通过简单地使用自己的智能电话自拍来自己使用推荐化妆品呈现服务。但是，专利文献1的技术很难做到这一点。
8.本发明要实现的目的是提供一种无需专门控制的照明环境或特殊的摄影设备即可轻松准确地获得用户脸部颜色信息的技术。
9.问题的解决方案
10.根据本发明的第一方面，提供了一种推荐化妆品呈现控制系统，包括：
11.眼镜；和
12.计算机系统，
13.眼镜包括在预定位置的位置确定标记和在预定位置的预定颜色，
14.计算机系统包括：
15.图像获取部，其用于获取通过捕获佩戴眼镜的用户的图像而获得的第一图像数据和通过捕获未佩戴眼镜的用户的图像而获得的第二图像数据；
16.确定部，其用于使用标记和颜色基于第一图像数据和第二图像数据确定用户脸部的每个位置的颜色；和
17.呈现控制部，其用于基于确定部的确定结果，控制从预定化妆品数据库中推荐给用户的化妆品的选择和化妆品向用户的呈现。
18.本文的“计算机系统”不仅可以由单个计算机实现，还可以由多个计算机协作实现。
19.本文的“眼镜”可以是无镜片眼镜(即简易眼镜)。
20.眼镜具有用于确定用户脸部的每个位置的颜色的预定颜色(颜色图案：用于颜色确定的标准颜色)以及用于确定眼镜中预定颜色的相对位置的标记。
21.在用户佩戴眼镜的第一图像数据中，作为颜色确定的目标的脸部和作为颜色确定的参考的颜色图案彼此非常接近。此外，可以认为第一图像数据中的环境光的状态和第二图像数据中的环境光的状态几乎相同。这是因为在用户轻微移动以摘下眼镜之后，可以从第一图像数据的捕获连续执行第二图像数据的捕获。
22.因此，即使在用户在家中使用智能电话相机自拍的拍摄环境中，去除眼镜前后环境光的曝光程度也几乎相同，并且通过使用从具有颜色图案的部分读取的颜色执行校准并从图像的脸部部分读取脸部颜色信息，准确的颜色读取是可能的。这使得可以实现一种无需专门控制的照明环境或特殊摄影设备即可轻松准确地获得用户脸部颜色信息的系统。还可以实现能够使用用户脸部每个位置的颜色将推荐化妆品呈现给用户的系统。
23.眼镜可以包括具有标记和颜色的框架。
24.本文的“框架”的意思是普通眼镜的框架，并且是指除去镜片的结构。对于一般的眼镜，框架的示例包括框边、鼻梁架、端件、鼻托、垫臂、铰链、镜腿、镜腿末端、替代铰链的皮带、皮带连接部分等。
25.第一图像数据可以通过以不同脸部取向捕获佩戴眼镜的用户的图像而获得，并且
26.确定部可以基于第一图像数据中包括的具有不同脸部取向的用户的图像，对于框架的捕获图像部分执行第一光亮度校正过程，并且可以使用在第一光亮度校正过程之后的框架的捕获图像部分的颜色与框架的颜色之间的色差来确定用户脸部每个位置的颜色。
27.本文中的“光亮度”是指在对象表面局部产生的亮度较高的区域，或者由于光在对象表面上的折射、反射和扩散而在捕获的图像中产生的不均匀亮度，它们在光照射对象表面时引起的。其示例包括称为高光和反射的现象。当出现光亮度时，无法正确读取对象的原始颜色。在用户在家中使用智能电话相机自拍的拍摄环境中，环境光在很多情况下存在偏差，并且容易出现光亮度。另一方面，当拍摄角度变化时，光亮度的存在或不存在、光亮度的位置、光亮度的程度也会发生变化。
28.因此，通过使用具有不同脸部取向的多个数据作为第一图像数据执行第一光亮度过程，即使光亮度出现在第一图像数据的第一个的一部分中，推荐化妆品呈现控制系统也可以使用在该部分中没有光亮度的另一个第一图像数据来读取该部分的颜色。
29.第二图像数据可以通过以不同的脸部取向捕获不戴眼镜的用户的图像来获得，并且确定部可以基于第二图像数据中包括的具有不同脸部取向的用户的图像对用户的脸部的每个捕获图像部分执行第二光亮度校正过程。
30.光亮度也出现在用户的皮肤上。
31.通过使用具有不同脸部取向的多个数据作为第二图像数据执行第二光亮度过程，即使在第二图像数据中的第一个中的脸部的一部分中出现光亮度，推荐化妆品呈现控制系统也可以使用在该部分中不具有光亮度的另一第二图像数据来读取该部分的颜色。
32.确定部可以确定用户的头发的颜色，并且
33.呈现控制部可以基于由确定部确定的头发的颜色控制对化妆品的选择和化妆品的呈现。
34.这使得推荐化妆品呈现控制系统能够基于头发的颜色和脸部部分的颜色来选择和呈现化妆品。
35.呈现控制部可以执行控制，用于从模特数据库中选择满足确定部的确定结果的预定匹配条件的模特，并用于呈现与模特关联的化妆品，该模特数据库存储与每个模特关联的应用于模特的化妆品的信息。
36.模特数据库可以存储与模特关联的化妆前模特数据，化妆前模特数据是图像获取部获取模特的图像数据以及确定部对于化妆之前的模特执行的确定的结果的数据，并且
37.呈现控制部可以执行控制，用于基于化妆前模特数据为用户选择满足确定部的确定结果的匹配条件的模特，并且用于呈现与模特关联的化妆品。
38.这使得推荐化妆品呈现控制系统能够从化了妆的人(即模特)的模特数据库中选择脸部颜色与用户的脸部颜色匹配的模特，并且注册用于模特的化妆的化妆品的信息，并选择和呈现与模特的化妆相关的化妆品。由于角色模特是真人(模特)，并且基于用于模特的化妆的化妆品的组合来选择和呈现化妆品，因此用户变得更容易理解。更具体地说，它提高了用户的便利性。
39.确定部可以包括脸部特征量确定部，用于基于捕获图像中标记的位置确定与用户的脸部或脸部部分的大小、形状和位置有关的脸部特征量，
40.模特数据库可以存储模特的脸部特征量的数据，同时将数据与模特关联，并且
41.呈现控制部可以执行控制，用于选择具有满足脸部特征量确定部的确定结果的匹配条件的脸部特征量的数据的模特，并用于呈现与模特关联的化妆品。
42.这使得推荐化妆品呈现控制系统能够呈现用于具有与用户相似的脸部特征的模特的化妆的化妆品。从用户的角度来看，更容易看到在用呈现的化妆品化妆之后她们将看起来怎样。更具体地说，这进一步提高了用户的便利性。
43.根据本发明的第二方面，提供了一种眼镜，包括：
44.设置在预定位置的位置确定标记；和
45.设置在预定位置的具有预定颜色的颜色，
46.该眼镜允许计算机系统基于通过捕获佩戴眼镜的用户的图像获得的第一图像数据、通过捕获不戴眼镜的用户的图像获得的第二图像数据、标记和颜色来确定用户的脸部的每个位置的颜色。
47.本文的“眼镜”可以是无镜片眼镜(即简易眼镜)。
48.眼镜具有用于确定用户的脸部的每个位置的颜色的预定颜色(颜色图案：用于颜色确定的标准颜色)以及用于确定眼镜中预定颜色的相对位置的标记。
49.在用户佩戴眼镜的第一图像数据中，作为颜色确定的目标的脸部和作为颜色确定的参考的颜色图案彼此非常接近。此外，可以认为第一图像数据中的环境光的状态和第二图像数据中的环境光的状态几乎相同。这是因为在用户轻微移动以摘下眼镜之后，可以从第一图像数据的捕获连续执行第二图像数据的捕获。
50.因此，即使在用户在家中使用智能电话相机自拍的拍摄环境中，摘下眼镜前后环境光的曝光程度也几乎相同，并且通过使用从具有颜色图案的部分读取的颜色执行校准并从图像的脸部部分读取脸部颜色信息，准确的颜色读取是可能的。这使得无需专门控制的照明环境或特殊的摄影设备就可以轻松准确地获得用户的脸部颜色的信息。
51.眼镜可以包括具有标记和颜色的框架。
52.本文的“框架”的意思是普通眼镜的框架，并且是指除去镜片的结构。对于一般的眼镜，框架的示例包括框边、鼻梁架、端件、鼻托、垫臂、铰链、镜腿、镜腿末端、替代铰链的皮带、皮带连接部分等。
53.根据本发明的第三方面，提供了一种由计算机系统执行的推荐化妆品呈现控制方法，该方法包括以下步骤：
54.获取第一图像数据和第二图像数据，该第一图像数据通过捕获佩戴在预定位置具有位置确定标记并在预定位置具有预定颜色的眼镜的用户的图像而获得，该第二图像数据通过捕获不戴眼镜的用户的图像而获得；
55.使用标记和颜色基于第一图像数据和第二图像数据确定用户的脸部的每个位置的颜色；和
56.基于确定步骤的确定结果，控制对从预定化妆品数据库中推荐给用户的化妆品选择和化妆品向用户的呈现。
57.根据本实施例，可以实现确保与上述关于计算机系统的第一实施例相同效果的推荐化妆品呈现控制方法。
附图说明
58.图1是示出推荐化妆品呈现控制系统的配置示例的图。
59.图2是示出用户终端的配置示例的前视图。
60.图3是眼镜的前视图。
61.图4是示出眼镜注册数据的数据配置示例的图。
62.图5是用于描述推荐化妆品呈现服务(1)的图。
63.图6是用于描述推荐化妆品呈现服务(2)的图。
64.图7是示出眼镜颜色读取结果数据的数据配置示例的图。
65.图8是用于描述光亮度确定的图。
66.图9是用于描述推荐化妆品呈现服务(3)的图。
67.图10是示出呈现基本数据的数据配置示例的图。
68.图11是用于描述“基于读取颜色的推荐”的图。
69.图12是用于描述“基于模特的推荐”的图。
70.图13是示出呈现屏幕的显示示例的图。
71.图14是示出根据第一实施例的服务器系统的功能配置示例的功能框图。
72.图15是示出根据第一实施例的服务器存储部中存储的程序和数据的示例的图。
73.图16是示出用户管理数据的数据配置示例的图。
74.图17是示出进度管理数据的数据配置示例的图。
75.图18是示出根据第一实施例的用户终端的功能配置示例的功能框图。
76.图19是用于描述与推荐化妆品呈现服务相关的服务器系统和用户终端中的处理流程的流程图。
77.图20是从图19继续的流程图。
78.图21是示出根据第二实施例的用户终端的功能配置示例的功能框图。
79.图22是用于描述根据第二实施例的关于推荐化妆品呈现服务的服务器系统和用户终端中的处理流程的流程图。
80.图23是从图22继续的流程图。
81.图24是示出眼镜的修改示例的图。
82.图25是示出眼镜注册数据的修改示例的图。
83.图26是示出呈现再现数据的使用示例的流程图。
具体实施方式
84.下面描述本发明的实施例。然而，明显，本发明可适用的模式不限于以下实施例。
85.1.第一实施例
86.图1是示出推荐化妆品呈现控制系统的配置示例的图。
87.推荐化妆品呈现控制系统1000包括服务器系统1100和用户终端1500，它们能够通过网络9进行双向数据通信。推荐化妆品呈现控制系统1000是向使用用户终端1500和眼镜10的用户2呈现下述的计算机系统：(1)用于向用户呈现化妆用化妆品(以下简称为“化妆品”)的推荐化妆品呈现服务、(2)能够在线购买呈现的化妆品的在线购物服务、和(3)社交网络服务(sns)。显然，推荐化妆品呈现控制系统1000可以提供其他附加服务。
88.网络9是能够进行数据通信的通信信道。特别地，网络9包括通信网络(例如使用用于直接连接的专用线路(专用电缆)的局域网(lan)、以太网(注册商标)等)、电信网络、电缆网络、互联网等。通信方法可以是有线通信方法或无线通信方法。
89.服务器系统1100例如包括主体设备1101、键盘1106、触摸面板1108和存储装置1140，并且主体设备1101包括控制板1150。
90.控制板1150包括各种微处理器，例如中央处理单元(cpu)1151、图形处理单元(gpu)和数字信号处理器(dsp)、各种类型的ic存储器1152(例如vram、ram和rom)以及通信设备1153。控制板1150可以全部或部分地由专用集成电路(asic)、现场可编程门阵列(fpga)或片上系统(soc)实现。
91.服务器系统1100通过允许控制板1150基于预定程序和数据执行计算过程来启动提供推荐化妆品呈现服务、在线购物服务和sns的功能。在提供服务时，这些功能包括提供可以在用户终端1500中执行的程序以及执行该程序所需的各种类型的数据。
92.图1仅示出了一个用户终端1500，然而，在实际系统操作中，多个用户终端1500可以同时访问服务器系统1100。
93.图1还示出了仅包括一个服务器设备的服务器系统1100，然而，服务器系统1100可以由多个设备来实现。例如，服务器系统1100可以被配置为使得多个刀片服务器通过内部总线以可数据通信的方式连接在一起以共享功能。此外，构成服务器系统1100的硬件的安装位置不受限制。服务器系统1100可以被配置为使得安装在远处位置的多个独立服务器经由网络9执行数据通信，从而作为一个整体发挥服务器系统1100的作用。
94.图2是示出用户终端1500的配置示例的正视图。
95.用户终端1500是由注册用户使用以根据本实施例使用推荐化妆品呈递控制系统1000的计算机系统，并且是能够通过网络9访问服务器系统1100的电子装置(电子设备)。用户终端1500通常是被称为智能电话的设备。用户终端1500也可以是诸如智能手表的可穿戴
计算机、便携式游戏设备、平板计算机、个人计算机等。如果多个电子设备(诸如智能电话和可通信地连接到智能电话的智能手表)彼此有机连接以执行单个功能，则该多个电子设备可以被视为单个用户终端1500。
96.用户终端1500包括方向键1502、按钮开关1504、用作图像显示设备和触摸位置输入设备的触摸面板1506、内置电池1509、扬声器1510、麦克风1512、相机1520、控制板1550和能够在作为计算机可读存储介质的存储卡1540上写入数据和从该存储卡1540读取数据的存储卡读取器1542。用户终端1500还包括电源按钮、音量控制按钮等(未示出)。此外，用户终端1500可以包括能够在诸如信用卡或预付卡的ic卡上非接触式地写入和从其读取数据的ic卡读取器等，其可以用于支付用于使用推荐化妆品呈现控制系统1000等的费用。
97.相机1520可以由图像传感器模块实现。
98.控制板1550包括(1)各种类型的微处理器(例如，cpu 1551、gpu或dsp)、(2)各种类型的ic存储器1552(例如，vram、ram和rom)、(3)用于与连接到网络9的移动电话基站、无线lan基站等进行无线通信的无线通信模块1553、(4)接口电路1557等。
99.接口电路1557包括(1)电路，例如驱动触摸面板1506的驱动器电路、接收来自方向键1502和按钮开关1504的信号的电路；(2)向扬声器1510输出声音信号的输出放大器电路；(3)生成与麦克风1512收集的声音对应的信号的输入信号生成电路；(4)用于输入由相机1520捕获的图像的图像数据的电路；(5)向存储卡读卡器1542输入信号和从存储卡读卡器1542输出信号的信号输入-输出电路等。
100.安装在控制板1550上的这些元件通过总线电路等相互电连接，以能够交换数据和信号。控制板1550可以部分或全部由asic、fpga或soc实现。控制板1550在ic存储器1552中存储用于实现用户终端的功能的程序和各种类型的数据。
101.在本实施例中，用户终端1500可以被配置为从服务器系统1100下载程序和各种类型的设置数据。替代地，用户终端1500可以被配置为从单独提供的诸如存储卡1540的存储介质读取程序和数据。
102.图3是眼镜10的前视图。虽然镜腿和镜腿末端存在，但它们隐藏在框边后面并且未示出。
103.眼镜10包括透光部11和框架12。
104.透光部11可以是镜片、不能调节视力的透光材料或只是空间。如果透光部11只是空间，则眼镜10是无镜片眼镜(简易眼镜)。
105.框架12是形成透光部11的外周的部分。在一般的具有两片镜片的视力调节眼镜的配置中，与框边、鼻梁架、端件和鼻托对应的部分对应于框架12。如果眼镜10为无框眼镜，则将透光部11的外周视为框架12。
106.框架12在前面具有至少两个标记13(13a、13b、...)。在图3的示例中，框架12的左上端和右上端分别具有第一标记13a和第二标记13b。另外，框架12在鼻梁架的左右侧具有第三标记13c和第四标记13d，并且在鼻托部的左右侧具有第五标记13e和第六标记13f。
107.每个标记13(13a、13b、...)具有通过图像识别而单独被识别的独特图案和预定大小，并且通过绘画或印刷设置在框架12上。标记13根据预定的几何位置关系布置。标记13也可以是贴纸并且通过附接来设置。
108.例如，在一旦识别通过捕获眼镜10的图像获得的图像而确定位置和距离时，每个
标记13用作确定几何位置关系的参考点。每个标记13还用作用于确定眼镜10的取向和姿态的参考点。
109.例如，将第一标记13a至第六标记13f的大小和它们之间的实际距离设置为预定值。因此，眼镜10相对于相机光轴(捕获图像的深度方向)的倾斜度、从相机到眼镜10的距离、眼镜10和图像中对象的大小可以从捕获图像中标记13的大小和标记之间的图像坐标系距离来在几何上确定。另外，眼镜10的倾斜度可以从捕获图像中的标记13的大小、变形以及标记13之间的位置关系来确定。
110.框架12具有多个颜色图案14，其中，预定颜色布置在预定位置。
111.具体地，框架12包括作为材料的黑色赛璐珞，并且沿着框边被划分为多个大致矩形的区域，从而形成多个颜色图案14。但是，划分区域的位置关系和形状是提前确定的。颜色图案14的着色例如可以通过印刷或贴附贴纸来执行。着色也可以通过颜色树脂的一体成型来执行。在图3的示例中，颜色的差异由阴影图案的差异表示。
112.除了图3所示的设计之外，还可以使用多种类型的眼镜10，并且可以通过使用标记13的组合来识别各个类型。这使得用户2能够选择最喜欢的眼镜10的设计。
113.图4是示出眼镜注册数据530的数据配置示例的图。
114.眼镜注册数据530针对每种眼镜10准备并存储与每种类型的眼镜10关联的各种类型的信息，并存储在服务器系统1100中。眼镜注册数据530包括唯一眼镜类型531、标记定义数据532和颜色设置数据533。显然，也可以适当地包括其他种类的数据。
115.标记定义数据532存储定义眼镜10的标记的类型以及与注册数据关联的标记的相对位置关系的数据。具体地，对于每个标记13，起到用于标记的图像识别的所谓字典数据的作用的数据(在图4中显示为标记)和捕获图像在图像坐标系中的位置坐标值在彼此关联的同时被存储。由于标记13是用于位置确定的参考并且还用作用于确定眼镜类型的信息，所以标记定义数据532可以表示为用于位置确定和类型确定的数据。
116.捕获图像的图像坐标系可以适当地设置，例如如下所述。更具体地说，这里假设标记如下被布置成直线：第一标记13a
→
第三标记13c
→
第四标记13d
→
第二标记13b，并且通过这四个标记的直线与捕获图像的图像坐标系的x轴(图4中的xf)平行。此外，相对于图像坐标系的x轴(xf)具有第五标记13e和第六标记13f的边被设置为图像坐标系的y轴(图4中的yf)。然后，z轴被设置为基于这两个轴的右侧坐标系。
117.颜色设置数据533针对每个颜色图案14存储颜色图案名称534、图像坐标系中的相对位置坐标535以及彼此关联地定义颜色图案的颜色的设置值536(rgb值)。设置值536指示的颜色用作颜色校准的标准颜色。
118.推荐化妆品呈现服务如下所述。
119.该服务是通过从用户终端1500捕获(以确定颜色)的用户2的脸部图像自动读取用户2的脸部的每个位置的颜色、执行化妆品的自动搜索并向用户呈现结果来提供的。
120.如图5所示，当用户2在用户终端1500中输入开始预定的推荐化妆品呈现服务的操作时，在用户终端1500中显示框架确认屏幕w5。
121.用户终端1500在显示框架确认屏幕w5的同时，保持向服务器系统1100发送由相机1520捕获的图像数据。服务器系统1100对图像数据执行图像识别过程，并检测脸部部分和标记13。然后，服务器系统1100从检测结果确定图像捕获框架的合适性。具体地，当所有的
标记13和预定的脸部部分(例如，头发、双眉、双眼、鼻子、嘴巴、双耳)都被识别时，确定图像捕获框架是合适的。
122.如果标记或脸部部分的识别失败，则服务器系统1100请求用户调整用户终端1500和用户2之间的距离，或者在用户终端1500中显示用于调整缩放的调整引导。如果服务器系统1100确定图像捕获框架合适时，用户终端1500显示预定完成通知，并执行与第一图像数据的获取相关的过程(图5中的第一图像捕获步骤)。
123.如图6所示，与第一图像数据的获取相关的过程包括与颜色校准所需的佩戴眼镜10的用户2的图像的获取和存储相关的各种过程。
124.具体地，第一图像捕获屏幕w6a和w6b被显示在用户终端1500中。在第一图像捕获屏幕w6a和w6b中，用户2被要求佩戴眼镜10并向用户终端1500左右摆动头部，并且还被要求在戴上眼镜10的情况下上下摆动头部。然后，在预定倒数后拍摄这些动作的视频。这样拍摄的“戴眼镜视频”被用作颜色校准的材料。
125.在拍摄了“戴眼镜视频”之后，服务器系统1100执行第一光亮度校正过程(步骤s40)。在该过程中，服务器系统1100从“戴眼镜视频”中捕获“戴眼镜的正脸图像”(步骤s42)，并从捕获的脸部图像中读取每个颜色图案14的颜色(步骤s44)。通过从图像中所示的标记13确定眼镜类型531并确定由对应类型的颜色设置数据533的相对位置坐标535指示的像素的颜色来执行每个颜色图案14的读取。
126.读取结果存储在服务器系统1100中作为眼镜颜色读取结果数据720，例如，如图7所示。眼镜颜色读取结果数据720针对每个颜色图案名称721存储读取值722(其是读取颜色的信息)以及读取完成标志723，同时将它们相互关联。
127.当适当地执行读取以用作颜色校准的标准颜色时，读取完成标志723被设置为“1”。关于其是否“适合作为颜色校准的标准颜色”的确定根据颜色图案14中是否出现光亮度4来执行。
128.本文中的“光亮度”是指在对象表面局部产生的亮度较高的区域，或者由于光在对象表面上的折射、反射和扩散而在捕获的图像中产生的不均匀亮度，它们是在光照射对象表面时引起的。其示例包括称为高光和反射的现象。当出现光亮度4时，无法正确读取对象的原始颜色。在用户在家中使用智能电话相机自拍的拍摄环境中，环境光在很多情况下存在偏差，并且容易出现光亮度4。另一方面，当拍摄角度变化时，光亮度4的存在或不存在、光亮度4的位置、光亮度4的程度也会发生变化。
129.具体地，如图8所示，当服务器系统1100读取颜色图案14的所有颜色时，每个颜色图案14的设置值536(见图4)和读取值722(见图7)之间的每个rgb分量的亮度差δr、δg和δb被确定并被绘制在三轴坐标系中，其中，它们中的每一个用作轴分量(图表中的白色圆圈表示绘图)。
130.具有光亮度4的颜色图案14的亮度差高于没有光亮度的其他颜色图案14(适当的颜色读取组7)的亮度差；也就是说，在它们之间观察到显著的亮度差。因此，可以识别由于产生光亮度4而不能正确执行颜色读取的颜色图案14。还可以对于亮度差设置适当的颜色读取合适范围6并确定亮度差δr、δg、δb在该范围之外的颜色图案图14作为具有光亮度4的颜色图案。
131.返回参考图6，如果从“戴眼镜的正脸图像”的颜色读取完成，则服务器系统1100确
定是否需要从不同角度的视频中捕获另一脸部图像(步骤s46)。根据是否从例如“戴眼镜的正脸图像”中读取预定数量的颜色图案14或者是否已经读取所有颜色图案14来进行确定。
132.如果确定是肯定的(步骤s46中的“是”)，则服务器系统1100从不同角度从“戴眼镜视频”捕获静态图像(非正脸图像)(步骤s48)，并读取未正确识别的颜色图案14的颜色(步骤s44)。
133.如果不需要从不同角度从视频中捕获脸部图像(步骤s46中的“否”)，即，如果颜色图案14已被充分读取以用作颜色校准的标准颜色，则服务器系统1100完成第一光亮度校正过程，并确定使颜色图案14的读取值722与每个设置值536匹配的颜色校准的颜色校正值或对它们接近地近似以用作颜色校正设置。在图6的示例中，颜色校正设置是一组rgb值；然而，颜色校正设置不限于将一组值用于整个图像的设置。例如，可以针对脸部的每个部分或在脸部中设置的每个区域(例如，考虑到正脸的左、中、右等)设置颜色校正值。
134.此外，在确定颜色校正设置之后，服务器系统1100执行关于第二图像数据的获取的过程(图6中的第二图像捕获步骤)。
135.图9是用于描述关于第二图像数据的获取的过程的图。
136.该过程涉及获取和存储不戴眼镜10的用户2的图像。具体而言，在用户终端1500中显示第二图像捕获屏幕w9a和w9b。在第二图像捕获屏幕w9a和w9b中，不戴眼镜10的用户2被要求向用户终端1500左右摆动头部，并且在不戴眼镜10的情况下还被要求上下摆动头部。然后，在预定倒数后拍摄这些动作的视频。如此拍摄的“不戴眼镜视频”用作读取用户2的脸部的每个位置的颜色(确定颜色)的材料。
137.在已经拍摄“不戴眼镜视频”之后，服务器系统1100执行第二光亮度校正过程(步骤s70)。在此过程中，服务器系统1100从“不戴眼镜视频”中捕获“不戴眼镜的正脸图像”(步骤s71)。然后，服务器系统1100计算用户2的脸部特征量(步骤s73)并且读取脸部的每个预定部分的颜色(步骤s75)。
138.颜色读取位置是从脸部特征点预先确定的相对位置或该相对位置周围的预定范围。在颜色读取时，应用预先设置的颜色校正设置。具体地，在将颜色校正设置应用于要读取的图像之后读取颜色，或者将颜色校正设置应用于读取的颜色。
139.例如，如图10所示，将从未戴眼镜的用户的脸部图像(第二图像数据)读取的信息存储为呈现基本数据740。呈现基本数据740包括唯一的基本数据id 741、用户账户743、脸部特征量750和脸部颜色信息760。明显，也可以适当地包括其他种类的数据。
140.脸部特征量750是用于对用户2的“脸部构造”和“脸部特征”进行分类并确定相似性的信息。例如，作为以预定顺序的脸部部分的特征点列表的特征点坐标列表751、特征点间向量列表752、特征点三角形特征列表753、3d脸部模特754等可以被用作脸部特征量750。从该数据可以根据需要获得用户2的脸部和脸部部分的大小和形状以及脸部部分在整个脸部的位置关系和相对比例等。根据用于分类和确定脸部相似性的算法，可以选择任何信息作为脸部特征量750。
141.脸部颜色信息760存储从用户2的捕获的脸部图像读取的脸部的颜色信息。例如，脸部颜色信息760包括读取位置id 762、从该位置读取的读取颜色763(所确定颜色)以及读取完成标志764。
142.读取完成标志764的初始值为0(意味着读取未完成)。当在该位置不出现光亮度的
状态下执行颜色读取(颜色确定)时，该值被设置为1(意味着读取完成)。可以将脸部每个位置的颜色读数的光亮度识别为由局部亮度上升包围的区域。
143.例如，使用颜色被读取的位置和预定的邻近区域中的皮肤亮度来创建拉普拉斯直方图。然后，如果该位置包括在亮度上升区域中，则确定在该位置产生光亮度并且不能正确地读取颜色。在这种情况下，读取完成标志764保持当前值“0”。如果没有产生光亮度，则将读取的颜色视为正确的颜色，从而将读取完成标志764设置为“1”。明显，也可以应用其他思路来检测光亮度。
144.返回参考图9，服务器系统1100确定是否需要从不同角度从不戴眼镜的视频中捕获另一脸部图像(步骤s77)。例如，根据是否在应当从“不戴眼镜的正脸图像”中读取的所有脸部部分中没有产生光亮度的情况下完成颜色读取来进行该确定。
145.如果确定是肯定的(步骤s77中的“是”)，则服务器系统1100从不同角度从“不戴眼镜视频”捕获静态图像(步骤s79)，并使用新捕获的脸部图像读取没有被正确地识别的脸部的位置的颜色(步骤s75)。
146.如果不需要从不同角度从视频中捕获脸部图像，则服务器系统1100完成第二光亮度校正过程并进入与用户选择化妆示例相关的过程(图9中的化妆示例选择步骤)。
147.在选择化妆品时，用户浏览多个类别(例如，粉底、遮瑕膏、腮红、口红等)；但是，类别的选择取决于用户。此外，在日常化妆中，认为粉底与用户的皮肤颜色匹配是可取的；但是，当用户化妆以产生戏剧性冲击时，情况就不同了。在这种情况下，用户可以有意地选择与皮肤颜色不同的颜色。另外，即使在粉底的颜色相同的情况下，要选择的例如口红、腮红、眼影的颜色也可以根据期望的妆容而不同。此外，一些用户希望通过模仿她们最喜欢的化妆品制造商、最喜欢的模特或艺人的妆容来化妆。
148.因此，推荐化妆品呈现服务使用两种推荐方法：旨在将物品与脸部部分的颜色匹配的“基于读取颜色的推荐”、以及基于用户选择的脸部模特的化妆示例的“基于模特的推荐”。与用户期望的化妆示例的选择相关的过程是用于后者的过程。
149.图11是用于描述“基于读取颜色的推荐”的图。
150.服务器系统1100不要求用户2做出诸如偏好的选择以确定“基于读取颜色的推荐”。服务器系统1100为每个化妆品类别选择第一至第三推荐。服务器系统1100针对该类别的化妆品被应用于的脸部的每个位置的颜色，从化妆品数据库510中选择具有与第一推荐相似的颜色的化妆品。服务器系统1100从化妆品数据库510中选择具有比该相似颜色更亮的更亮相似颜色的化妆品作为第二推荐。服务器系统1100从化妆品数据库510中选择具有比该相似颜色更暗的更暗相似颜色的化妆品作为第三推荐。然后，这些第一至第三推荐被呈现为“基于读取颜色的推荐”的化妆品。
151.这里所说的“相似颜色”并不一定限于最相似的颜色，而是可以包括在一定允许范围内的相似颜色。因此，它们可以是预定近似范围内的颜色。另外，在给定亮度差的情况下，逐步设置“更亮的相似颜色”和“更暗的相似颜色”，或者在基于亮度差通过搜索和排序找到这些化妆品后，按照相似性顺序选择预定数量的相似颜色的化妆品。
152.基于与先前与类别关联的目标脸部部分对应的读取颜色763，确定相似颜色、更亮的相似颜色和更暗的相似颜色。当目标脸部部分覆盖多个颜色读取位置时，确定并使用对应脸部部分的读取颜色763的统计值(例如，平均值、最大频率值等)。也可以单独准备确定
算法并遵循该算法。目标脸部部分可以通过特征点三角形来定义，并且相似颜色、更亮的相似颜色和更暗的相似颜色可以通过参考特征点三角形亮度统计值列表765来确定。
153.化妆品数据库510由服务器系统1100管理。化妆品数据库510具有每种类型的化妆品的化妆品注册数据511。化妆品注册数据511的单个条目存储各种类型的信息，例如产品编号、类别、制造商、产品名称和颜色信息。
154.在确定“基于读取颜色的推荐”时，提取各种制造商的目标类别的化妆品，并通过基于颜色信息、相似颜色、更亮的相似颜色和更暗的相似颜色的相似性搜索，选择化妆品作为第一推荐、第二推荐和第三推荐。
155.选择结果作为基于读取颜色的推荐化妆品列表771存储在服务器系统1100中。具体而言，基于读取颜色的推荐化妆品列表771存储参考位置id773和每个类别772的第一到第三推荐单独列表(774、775、.....)，同时将它们相互关联。参考位置id 773指示在参考读取颜色时应当参考的脸部的位置，以及指示在选择目标类别的化妆品时应当使用哪个注册化妆品来确定与读取颜色的相似性。参考位置id 773是预先设置的。
156.图12是用于描述“基于模特的推荐”的图。
157.服务器系统1100存储和管理具有多种类型的脸部模特注册数据541的模特数据库540。脸部模特注册数据541是实际化妆的人(脸部模特)的注册数据，并且针对每个脸部模特创建。
158.脸部模特注册数据541的单个条目包括唯一脸部模特id 542、脸部特征量543、脸部颜色信息544、作为没有化妆和眼镜的裸脸图像的裸脸图像数据545以及化妆示例注册数据550单个或多个条目。显然，其他种类的数据也可以适当地包括在脸部模特注册数据541中。
159.脸部特征量543和脸部颜色信息544是获取化妆前和不戴眼镜的脸部模特的脸部图像(第一图像数据)和脸部的每个位置的颜色的读取(颜色确定)的结果。该数据可以被视为“化妆前模特数据”。
160.更具体地，脸部特征量543和脸部颜色信息544具有与用户2所需的呈现基本数据740(见图10)的脸部特征量750和脸部颜色信息760相似的数据结构，并且在相似性搜索期间被参考。
161.化妆示例注册数据550针对应用于脸部模特的每个类型的化妆而准备，并存储关于化妆的各种信息。化妆示例注册数据550的单个条目包括唯一的化妆示例id 551、化妆主题标签552、化妆图像数据553、使用化妆品列表554和工具列表555。化妆主题标签552是其中注册了主题词和化妆分类的标签数据。化妆图像数据553是化了妆的脸部图像的数据。使用化妆品列表554是用于化妆的化妆品的识别信息(例如，产品编号、名称等)的数据。工具列表555是用于化妆的化妆工具和物品(例如，特殊化妆刷、假睫毛等)的识别信息的数据。显然，其他种类的数据也可以适当地包括在化妆示例注册数据550中。
162.在选择与“基于模特的推荐”相关的推荐化妆品时，服务器系统1100搜索在脸部结构和脸部部分颜色上与用户2相似的脸部模特。
163.具体而言，服务器系统1100针对每个脸部模特，通过将脸部特征量543和脸部颜色信息544与用户2的呈现基本数据740的脸部特征量750和脸部颜色信息760进行比较，从而执行相似性检索。可以适当地设置搜索中命中的脸部模特的数量。
164.然后，服务器系统1100允许用户2从应用于用户终端1500中的脸部模特的化妆示例中选择最喜欢的化妆。
165.具体地，服务器系统1100在用户终端1500中显示偏好选择屏幕w12，并在该屏幕中显示一个或多个选择操作图标20。每个选择操作图标20一一对应地与通过相似性搜索找到的脸部模特的每个化妆示例注册数据550关联，并且化妆图像数据553用于图标图像。选择操作图标20还可以用作用于在用户终端1500中以大尺寸显示对应化妆图像数据553的放大显示操作图标。
166.例如，如图13所示，当服务器系统1100从用户终端1500获得用户2对选择操作图标20的操作信息时，在用户终端1500中显示呈现屏幕w13。
167.在呈现屏幕w13中，提供了单独与“基于读取颜色的推荐”和“基于模特的推荐”关联的选项卡22(22a、22b)。用户2触摸选项卡22进行选择操作，从而改变推荐化妆品标准。然后，与当时选择的选项卡22对应的标准推荐的结果被显示在推荐显示部24中，同时以每种化妆品类型的化妆品图标26(26a、26b、...)的形式被分类到化妆品类别中。化妆品图标26还用作对应化妆品的详细信息和用作开始购买过程的操作图标。
168.具体地，当选择了“基于读取颜色的推荐”的选项卡22a时，服务器系统1100在推荐显示部24中呈现例如基于读取颜色的推荐化妆品列表771(见图11)的第一推荐列表774等中的化妆品。
169.当选择了用于“基于模特的推荐”的选项卡22b时，服务器系统1100在推荐显示部24中呈现用户2在偏好选择屏幕w12(见图12)中选择的最喜欢的脸部模特的化妆示例的使用化妆品列表554中的化妆品。也可以呈现化妆示例的工具列表555中的工具。
170.随后，以下描述用于启用这种推荐化妆品呈现服务的功能配置。
171.图14是示出服务器系统1100的功能配置示例的功能框图。服务器系统1100包括操作输入部100s、服务器处理部200s、声音输出部390s、图像显示部392s、通信部394s以及服务器存储部500s。
172.操作输入部100s是用于输入用于服务器管理的各种操作的装置。操作输入部100s对应于图1中的键盘1106。
173.服务器处理部200s例如通过作为诸如cpu、gpu、asic、fpga的计算电路的处理器和诸如ic存储器的电子部件来实现。服务器处理部200s控制包括操作输入部100s和服务器存储部500s的功能部之间的数据输入和输出。服务器处理部200s基于预定程序和数据、来自操作输入部100s的操作输入信号、从用户终端1500接收的数据等执行各种计算过程，以整体控制服务器系统1100的操作。
174.服务器处理部200s包括用户管理部202、执行关于sns的控制的sns管理部204、在线购物管理部206、推荐化妆品呈现控制部210、定时器部280s、声音生成部290s、图像生成部292s和通信控制部294s。明显，其他功能部也可以适当地包括在内。
175.用户管理部202执行与用户注册过程和与用户账户关联的各种类型信息的存储管理有关的过程。具体而言，用户管理部202(1)向注册用户分发唯一的用户账户、(2)通过注册和管理每个用户账户的个人信息来管理注册信息、(3)管理与sns的使用(例如，好友注册)相关的信息、(4)管理在线购物中物品等的购买历史、(5)管理在线购物中使用的电子支付信息等。明显，与帐户关联的数据的其他管理功能也可以酌情包括在内。
176.在此，“电子支付用信息”是指用于使用电子支付系统对通过推荐化妆品呈现控制系统1000提供的服务的费用进行支付的信息。在使用信用卡、预付卡或会员卡的电子支付系统中，电子支付信息的示例包括卡号、密码等。此外，如果使用通过消费用户预先购买并注册的虚拟货币、虚拟物品和积分来进行支付的配置，则电子支付信息对应于虚拟货币、虚拟物品和积分的余额。
177.在线购物管理部206执行诸如化妆品和化妆工具的各种物品的在线购物的控制。
178.推荐化妆品呈现控制部210执行与推荐化妆品呈现服务相关的各种控制。具体而言，推荐化妆品呈现控制部210包括图像获取控制部212、脸部相关颜色确定部214和呈现控制部230。
179.图像获取控制部212控制对通过捕获佩戴眼镜10的用户2的图像而获得的第一图像数据和通过捕获不佩戴眼镜10的用户的图像而获得的第二图像数据的获取。该控制对应于从用户终端1500获取戴眼镜视频(见图6)和不戴眼镜视频(见图9)的数据。
180.脸部相关颜色确定部214使用根据标记13和颜色图案14的颜色，基于第一图像数据和第二图像数据来控制对用户的脸部的每个位置的颜色的确定。该控制对应于以读取脸部的每个位置的颜色(见图9中的步骤s75)。
181.脸部相关颜色确定部214包括脸部识别控制部216、第一光亮度校正处理部220和第二光亮度校正处理部222。
182.脸部识别控制部216控制图像中脸部部分的识别。脸部识别控制部216还包括脸部特征量确定部218，并且基于捕获图像中眼镜10的标记13的位置确定与用户2的脸部或脸部部位的大小、形状和位置有关的脸部特征量。
183.第一光亮度校正处理部220基于第一图像数据中包含的具有不同脸部取向的用户的图像，对眼镜10的框架12的捕获图像部分执行第一光亮度校正过程(见图6)。脸部相关颜色确定部214使用在第一光亮度校正过程之后的框架的捕获图像部分的颜色与框架12的颜色之间的色差来确定用户的脸部的每个位置的颜色。
184.第二光亮度校正处理部222基于第二图像数据中包括的具有不同脸部取向的用户的图像，对用户的脸部的捕获图像部分中的每一个执行第二光亮度校正过程(见图9)。
185.呈现控制部230基于脸部相关颜色确定部214的确定结果，对于每个类别控制从预定化妆品数据库510(见图11)中选择的推荐给用户的化妆品的选择和呈现。因为脸部相关颜色确定部214确定头发的颜色作为脸部的位置的颜色之一，呈现控制部230也可以被认为是基于由脸部相关颜色确定部214确定的头发颜色来控制化妆品的选择和呈现。
186.此外，呈现控制部230执行控制，用于从存储与每个模特关联的应用于模特的化妆品的信息的模特数据库540(见图12)中选择满足脸部相关颜色确定部214的确定结果的预定匹配条件的模特，并呈现与该模特关联的化妆品。“满足匹配条件的模特”的选择对应于图12中为搜索具有与用户相似的脸部特征量和脸部颜色信息的模特而执行的相似性搜索。
187.定时器部280s使用系统时钟来测量当前日期和时间、限制时间段等。
188.声音生成部290s通过执行用于生成声音数据和解码的ic或软件来实现，并且在服务器系统1100的系统管理时或在提供服务时生成或解码操作声音、音效、bgm等的声音数据。然后，与系统管理相关的声音信号被输出到声音输出部390s。
189.声音输出部390s发出声音信号。在图1的示例中，声音输出部390s对应于主体设备
或触摸面板1108中包括的扬声器(未示出)。
190.图像生成部292s生成和合成图像，并输出图像信号以在图像显示部392s中显示它们。在本实施例中，这部分地负责在用户终端1500中生成与服务器系统1100的系统管理相关的图像或与诸如推荐化妆品呈现服务的各种服务(或用于显示它们的数据)相关的屏幕。
191.图像显示部392s由诸如平板显示器、头戴式显示器、投影仪的用于显示图像的设备实现。图像显示部392s对应于图1示例中的触摸面板1108。
192.通信控制部294s执行与数据通信有关的数据处理，并通过通信部394s与外部设备执行数据交换。
193.通信部394s连接到网络9以能够进行通信。例如，通信部394s可以由收发器、调制解调器、终端适配器(ta)、有线通信电缆的插孔、控制电路等来实现。通信部394s对应于图1示例中的通信设备1153。
194.服务器存储部500s存储用于实现使服务器处理部200s整体控制服务器系统1100的各种功能的程序和各种类型的数据。服务器存储部500s还用作服务器处理部200s的工作区，并且临时存储服务器处理部200s根据各种程序执行的计算的结果。例如，该功能例如通过诸如ram或rom的ic存储器、诸如硬盘的磁盘、诸如cd-rom或dvd的光盘、在线存储装置等来实现。服务器存储部500s对应于诸如图1的示例中的主体设备和存储装置1140中包括的ic存储器1152和硬盘的存储介质。
195.图15是示出本实施例的服务器存储部500s中存储的程序和数据的示例的图。本实施例中的服务器存储部500s存储服务器程序501、分发客户端程序503、sns管理数据506、在线购物管理数据509、化妆品数据库510(见图11)、颜色读取位置定义数据520、眼镜注册数据530(见图4)和模特数据库540(见图12)。
196.服务器存储部500s还存储用户管理数据600、进度管理数据700和当前日期/时间800作为顺序生成和管理的数据。服务器存储部500s还适当地存储其他程序和数据(例如，定时器、计数器、各种标志等)。
197.服务器程序501是通过服务器处理部200s读取并执行来执行用户管理部202、sns管理部204、在线购物管理部206和推荐化妆品呈现控制部210的功能的程序。
198.分发客户端程序503是提供给用户终端1500的客户端程序的源。
199.颜色读取位置定义数据520是指定要进行颜色读取(颜色确定)的用户2的脸部图像的位置的数据，并且针对每个读取位置提供。颜色读取位置定义数据520的单个条目存储唯一的读取位置id和位置定义数据，同时将它们彼此关联。位置定义数据被定义在基于一个或多个脸部特征点的相对位置坐标范围或相对位置坐标内。当由范围定义时，指定如何从与范围对应的颜色信息中确定表示范围的颜色(例如，通过取平均值、通过取最频繁值等)的数据也被适当地存储在颜色读取位置定义数据520中。
200.用户管理数据600是对于已通过预定注册过程的每个用户提供的，并且存储与用户相关的各种类型的数据。例如，如图16所示，用户管理数据600的单个条目包括唯一用户账户601、sns好友列表603、电子支付工具信息605、在线购物购买历史数据607和呈现再现数据610。明显，其他类型的数据也可以适当地包括在内。
201.呈现再现数据610存储用于再现过去提供的推荐化妆品呈现服务的结果的各种类型的数据。呈现再现数据610针对每次推荐化妆品呈现服务被添加。
202.具体地，呈现再现数据610包括呈现日期/时间611、颜色校正设置数据612、不带眼镜正脸图像数据613、呈现基本数据614、基于读取颜色的推荐化妆品列表615、用户选择的化妆示例id 616以及基于模特的推荐化妆品列表617。颜色校正设置数据612至基于模特的推荐化妆品列表617的数据是包括在进度管理数据700中的具有相同名称的数据的副本。
203.返回参考图15，进度管理数据700存储与推荐化妆品呈现服务的进度管理相关的各种类型的数据。具体地，例如，如图17所示，进度管理数据700包括唯一的服务id 701、指示作为呈现目的地的用户2的用户账户703、存储与脸部识别控制相关的各种类型数据的脸部识别控制数据705、带眼镜视频数据710、带眼镜正脸图像数据712、带眼镜非正脸图像数据714、眼镜颜色读取结果数据720(见图7)、颜色校正设置数据728(见图6、图8)、不戴眼镜视频数据730、不戴眼镜正脸图像数据732、不戴眼镜非正脸图像数据734、呈现基本数据740(见图10)和推荐化妆品选择控制数据770。明显，其他种类的数据也可以适当地包括在内。
204.推荐化妆品选择控制数据770存储与要呈现的推荐化妆品的选择过程相关的各种类型的数据。具体地，推荐化妆品选择控制数据770包括基于读取颜色的推荐化妆品列表771(通过基于读取的脸部颜色信息760的相似性搜索而找到的化妆品数据库510中的化妆品的列表)、相似脸部模特id776、用户选择的化妆示例id 777(在偏好选择屏幕w12上选择的化妆示例的id)以及基于模特的推荐化妆品列表778。
205.图18是示出用户终端1500的功能配置示例的功能框图。用户终端1500包括操作输入部100、图像捕获部120、终端处理部200、声音输出部390、图像显示部392、通信部394和终端存储部500。
206.操作输入部100根据用户的各种操作输入，向终端处理部200输出操作输入信号。操作输入部100对应于图2中的方向键1502、按钮开关1504和触摸面板1506。
207.图像捕获部120捕获外部视图的图像，生成图像数据，并将图像数据输出到终端处理部200。图像捕获部120对应于相机1520，即图2中的图像传感器模块。
208.终端处理部200控制包括操作输入部100和终端存储部500的功能部之间的数据输入/输出。终端处理部200例如由诸如cpu或gpu的微处理器以及包括ic存储器的电子部件实现。终端处理部200基于预定程序或数据、来自操作输入部100的操作输入信号以及从服务器系统1100接收的各种类型的数据执行各种计算过程，以控制用户终端1500的操作。终端处理部200对应于图2中的控制板1550。
209.根据本实施例的终端处理部200包括用户终端计算部260、定时器部280、声音生成部290和通信控制部294。
210.用户终端计算部260控制用户终端1500，以执行其作为与服务器系统1100通信的客户端装置的功能。具体而言，用户终端计算部260包括操作信号传输控制部261和显示控制部262。
211.操作信号传输控制部261根据对操作输入部100执行的操作，执行向服务器系统1100传输各种类型的数据和请求的过程。
212.显示控制部262基于从服务器系统1100接收的各种类型的数据等，执行控制以显示与服务有关的各种屏幕等。然后，显示控制部262输出图像信号的生成输出，以将这些图像显示到图像显示部392。
213.图像显示部392基于从显示控制部262输入的图像信号，显示各种图像。例如，图像
显示部392可以由诸如平板显示器、投影仪、头戴式显示器的图像显示设备来实现。在本实施例中，图像显示部392对应于图2所示的触摸面板1506。
214.尽管与提供给用户的各种服务有关的屏幕图像是在服务器系统1100中生成的，但也可以在用户终端1500中生成它们。在这种情况下，显示控制部262执行用于生成屏幕的各种控制，例如控制用于生成3dcg的虚拟三维空间中布置的对象、图像合成过程等。
215.定时器部280使用系统时钟来测量当前日期和时间、限制时间段等。
216.声音生成部290例如通过诸如数字信号处理器(dsp)或声音合成ic的处理器或用于播放声音文件的音频编解码器等实现，并生成用于音乐、声效或各种类型的操作声音的声音信号，并将生成的信号输出到声音输出部390。
217.声音输出部390由基于从声音生成部290输入的声音信号输出(发出)声音的设备实现。声音输出部390对应于图2中的扬声器1510。
218.通信控制部294执行与数据通信有关的数据处理，并通过通信部394与外部设备执行数据交换。
219.通信部394连接到网络9以实现通信。例如，通信部394可以由收发器、调制解调器、终端适配器(ta)、有线通信电缆的插孔、控制电路等来实现。通信部394对应于图2所示的无线通信模块1553。
220.终端存储部500存储用于使终端处理部200实现给定功能的程序以及各种类型的数据等。终端存储部500还用作终端处理部200的工作区，并临时存储终端处理部200根据各种程序执行的计算结果、从操作输入部100输入的输入数据等。这些功能例如诸如ram或rom的ic存储器、诸如硬盘的磁盘、诸如cd-rom或dvd的光盘、在线存储装置等来实现。终端存储部500对应于图2中的控制板1550中包括的ic存储器1552、存储卡1540等。终端存储部500可以通过在线存储装置来实现。
221.具体而言，终端存储部500存储用于使终端处理部200作为用户终端计算部260发挥功能的客户端程序502、操作输入数据690、当前日期时间800。显然，也可以适当地存储其他种类的数据。
222.图19和图20是用于描述服务器系统1100和用户终端1500中关于推荐化妆品呈现服务的处理流程的流程图。通过在执行客户端程序502的用户终端1500和执行服务器程序501的服务器系统1100之间建立通信连接来执行这里描述的每个处理流程。当用户2操作用户终端1500时，操作输入被发送到服务器系统1100。
223.如图19所示，用户终端1500和服务器系统1100执行登录过程(步骤s2和s4)。
224.在登录过程之后，响应于检测到预定的“推荐化妆品呈现服务开始操作”的输入，用户终端1500向服务器系统1100发送服务请求(步骤s6)。
225.响应于请求的接收，服务器系统1100开始推荐化妆品呈现服务的进程管理过程(步骤s8)。通过该过程，创建了进度管理数据700(见图17)。然后，服务器系统1100向用户终端1500发送图像捕获开始请求(步骤s10)。
226.响应于图像捕获开始请求的接收，用户终端1500执行框架确认步骤(步骤s20)。结果，在用户终端1500中显示框架确认屏幕w5，并且由相机1520捕获的图像数据被发送到服务器系统1100(见图5)。
227.服务器系统1100从用户终端1500捕获的图像中检测眼镜10的标记13和脸部部分，
并检查图像捕获框架的合适性(步骤s22)。如果需要，在服务器系统1100和用户终端1500之间执行引导显示控制和显示，以优化图像捕获框架(步骤s24和s26)。然后，当确定图像捕获框架合适时，服务器系统1100通知用户终端1500合适性检查的完成(步骤s28)。
228.完成通知还用作向前移动的指示，并且用户终端1500开始第一图像捕获步骤，即，佩戴眼镜视频的图像捕获过程(步骤s30)。在用户终端1500中，显示第一图像捕获屏幕w6a和w6b(见图6)，并且捕获的“佩戴眼镜视频”数据被发送到服务器系统1100。
229.服务器系统1100保存佩戴眼镜视频数据710(见图17)(步骤s32)，并执行第一光亮度校正过程(步骤s40；见图6)。在此过程期间，读取眼镜10的每个颜色图案14的颜色，服务器系统1100确定用于颜色校准的颜色校正值(步骤s60)，并向用户终端1500发送预定指示以向前移动(步骤s62)。
230.响应于接收到向前移动的指示，用户终端1500开始第二图像捕获步骤，即，不戴眼镜视频的图像捕获过程(步骤s64)。在用户终端1500中，显示第二图像捕获屏幕w9a和w9b(见图9)，并且捕获的“不戴眼镜视频”数据被发送到服务器系统1100。
231.转到图20，服务器系统1100保存不戴眼镜视频数据730(见图17)(步骤s66)，并执行第二光亮度校正过程(步骤s70；见图9)。然后，服务器系统1100将在第二光亮度校正过程中获得的诸如用户2的脸部特征量750和脸部颜色信息760的信息保存为呈现基本数据740(步骤s90；见图10)。
232.接着，服务器系统1100执行与推荐化妆品的选择相关的过程(步骤s92到s102)。
233.具体地，服务器系统1100以基于读取颜色的推荐为基础选择化妆品(步骤s92；见图11)，并将结果保存为基于读取颜色的推荐化妆品列表771。
234.服务器系统1100然后选择与用户2的脸部相似的脸部模特并将选择结果保存为相似脸部模特id 776(步骤s94)。
235.然后，服务器系统1100向用户终端1500提供向前移动的指示和脸部模特的化妆图像数据553(见图12)(步骤s96)。
236.响应于接收到向前移动的指示，用户终端1500执行化妆示例选择步骤，显示偏好选择屏幕w12，并将用户2的选择结果发送到服务器系统1100(步骤s100)。
237.服务器系统1100针对与接收到的用户的选择结果对应的化妆示例，借助使用化妆品列表554(见图12)确定基于模特的推荐的推荐化妆品，并将其保存为基于模特的推荐化妆品列表778(步骤s102；见图17)。
238.然后，服务器系统1100向用户终端1500发送向前移动的预定指示和推荐化妆品的图像(步骤s104)，并向用户2的用户管理数据600添加新的呈现再现数据610(步骤s106)。
239.同时，在步骤s104中接收到向前移动的指示等的用户终端1500显示呈现屏幕w13(见图13)，并向用户2呈现推荐化妆品(步骤s110)。呈现屏幕w13的化妆品缩略图26c还用作对应的化妆品的详细信息和用于开始购买过程的操作图标。因此，响应于检测到化妆品缩略图26c上的触摸操作，用户终端1500提供与缩略图对应的化妆品的信息，并向服务器系统1100发送购买过程的请求(步骤s112)。
240.响应于接收到购买过程的请求，服务器系统1100通过在线购物服务执行购买请求的化妆品的过程(步骤s114)。
241.如上所述，根据本实施例，由于使用眼镜10，用于颜色校准的标准颜色和要进行颜
色读取的对象的图像在非常近距离的同一图像中被捕获。因此，例如，即使在用户在家中使用智能电话相机自拍的拍摄环境中，也可以轻松准确地获得用户脸部的颜色信息。
242.由于该过程分两步执行：(1)使用第一图像数据(佩戴眼镜的视频和从该视频捕获的图像)执行颜色校准，以及(2)使用第二图像数据(眼镜视频和从该视频中捕获的图像)读取(确定)脸部颜色。因此，也可以读取隐藏在眼镜后面的不可见部分的颜色，从而读取颜色而不受眼镜阴影的影响。
243.在技术上，在实际操作情况下，第一图像数据中的环境光状态与第二图像数据中的环境光状态在某些情况下可能并不相同。然而，由于在前者和后者之间的过程中，用户仅稍微移动以摘掉眼镜，因此可以从第一图像数据的获取连续地获得第二图像数据。因此，环境光的状态在两个数据中基本相同。
244.从用户的角度来看，可以在家中使用互联网和智能电话接收适合她们的推荐化妆品，并且可以也在家中购买推荐化妆品。因此，可以实现比现有方法更方便的用于呈现推荐化妆品的系统。
245.2.第二实施例
246.下面描述第二实施例。第一实施例与第二实施例的不同点在于：在第一实施例中，推荐化妆品呈现控制部210的功能由服务器系统1100实现；而在第二实施例中，该功能由用户终端1500实现。以下主要描述与第一实施例的不同之处，并且对与第一实施例中相同的构成要素标注相同的附图标记，并省略重复说明。
247.图21是示出本实施例的用户终端1500b的功能配置示例的功能框图。本实施例的用户终端1500b包括在第一实施例的用户终端计算部260中的推荐化妆品呈现控制部210。
248.相应地，虽然未在图中示出，但是推荐化妆品呈现控制部210不包括在本实施例的服务器系统1100的功能配置中。另外，本实施例的客户端程序502b包含使终端处理部200能够实现推荐化妆品呈现控制部210的功能的要素。另外，进度管理数据700存储在终端存储部500中。
249.图22和23是对应于第一实施例的图19和20的流程图。
250.如这些图所示，与推荐化妆品呈现控制部210的有关的步骤主要在用户终端1500b中执行。然而，在本实施例中，数据库和各种类型的定义数据也由服务器系统1100/在其中存储和管理，并且用户终端1500b根据需要向服务器系统1100发送参考请求以参考它们。服务器系统1100在每次请求时执行参考过程(例如，步骤s36和s88)。
251.在参考过程中，服务器系统1100将参考请求所请求的信息发送并提供给用户终端1500b。具体而言，对应于本实施例的步骤s34，服务器系统1100将眼镜注册数据530发送给用户终端1500b作为参考过程(步骤s36)。此外，对应于本实施例的步骤s70，服务器系统1100将颜色读取位置定义数据520发送到用户终端1500b(步骤s88)。
252.为了选择基于读取颜色的推荐化妆品，用户终端1500b将呈现基本数据740与选择请求一起发送到服务器系统(步骤s91)。结果，服务器系统1100选择基于读取颜色的推荐的化妆品(步骤s92)，并将选择结果提供给用户终端1500b(步骤s93)。
253.转到图23，当用户终端1500从服务器系统1100接收推荐化妆品的图像时，用户终端1500将呈现再现数据610(见图16)的副本的基础数据发送到服务器系统1100(步骤s105)。服务器系统1100基于接收的数据添加呈现再现数据610(步骤s106)。
254.通过本实施例，可以获得与第一实施例相同的效果。
255.修改示例
256.至此已经描述了应用本发明的实施例。然而，本发明可适用的模式不限于前述实施例，并且可以适当地添加、省略或改变构成要素。
257.修改示例1
258.例如，在第一实施例中，推荐化妆品呈现控制部210的全部功能由服务器系统1100实现，而在第二实施例中，全部功能由用户终端1500b实现。然而，中间配置也是可以的。更具体地，可以在服务器系统1100和用户终端1500之间分担推荐化妆品呈现控制部210的功能。
259.修改示例2
260.另外，在上述实施例中，虽然无论眼镜10的类型如何，用于选择基于读取颜色的推荐的化妆品的方法和用于选择基于模特的推荐的化妆品的方法相同，但也可以根据眼镜10的类型对选择基于读取颜色的推荐的化妆品和选择基于模特的推荐的化妆品添加特殊条件。
261.例如，图24所示的眼镜10b具有由化妆品制造商和推荐化妆品呈现控制系统1000的运营商合作创建的专用半框型(或眉型)设计。
262.另外，如图25所示，与眼镜10b对应的眼镜登录数据530包括基于读取颜色的推荐化妆品限制设置数据537和基于模特的推荐化妆品限制设置数据538。在基于读取颜色的推荐化妆品限制设置数据537中，设置了合作化妆品制造商的名称、合作化妆品制造商的化妆品系列名称以及合作化妆品制造商的产品列表。基于模特的推荐化妆品限制设置数据538是由合作的化妆品制造商准备的脸部模特注册数据541的脸部模特id 542的列表(见图12)。
263.在选择基于读取颜色的推荐的化妆品的步骤(例如图20的步骤s92)中，如果使用了眼镜10b，则从在化妆品数据库510中注册以能够从中进行选择的化妆品中提取与基于读取颜色的推荐化妆品限制设置数据537的内容匹配的化妆品。另外，相反地，如果没有使用眼镜10b，则可以从排除了与基于读取颜色的推荐化妆品限制设置数据537的内容匹配的化妆品的推荐化妆品中选择推荐化妆品。
264.类似地，在选择脸部模特的步骤(例如，图20中的步骤s94)中，如果使用了眼镜10b，则提取与基于模特的推荐化妆品限制设置数据538的内容匹配的脸部模特，并且从中选择相似的脸部模特。此外，相反地，如果没有使用眼镜10b，则可以从排除了与基于模特的推荐化妆品限制设置数据538的内容匹配的脸部模特的脸部模特中选择脸部模特。
265.换言之，当使用特定类型的眼镜10b时，可以添加结构使得从作为眼镜制作的合作方的制造商的化妆品组中选择推荐化妆品、或者添加结构使得仅当用户2使用眼镜10b时用户才可以从有限的化妆示例中选择期望的化妆示例，从而选择推荐化妆品。
266.修改示例3
267.此外，用户管理数据600的呈现再现数据610(见图16)可以被配置为当用户使用由服务器系统1100提供的其他服务时允许与该数据关联的用户的参考。
268.例如，如果服务器系统1100提供化妆模拟服务，则服务器处理部200s用作执行化妆模拟控制的化妆模拟管理部，并生成模拟图像，在该模拟图像中，推荐化妆品呈现服务所
推荐的化妆品被应用于接收推荐的用户，并将生成的图像呈现给用户。
269.在生成模拟图像时，服务器系统1100在不戴眼镜正脸图像数据613上合成基于读取颜色的推荐化妆品列表615和基于模特的推荐化妆品列表617的化妆品的颜色(见图16)。在该过程中，服务器系统1100可以通过使用颜色校正设置数据612，基于不戴眼镜正脸图像数据613、基于读取颜色的推荐化妆品列表615和基于模特的推荐化妆品列表617中的任何一个来执行颜色校准。根据该结构，可以生成具有正确化妆品颜色的模拟图像。
270.修改示例4
271.此外，例如，如图26所示，呈现再现数据610不仅可以由所有者用户使用，而且可以由所有者用户的好友用户使用。
272.下面基于第一实施例对此进行具体描述。当用户终端1500检测到预定表示操作输入时(步骤s150)，用户终端1500向服务器系统1100发送预定表示请求(步骤s152)。响应于接收请求，服务器系统1100以可搜索的方式提供提出请求的用户的呈现再现数据610以及该用户的好友用户(在好友列表603中注册的用户；见图16)的呈现再现数据610(步骤s154)。
273.响应于一组呈现再现数据610和用户账户的获得，用户终端1500向用户呈现选择以使用户能够选择想要的呈现来再现(步骤s156)，然后基于选择的呈现再现数据610在呈现屏幕w13(见图13)中表示推荐化妆品(步骤s158)。
274.如同在第一实施例中，呈现屏幕w13的化妆品缩略图26c兼作对应的化妆品的详细信息和用于开始购买过程的操作图标。
275.因此，响应于检测到用户在表示的化妆品缩略图26c上的触摸操作，用户终端1500提供与缩略图对应的化妆品的信息，并向服务器系统1100发送购买过程的请求(步骤s160)。响应于接收购买过程的请求，服务器系统1100通过在线购物服务执行用于购买请求的化妆品的过程(步骤s162)。
276.该结构允许呈现再现数据610的所有者用户的好友用户购买推荐化妆品作为对所有者用户的礼物。
277.修改示例5
278.此外，上述实施例的被构造成使得从“不戴眼镜脸部图像”中读取(确定)脸部每个位置的颜色。这是为了确保没有脸部部分被眼镜10隐藏，并且还为了消除眼镜10的阴影或光反射对颜色读取的影响的可能性。但是，如果将颜色读取位置限制在不会发生这种问题的位置，这将不是问题。在这种情况下，可以省略与第二图像数据相关的构成要素，例如“不戴眼镜视频”的获取、从视频中捕获“不戴眼镜脸部图像”、从“不戴眼镜脸部图像”中读取颜色等。
279.修改示例6
280.另外，上述实施例可以用作化妆品店的柜台销售系统。具体而言，虽然在上述实施例中描述的示例中用户终端1500是用户拥有的智能电话，但是在该示例中，使用具有与用户终端1500相同功能的商店安装型信息终端(例如，所谓的智能镜子，其使用大型智能电话作为化妆镜)。然后，其可以被构造成使得服务器系统1100也可以用作库存管理服务器，其对用于管理各销售化妆品的店铺的库存信息的库存数据库进行存储和管理，并且与来自化妆品数据库510的选择分开地基于库存数据库在从“在库”产品中被选择之后可以呈现推荐
化妆品。
281.此外，当上述实施例用作柜台销售系统时，上述实施例中的用户终端1500可以由具有相机的商店安装型主信息终端和由店员佩戴的副信息终端组成。然后，其可以被构造成使得作为顾客的用户的“戴眼镜图像”和“不戴眼镜图像”由主信息终端捕获，而推荐化妆品由副信息终端呈现。在这种情况下，推荐化妆品(其也是库存产品)可以呈现给店员。这保证了极好的促销效果。
282.店铺之间的顾客信息的管理由服务器系统1100集中管理。因此，通过在店内安装的信息终端中基于用户的“戴眼镜图像”执行脸部认证，能够读取作为顾客的用户的用户管理数据600。这使得即使在不同的店内也能使用历史数据并提供相同的服务。呈现基本数据614和不戴眼镜正脸图像数据613可以用作用于脸部认证的字典数据(见图16)。显然，用于读取用户管理数据600的脸部认证可以替换为使用为每个用户发行的用户注册卡的认证。
283.附图标记
284.2：用户
285.4：光亮度
286.10：眼镜
287.12：框架
288.13：标记
289.14：颜色图案
290.200s：服务器处理部
291.210：推荐化妆品呈现控制部
292.212：图像获取控制部
293.214：脸部相关颜色确定部
294.216：脸部识别控制部
295.218：脸部特征量确定部
296.220：第一光亮度校正处理部
297.222：第二光亮度校正处理部
298.230：呈现控制部
299.500s：服务器存储部
300.501：服务器程序
301.502：客户端程序
302.510：化妆品数据库
303.520：颜色读取位置定义数据
304.530：眼镜注册数据
305.532：标记定义数据
306.533：颜色设置数据
307.534：颜色图案名称
308.540：模特数据库
309.541：脸部模特注册数据
310.543：脸部特征量
311.544：脸部颜色信息
312.545：裸脸图像数据
313.550：化妆示例注册数据
314.552：化妆主题标签
315.553：化妆图像数据
316.554：使用化妆品列表
317.600：用户管理数据
318.701：服务id
319.710：佩戴眼镜的视频数据
320.720：眼镜颜色读取结果数据
321.728：颜色校正设置数据
322.730：不戴眼镜的视频数据
323.740：呈现基本数据
324.750：脸部特征量
325.760：脸部颜色信息
326.761：颜色读取结果数据
327.770：推荐化妆品选择控制数据
328.771：基于读取颜色的推荐化妆品列表
329.774：基于模特的推荐化妆品列表
330.776：相似脸部模特id
331.778：基于模特的推荐化妆品列表
332.1000：推荐化妆品呈现控制系统
333.1100：服务器系统
334.1500：用户终端
335.1520：相机