基于机器学习的手机成像系统和分析方法与流程

基于机器学习的手机成像系统和分析方法
优先权文件
1.本技术要求2019年7月11日提交的发明名称为“基于ai的手机显微镜系统和分析方法”的澳大利亚临时专利申请第2019902460号的优先权，其全部内容通过引用合并于此。
技术领域
2.本公开涉及一种成像系统。在具体形式中，本公开涉及配置成与包含图像传感器的智能移动装置连接的便携式成像系统。


背景技术：

3.在许多应用中，需要捕获现场的物体的图像，例如，以确定苍蝇是否为果蝇或植物是否患有特定疾病。传统的显微镜系统是大型实验室设备，具有昂贵的高精度光学系统。然而，随着具有紧凑的高质量摄像系统和先进的处理能力的智能手机的发展，基于手机的显微镜系统也得以发展。在这些系统中，放大镜系统通常安装在手机的摄像头系统上，用于拍摄放大的图像。然而，到目前为止，系统设计通常用于捕获图像，以便通过肉眼手动查看图像，且通常着眼于创建包含透镜和光学组件的紧凑的轮廓小的连接结构。一些系统使用摄像头闪光灯进一步照亮物体并改善目标物体的照明。通常，这些照明系统要么使用手机闪光灯，要么包括位于图像传感器附近的组件，以实现紧凑的轮廓小的连接结构，因此着眼于将光从上方引导到物体上。在一些实施例中，使用光管和漫反射器创建平行于手机表面和目标表面的均匀的光平面，即，该平面的法向轴线与摄像头轴线平行/对齐。这些光管和漫反射器通常被紧凑地布置在放大镜(以及图像传感器和闪光灯)附近。例如，一个系统使用漫反射器在放大镜周围创建一个环，将平面光向下照射到物体上。
4.还开发了基于ai(人工智能)的方法将捕获的图像分类，但到目前为止，此类系统在部署到现场时还不能实现足够的准确性。例如，一个系统试图使用深度学习法对智能手机拍摄的图像进行自动分类。在这项研究中，基于一个包含14种作物、26种病害的54000个图像的数据库，训练卷积神经网络方法。虽然深度学习分类器对于测试集的准确率为99.35％，但当其应用于其它图像(如在现场或其它实验室捕获的图像)时，准确率下降到30％-40％。这表明，为了使基于深度学习的分析方法有效，需要更大、更健壮的数据集。因此，需要提供改进的用于捕获在现场采集的图像并将其分类的系统和方法，或者至少是提供现有系统和方法的有用替代方案。


技术实现要素：

5.根据第一方面，提供一种成像设备，其被配置成与包括图像传感器的移动计算设备连接，该成像设备包括：光学组件，其包括壳体，该壳体具有：图像传感器孔、图像捕获孔、以及在所述壳体内将所述图像传感器孔连接到所述图像捕获孔的内部光路；连接结构，其被配置成支撑所述光学组件，并允许将所述成像设备连接到包括图
像传感器的移动计算设备，从而使得所述光学组件的所述图像传感器孔可被放置在所述图像传感器上；和壁结构，其从所述光学组件向远端延伸，并包括内表面，该内表面连接到所述光学组件的所述图像捕获孔并从所述光学组件的所述图像捕获孔向远端延伸以限定内腔，其中所述壁结构是限定所述内腔的腔室并包括远端部分，该远端部分在使用中支撑一个或多个待成像的物体，或者该远端部分是透明窗口，该透明窗口浸入一个或多个待成像的物体中并靠着所述一个或多个待成像的物体放置；或者，所述壁结构的远端形成远端孔，从而使得在使用中所述壁结构的所述远端靠着支撑面放置，所述支撑面支撑或包含一个或多个待成像的物体以形成一个腔室，且所述壁结构的所述内表面除了包括光源孔的至少一个部分之外是反射性的，所述光源孔被配置成允许光进入所述腔室，所述壁结构的所述内表面具有弯曲轮廓，以在所述一个或多个待成像的物体上创建均匀的照明条件和均匀的背景照明；其中，在使用中，与所述成像设备连接的所述移动计算设备用于捕获一个或多个图像并将其提供给基于机器学习的分类系统，其中，所述一个或多个图像用于训练所述基于机器学习的分类系统，或者所述机器学习系统基于使用相同或等效的成像设备捕获的物体的图像进行训练，并用于获得所述一个或多个图像的分类。
6.因此，所述成像设备可以用作获得用于机器学习分类器的高质量(均匀漫反射照明)训练图像的方式，该分类器可以用于低质量图像，例如在自然光和/或光水平变化较大或动态范围大的情况下拍摄的图像。根据第二方面，提供一种基于机器学习的成像系统，其包括：根据第一方面的成像设备；以及基于机器学习的分析系统，其包括至少一个处理器和至少一个存储器，所述存储器包括使所述至少一个处理器向基于机器学习的分类器提供由所述成像设备捕获的图像的指令，其中，所述基于机器学习的分类器基于使用所述成像设备捕获的物体的图像进行训练，并获得所述图像的分类。
7.根据第三方面，提供一种用于训练机器学习分类器以对使用移动计算设备的图像传感器捕获的图像进行分类的方法，该方法包括：将成像设备的连接设备连接到移动计算设备，从而使得所述连接设备的光学组件的图像传感器孔位于所述移动计算设备的图像传感器上方，其中，所述成像设备包括光学组件以及具有内表面的壁结构，所述光学组件包括壳体，该壳体具有：图像传感器孔、图像捕获孔、以及在所述壳体内将所述图像传感器孔连接到所述图像捕获孔的内部光路，其中，所述壁结构限定腔室，其中所述内表面限定内腔并包括远端部分，该远端部分用于支撑一个或多个待成像的物体或者是透明窗口；或者，所述壁结构的远端形成远端孔，且所述内表面除了包括光源孔的至少一个部分之外是反射性的，所述光源孔被配置成允许光进入所述腔室且具有弯曲轮廓，以在所述一个或多个待成像的物体上创建均匀的照明条件和均匀的背景照明；将一个或多个待成像的物体放置在腔室中，使其被所述远端部分支撑；或者，将所述腔室的至少所述远端部分浸入多个物体中，使一个或多个物体靠着所述透明窗口放置；或者，将所述壁结构的所述远端靠着支撑面放置，所述支撑面支撑或包含一个或多个待成像的物体以形成腔室；
捕获所述一个或多个物体的多个图像；以及将所述一个或多个图像提供给基于机器学习的分类系统，并训练所述机器学习系统对所述一个或多个物体进行分类，其中在使用中所述机器学习系统用于对由所述移动计算设备捕获的图像进行分类。
8.根据第四方面，提供一种用于对使用移动计算设备的图像传感器捕获的图像进行分类的方法，该方法包括：使用所述移动计算设备捕获一个或多个物体的一个或多个图像；以及将所述一个或多个图像提供给基于机器学习的分类系统以对所述一个或多个图像进行分类，其中所述基于机器学习的分类系统根据第三方面的方法进行训练。
9.可选地，该方法可以包括更多的步骤，包括：将连接设备连接到移动计算设备，从而使得所述连接设备的光学组件的图像传感器孔位于所述移动计算设备的图像传感器上方，其中，所述成像设备包括光学组件以及具有内表面的壁结构，所述光学组件包括壳体，该壳体具有：图像传感器孔、图像捕获孔、以及在所述壳体内将所述图像传感器孔连接到所述图像捕获孔的内部光路，其中，所述壁结构限定腔室，其中所述内表面限定内腔并包括远端部分，该远端部分用于支撑一个或多个待成像的物体或者是透明窗口；或者，所述壁结构的远端形成远端孔，且所述内表面除了包括光源孔的至少一个部分之外是反射性的，所述光源孔被配置成允许光进入所述腔室且具有弯曲轮廓，以在所述一个或多个待成像的物体上创建均匀的照明条件和均匀的背景照明；以及将一个或多个待成像的物体放置在腔室中，或者将所述腔室的远端部分浸入一个或多个物体中，或者将所述壁结构的所述远端靠着支撑面放置，所述支撑面支撑或包含一个或多个待成像的物体以形成腔室。
10.根据第五方面，提供一种机器学习计算机程序产品，包括计算机可读指令，该指令使处理器：接收使用移动计算设备的成像传感器捕获的多个图像，该移动计算设备与第一方面的成像设备连接；以及根据第三方面的方法基于所述接收到的多个图像训练机器学习分类器。
11.根据第六方面，提供一种机器学习计算机程序产品，包括计算机可读指令，该指令使处理器：接收使用移动计算设备的成像传感器捕获的一个或多个图像；以及使用机器学习分类器对所述接收到的一个或多个图像进行分类，该机器学习分类器基于使用与移动计算设备的成像传感器连接的第一方面的成像设备捕获的物体的图像进行训练。
12.上述系统和方法可以变化。
13.在一种形式中，光学组件还包括放大倍数不高于400倍的透镜结构。其可包括使用鱼眼和广角镜头。在一种形式中，透镜结构可以是可调节的，以允许调节焦平面和/或放大倍数以及不同的视角。
14.在一种形式中，轮廓可以是弯曲的，从而使得照亮一个或多个物体的反射光的水平分量大于照亮一个或多个物体的反射光的垂直分量。在一种形式中，内表面可以形成背
景。在一种形式中，弯曲轮廓可以是球形轮廓或近球形轮廓。在另一种形式中，内表面可以用作朗伯反射器，且腔室被配置成用作光积分器以在腔室内创建均匀照明并提供均匀的背景照明。在一种形式中，壁由聚四氟乙烯(ptfe)形成。在一种形式中，内表面的弯曲轮廓被配置成均匀地照亮室内的三维物体，以尽可能减少或消除阴影的形成。在一种形式中，腔室的内表面形成三维物体的背景。
15.在一种形式中，壁结构和/或光源孔被配置成在室内提供均匀的照明条件。在一种形式中，壁结构和/或光源孔被配置成将漫反射光提供到内腔中。光源孔可以与延伸穿过壁结构的光学窗口连接，以允许外部光进入腔室，且在整个光学窗口中散布有粒子，以将通过光学窗口的光漫反射。壁结构可由漫反射材料形成，使得漫反射光通过光源孔进入腔室；和/或，壁结构可由半透明材料形成，该半透明材料包括分布在整个壁上的许多粒子，以将穿过壁的光漫反射；和/或，部分地围绕壁结构的至少一部分的第二漫反射室可以被配置(调整位置和形状)，以向光源孔提供漫反射光。漫反射可以通过嵌入光学窗口或半透明壁内的粒子来实现。在一种形式中，光源孔和/或第二漫反射室可以被配置成接收来自移动计算设备的闪光灯的光。可以使用在移动计算装置上执行的软件程序来控制从移动计算装置接收到的光量。在一种形式中，壁的一个或多个部分是半透明的。
16.在一种形式中，可编程的多光谱光源通常用于传递接收到的光，并由移动计算设备上的软件应用程序控制。在一种形式中，该系统还可以包括：一个或多个滤波器，其被配置成向所述光源孔提供过滤光；和/或，多光谱光源，其被配置成向所述光源孔提供多个预定义波段中的一个波段的光。多光谱光源可以由移动计算设备上的软件应用程序编程和/或控制。可以拍摄多个图像，每个图像使用不同的滤波器或不同的波段。一个或多个滤波器可包括：集成到光源孔中或邻近光源孔的偏振滤波器，从而使得通过光源孔进入内腔的光被偏振；或者包括：集成到光学组件中或跨过图像捕获孔的一个或多个偏振滤波器。
17.在一种形式中，透明校准片位于一个或多个物体和光学组件之间，或集成在光学组件内。在一种形式中，一个或多个校准插件可以插入内腔以校准颜色和/或深度。在一种形式中，在使用中，在多个不同焦平面处收集多个图像，且分析系统被配置成将多个图像组合成单个多深度图像。在一种形式中，在使用中，收集一个或多个物体的不同部分的多个图像，且分析系统被配置成将多个图像组合成单个拼接图像。在一种形式中，分析系统被配置成执行颜色测量。在一种形式中，分析系统被配置成在腔室中没有一个或多个对象的情况下捕获图像，并使用该图像来调整腔室中具有一个或多个对象的图像的色彩平衡。在一种形式中，分析系统检测室内的照明水平并在照明水平处于预定范围内时捕获图像。
18.在一种形式中，壁结构是弹性材料，且在使用中，使壁结构变形以改变从光学组件到一个或多个物体的距离，且以多个距离收集多个图像。在一种形式中，在使用中，支撑表面是弹性物体，且在施加到弹性物体上的多个压力值下收集多个图像。
19.在一种形式中，腔室可从连接结构移除以允许将一个或多个待成像的物体放置在腔室中。在一种形式中，腔室包括可移除的盖，以允许将一个或多个待成像的物体放置在腔室内。在一种形式中，腔室包括底，该底还包括以透镜结构的光轴为中心的凹陷。在一种形式中，腔室的底部是透明的。在一种形式中，底部包括测量标线。
20.在一种形式中，腔室还包括内部流体腔室，该内部流体腔室具有与光轴对齐的透明壁，且一个或多个管状接头连接至储液罐，从而在使用中，内部流体腔室充满液体，一个
或多个待成像的物体悬浮在内部流体腔室中的液体中，且一个或多个管状接头被配置成在内部流体腔室内诱导循环，以使得能够从多个不同视角拍摄物体的图像。
21.在一种形式中，壁结构为可折叠壁结构，其包括外壁结构，该外壁结构包括多个旋转肋，内表面为柔性材料，一个或多个连接构件将柔性材料连接至外壁结构，从而使得当处于展开状态时，一个或多个连接构件被配置成将内表面与外壁结构隔开，且一个或多个张紧连接构件牵拉内表面以具有弯曲轮廓。
22.在一种形式中，壁结构为半透明袋，所述设备还包括框架结构，该框架结构包括位于图像捕获孔周围的环形结构和多个柔性支腿，柔性支腿在使用中可被配置成成为弯曲配置以迫使半透明袋的壁具有弯曲轮廓。
23.在一种形式中，机器学习分类器被配置成根据预定义的质量评估分类系统对物体进行分类。在另一种形式中，该系统进一步配置成评估物体的一个或多个几何、文本和/或颜色特征，以对一个或多个物体进行质量评估。这些特征可用于评估重量或提供质量评分。
24.在一种形式中，移动计算设备可以是智能手机或平板计算装置。在一种形式中，移动计算设备包括没有红外滤波器和uv滤波器的图像传感器。
25.连接结构可以是可移除的连接结构，包括被配置成夹在移动计算设备上的连接结构。在一种形式中，连接结构是一种夹持结构，其中一端包括具有弯曲轮廓的软夹持垫。在一种形式中，夹持结构包括摇摆结构以允许光轴靠着夹子摇摆。在一种形式中，软夹持垫还被配置成用作图像传感器孔的镜头盖。
附图说明
26.参考附图讨论本发明的实施例，其中：
27.图1a是根据一个实施例的用于训练机器学习分类器以对使用移动计算设备的图像传感器捕获的图像进行分类的方法的流程图；
28.图1b是根据一个实施例的用于对使用移动计算设备的图像传感器捕获的图像进行分类的方法的流程图；
29.图2a是根据一个实施例的成像设备的示意图；
30.图2b是根据一个实施例的成像设备的示意图；
31.图2c是根据一个实施例的成像设备的示意图；
32.图3是根据一个实施例的用于分析所捕获的图像的计算机系统的示意图；
33.图4a是根据一个实施例的成像设备的侧视图；
34.图4b是根据一个实施例的成像设备的侧视图；
35.图4c是根据一个实施例的成像设备的侧视图；
36.图4d是根据一个实施例的图4c所示的摆动机构和盖的特写图；
37.图4e是根据一个实施例的成像设备的侧视图；
38.图4f是根据一个实施例的包含双腔室的成像设备的透视图；
39.图4g是根据一个实施例的校准插件的透视图；
40.图4h是根据一个实施例的用于液体的在线成像的成像设备的侧剖视图；
41.图4i是根据一个实施例的用于液体样品的成像的成像设备的侧剖视图；
42.图4j是根据一个实施例的具有用于物体的悬浮和三维成像的内管的成像设备的
侧剖视图；
43.图4k是根据一个实施例的用于浸入待成像的物体的容器中的成像设备的侧剖视图；
44.图4l是根据一个实施例的用于大物体的成像的可折叠可移除成像设备的侧剖视图；
45.图4m是根据一个实施例的成像设备的透视图，其中壁结构是一个带有柔性框架的袋子，用于评估产品质量；
46.图4n是根据一个实施例的配置为桌面扫描仪的可折叠成像设备的侧剖视图；
47.图4o是根据一个实施例的配置为上下扫描仪的可折叠成像设备的侧剖视图；
48.图5a示出根据一个实施例的自然光照明测试环境；
49.图5b示出根据一个实施例的阴影照明测试环境；
50.图5c示出根据一个实施例的腔室照明测试环境；
51.图5d示出根据一个实施例的在图5a的自然光照明测试环境下捕获的物体图像；
52.图5e示出在图5b的阴影照明测试环境下捕获的物体图像；
53.图5f示出在图5c的腔室照明测试环境下捕获的物体图像；
54.图6是根据一个实施例的用户界面的展示；
55.图7是根据一个实施例的摄像头传感器和人眼的相对灵敏度的曲线图；
56.图8是根据一个实施例的使用成像设备和在自然光照明下捕获的图像的动态范围的展示。
57.在下面的描述中，相同的附图标记在整个附图中表示相同或相应的部分。
具体实施方式
58.现在参考图1a和1b，其中示出用于训练机器学习分类器以对图像进行分类的方法100(图1a)和用于对使用包含图像传感器的移动计算设备(如智能手机或平板电脑)捕获的图像进行分类的方法150(图1b)的流程图。图2a至2c进一步说明了该方法，图2a至2c是用于与移动计算设备连接的成像设备1的各种实施例的示意图，其(例如，通过使用特别设计的壁结构或腔室)被配置成在物体上产生均匀的照明条件。因此，成像设备1可以被称为均匀照明成像设备，然而为了清楚起见，我们将其简单地称为成像设备。该方法从步骤110开始，在步骤110中将诸如成像设备1的夹子30之类的连接结构放置在移动计算设备(例如智能手机)10上，使得连接设备1的光学组件20的图像传感器孔21位于移动计算装置10的图像传感器(例如摄像头)12上方。它可以是永久性连接、半永久性连接，或使用可移除的连接。对于永久性连接，可在制造时进行。连接结构可用于支撑移动计算设备，或者移动计算设备也可以支撑连接结构。连接结构可以基于紧固件(例如螺钉、螺母和螺栓、胶水、焊接)、夹紧、卡紧、吸附、磁性或可重复使用的粘性材料(例如可清洗硅树脂(pu))或一些组合，其用于夹紧或保持摄像头以使图像传感器孔21与图像传感器12对准。优选地，连接结构施加一个偏置力，以使图像传感器孔21朝向图像传感器12偏置，以形成阻止或减少到达图像传感器12的外部光的密封、屏障或接触。
59.成像设备包括光学组件20，该光学组件20包括壳体24，该壳体24在一端有图像传感器孔21，在另一端有图像捕获孔23，还有在壳体24内将图像传感器孔12连接到图像捕获
孔的内部光路26。连接结构被配置成支撑光学组件，并允许图像传感器孔21被放置在移动计算设备10的图像传感器12上。在一些实施例中，光路是与光轴22对齐的直线路径。然而，在其它实施例中，壳体可包括反射镜以提供卷曲(或至少，非直线的)光路。例如，图像传感器孔21和图像捕获孔23均未与光轴22对齐。在一些实施例中，光学组件20还包括放大倍数不高于400倍的透镜结构。其可以包括鱼眼和广角镜头(放大倍数小于1)和/或具有不同视角(或不同视野)的镜头。在一些实施例中，可以省略透镜结构，而使用图像传感器的透镜，前提是其具有足够的放大倍数或者不需要放大倍数。系统的总物理放大倍数是透镜结构和移动计算设备的任何透镜的组合的放大倍数。移动计算设备还可以执行数字放大。在一些实施例中，可以调节透镜结构以允许调节焦平面和/或放大倍数。其可以手动调节，也可以通过电子可控电机(伺服)进行电子调节。其还可以包括有线或无线通信模块，以允许经由在移动计算设备上执行的软件应用程序进行控制。
60.成像设备1包括具有内表面42的壁结构40。在一个实施例中，例如如图2a所示，该壁结构是一个腔室，其中内表面42限定了一个内腔。远端部分(或底部)44位于光学组件20的远端对面，并支撑一个或多个待成像的物体。在例如如图2b所示的一个实施例中，壁结构40是开放的，且壁的远端(即，远端部分44)形成远端孔45，该远端孔45在使用中靠着支撑面3放置，该支撑面3支撑或包含一个或多个待成像的物体，以形成腔室。在另一个实施例中，远端部分44是一个透明窗口，从而使得当该设备浸入并靠着一个或多个待成像的物体(例如容器中的种子)放置时，周围的一个或多个物体将遮挡外部光使其无法进入腔室。壁结构的内表面42除了包含用于允许光进入腔室的光源孔43的部分以外是反射性的。此外，壁结构40的内表面42具有弯曲轮廓，以在被成像的一个或多个物体上创建均匀的照明条件并创建均匀的背景照明。为了清楚起见，我们通常会就正在成像的单个物体进行描述。但是，在很多实施例中，可以将多个物体放置在腔室内，并在同一图像中捕获(和分类)这些物体。
61.壁结构被配置成在腔室内创建均匀照明，并在待成像的物体上创建均匀背景照明。如下文所述，这可以限制图像的动态范围，并且可以减少捕获图像的光照条件的变化，以实现机器学习分类器的更快、更准确和更鲁棒的训练。在一些实施例中，壁结构40的内表面42为球形或近球形，并用作朗伯反射器，从而使得腔室被用作光积分器，以在腔室内创建均匀照明并在物体上创建均匀背景照明。朗伯反射器是具有以下特性的反射器：照到球体侧面上的光以漫反射方式散射。也就是说，光在各个方向上都是均匀散射的。光积分器能够通过漫反射表面上的多次内部反射创建均匀照明。光积分器基本上是球形的并使用朗伯反射镜，朗伯反射镜使到达物体的光的强度在所有方向上都是相似的。壁表面的内表面可涂有反射材料，或可由用作朗伯反射器的材料例如聚四氟乙烯(ptfe)形成。在光积分器的情况下，允许光进入腔室的光源孔43的大小通常限制在总表面积的5％以下。因此，在一些实施例中，光源孔43小于内表面42表面积的5％。如果进入腔室的光尚未漫反射，则可包括挡板，以确保照亮物体的只有反射光。
62.也可以使用与朗伯反射器和纯球形轮廓有偏差的方式，其中内壁轮廓是弯曲的，以增加照亮物体的反射光的水平分量。在一些实施例中，照亮物体的反射光的水平分量大于照亮物体的反射光的垂直分量。在一些实施例中，壁结构用于消除阴影，以从各个方向均匀地照亮室内的三维物体。此外，在一些实施例中，光源孔43的大小或多个光源孔43的总大小可以大于5％，例如10％、15％、20％、25％或30％。可以使用多个光源孔43以及漫反射器，
以增加照亮物体的反射和/或漫反射光的水平分量并消除阴影。
63.在步骤120中，该方法包括将一个或多个待成像的物体2放置在腔室40中，使其被远端部分(或底部)44支撑；或者，将腔室的至少远端部分浸入盛满多个物体的容器中(即，浸入多个物体中)，从而使得这些物体靠着透明窗口放置。或者，如果远端部分44是开口45，则壁结构40的远端可以靠着支撑面3放置，该支撑面3支撑或包含待成像的物体2，以形成腔室(例如，如图2b所示)。腔室可以是可移除的腔室，例如，它可以夹在光学组件上或拧在光学组件上，允许将待成像的物体通过在腔室与光学组件接触处形成的孔放置到腔室内部，例如如图2a所示。图2c示出另一个实施例，其中壁结构形成了一个腔室，其中腔室的端部形成为可移除的盖46。其可以拧上或卡上，或使用其它可移除的密封装置。在一些实施例中，底部48(例如如图2c所示)可还包括以透镜结构20的光轴22为中心的凹陷，其用作定位凹陷。因此，可以晃动腔室，然后物体可能会落入定位凹陷中，以确保其与光轴22对齐。
64.在步骤130中，捕获物体的一个或多个图像；在步骤140中，将一个或多个捕获的图像提供给基于机器学习的分类系统。然后，使用成像设备1捕获的图像训练机器学习系统以对一个或多个物体进行分类，以便部署到移动计算设备10，该移动计算设备10在使用中对捕获的图像进行分类。
65.图1b是方法150的流程图，该方法用于对使用包含图像传感器的移动计算设备(如智能手机或平板电脑)捕获的图像进行分类。这将使用根据图1a所示方法训练的机器学习分类器。该方法包括步骤160，在该步骤160中，使用移动计算设备10拍摄一个或多个物体的一个或多个图像，然后将所述一个或多个图像提供给基于机器学习的分类系统以对所述一个或多个图像进行分类，其中所述机器学习分类器基于使用连接到移动计算设备10的成像设备1捕获的图像进行训练。如下文将进一步阐述的，在本实施例中，图像的分类不需要使用与成像设备1连接的移动计算设备10捕捉图像(待分类的图像)，仅需要使用该设备训练分类器。
66.然而，在另一个(可选)实施例中，也可以使用与成像设备1连接的移动计算设备10捕获图像，该移动计算设备10与用于训练机器学习分类器的成像设备1相同或相当。在该实施例中，该方法从步骤162开始，在该步骤162中，将成像设备1连接到移动计算设备10，使得连接设备的光学组件的图像传感器孔位于移动计算设备的图像传感器上方。成像设备如前所述(相当于用于训练分类器的设备)，包括光学组件以及具有内表面的壁结构，该光学组件包括壳体，该壳体具有：图像传感器孔、图像捕获孔、以及在壳体内将图像传感器孔连接到所述图像捕获孔的内部光路。所述壁结构限定一个腔室，从而使得所述内表面限定一个内腔，其中远端部分支撑待成像的物体或者是透明的(用于浸入式的应用)，或者远端部分形成远端孔。内表面具有反射性(除了包括用于允许光进入腔室的光源孔的部分以外)，且具有弯曲轮廓，以在一个或多个待成像的物体上创建均匀的照明条件并创建均匀的背景照明。然后，在步骤164中，将一个或多个待成像的物体放置在腔室中，或将腔室的远端浸入一个或多个物体(例如，位于容器中的一个或多个物体)，或将壁结构的远端放置在支撑面上，该支撑面支撑或包含一个或多个待成像的物体，以形成腔室。然后，该方法继续进行捕获图像的步骤160，然后继续进行对图像进行分类的步骤170。
67.机器学习系统用于输出图像的分类结果，还可以提供有关物体的附加信息，例如估计一个或多个几何、文本和/或颜色特征。它们可用于估计重量、尺寸或大小，以及评估质
量(或获得质量评分)。该系统还可用于执行实时或销售点质量评估。分类器可以被训练或配置成根据预定义的质量评估分类系统，例如由购买者或商家定义的质量评估分类系统，对物体进行分类。例如，其可以规定尺寸范围、颜色范围、瑕疵数量等。
68.使用具有反射壁且具有弯曲或球形轮廓以在待成像的物体上创建均匀的照明条件，从而消除任何阴影并缩小图像的动态范围的腔室，提高了机器学习分类系统的性能。这也减少了培训系统所需的图像数量，并确保了室内或室外拍摄图像的照明均匀性。有效地，腔室用作或近似于积分球，并确保所有表面(包括下表面和侧表面)被均匀照明(即光来自侧面，而不仅仅来自上方)。这也会缩小图像的动态范围。这与许多其它系统形成对比，那些系统试图产生从透镜结构向下的平面光或漫反射光，但未能从侧面产生光，未能产生均匀的照明条件，且/或，未能产生跨越相对较大动态范围的强度值。漫反射照明的水平分量有助于消除阴影，该分量不是由通常与手机连接结构一起使用的反射器设计所生成的。在壁结构为腔室的实施例中，内表面42由此形成图像的背景。
69.在这些现有技术的系统中，光可能会从支撑面反射而在物体上产生阴影。由于这些阴影的位置和强度会随着物体的几何结构和放置位置发生变化，因此本系统消除了可能的阴影影响，从而使训练集图像和现场图像更加均匀，从而确保机器学习分类系统不会错误地识别阴影特征，并因此能够专注于检测更稳健的区别特征。尤其是，当前系统旨在消除阴影和背景变化，以提高ai/机器学习分类系统的性能和可靠性(鲁棒性)。
70.图3是根据一个实施例的用于使用机器学习分类器训练和分析所捕获的图像的计算机系统300的示意图。该系统包括移动计算设备10，例如智能手机或平板电脑，其包括摄像头12、闪光灯14、至少一个处理器16和至少一个存储器18。移动计算设备10执行本地应用程序310，该本地应用程序310用于控制智能手机对图像312的捕获，并使用基于机器学习的分类器314进行分类，该分类器314基于使用本文所述的成像设备的实施例收集的图像进行训练。它们可以通过有线或无线通信链路连接。远程计算系统320，例如基于云的系统，包括一个或多个处理器322和一个或多个存储器324。主图像服务器326存储从智能手机接收的图像以及诸如标签(用于训练)、项目、分类结果等任何相关元数据。存储的图像被提供给基于捕获的图像训练的机器学习分析模块327。网络应用程序328向系统提供用户界面，并允许用户将经过训练的机器学习分类器下载(329)到他们的智能手机以供现场使用。在一些实施例中，可以在移动计算设备上执行机器学习分类器的训练，而且远程计算设备的功能可以由移动计算设备10提供。
71.该系统可用于允许用户培训专用于他们的应用的机器学习系统，例如，通过使用智能手机(连接有镜头结构)捕获一系列培训图像，这些图像与标签信息一起上传到云系统，用来训练机器学习分类器，机器学习分类器被下载到他们的智能手机上。此外，随着更多图像被捕获，这些图像可以被添加到主图像存储器中，可以重新训练分类器，然后可以将更新版本下载到他们的智能手机上。此外，分类器还可以提供给其它用户，例如来自同一组织的用户。
72.本地应用程序310可以是配置成在智能手机上执行的“应用程序”。网络应用程序328可以提供系统用户界面以及许可、用户帐户、作业协调、分析审查界面、报告生成、归档功能等。网络应用程序328和本地应用程序310可以交换消息和数据。在一个实施例中，可以不用远程计算设备320，可以在智能电话10上执行分类器的图像存储和训练。在其它实施例
中，分析模块327还可以是分布式模块，其一些功能在智能手机10上执行，一些功能由远程计算设备320执行。例如，图像质量评估或图像预处理可以在本地提供，图像培训可以远程执行。在一些实施例中，可以使用远程计算应用程序(例如，在云服务器或类似设备上)执行机器学习分类器的训练，一旦生成了经过训练的机器学习分类器，则将分类器部署到智能手机应用程序310。在该实施例中，本地应用程序310独立地运行，用于(使用本地存储的训练分类器)捕获图像并将其分类，而不需要通过网络连接或通信链路返回到远程应用程序327。
73.每个计算设备包括至少一个处理器16和可操作地连接到至少一个处理器(或其中一个处理器)的至少一个存储器18，且可以包括附加的装置或设备，例如显示装置，以及输入和输出装置/设备(术语“设备”和“装置”可以互换使用)。存储器可包括使处理器执行本文所述方法的指令。处理器、存储器和显示设备可包括在标准智能手机设备中，而术语“移动计算设备”指一系列智能手机计算设备，包括手机平板电脑和平板电脑计算系统，以及基于智能手机或平板电脑架构的定制的设备或系统(例如定制安卓计算设备)。计算设备可以是单一的计算或可编程设备，也可以是包括通过有线或无线连接操作(或功能)连接的多个部件的分布式设备，包括基于云的计算系统。计算设备可包括中央处理单元(cpu)，其包括输入/输出接口、算术和逻辑单元(alu)、控制单元以及通过输入/输出接口与输入和输出设备装置的程序计数器元件。输入和输出装置可以包括显示器、键盘、鼠标、手写笔等。
74.输入/输出接口还可包括网络接口和/或通信模块，用于使用预定义的通信协议(例如3g、4g、wifi、蓝牙、zigbee、ieee 802.15、ieee 802.11、tcp/ip、udp等)与另一设备或装置中的等效通信模块进行通信。还可以包括图形处理单元(gpu)。显示设备可以包括平板显示器，例如触摸屏或其它lcd或led显示器。计算设备可以包括单个cpu(单核)或多个cpu(多核)或多个处理器。计算设备可以使用并行处理器、向量处理器，或者是包括基于云的服务器的分布式计算设备。存储器可操作地连接到处理器，可以包括ram部件和rom部件，可以设置在设备内部或外部。存储器可用于存储操作系统和附加软件模块或指令。处理器可配置成加载和执行存储在存储器中的软件模块或指令。
75.桌面和网络应用程序是使用高级语言如c 、java等开发和构建的，包括使用诸如qt等的工具包。在一个实施例中，机器学习分类器327使用诸如opencv的计算机视觉库。该方法的实施例使用机器学习以使用包括测试集和训练集的参考数据集构建分类器。在此广义地使用机器学习这一术语，涵盖一系列算法/方法/技术，包括监督学习法和人工智能(ai)法，包括卷积神经网络和使用多层分类器和/或多个神经网络的深度学习法。可以使用各种图像处理技术和统计技术，例如特征提取、检测/分割、数学形态学方法、数字图像处理、目标识别、特征向量等来构建分类器。可以使用各种算法，包括线性分类器、回归算法、支持向量机、神经网络、贝叶斯网络等。计算机视觉或图像处理库提供了用于构建分类器的功能，如计算机视觉系统工具箱、matlab库、opencv c 库、ccv c cv库、或imagej java cv库和机器学习库，如tensorflow、caffe、keras、pytorch、deeplearn、theano等。
76.图6示出用于在智能手机上捕获图像的用户界面330的一个实施例。捕获的图像331显示在ui的顶部，具有两个指示符332，其指示所捕获的物体是否被分类为目标(在本例中为qff)。用户界面控件允许用户选择用于分析的文件(333)并启动分类(334)。先前捕获的图像显示在底部面板中(335)。
77.机器学习(也称为人工智能)涵盖一系列算法，使机器能够自学任务(例如创建预测模型)，而无需人工干预或被明确编程。通过加权不同的特征组合(通常使用预先计算的特征描述符组合)，对其进行训练以在训练数据中找到模式，所得到的训练模型在数学上捕获用于将输入图像分类的最佳或最准确模式。机器学习包括：有监督的机器学习法或简单的有监督的学习法，其用于学习所标记的训练数据中的模式；以及深度学习法，其使用人工“神经网络”识别数据中的模式并可用于图像分类。
78.机器学习包括有监督的机器学习法或简单的有监督的学习法，其用于学习所标记的训练数据中的模式。在训练期间，每个数据点(图像)的标签或注释与一组类相关，以便创建可用于将新的未看到的数据分类的预测模型或分类器。可以使用一系列监督学习法，包括随机森林法、支持向量机法、决策树法、神经网络法、k近邻法、线性判别分析法、朴素贝叶斯法和回归法。通常，使用计算机视觉库或图像处理库从图像中提取(或计算)一组特征描述符，并训练机器学习法以识别图像的关键特征，这些特征可用于区分图像，从而对图像进行分类。这些特征描述符可以对诸如像素变化、灰度、纹理粗糙度、固定角点或图像梯度方向等质量进行编码。此外，机器学习系统可以例如通过执行以下处理中的一个或多个将图像预处理：阿尔法通道剥离、填充或增强图像、归一化、阈值化、裁剪或使用物体检测器来估计边界框、估计边界的几何特性、缩放、分割、注释、以及图像的大小调节/重新缩放。在opencv或类似的图像处理库中实现了一系列计算机视觉特征描述符和预处理方法。在机器学习过程中，使用不同的特征组合建立训练模型，以找到一个将输入图像成功分类的模型。
79.深度学习是机器学习/ai的一种形式，它超越了机器学习模型，更好地模拟人类神经系统的功能。深度学习模型通常由人工“神经网络”(典型形式为卷积神经网络)组成，卷积神经网络包含输入和输出之间的许多中间层，其中每一层都被视为子模型，每一层都提供数据的不同解释。与在训练期间计算并使用一组特征描述符和标签的许多机器学习分类方法不同，深度学习法从输入图像“学习”特征表示，然后这些特征表示可用于从其它未知图像中识别特征或物体。也就是说，原始图像通过深度学习网络逐层发送，每一层都将学习定义所输入图像的特定(数字)特征，这些特征可用于对图像进行分类。有很多深度学习模型可使用，每种模型具有不同的体系结构(即，不同的层数和层与层之间的连接)，例如剩余网络(例如resnet-18、resnet-50和resnet-101)、密集连接网络(例如densenet-121和densenet-161)和其它变体(例如inceptionv4和inception-resnetv2)。训练包括尝试模型参数和超参数的不同组合，包括输入图像分辨率、优化器选择、学习速率值和调度、动量值、退出、和权重初始化(预训练)。可以定义损失函数来评估模型的性能；在训练期间，通过改变学习速率来优化深度学习模型，以驱动网络权重参数的更新机制，从而将目标/损失函数最小化。深度学习法的主要缺点是，与许多其它机器学习法相比，它们需要更大的训练数据集。
80.机器学习分类器的培训通常包括：a)获取图像的数据集以及相关的分类标签；b)对数据进行预处理，包括数据质量技术/数据清理，以消除任何标签噪音或不良数据，并准备好数据，以便用于培训和验证；c)使用例如计算机视觉/图像处理方法提取特征(或一组特征描述符)；d)选择模型配置，包括模型类型/架构和机器学习超参数；
e)将数据集拆分为训练数据集、验证数据集和/或测试数据集；f)在训练数据集上使用机器学习算法(包括使用神经网络和深度学习算法)对模型进行训练；通常，在培训过程中，通过调整和微调模型配置生成许多模型，以便根据精度指标优化模型的性能；g)根据模型在验证数据集上的性能，选择最佳的“最终”模型；然后将该模型应用于“看不见的”测试数据集，以验证最终机器学习模型的性能。
81.通常，通过使用盲测试集计算每个类别中被正确识别的图像总数并除以图像总数，来评估准确性。如对于本领域技术人员显而易见的，可以使用上述训练方法的多种变体。例如，在一些实施例中，可能仅使用验证和测试数据集，其中该数据集在训练数据集上进行训练，并将得到的模型应用于测试数据集以评估准确性。在其它情况下，训练机器学习分类器可以包括多个训练验证周期。对训练数据进行预处理并分成多个批次(每个批次中的数据数量是一个自由模型参数，但它控制算法学习的速度和稳定性)。在每个批次之后，调整网络的权重，并评估到目前为止的运行总精度。在一些实施例中，例如使用梯度累积，在批处理期间更新权重。所有图像被评估后，执行一个轮次(epoch)，并对训练集进行洗牌(即获得该集的新的随机排列)，然后再次从顶部开始下一轮次的训练。在训练期间，根据数据集的大小、数据的复杂度和被训练模型的复杂度，可以运行多个轮次。在每个轮次之后，在验证集上运行模型，而不进行任何培训，以提供模型准确度方面的进度度量，并指导用户是否应运行更多轮次，或者更多轮次是否会导致过度训练。验证集指导整个模型参数或超参数的选择，因此不是真正的盲集。因此，在训练结束时，可以在盲测试数据集上评估模型的准确性。
82.模型进行培训后，可将其导出为包含一系列模型权重和相关数据(例如模型类型)的电子数据文件。在部署期间，可以加载模型数据文件，以配置机器学习分类器对图像进行分类。
83.在一些实施例中，机器学习分类器可以根据预定义的质量评估分类系统进行训练。例如，商家可以为产品定义一个或多个质量等级，并为每个等级定义相关的标准。例如，对于苹果等产品，可能是所需的大小、形状、颜色、瑕疵数量等。可以培训分类器来实施该分类方案，然后由种植者使用，或在销售点对产品进行分类，以确保其可接受或自动确定合适的等级。机器学习分类器还可以用于估计其它属性，例如大小或重量。例如，可以通过从不同视角捕获多个图像并使用图像重建/计算机视觉算法估计三维体积来估计大小/体积。可以通过使用位于视野中的校准物体进一步辅助进行这一操作。重量也可以根据已知的材料密度进行估算。
84.软件可作为计算机程序产品提供，例如包含计算机(或机器)可读指令的可执行文件。在一个实施例中，机器学习培训系统可以作为计算机程序产品提供，该计算机程序产品可以在一个或多个服务器(包括云服务器)上安装并实现。其可用于接收使用与第一方面的成像设备连接的移动计算设备的成像传感器捕获的多个图像，然后根据图1a所示和本文所述的方法基于所接收的多个图像训练机器学习分类器。在另一实施例中，所训练的分类器系统可以作为机器学习计算机程序产品提供，其可安装在诸如智能手机的移动计算设备上。其可用于接收使用移动计算设备的成像传感器捕获的一个或多个图像，并使用机器学习分类器对所接收的一个或多个图像进行分类，该机器学习分类器基于使用与移动计算设
备的成像传感器连接的成像设备捕获的物体的图像，根据如图1b所示的方法进行了训练。
85.在一个实施例中，连接结构30包括夹子30，该夹子30包括围绕光学组件20的壳体24的连接环31，并包括弹性带32，该弹性带32从其自身上方绕回并被偏置以将夹子端33引向光学组件20。该连接结构可以是可移除的连接结构，可以由弹性塑料或金属结构形成。在其它实施例中，夹子可以是基于弹簧的夹子，例如布尔多戈(bulldog)牌夹子或衣夹式的夹子。夹子也可以使用磁性夹子结构。夹子应以足够的力量夹住智能手机，以确保镜头结构保持在智能手机摄像头上方的适当位置。夹紧装置、吸盘装置或可重复使用的粘性材料(如可清洗硅胶(pu))也可用于将连接结构装置固定在适当的位置。在一些实施例中，连接结构30夹住智能手机，允许其插入材料容器中，或将智能手机固定在支架或支撑面上的固定位置。
86.光学组件20包括一个壳体，该壳体将图像捕获孔21和透镜24(如果有的话)与智能手机摄像头(或图像传感器)12对齐，以提供图像放大。图像捕获孔23提供进入腔室的开口，并限定光轴22。壳体可以是直管，其中图像捕获孔21、图像捕获孔23均与光轴22对齐。在其它实施例中，反射镜可用于创建弯曲或回旋的光路。光学组件可提供1倍至200倍范围内的放大倍数，并可通过成像传感器中的透镜进一步放大(例如，提供1倍至400倍或更大的总放大倍数)。光学组件可以包括一个或多个透镜24。在一些实施例中，如果不需要放大或在智能手机摄像头中提供了足够的放大倍数，则可以省略透镜24，在这种情况下，透镜结构只是一个管道，用于定位在智能手机摄像头上方并阻止(或尽可能减少)外部光线进入腔室。光学组件可配置为包括例如位于透镜结构20的远端的偏振片51。此外，还可以将滤色片放置在壳体20内或图像捕获孔23上方。
87.如上所述，形成腔室以在待成像的物体上创建均匀的照明条件。在一个实施例中，光源孔43与延伸穿过壁结构的光学窗口连接，以允许外部光进入腔室。其如图2a所示，并允许环境照明。在一些实施例中，光源孔43的直径小于内表面42表面积的5％。就创建均匀照明而言，入口点的数量或光入口的位置没有太大关系。优选地，不允许来自光源的直射光照亮被捕获的物体，进入腔室的光要么被强制地被内表面42反射，要么被漫反射。可以调整形成内表面42的材料的厚度、透明度和光源孔43的分布，以确保均匀照明。在一些实施例中，在整个光学窗口43中散布有粒子，以将通过光学窗口的光漫反射。在一些实施例中，壁结构40由半透明材料形成，该半透明材料包括分布在整个壁上的许多粒子，以将穿过壁的光漫反射。偏振片、滤色片或多光谱led也可以集成到设备中，并用于控制通过光学窗口43进入腔室(并最终由摄像头12捕获)的光的特性。
88.在另一个实施例中，可以在智能手机的闪光灯14与光源孔43之间连接光管。在另一实施例中，光管可收集来自闪光灯的光。在一些实施例中，智能手机应用程序310可以控制闪光灯的触发和闪光灯的强度。虽然闪光灯可用于产生均匀的光源强度，从而有可能在室内(实验室)和室外采集环境中提供标准照明条件，但在许多情况下，闪光灯会提供过量的光线。因此，应用程序310可以控制闪光灯的强度，或者可以使用滤光器或衰减器降低来自闪光灯的光的强度，或者使强度值保持在预定义的动态范围内。在某些情况下，如果环境照明水平低于阈值水平，应用程序310可以监控光强度并使用闪光灯。在一些实施例中，包括配置成向光源孔提供光的多光谱光源。然后，使用在移动计算设备10上执行的软件应用程序控制多光谱光源，例如使用什么频率照亮物体。类似地，可以捕获一系列图像，其中每个图像在不同的频率或频带下被捕获。
89.在一个实施例中，壁结构由漫反射材料形成，从而使得被漫反射的光通过光源孔进入腔室。例如，壁结构可以由漫反射材料构成。外表面41可以是半透明的，或者包括用于收集环境光的集光孔，或者包括连接到闪光灯14的光管，然后进入的光通过外表面41和内表面42之间的壁结构内部进行漫反射，并通过光源孔43进入腔室。
90.如图2c所示，成像设备可包括第二漫反射室50，其部分地包围壁结构的至少一部分，用于向光源孔43提供漫反射光。在一个实施例中，第二漫反射室用于接收来自闪光灯14的光。然后，内部反射可用于在将光传输到内腔(光积分器)之前在该腔室内漫反射。
91.光学滤波器可用于改变用于成像的光的频率，偏振滤波器可用于减少反射光的分量。如图2c所示，第二漫反射室可配置成包括光学滤波器52，光学滤波器52用于向光源孔提供过滤光。例如，如图2c所示，其可夹在第二腔室的近端表面上。在一些实施例中，可以使用多个滤波器，且在使用中，分别使用不同的滤波器收集多个图像。可滑动或可旋转的滤板可包括多个滤光器，且可以滑动或旋转以允许在闪光灯下将所需的滤光器对准。在其它实施例中，滤波器可放置在光孔43上方或透镜结构20的远端处。它们可以手动移动，也可以电子驱动，例如在应用程序的控制下。
92.如上所述，偏振滤波器可位于透镜结构和一个或多个物体之间，例如夹在或拧在透镜装置的远端处。偏振透镜在医疗应用中用于去除皮肤的表面反射，以便例如捕捉和表征皮肤损伤或痣，例如检测可能的皮肤癌。
93.许多成像传感器，如ccd传感器，具有比人眼更宽的波长灵敏度。图7示出在400至1000nm波长范围内人眼342的相对灵敏度和ccd图像传感器344的相对灵敏度的曲线图。如图7所示，人眼仅对700nm左右以下的波长敏感，而ccd图像传感器可延伸至1000nm左右。由于ccd传感器用于移动计算设备中的摄像头，它们通常包含红外滤波器340，用于排除超出人眼灵敏度的红外光346，通常超过760nm。因此，在一些实施例中，图像传感器可被设计或选择为省略红外滤波器，或可以移除存在的任何红外滤波器。类似地，如果存在uv滤波器，则可以移除该滤波器，或者选择省略uv滤波器的图像传感器。
94.在一些实施例中，壁的一个或多个部分是半透明的。在一个实施例中，底部可以是透明的。该实施例允许将连接有成像设备的移动计算装置插入物体(例如，种子、苹果、茶叶)的容器中，或者在该设备被翻转时，移动计算装置放置在表面上，底部用于支撑待成像的物体。
95.在一个实施例中，应用程序310用于在不同的焦平面上收集多个图像。应用程序310(或分析模块327)用于例如使用z堆叠，将多个图像组合成单个多深度图像。许多图像库提供z堆叠软件，允许在景深范围内捕获特征。在另一实施例中，收集多个图像，一个或多个物体和应用程序310(或分析模块327)的每个不同部分用于将多个图像组合成单个缝合图像。例如，通过这种方式可以收集整个叶子的图像。当放大倍数较高(视野较窄)或当一个或多个物体太大而无法完全装入腔室时，或当壁未完全跨越物体时，这是很有用的。物体的不同部分可在制作的视频或图像中捕获，然后使用系统进行分析，以将多个图像组合成单个缝合图像或分析所需的其它格式。此外，从多个角度捕获的图像可用于重建物体的三维模型。
96.在一些实施例中，可以获得视频流，并从视频流中选择一个或多个图像用于训练或分类。它们可以手动选择，也可以使用物体检测器(包括基于机器学习的物体检测器)，该
物体检测器分析每个帧以确定目标物体是否存在于帧中(例如茶叶、种子、昆虫)，如果检测到，则机器学习分类器选择该帧进行训练或分析。在一些实施例中，物体检测器还可以执行质量检查以例如确保检测到的目标在预定义的尺寸范围内。
97.在一些实施例中，应用程序310(或分析模块327)用于执行颜色测量。这可用于评估图像以确保其在可接受范围内，或者可将其提供给分类器(用于对图像进行分类)。
98.在一些实施例中，应用程序310(或分析模块327)用于首先捕获在腔室中没有一个或多个物体的图像，然后使用该图像调整在腔室中有一个或多个物体的图像的颜色平衡。在一些实施例中，透明校准片位于一个或多个物体和光学组件之间，或集成在光学组件内。类似地，可以将一个或多个校准插件放置在内腔中，并捕获一个或多个校准图像。然后，可以将校准数据用于校准所捕获的图像的颜色和/或深度。例如，可以将三维台阶状物体放置在室内，其中每个台阶都有一个可用于确定物体的深度的特定的符号。在一些实施例中，底部包括测量标线。在另一个实施例中，可以将一个或多个具有已知特性的参考或校准物体与待成像的物体一起放置在腔室中。然后，可以在分析期间使用参考物体的已知特性来估计目标物体的特性，例如大小、颜色、重量，并可用于质量评估。
99.在一些实施例中，壁结构40为弹性材料。在使用过程中，壁结构会变形，以改变从光学组件到一个或多个物体之间的距离。可以在多个距离收集多个图像，以获得关于物体的不同信息。
100.在一些实施例中，支撑面13是弹性物体，例如皮肤。在这些实施例中，可以收集多个图像，多个图像对应于施加到弹性物体上的多个压力值，以获得关于该物体的不同信息。
101.在一些实施例中，应用程序310(或分析模块327)用于监测或检测室内的照明水平。这可以用作质量控制机制，以便仅当照明水平在预定义的范围内时才能捕获图像。
102.图4a至4m示出成像设备的各种实施例。这些实施例可以使用3d打印技术制造，并且应当理解，形状和特征因此可以改变。图4a示出一个实施例，具有适于放置在支撑面上以形成腔室的壁结构。第二漫反射室50从闪光灯向壁40提供漫反射光。图4b示出另一个实施例，其中密封的腔室40是具有平坦底的昆虫保持器。图4c示出了夹持结构的另一个实施例，其中壁结构40是一个球面光积分器腔室，其具有部分49和46以允许将一个或多个物体插入腔室。在该实施例中，夹子端33是软夹紧垫34，且在不使用时也可以用作图像传感器孔21上的透镜盖。垫34具有弯曲轮廓，从而接触点会传递垂直于光学组件的夹紧力。接触面积最小化为与夹子垂直的线。光学组件壳体24包括摇摆点28，以约束束带32，从而允许光轴在夹子上摇摆。图4a和4c示出摇摆(或摆动)结构的替代实施例。在图4a中，摇摆结构作为夹子的一部分伸出，而在图4c中，摇摆结构被嵌入流道部分28中。图4d是用作图像传感器孔21上的透镜盖的软夹紧垫34的特写图。图4e示出了包括第二漫反射室50和多个光孔43的壁结构40的实施例的横剖视图。图4f所示为双腔室实施例，包括具有球形内壁(被隐藏)的室40和具有第二漫反射积分器室50的底盖46，该第二漫反射积分器室50可捕获来自摄像头闪光灯的光并将其漫反射到第一室40。图4g是校准插件60的透视图。最下部中心部分61包括具有不同颜色区域的中心件。其被四个同心环形的梯台壁包围，这些梯台壁分别具有一个高度和直径已知的顶面62、63、64和65。
103.在一些实施例中，腔室可沿透镜组件的光轴22滑动，以允许一个或多个物体的深度发生变化。在一些实施例中，腔室可由诸如有机硅的柔性材料制成，从而允许用户将壁变
形以使物体聚焦。在另一个实施例中，通过在腔室的底部边缘添加锯齿，可以将光的水平分量引入腔室，从而使得任何顶部照明都可以沿水平方向进行。这也可以通过调整腔室表面的角度来实现。
104.在一个实施例中，腔室可用于评估液体或液体中的物体，如海水中的扁平蛋(dish egg)。图4h是根据一个实施例的用于液体在线成像的成像设备的侧剖视图。如图4h所示，壁结构40经过修改以包括两个端口53，这两个端口53允许流体进入和离开内腔。这两个端口53可配置为入口和出口，且可包括用于停止流体流动的阀，或可包含其它端口以使得腔室可以被冲洗。可以在图像捕获孔23上方提供透明窗口。壁结构可以构造成用作球形漫反射器。图4i是根据一个实施例的用于对液体样品成像的成像设备的侧剖视图。在本实施例中，端口53为使液体样品被倒入并进入腔室的漏斗。漏斗可形成为壁结构的一部分，并由相同材料制成，以将进入腔室的光漫反射。可在端口开口53上提供盖(未示出)，以防止环境光进入腔室。
105.图4j是根据一个实施例的成像设备的侧剖视图，其具有用于物体的悬浮和三维成像的内部流体腔室(例如透明管)54。在该实施例中，管状容器设置在光轴22上，且在基座上具有开口，从而使得当移除盖46时，可以将物体放置在内管54中。可将液体放置在带有物体的管中，以使物体悬浮；或将一个或多个管接头53连接至储液罐和相关的泵55。在使用中，内部流体腔室充满液体，一个或多个待成像的物体悬浮在内部流体腔室54中的液体中。一个或多个管接头可用于填充内部流体腔室54，且还被配置成在内部流体腔室中诱导循环。该循环将导致悬浮的物体旋转，从而能够从多个不同视角捕捉物体的图像，例如用于三维成像。
106.图4k是根据一个实施例的用于浸入待成像的物体的容器中的成像设备的侧剖视图。在该实施例中，连接结构还包括延伸手柄(或管)36，且远端部分44是透明窗口。这使得至少壁结构40，甚至有可能整个设备和智能手机，能够浸入诸如茶、大米、谷物、农产品等的容器4中。在一些实施例中，透明窗口44是鱼眼透镜。可以在浸入状态下捕捉视频，然后分离成不同的图像，其中一个或多个图像可以被单独分类(或用于训练)。设备可浸入一定深度，以使得周围的物体阻挡或减少通过透明窗口44进入腔室的外部光线。
107.图4l是根据一个实施例的用于大物体成像的可折叠成像设备的侧剖视图。在本实施例中，壁结构40是一种可折叠的壁结构，其包括外壁41，外壁41包括覆盖在柔性材料中的多个旋转肋。内表面42也由柔性材料制成，且一个或多个连接构件56将柔性材料连接到外壁结构。当处于展开状态时，一个或多个连接构件用于将内表面与外壁结构隔开，且一个或多个张紧连接构件将内表面拉成弯曲轮廓，例如球形结构或近球形结构。因此，连接构件可以是沿着内表面42和外壁41之间的之字形路径的缆绳56，从而可以向缆绳的自由端施加张力，以迫使内表面成为球形结构。还可以提供光挡板57以分离外壁41和内表面42。底部44可以是基板且可以旋转。连接结构可被配置为用于支撑手机并将其保持在适当位置的支撑面。该实施例可用于对大物体成像。
108.图4m是根据一个实施例的成像设备的透视图，其中壁结构是带有柔性框架68的袋子47，用于评估产品质量。在该实施例中，壁结构40是半透明袋47，且该设备还包括框架结构68，该框架结构68包括位于图像捕获孔23周围的环形结构和多个柔性支腿。在使用中，这些柔性支腿可以成为弯曲的结构，以迫使半透明袋的壁具有弯曲轮廓。连接设备30可以包
括用于连接到袋子顶部的夹子34，且可以使用拉绳68将袋子固定在支架上。半透明袋的远端部分或底部44可包括或支撑条形码标识符66和一个或多个校准插件60，用于校准颜色和/或大小(尺寸)。该实施例使农民在农场或销售点评估其产品的质量。例如，智能手机可以执行分类器，分类器可经训练以根据预定义的质量评估分类系统对物体(产品)进行分类。例如，农民可以在销售前通过在袋子中放置多张图像来评估产品的质量。分类器可以识别特定项目是否没有通过质量评估而被去除。在一些实施例中，系统可进一步配置为评估物体的重量和颜色，以对一个或多个物体执行质量评估。这使得包括小规模经营的农民在内的农民能够评估和销售他们的产品。袋子可用于进行质量评估，可以估算重量，或袋子可以称重。或者，分类结果可以在装运时随产品一起提供。
109.图4l是根据一个实施例的配置成桌面扫描仪的可折叠成像设备的侧面剖视图。在本实施例中，远端部分44是透明的，连接结构配置为将手机固定在合适的位置，远端部分支撑待成像的物体。可以在物体2上放置盖子，或者在远端部分44上放置足够的物体，以防止光线进入腔室40。图4m是根据一个实施例的配置成上下扫描仪的可折叠成像设备的侧剖视图。它需要两个移动计算设备来捕获物体两侧的图像。
110.表1示出照明测试的结果，其中在一组图像上训练开源机器学习模型(或ai引擎)，然后用于在三种不同的照明条件下对物体进行分类，以评估照明对机器学习性能的影响。机器学习(或ai引擎)没有调整到最大化检测，因为这里的目的是使用相同的引擎但不同的照明条件来评估精度的相对差异。在包括两类物体即垃圾蝇和昆士兰果蝇(qff)的数据集，以及包括三类物体即垃圾蝇、雄性qff和雌性qff的数据集上进行测试。图5a示出自然照明测试环境71，其中物体放置在白色开放背景支架72上，在自然窗口照明(表1中的自然照明)下使用夹持式光学组件30由智能手机10捕获图像19。图5b示出阴影照明试验环境73，其中，带盖支架74包括一个切口部分75以允许来自一侧的光进入，从而从定向窗口照明投下阴影(表1中的阴影)。图5c示出腔室照明测试环境76，在该环境中，物体被放置在腔室40内，腔室使用螺纹结构44固定到光学组件上，以形成密封腔室。来自摄像头闪光灯18的光被引导到腔室中，以在腔室内产生漫反射均匀光。图5d、5e和5f示出在自然光照明、阴影照明和腔室照明条件下捕获的图像示例。在阴影照明图像中可以看到阴影78的存在。腔室图像是没有阴影的明亮图像。表1照明测试结果，其示出开源机器学习分类器模型在三种照明条件下的检测性能对比
111.表1说明，通过使用配置成消除阴影并为一个或多个待成像的物体创建均匀漫反射照明的腔室，ai系统被显著改进。阴影结果的表现略差于自然光照明结果，自然光照明结果和阴影结果的准确性明显低于腔室结果。
112.如前所述，壁结构40(包括漫反射室50)被配置成在被成像的物体上既创建均匀的照明条件又创建均匀的背景照明。由此降低了为训练机器学习分类器而捕获的图像的光照条件的可变性。在不受理论约束的情况下，人们相信这种方法是成功的，至少部分是因为它有效地缩小了图像的动态范围。也就是说，通过控制照明和减少阴影，强度值的绝对范围小于图像暴露于自然光或闪光灯直射光的情况。大多数图像传感器(如ccd)被配置成自动调整图像捕获参数，以避免图像传感器过饱和。在大多数数字图像传感器中，使用固定数量的比特(以及离散值)捕获强度数据并将其数字化。因此，如果存在非常亮和非常暗的强度，则强度的动态范围较大，因此与动态范围较小的情况相比，每个值(强度分档(bin))的范围较大。这在图8中示出，图8示出使用本文中描述的装置的实施例以生成均匀的照明条件并减少阴影而捕获的苍蝇的第一图像350，以及在正常照明条件下捕获的第二图像360。第一图像的动态强度范围352远小于第二图像的动态强度范围362，后者必须覆盖非常亮和非常暗/黑的值。如果使用相同数量的比特将每个动态范围352、362数字化，则很明显，对于第一图像350，每个数字值所跨越的强度值的范围(即每个分档的范围)小于第二图像。假设这有效地增加了在图像上捕获的信息量，或者至少能够检测可用于训练机器学习分类器的更精细的空间细节。这种控制照明以减少照明条件的可变性，对机器学习分类器的训练有积极的影响，因为它可以导致更快更准确的训练。这也意味着训练机器学习分类器需要更少的图像。
113.更令人惊讶的是，当使用经过训练的机器学习分类器对新图像进行分类时，即使图像是在自然光下拍摄而未使用成像连接结构1(即，照明腔室)，分类器仍保持其准确性。表2说明了经过训练的机器学习分类器对于使用连接到手机的成像连接结构的实施例拍摄的图像、以及没有连接到手机的成像连接结构的实施例拍摄的图像(即，自然光照明)的性能。机器学习分类器基于使用连接到手机的成像连接结构的实施例(即，均匀照明条件)捕获的图像进行训练。基于40张随机果蝇图像和40张昆士兰果蝇图像(qff)使用张量流进行训练，进行50个训练轮次、16个批次，学习率为0.001。结果示出9个未用于训练的图像的测试结果，表中的结果是经过训练的机器学习分类器在检测时分配的概率(百分之几)。
表2测试结果，其示出经过训练的机器学习分类器的相对性能，该分类器用于在有和没有连接到手机的成像设备的实施例的情况下对图像进行分类。到手机的成像设备的实施例的情况下对图像进行分类。
114.由此可以看出，在未将成像连接结构连接到手机(自然光照条件)的情况下采集的图像仍能获得高度准确的结果。虽然如果使用如本文所述的成像设备1的实施例(与用于训练分类器的设备相同或类似)捕获要分类的图像，则可以获得最佳结果，但是仅使用移动计算设备的图像传感器捕获的分类图像获得的结果仍然是高度准确的。这使得分类器能够被更广泛地使用，因为它可以由没有成像设备(照明腔室)的用户使用，而且可以在可能无法将物体放置在照明腔室内的现场使用。
115.测试表明，系统可以仅基于40到50个的少量图像进行精确训练，这说明高质量(或干净)的图像使分类器能够快速识别相关特征。然而，如果需要，可以使用更多的图像来训练分类器。
116.本文描述的实施例提供了用于捕获和分类在测试和现场环境中收集的图像的改进的系统和方法。当前的方法着眼于显微摄影技术和制作紧凑型的装置，而该系统着眼于使用腔室控制照明，并由此生成干净的图像(即，具有小动态范围的均匀的照明和背景)用于训练机器学习分类器。这加快了训练速度，并生成了更健壮的分类器，该分类器对于自然光照明下采集的脏图像有良好表现。描述了用于对使用诸如智能手机之类的移动计算设备捕获的图像进行分类的系统和方法的实施例，该移动计算设备带有连接结构，如夹在放大
结构上的夹子。实施例用来创建一个腔室，该腔室基于光积分器原理向一个或多个物体提供均匀照明，并消除阴影的存在，与在自然光或使用闪光灯拍摄的图像相比，图像的动态范围减小。光积分器(和类似形状)能够借助多次内部反射创建均匀的照明，且基本上是球形的，使得到达一个或多个物体的光的强度在所有方向上是相似的。通过创建均匀的照明条件，该方法和系统大大减少了训练机器学习模型(或ai引擎)所需的图像数量，并通过减少成像中的可变性，大大提高了检测精度。例如，如果在10种显著不同的照明条件和10种显著不同的背景下获得3d物体的图像，则图像的参数空间或复杂度将增加100倍。本文所述装置的实施例用来消除这两种变化，从而使其检测精度提高100倍。它可以部署一个可连接到手机上的低成本的夹持式(或类似)装置，其利用环境照明或摄像头闪光灯进行照明。也可以由摄像头执行光的监视。通过在相同照明条件下进行培训和评估，可显著提高准确性。例如，一个精确而健壮的系统只需50个的少量图像就可以进行训练，并且对于实验室和现场捕获的图像都可以可靠地工作。此外，如果对于自然光照明下拍摄的图像(即，不位于腔室内)使用，分类器仍能准确工作。可以基于提供均匀照明和消除阴影的腔室，实施一系列不同的实施例。在手机或云上执行的应用程序可以组合和处理多个相邻图像、多深度图像、多光谱和偏振图像。该设备的低成本性以及与任何电话或平板电脑一起工作的能力使得可以使用同一设备获取训练图像和分类图像，从而实现快速部署和广泛使用，包括小规模经营和自给自足的农民。该系统也可用于质量评估。
117.在整个说明书和所附权利要求中，除非上下文另有要求，术语“包括”、“包含”及其变化形式将被理解为暗示包括所明示的整数或一组整数，但并不排除任何其它整数或一组整数。
118.本说明书中对任何现有技术的引用不是，也不应被视为承认此类现有技术构成公共常识的一部分的任何形式的意思表示。
119.本领域技术人员会理解，可以使用各种技术中的任何一种来表示信息和信号。例如，在整个以上描述中可能提及的数据、指令、命令、信息、信号、比特、符号和芯片，可以用电压、电流、电磁波、磁场或粒子、光场或粒子或其任何组合来表示。
120.本领域技术人员将进一步理解，结合本文所公开的实施例描述的各种说明性的逻辑块、模块、电路和算法步骤可以实现为电子硬件、计算机软件或指令、中间件、平台或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经大体上根据其功能描述了各种说明性组件、块、模块、电路和步骤。将这种功能性实现为硬件还是软件取决于特定的应用程序和施加在整个系统上的设计约束。本领域技术人员可以针对每个特定应用以各种方式来实现所描述的功能，但是这些被决定的实现方式不应被解释为导致脱离本发明的范围。
121.结合本文所公开的实施例描述的方法或算法的步骤可直接体现在硬件、由处理器执行的软件模块或两者的组合中，包括基于云的系统。对于硬件实现，可以在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、设计为执行本文所述功能的其它电子单元、或其组合内实现处理。软件模块，也称为计算机程序、计算机代码或指令，可包含多个源代码或目标代码段或指令，并可位于在任何计算机可读介质中，如ram存储器、闪存、rom存储器、eprom存储器、寄存器、硬盘、可移动磁盘、cd-rom、dvd-rom、蓝
光光盘或任何其它形式的计算机可读介质。在一些方面中，计算机可读介质可包括非暂时性计算机可读介质(例如，有形介质)。此外，对于其它方面，计算机可读介质可包括暂时性计算机可读介质(例如，信号)。上述的组合也应包括在计算机可读介质的范围内。在另一方面中，计算机可读介质可集成到处理器。处理器和计算机可读介质可以驻留在asic或相关设备中。软件代码可以存储在存储器单元中，并且处理器可以用来执行它们。存储器单元可以在处理器内部或处理器外部实现，在这种情况下，可以通过本领域已知的各种手段将其通信地连接到处理器。
122.此外，应当理解，可以由计算设备下载和/或以其它方式获得用于执行本文所述的方法和技术的模块和/或其它合适的装置。例如，这样的设备可以连接到服务器以使得于用于执行本文描述的方法的装置的传输。可替代地，可以经由存储装置(例如，ram、rom、物理存储介质如光盘(cd)或软盘等)来提供本文描述的各种方法，使得在将存储装置连接或提供给计算设备时计算设备可以获得各种方法。而且，用于将本文描述的方法和技术提供给设备的任何其它合适的技术都可以使用。
123.在一种形式中，本发明可包括用于执行本文所述方法或操作的计算机程序产品。例如，这样的计算机程序产品可以包括计算机(或处理器)可读介质，其上存储(和/或编码)指令，这些指令可由一个或多个处理器执行以执行本文所述的操作。对于某些方面，计算机程序产品可包括包装材料。
124.本文公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。方法步骤和/或动作可以在不脱离权利要求的范围的情况下彼此互换。换句话说，除非指定了步骤或动作的特定顺序，否则可以修改特定步骤和/或动作的顺序和/或使用，而不脱离权利要求的范围。
125.如本文所用，术语“分析”包括各种各样的行为。例如，“分析”可以包括计算、运算、处理、推导、调查、查找(例如，在表格、数据库或其它数据结构中查找)、确定等。此外，“分析”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“分析”可包括解析、选择、挑选、建立等。