可拆卸设备及其控制方法与流程

1.本发明涉及一种可拆卸设备及其控制方法。


背景技术：

2.连接到监视摄像机的pc或服务器的高性能运算装置进行图像分析，以便根据该监视摄像机拍摄的图像来检测对象或估计属性。近来，随着移动设备的运算装置的处理能力的提高，提出了用于在监视摄像机侧进行这样的图像分析的系统。对于在这种情况下的实现，除了将运算装置放置在监视摄像机机身中以外，还提出了可拆卸设备执行至少部分图像分析的实施例，该可拆卸设备安装在监控摄像机上并具有诸如fpga的可编程运算装置。fpga是现场可编程门阵列的缩写。诸如fpga的运算装置为了设置电路配置需要使用配置数据来进行配置。可拆卸设备配设有存储配置数据的存储单元，并且当向可拆卸设备供电时，使用存储在存储单元中的配置数据来进行对运算装置的配置。
3.当应用被改变或运算装置被更新时必须更新存储在存储单元中的配置数据。在这种情况下，监视摄像机经由运算装置重写存储在存储单元中的配置数据并使运算装置执行该配置(在下文中，称为重新配置)。例如，当监视摄像机与可拆卸设备之间根据sd卡标准的通信协议进行通信时，当监视摄像机的电源供电时，从监视摄像机向运算装置发送初始化序列。顺便提及，在由sd卡标准定义的预定定时(预期运算装置的配置完成的定时)和在预定接口(i/f)的状态(电压和频率)下发送初始化序列。根据该初始化序列，运算装置设置监视摄像机的i/f的状态(电压和频率)。同时，为了减少启动之前的处理负荷并缩短启动时间，可以在电源保持开启的情况下执行重新配置。在这种情况下，监视摄像机没有发送初始化序列。因此，缺乏用于维持配置前的状态的部件的诸如fpga的运算装置无法知道以何种i/f状态启动，并且最终无法转变到可以进行计算的状态。
4.日本特开第2016-52057号公报描述了一种即使在配置之后也保持摄像机的状态的方法。更具体地，当切换拍摄模式时，将摄像机的当前校正值存储在存储单元中，执行摄像机中配设的运算装置的配置，并且在配置后，读出并设置存储在存储单元中的校正值。
5.然而，日本特开第2016-52057号公报是针对在摄像机中存在运算装置的情况的解决方案，并且不能应用于可移除地安装到摄像机的设备。主要原因是没有对以下两个问题的解决方案。首先，当在重新配置时未从摄像机发送初始化序列时，由于不能从运算装置请求初始化序列，因此需要运算装置来确定和设置i/f的状态(电压和频率)。其次，如果摄像机被配置为在重新配置时发送初始化序列，则运算装置不知道发送的定时。因此，有可能在运算装置确定并设置i/f电压和频率之后，发送初始化序列。此时，如果设置后的运算装置的i/f的状态与摄像机发送初始化序列时的摄像机的i/f的状态存在差异，则运算装置将无法接受初始化序列并且无法转变到可以进行计算的状态。


技术实现要素：

6.根据本发明的一个方面，提供了一种即使在可拆卸设备中进行重新配置时也能够
使运算装置的i/f被设置为适当状态的技术。
7.根据本发明的一个方面，提供了一种具有运算装置并且能够附接到电子设备/从电子设备拆卸的可拆卸设备，该可拆卸设备包括：获得部，用于从该电子设备获得用于重新配置的指令；保存部，用于在执行重新配置之前，将表示用于从该电子设备接收信号的运算装置的接口的状态的状态信息保存到存储单元；以及设置部，用于在预定待机时间之后使用所述状态信息来设置所述接口的状态。
8.根据本发明的另一方面，提供了一种用于控制具有运算装置并且能够附接到电子设备/从电子设备拆卸的可拆卸设备的方法，该方法包括：获得步骤，从该电子设备获得用于重新配置的指令；保存步骤，在执行重新配置之前，将表示用于从该电子设备接收信号的运算装置的接口的状态的状态信息保存到存储单元；设置步骤，在预定待机时间之后使用该状态信息来设置该接口的状态。
9.根据下面参照附图对示例性实施例的描述，本发明的另外的特征将变得清楚。
附图说明
10.图1是示出系统配置的示例的图。
11.图2是示出摄像装置的硬件配置的示例的图。
12.图3是示出摄像装置的功能配置的示例的图。
13.图4是示出可拆卸设备的硬件配置的示例的图。
14.图5是示出可拆卸设备的功能配置的示例的图。
15.图6是示出输入-输出装置的硬件配置的示例的图。
16.图7是示出输入-输出装置的功能配置的示例的图。
17.图8是示出由系统执行的处理的流程的示例的图。
18.图9是示出可拆卸设备的重新配置流程的视图。
19.图10是示出可拆卸设备的i/f控制单元中的端子的配置的示例的图。
具体实施方式
20.在下文中，将参照附图详细地描述实施例。注意，以下实施例不旨在限制要求保护的发明范围。在实施例中描述了多个特征，但是并不限于发明需要所有这些特征，并且可以适当地组合多个这样的特征。此外，在附图中，相同的附图标记被赋予相同或相似的配置，并且省略其多余的描述。
21.《系统配置》
22.图1示出了根据本实施例的图像分析系统的配置示例。在下文中，作为示例，将描述该系统为特定人物追踪系统的情况。然而，本发明不限于此，并且以下讨论可以应用于分析图像并输出预定信息的任何系统。该系统包括摄像装置110a至110d、网络120以及输入-输出装置130。摄像装置110a至110d分别具有例如可以附接和拆卸能够记录拍摄的图像的装置的插槽，并且通过将可拆卸设备100a至100d插入到插槽中而连接到可拆卸设备100a至100d。在下文中，可拆卸设备100a至100d被称为“可拆卸设备100”，并且摄像装置110a至110d被称为“摄像装置110”。摄像装置110是如下电子设备的示例，其能够安装具有运算装置的可拆卸设备。
23.可拆卸设备100是可以从摄像装置110拆卸下来的运算装置。例如，可拆卸设备100是将作为运算装置的预定处理电路安装在sd卡上的设备。可拆卸设备100可以被配置为例如以sd卡的形式可完全地插入到摄像装置110中，从而可连接至摄像装置110，而没有从摄像装置110突出的部分。因此，可以防止可拆卸设备100干扰诸如布线的障碍物，并且可以增加使用该设备时的便利性。此外，由于在诸如网络摄像机的许多现有摄像装置110中都配备有sd卡插槽，因此可以由可拆卸设备100向现有的摄像装置110提供扩展功能。请注意，除了sd卡实施例之外，可拆卸设备100还可以被配置为至少通过在附接能够存储由摄像装置110拍摄的图像的存储装置时使用的任何接口附接到摄像装置110。例如，可拆卸设备100可以具有通用串行总线(usb)接口并且被配置为被安装在摄像装置110的usb插槽中。运算装置由例如被编程为执行预定处理的fpga来实现，但是也可以以其他形式(例如，其他可编程逻辑器件(pld))来实现。fpga是现场可编程门阵列的缩写。
24.摄像装置110是诸如网络摄像机的摄像装置。在本实施例中，能够处理图像的运算装置被集成到摄像装置110中，但是本发明不限于此。例如，可以存在连接到摄像装置110的诸如pc(个人计算机)的外部计算机，并且其组合可以被视为摄像装置110。在本实施例中，假定可拆卸设备100被安装在所有的摄像装置110上。虽然图1图示了四个摄像装置110和附接到它们中的各个的可拆卸设备，但是这些装置的组合的数量可以是三个或更少，或者五个或更多。通过将具有图像分析处理功能的可拆卸设备100安装到摄像装置110，即使摄像装置110不具有图像分析处理功能，也可以在摄像装置110侧执行视频处理。此外，在用于视频处理的运算装置被布置在摄像装置110中的形式中，如同在本实施例中，通过将布设有运算装置的可拆卸设备100安装在摄像装置110上，可以使能够在摄像装置110侧执行的图像处理多样化和改进。
25.输入-输出装置130是用于从用户接受输入或者向用户输出信息(例如，显示信息)的装置。例如，在本实施例中，输入-输出装置130是诸如pc的计算机，并且信息的输入-输出通过安装在计算机中的浏览器或本地应用进行。
26.摄像装置110和输入-输出装置130经由网络120可通信地连接。例如，网络120被配置为包括：满足诸如以太网(注册商标)的通信标准的多个路由器、交换机、电缆等。在本实施例中，网络120可以是使摄像装置110与输入-输出装置130之间能够通信的任何网络，并且可以根据任何尺寸、配置或符合的通信标准来构建。例如，网络120可以是因特网、有线lan(局域网)、无线lan、wan(广域网)等。网络120还可以被配置为允许通过例如符合onvif(开放网络视频接口论坛)标准的通信协议进行通信。然而，网络120不限于此，并且例如可以被配置为允许以诸如唯一通信协议的其他通信协议进行通信。
27.《装置配置》
28.(摄像装置的配置)
29.接下来，将描述摄像装置110的配置。图2是示出摄像装置110的硬件配置的示例的图。例如，作为其硬件配置，摄像装置110包括：摄像单元201、图像处理单元202、运算处理单元203、分发单元204和sd i/f单元205。i/f是接口的缩写。
30.摄像单元201被配置为包括用于聚焦光的透镜单元和用于转换与聚焦的光相对应的模拟信号的摄像元件。透镜单元具有用于调整视角的变焦功能、用于调整光量的光圈功能等。摄像元件具有用于在将光转换为模拟信号时进行灵敏度调整的增益功能。这些功能
基于从图像处理单元202通知的设置值来调整。由摄像单元201获得的模拟信号通过模数转换电路转换为数字信号，并作为图像信号传输到图像处理单元202。
31.图像处理单元202包括：图像处理引擎、其外围设备等。外围设备包括例如ram(随机存取存储器)或相应的i/f的驱动器。在图像处理单元202中，从摄像单元201获得的图像信号经过诸如显影处理、滤波处理、传感器校正、噪声去除等的图像处理以生成图像数据。此外，图像处理单元202可以执行曝光调整，从而使得设置值被发送到透镜单元或摄像元件并且可以获得适当的曝光图像。由图像处理单元202生成的图像数据被传输到运算处理单元203。
32.运算处理单元203包括一个或更多个诸如cpu或mpu的处理器、诸如ram或rom的存储器以及用于各个i/f的驱动器。应当注意，cpu是中央处理单元的首字母缩写，mpu是微处理单元的首字母缩写，ram是随机存取存储器的首字母缩写，rom是只读存储器的首字母缩写。在一个示例中，运算处理单元203确定分配摄像装置110和可拆卸设备100中的哪一个来执行要在上述系统中执行的处理的各个部分，并执行与确定的分配相对应的处理。稍后将描述处理的细节和处理的分配。从图像处理单元202接收的图像被传输到分发单元204或sd i/f单元205。处理结果的数据也被传输到分发单元204。
33.分发单元204包括网络分发引擎和诸如ram和eth phy模块的外围设备。eth phy模块是执行以太网物理(phy)层处理的模块。分发单元204将从运算处理单元203获得的处理结果数据和图像数据转换为可以分发到网络120的格式，并将转换后的数据输出到网络120。sd i/f单元205是用于与可拆卸设备100连接的接口部分并且被配置为包括例如电源和用于附接/拆卸可拆卸设备100的附接-拆卸插槽等的安装机构。这里，假定sd i/f单元205按照sd协会制定的sd卡标准配置。将从运算处理单元203获得的图像传输到可拆卸设备100，以及用于从可拆卸设备100等获得数据的在可拆卸设备100与摄像装置110之间的通信是通过sd i/f单元205进行的。
34.图3示出了摄像装置110的功能配置示例。摄像装置110包括作为其功能的例如成像控制单元301、信号处理单元302、存储单元303、控制单元304、分析单元305、设备通信单元306和网络通信单元307。
35.成像控制单元301执行控制以经由摄像单元201拍摄周围环境。信号处理单元302对由成像控制单元301拍摄的图像进行预定处理以生成拍摄图像的数据。在下文中，将拍摄图像的数据简称为“拍摄图像”。例如，信号处理单元302对由成像控制单元301拍摄的图像进行编码。信号处理单元302使用例如诸如jpeg(联合图像专家组)的编码方法对静止图像进行编码。此外，对于运动图像，信号处理单元302使用诸如h.264/mpeg-4avc(在下文中称为h.264)、hevc(高效视频编码，high efficiency video coding)等的编码方法进行编码。此外，信号处理单元302可以例如通过摄像装置110的操作单元(未示出)从多个预设编码方案当中使用由用户选择的编码方案来对图像进行编码。
36.存储单元303存储可以由分析单元305执行的分析处理的列表(在下文中，称为“第一处理列表”)，并存储要对分析处理的结果进行的后处理的列表。存储单元303存储稍后描述的分析处理的结果。在本实施例中，虽然要执行的处理是分析处理，但是可以执行任何处理，并且存储单元303可以存储与要执行的处理相关的处理的第一处理列表和后处理列表。控制单元304控制信号处理单元302、存储单元303、分析单元305、设备通信单元306和网络
通信单元307中的各个以执行预定处理。
37.分析单元305对拍摄图像选择性地执行将在稍后描述的预分析处理、分析处理和后分析处理中的至少一个。预分析处理是在执行稍后描述的分析处理之前对拍摄图像执行的处理。在本实施例的预分析处理中，作为示例，执行分割拍摄图像以创建分割图像的处理。分析处理是输出通过分析输入图像而获得的信息的处理。在本实施例的分析处理中，作为示例，假定执行如下处理：对作为输入的通过预分析处理获得的分割图像执行人体检测处理、面部检测处理和车辆检测处理中的至少一个，并且将检测处理的结果作为分析处理的结果输出。例如，分析处理可以是如下的处理，其被配置为使用被训练以检测图像中包含的对象的机器学习模型来输出分割图像中的对象的位置。后分析处理是在执行分析处理之后执行的处理。本实施例的后分析处理的示例是如下的处理，其基于各个分割图像的分析处理结果输出作为处理结果的在各个分割图像中检测到的对象数量的总值。分析处理可以是如下的处理，其通过进行图案匹配来检测图像中的对象并输出对象的位置。
38.设备通信单元306与可拆卸设备100进行通信。设备通信单元306将输入数据转换为可拆卸设备100可以处理的格式，并将通过转换获得的数据发送到可拆卸设备100。设备通信单元306从可拆卸设备100接收数据，并将接收的数据转换为摄像装置110可以处理的格式。在本实施例中，设备通信单元306执行作为转换处理的将十进制数在浮点格式与定点格式之间转换的处理，但是本发明不限于此，设备通信单元306还可以执行其他处理。另外，在本实施例中，设备通信单元306向可拆卸设备100发送sd卡标准范围内的预定命令序列，并且通过从可拆卸设备100接收响应来进行与可拆卸设备100的通信。网络通信单元307通过网络120与输入-输出装置130通信。
39.(可拆卸设备的配置)
40.可拆卸设备100具有由fpga等构成的运算装置。图4示出了可拆卸设备100的硬件配置的示例。可拆卸设备100被配置为包括例如i/f单元401、fpga 402和存储单元404。以相对于摄像装置110的sd i/f单元205的附接拆卸插槽可以插入和移除的形状，具体地，符合sd卡标准的形状，来形成可拆卸设备100。
41.i/f单元401是用于连接诸如可拆卸设备100和摄像装置110的装置的接口部分。i/f单元401例如被配置为包括电接触端子等，其从摄像装置110接收电力并产生和分配在可拆卸设备100中使用的电力。与摄像装置110的sd i/f单元205一样，相对于sd卡标准中定义的项目，i/f单元401符合的sd卡标准。经由i/f单元401执行从摄像装置110接受图像和设置数据以及从fpga 402向摄像装置110发送数据。
42.fpga 402包括输入-输出控制单元410、处理切换单元411、运算处理单元412、存储单元i/f 413、处理单元414、i/f控制单元415、重载引脚(reload pin)416和重载电路417。fpga 402是一种可以重复地重新配置内部逻辑电路结构的半导体器件。由fpga 402实现的处理可以向附接有可拆卸设备100的装置添加(提供)处理功能。此外，fpga 402重新配置功能允许稍后改变逻辑电路结构，使得例如将可拆卸设备100附接到技术快速进步的一类装置使得该装置能够以及时的方式执行适当的处理。在本实施方式中，将描述使用fpga的示例，但是也可以使用例如通用asic或专用lsi，只要可以实现稍后描述的处理即可。通过从专用i/f写入包括要生成的逻辑电路结构的信息的设置数据(即，配置数据)或者通过从专用i/f读取设置数据来激活fpga 402。在本实施例中，假定设置数据被保持在存储单元404
中。当供电时，fpga 402经由存储单元i/f 413从存储单元404读出设置数据，生成逻辑电路，并启动该逻辑电路。然而，本发明不限于此；例如，通过在可拆卸设备中实现专用电路，摄像装置110经由i/f单元401可以将设置数据写入fpga 402。
43.输入-输出控制单元410被配置为包括用于向摄像装置110发送图像/从摄像装置110接收图像的电路、用于分析从摄像装置110接收的命令的电路、以及用于基于分析结果进行控制的电路等。这些命令在sd卡标准中定义，并且输入-输出控制单元410可以检测其中的一些。稍后将描述功能细节。输入-输出控制单元410在进行图像分析处理的情况下，将图像发送到运算处理单元412，并且在从摄像装置接收初始化序列和重新配置指令的情况下，将初始化序列和重新配置指令发送到处理单元414。此外，输入-输出控制单元410在接收到用于切换处理的设置数据时，将该设置数据发送到处理切换单元411。
44.处理切换单元411被配置为包括如下电路，该电路用于基于从摄像装置110接收的设置数据，从存储单元404获得图像分析处理功能的信息，并将其写入运算处理单元412。图像分析处理功能的信息是例如指示在运算处理单元412中要处理的计算的顺序和类型的设置参数、计算的系数等。
45.运算处理单元412被配置为包括执行图像分析处理功能所需的多个运算电路。运算处理单元412基于从处理切换单元411接收的图像分析处理功能的信息来执行每个运算处理，将处理结果发送到摄像装置110，和/或将处理结果记录在存储单元404中。
46.以这种方式，fpga 402提取与预先保存的多个处理功能相对应的设置数据中所包含的要执行的处理功能的设置数据，并且基于提取的设置数据重写由运算处理单元412执行的处理内容。结果，可拆卸设备100可以选择性地执行多个处理功能中的至少一个。此外，通过根据需要添加要新添加的处理的设置数据，可以在摄像装置110侧执行最新的处理。顺便提及，在下文中，具有与多个处理功能中的各个相对应的多个设置数据将被表示为具有多个处理功能。即，即使当可拆卸设备100的fpga 402被配置为执行一个处理功能时，当其能够通过用于另一处理功能的设置数据改变运算处理单元412的处理内容时，也表示具有多个处理功能。
47.存储单元i/f 413被配置为包括如下的电路，该电路用于将从各个组件接收到的数据的格式转换为适合于存储单元404的协议并且用于发送和接收该数据。存储单元i/f 413支持对应于各个存储器标准的一些命令，并且在各个组件与存储单元404之间发送/接收数据。
48.存储单元404是指诸如闪存或dram的存储器，并且可以是非易失性的或易失性的。存储单元404存储各种类型的信息，诸如从摄像装置110写入的存储数据、关于写入运算处理单元412的图像分析处理功能的信息，以及fpga 402的设置数据(配置数据)。存储单元404保存指示重新配置指令发生时i/f的状态(电压和频率)的状态信息，以及指示重新配置指令已经发生或状态信息已经保存的重新配置标志。该信息将通过以下描述变得清楚。
49.当从输入-输出控制单元410接收到初始化序列时，处理单元414将i/f的状态信息(在下文中，也称为i/f信息)发送到i/f控制单元415。此外，处理单元414在其接收到重新配置指令时发出重新配置标志，将i/f信息与待机时间一起发送到存储单元i/f 413，并将它们存储在存储单元404的预定地址。这里，待机时间是指fpga 402在重新配置期间等待初始化序列的时间。待机时间的值可以以将与sd卡标准中定义的初始化序列的发送相关的时间
值充分余裕的时间预先存储在非易失性存储器中。通过测量从处理单元414的运算装置上电复位(por，power on reset)或可拆卸设备100的其他配置的释放到从摄像装置110接收初始化序列的时间所获得的时间可以用作待机时间。例如，当向可拆卸设备100供电时，在fpga 402的por被释放(步骤s902)后，可以通过对直到处理单元414接收到初始化序列时(步骤s905)的时钟数计数来计算待机时间。此外，在接收到重新配置指令并将i/f信息发送到存储单元404后，处理单元414向重载电路417发送用于控制重载引脚416的信号。
50.i/f控制单元415基于从处理单元414接收的i/f信息控制fpga 402的i/f状态(电压和频率)。改变i/f电压可以通过切换提供给fpga 402的组(bank)的电压来进行，或者可以通过选择提供有不同电压的组来进行。还可以通过改变从摄像装置110提供给可拆卸设备100的时钟的频率来改变频率。
51.重载电路417具有离散地配置的用于在fpga 402外部重载的电路。当fpga 402进行其自身的重载时，需要重载电路417。重载电路417从处理单元414接收重载引脚416的控制信号，并将控制信号发送至重载引脚416。这里，在配置转变后，fpga 402所有信号引脚都处于开放漏极模式(open drain mode)，并且重载电路417将重载引脚416上拉至高电平(high)。
52.重载引脚416是为fpga 402的各个器件准备的引脚，并且被配置为用于通过从重载电路417发送的控制信号来指示fpga 402的重新配置的控制引脚。当重载电路417响应于处理单元414的指令将重载引脚416控制为低电平(low)时，fpga 402转移到配置状态。此后，重载引脚416由重载电路417控制为高电平(high)。在配置完成时，fpga 402向重载电路417输出使重载引脚416成为高电平(high)的信号。
53.图5示出了可拆卸设备100的功能配置的示例。可拆卸设备100包括例如作为其功能配置的分析单元501和通信单元502。分析单元501对图像执行分析处理。例如，当输入分析处理设置请求时，分析单元501执行用于使得输入的分析处理能够被执行的设置。当输入图像时，分析单元501对输入图像执行被设置为可执行状态的分析处理。在本实施例中，假定可执行分析处理是人体检测处理和面部检测处理，但本发明不限于此。例如，该处理可以是用于确定预先存储的人是否包括在图像中的处理(稍后描述的面部认证处理)。例如，计算预先存储的人物的图像特征量与从输入图像中检测到的人物的图像特征量的一致程度，并且当一致程度等于或大于阈值时，确定该人为预先存储的人。出于隐私保护的目的，可以将预定的面具图像叠加在从输入图像中检测到的人上，或者可以应用马赛克处理。或者，该处理可以是通过使用通过机器学习来学习人的特定动作的学习模型来检测图像中的人是否正在进行特定动作的处理。此外，其可以是确定图像中的区域是什么类型的区域的处理。例如，可以使用通过机器学习学习建筑物、道路、人物、天空等的学习模型来确定图像中的区域是什么类型的区域。如上所述，可执行分析处理可以应用于使用机器学习的图像分析处理或不使用机器学习的图像分析处理。上述各个分析处理都可以与摄像装置110协作执行，而不是由可拆卸设备100单独执行。通信单元502经由i/f单元401与摄像装置110通信。
54.(输入-输出装置的配置)
55.输入-输出装置130的硬件配置的示例在图6中示出。输入-输出装置130被配置为诸如常规pc的计算机，并且如图6所示包括例如诸如cpu的处理器601、诸如ram 602或rom 603的存储器、诸如hdd 604的存储设备，以及通信i/f 605。输入-输出装置130可以通过处
理器601执行存储在存储器或存储设备中的程序来执行各种功能。
56.图7示出了根据本实施例的输入-输出装置130的功能配置的示例。例如，输入-输出装置130包括作为功能配置的网络通信单元701、控制单元702、显示单元703和操作单元704。网络通信单元701例如连接至网络120，并经由网络120与诸如摄像装置110的外部装置执行通信。应当注意，这仅是示例，并且例如，网络通信单元701可以被配置为在不通过网络120或其他装置的情况下与摄像装置110建立直接连接并且与摄像装置110进行通信。控制单元702控制网络通信单元701、显示单元703和操作单元704来执行各处理。显示单元703例如经由显示器向用户呈现信息。在本实施例中，通过在显示器上显示由浏览器渲染的结果来向用户呈现信息。也可以通过画面显示以外的诸如语音或振动的方法来呈现信息。操作单元704接收来自用户的操作。在本实施例中，假定操作单元704是鼠标或键盘，并且用户操作它们以向浏览器输入用户操作。然而，本发明不限于此，并且，例如，操作单元704可以是诸如触摸面板或麦克风的能够检测其他用户的意图的任意设备。
57.《处理流程》
58.接下来，将描述在系统内执行的处理流程的示例。在以下各处理中，由摄像装置110执行的处理是通过例如运算处理单元203中的处理器执行存储在存储器等中的程序来实现的。然而，这仅仅是示例，稍后描述的处理的部分或全部可以由专用硬件来实现。由可拆卸设备100或输入-输出装置130执行的处理可以通过各个装置中的处理器执行存储在存储器等中的程序来实现，或者可以由专用硬件来实现部分或全部处理。
59.(总流程)
60.图8示意性地示出了在系统中执行的图像分析处理的流程。在该处理中，首先，用户将可拆卸设备100附接到摄像装置110(步骤s801)。摄像装置110执行可拆卸设备100的初始化序列(步骤s802)。在该初始化序列中，当在摄像装置110与可拆卸设备100之间发送和接收预定命令时，摄像装置110进入可拆卸设备100可以使用的状态。其后，摄像装置110识别可拆卸设备100可以执行的处理，并识别可以在本地执行(可以由摄像装置110独自执行或由摄像装置110与可拆卸设备100的组合执行)的处理(步骤s803)。可拆卸设备100可以被配置为能够执行任何处理，但是不需要考虑与要在摄像装置110侧执行的处理无关的处理。在一个示例中，例如，摄像装置110保留从输入-输出装置130预先获得的可执行处理的列表。在这种情况下，当从可拆卸设备100获得指示可以由可拆卸设备100执行的处理的信息时，摄像装置110可以依据处理是否被包括在列表中来仅识别可以执行的处理。随后，摄像装置110确定要执行的处理，并根据需要执行可拆卸设备100的设置(步骤s804)。即，当被确定为执行目标的处理的至少一部分由可拆卸设备100执行时，执行可拆卸设备100对该处理的设置。在该设置中，例如，可以使用与要执行的处理相对应的设置数据来重新配置fpga 402。然后，摄像装置110或可拆卸设备100执行分析处理(步骤s805)。其后，摄像装置110执行后处理(步骤s806)。重复执行步骤s805和步骤s806的处理。例如，当为摄像装置110的电源供电时或者当安装可拆卸设备100时，执行图8的处理。另外，当可拆卸设备100被拆卸时，例如，可以再次执行图8的处理的至少一部分，诸如重复执行步骤s803的处理。
61.(可拆卸设备中的配置处理的流程)
62.图9示出了根据本实施例的由用于实现图像分析系统的fpga 402进行的处理流程。参照图9，将描述在第一次向可拆卸设备100供电时的处理流程和进行重新配置时的处
理流程。首先，参考步骤s901至步骤s908，将描述第一次向可拆卸设备100供电时的流程。
63.在检测到可拆卸设备100被安装时，摄像装置110向可拆卸设备100供电(步骤s901)。当可拆卸设备100被插入连接器时，例如，通过将摄像装置110的连接器中的机械开关按压并通电来检测可拆卸设备100被安装。当给可拆卸设备100供电时，被配置为与fpga 402匹配的电源按顺序启动。当所有需要的电源被提供给fpga 402时，fpga 402释放上电复位(por)(步骤s902)。
64.当por被释放时，fpga 402转变为配置状态并且使用保存在存储单元404中的配置数据来执行配置(步骤s903)。当fpga 402的配置完成时，处理单元414通过存储单元i/f 413读取存储在存储单元404的预定地址中的重新配置标志(步骤s904)。如果向可拆卸设备供电，即，如果其没有被重新配置，则重新配置标志为off。当重新配置标志＝off(例如，值“0”)被读取时(步骤s904中的“否”)，处理前进到步骤s905。
65.当对可拆卸设备100供电时，从摄像装置110发送初始化序列，使得fpga 402的输入-输出控制单元410经由i/f单元401接收该初始化序列(步骤s905)。fpga 402的输入-输出控制单元410在确定接收到的信息是初始化序列时，将接收到的信息发送到处理单元414。处理单元414从接收到的初始化序列中提取i/f信息，并将该i/f信息发送到i/f控制单元415(步骤s906)。i/f控制单元415根据接收到的i/f信息控制fpga 402的i/f状态(步骤s907)。通过根据i/f信息控制i/f状态，fpga 402转变为可以对从摄像装置110发送的数据进行运算处理的状态(在下文中，可以进行计算的状态)(步骤s908)。
66.通过上述步骤，当向可拆卸设备100供电时，fpga402转变为可以进行计算的状态。接下来，在步骤s930至步骤s932中，将描述当可拆卸设备100的fpga 402处于可以进行计算的状态时，从摄像装置110发送重新配置指令时执行的处理。
67.在fpga 402在步骤s908中转变为可以进行计算的状态之后，处理单元414确定其是否已经从摄像装置110接收到重新配置指令(步骤s930)。如果还没有接收到重新配置指令(步骤s930中为“否”)，则可以进行计算的状态继续。重新配置指令经由可拆卸设备100的i/f单元401和fpga 402的输入-输出控制单元410发送到处理单元414。重新配置指令是在以下情况下发出的，在存储单元404中存储的深度学习模型(dl模型)要被改变时神经网络的层配置要被改变的情况下，在根据温度而改变fpga 402的操作频率的情况下等。这里，神经网络的层配置是指mobilenet、vgg8、resnet等。重新配置指令可以由摄像装置110自动发送，或者可以通过来自操作输入-输出装置130的用户的指令操作来发送。
68.当接收到重新配置指令时(步骤s930中为“是”)，处理单元414经由存储单元i/f 413将待机时间、处于on状态的重新配置标志和当前的i/f信息分别存储在存储单元404的预定地址中(步骤s931)。当待机时间被存储在非易失性存储器的预定地址时，无需将待机时间存储在存储单元404的预定地址。这是由于处理单元414可以从非易失性存储器的预定地址获得待机时间。然而，当测量待机时间时，由于该时间比sd卡标准指定的待机时间更适合于配置，因此优选地进行更新。在存储单元404中存储了重新配置标志和i/f信息后，处理单元414经由重载电路417发送用于将重载引脚416控制为低电平(low)的控制信号(步骤s932)。结果，重载引脚416被控制为低电平(low)。其后，处理前进到步骤s903。下面将描述在步骤s903、步骤s904以及步骤s910至步骤s921中执行的重新配置的处理。
69.在将重载引脚416控制为低电平(low)之后，fpga 402转变为配置状态(步骤
s903)。重载引脚416处于开放漏极模式，但由于被重载电路417上拉，因此在转变为配置状态后，被控制为高电平(high)。在转变为配置状态后，处理单元414通过存储单元i/f 413读取存储在存储单元404的预定地址中的重新配置标志(步骤s904)。如果使用重新配置指令来执行配置，则步骤s931将重新配置标志设置为on；因此，处理转变到步骤s910(步骤s904中为“是”)。
70.当读取on状态重新配置标志时，处理单元414读取存储在存储单元404中的待机时间，开始待机，并且开始监视待机时间的消逝(步骤s910)。例如，待机时间的值可以以将与sd卡标准中定义的初始化序列的发送相关的时间的值充分余裕的时间预先存储在存储单元404中。当然，本发明不限于此，并且例如，由fpga 402计算的待机时间可以存储在存储单元404中。这里，待机时间是在电源被提供给可拆卸设备100时，通过对从在步骤s902中fpga 402的por被释放时到在步骤s905中接收到初始化序列时的时钟数计数来计算的。此外，通过将时钟频率乘以计算的时钟数，可以计算以实时表示的待机时间。
71.如果输入-输出控制单元410检测到已经接收到初始化序列(步骤s911中为“是”)，则处理前进到步骤s912，如果没有检测到(步骤s911中为“否”)，则处理前进到步骤s920。处理单元414确定是否已经经过了待机时间，如果没有经过待机时间(步骤s920中为“否”)，则处理返回到步骤s911。因此，直到在步骤s910中开始的待机的待机时间已经过去，处理单元414将等待从摄像装置110接收初始化序列。如果在待机时间过去之前接收到初始化序列(在步骤s911中为“是”)，则处理单元414从接收到的初始化序列中提取i/f信息，并将该i/f信息发送到i/f控制单元415(步骤s912)。i/f控制单元415基于从处理单元414接收的i/f信息，控制fpga 402的i/f状态(步骤s913)。在i/f状态被控制后，处理单元414删除保存在存储单元404中的重新配置标志(步骤s914)，从而禁用保存在存储单元404中的i/f信息，然后转变到其中可以进行计算的状态(步骤s908)。此时，可以删除i/f信息本身。顺便提及，当配置完成时，在重载电路417中，用于控制重载引脚416的信号被控制为维持高电平(high)。
72.另一方面，如果处理单元414在待机时间过去之前没有从摄像装置110接收到初始化序列(步骤s920中为“是”)，则处理前进到步骤s921。例如，处理单元414从待机开始对时钟数计数，如果在接收到初始化序列之前计数的时钟数大于待机时间，则处理单元414确定初始化序列没有从摄像装置110发送。在这种情况下，处理单元414从储存单元404中读出在步骤s931中储存的i/f信息，并将该i/f信息发送到i/f控制单元415(步骤s921)。其后，处理前进到步骤s913。步骤s913之后的处理如上所述。
73.《存储单元404的变化》
74.假定可拆卸设备100在存储单元404的重新配置标志设置为on的情况下从摄像装置110中被取出，然后被插入到不同的摄像装置中。当存储单元404是非易失性存储器时，维持重新配置标志的on状态。因此，存在这样的可能性，即fpga 402将确定该配置是基于重新配置指令，并且初始化操作将无法正确进行。因此，在图9所示的处理中，在完成重新配置之后通过清除重新配置标志(步骤s914)，状态信息变成无效。然而，该无效的定时，即，重新配置标志被清除(变为off)时的定时只需要在可拆卸设备100断电之前。例如，当指示对可拆卸设备100解除绑定(断开连接)时，可以清除重新配置标志。或者，例如，可以在确定重新配置标志为on之后(例如，在步骤s904与步骤s910之间)立即清除重新配置标志。同时，如果使用易失性存储器来保存重新配置标志，则数据在断电时被擦除，因此可以省略清除重新配
置标志的处理。
75.《i/f电压控制的变化》
76.代替将i/f电压信息存储在存储单元404中，可以通过确认重新配置标志是否为on状态以及连接到摄像装置110的信号线的电压是否超过了被施加3.3v的组的阈值电压来进行对i/f电压的控制。在这种情况下，当没有超过阈值时，选择1.8v。通过使用这种方法，可以减少存储在存储单元404中的信息。
77.《i/f控制单元415的配置的变化》
78.当支持uhs-i或更高的sd卡标准时，sd卡的i/f电压需要从3.3v改变。图10示出了i/f控制单元415中的端子的配置示例。当使可拆卸设备100支持uhs-i等时，由于难以动态地切换fpga 402的端子电压，因此使用了两个组，vα连接到一个组，vβ连接到另一个组，以形成短导线(stub wire)。这里，vα和vβ是不同的电压。i/f控制单元415通过基于初始化序列的i/f电压信息屏蔽未使用的组来对要使用的电压进行切换。
79.如上所述，根据上述实施例，即使在可拆卸设备中进行重新配置时，也可以适当地设置运算装置的i/f状态。
80.其他实施例
81.本发明的(多个)实施例也可以通过如下实现：一种系统或装置的计算机，该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂时性计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或更多个程序)，以执行上述(多个)实施例中的一个或更多个的功能，并且/或者，该系统或装置包括用于执行上述(多个)实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))；以及由该系统或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述(多个)实施例中的一个或更多个的功能，并且/或者，控制所述一个或更多个电路以执行上述(多个)实施例中的一个或更多个的功能。所述计算机可以包括一个或更多处理器(例如，中央处理单元(cpu)，微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)
tm
)、闪存设备以及存储卡等中的一者或更多。
82.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
83.虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围被赋予最宽的解释，以便涵盖所有这样的修改以及等同的结构和功能。