用于管理便条的系统和方法与流程

用于管理便条的系统和方法
1.本技术是申请日为2014年3月31日、申请号为201480031529.8(国际申请号为pct/us2014/032367)、名称为“用于管理便条的系统和方法”的专利申请的分案申请。
技术领域
2.本公开涉及便条捕获、识别、提取，和/或管理工具和系统。


背景技术：

3.便条已被广泛用于记录、共享，以及传达想法和信息。例如，在协作会话(例如，集体研讨会话)期间，参与者在便条、白板，或纸材上写下想法，然后彼此共享。此外，人们常常全天使用便条以记住个人不想忘记的信息或内容。如另外的实例，人们通常使用便条作为将来要发生的动作或事件(诸如打电话、修改文档或填写时间表)的提醒。
4.在许多情况下，人们可习惯在基于纸材的便条诸如便条上写下适当的信息。纸材便条从背部粘贴的纸材便条的分配便签簿被简单地移除，并且被应用于多种表面诸如文档、桌子的顶部、电话等。可在纸材便条与它们的分配便签簿分离或附接到它们的目标表面之前或之后，将信息写在纸材便条上。纸材便条可容易地从一个表面移动到另一个表面诸如在文档之间或在文档和桌子的顶部之间，它们可重叠边缘或文档的边界，它们可以是分层的，并且它们可随它们所附接到的对象移动。


技术实现要素：

5.本公开的至少一些方面以一种收集便条的内容的方法为特征，该方法包括以下步骤：由传感器来捕获具有多个便条的场景的视觉表示；由处理单元来从视觉表示识别所述多个便条中的一个便条；以及由处理单元来提取多个便条中的一个便条的内容。
6.本公开的至少一些方面以一种便条识别系统为特征，该便条识别系统包括传感器、便条识别模块，和便条提取模块。该传感器被构造成捕获具有多个便条的场景的视觉表示。该便条识别模块耦接到传感器。该便条识别模块被构造成接收所捕获的视觉表示，并且从所捕获的视觉表示确定所述多个便条中的一个便条的一般边界。该便条提取模块被构造成基于所述多个便条中的所述一个便条的所确定的一般边界，从所捕获的视觉表示提取所述多个便条中的所述一个便条的内容。
附图说明
7.附图包含在本说明中并构成本说明的一部分，并且与具体实施方式一起解释本发明的优点和原理。在附图中，
8.图1a是示出了用户使用移动装置上的图像捕获装置来捕获具有便条的工作空间的图像的一个实例的表示；
9.图1b是示出了移动装置的一个实例的框图；
10.图1c示出了便条识别系统的实施例；
11.图1d示出了便条管理系统的实施例；
12.图2a至图2c示出了具有标记的便条的一些实例；
13.图3a示出了便条识别系统和/或便条管理系统的实施例的流程图；
14.图3b示出了提取便条的内容的实施例的流程图；
15.图3c示出了验证便条的实施例的流程图；
16.图4a至图4d示出了具有标记的便条的内容提取过程的实例；
17.图5a至图5d示出了具有逆向反射标记的多个便条的内容提取的实施例；
18.图6示出了便条识别系统的实施例的模块图；
19.图7a示出了便条管理系统的实施例的流程图；
20.图7b示出了系统可如何标记便条的实例；以及
21.图8示出了便条管理系统的实施例的模块图。
具体实施方式
22.便条已经广泛用于记录、共享，以及传达想法和信息。例如，在协作会话(例如，集体研讨会话)期间，参与者在便条、白板、纸材上写下想法，然后彼此共享。本公开的至少一些方面涉及捕获多个便条并提取便条的内容的系统和方法。在一些实施例中，便条中的至少一些便条包括促进便条的识别和提取的标记。在一些情况下，在场景的一个视觉表示中捕获并且确认/识别便条。场景的视觉表示例如可以是一个或多个便条和周围环境的数字照片。另外，本公开的至少一些方面涉及管理多个便条的系统和方法，诸如存储并检索便条、将便条分类或分组等。在一些情况下，便条管理系统可改善在从大量便条中捕获并提取便条的内容的效率。此外，便条管理系统可改善对便条进行分组并管理的效率。
23.便条可包括物理便条和数字便条。物理便条通常是指具有一般边界和可识别内容的对象。物理便条可包括人们在对象(诸如纸材、白板、或接受输入的其它对象)上书写、绘画、或者经由其他类型的输入而进入之后的所得的对象。以举例的方式，物理便条可包括手写便条、纸材，或膜、具有图片的白板、招贴，以及标记。在一些情况下，一个对象可包括若干个便条。例如，若干个想法可被书写在一张招贴纸或白板上。在一些具体实施中，为了促进这些便条的识别，标记诸如线、标记物、标贴可被应用于便条的边缘。物理便条可以是二维的或三维的。物理便条可具有各种形状和尺寸。例如，物理便条可以是3英寸
×
3英寸的便条；物理便条可以是26英寸
×
39英寸的招贴；并且物理便条可以是三角形金属标记。在一些情况下，物理便条具有已知的形状和/或尺寸。数字便条一般是指具有信息和/或想法的数字对象。数字便条可使用数字输入来生成。数字输入可包括例如键盘、触摸屏、数字相机、数字记录装置、触笔、数字笔等。
24.在一些情况下，便条在协作空间中使用。协作空间一般是指允许多于一个人彼此共享想法和思想的采集区域。除采集区域之外，该协作空间还可包括允许一群人远程共享想法和思想的虚拟空间。
25.图1a示出了便条识别环境10的实例。在图1a的实例中，环境10包括从工作空间20捕获并识别一个或多个便条22的移动装置15。如本文所述，移动装置为一个或多个软件应
用程序提供执行环境，如所描述的，该软件应用程序可有效地从大量物理便条诸如来自工作空间20的便条22的集合捕获并提取便条内容。在该实例中，便条22可以是具有多个参与者的协作集体研讨会话的结果。如所描述的，移动装置15和在该移动装置上执行的软件可执行多种便条相关的操作，该多种便条相关的操作包括自动创建代表工作空间20的物理便条22的数字便条。
26.在所述示例性具体实施中，除其他部件之外，移动装置15还包括图像捕获装置18和呈现装置28。此外，虽然未在图1a中示出，但移动装置15可包括一个或多个处理器、微处理器、内部存储器和/或数据存储装置以及用于执行软件或固件以提供本文所述的功能的其他电子电路。
27.一般来讲，图像捕获装置18是相机或被构造成捕获代表工作空间20和固定在工作空间20中的便条22的图像数据的其他部件。换句话讲，该图像数据捕获具有多个视觉便条的环境(诸如工作空间20)的视觉表示。虽然被论述为移动装置15的相机，但图像捕获装置18可包括能够捕获图像数据的其他部件，诸如视频记录器、红外相机、cdd(电荷耦合装置)阵列、激光扫描器等。此外，所捕获的数据可包括图像、视频、一系列图像(即，在一定时间段内和/或按次序获取的多个图像)、图像的集合等中的至少一者，并且术语输入图像在本文中用于指多种示例性类型的图像数据。
28.呈现装置28可包括但不限于电子可寻址的显示器，诸如液晶显示器(lcd)或用于与移动装置28一起使用的其他类型的显示装置。在一些具体实施中，移动装置15针对多种格式的便条生成内容例如分成行和/或列的列表、流程图等以在显示装置28上显示。在一些情况下，移动装置15可传输显示信息以用于由其他装置诸如平板电脑、投影仪、电子布告板或其他外部装置来呈现。
29.如本文所述，移动装置15和在其上执行的软件提供用于创建并操纵代表物理便条22的数字便条的工作台。例如，一般来讲，移动装置15被构造成处理由图像捕获装置18产生的图像数据，以检测并识别被定位在工作台20内的物理便条22中的至少一个物理便条。在一些实例中，移动装置15被构造成通过确定一个或多个便条的一般边界来识别该一个或多个便条。在便条被识别之后，移动装置15提取所述一个或多个便条中的至少一个一个或多个的内容，其中内容是便条22的视觉信息。
30.如下面进一步描述的，移动装置15可实现用于自动检测和识别物理便条22以及提取与物理便条中的每个物理便条相关联的信息、内容或其他特性的技术。
31.在图1a的实例中，移动装置15被示出为移动电话。然而，在其他实例中，移动装置15可以是平板电脑、个人数字助理(pad)、膝上型计算机、媒体播放器、电子书阅读器、可佩戴计算装置(例如，手表、眼镜、手套)，或适于执行本文所述的技术的任何其他类型的移动或非移动计算装置。
32.图1b示出了根据本文所述的技术操作的移动装置的实例的框图。为了示例性目的，将相对于图1a的移动装置15来描述图1b的移动装置。
33.在该实例中，移动装置15包括提供用于装置的操作的核心功能的各种硬件部件。例如，移动装置15包括一个或多个可编程处理器70，该一个或多个可编程处理器70被构造成根据可执行指令(即，程序代码)进行操作，该可执行指令通常存储在计算机可读介质或数据存储装置68中，诸如静态随机存取存储器(sram)装置或闪存存储器装置。i/o 76可包
括一个或多个装置，诸如如图1a所述的键盘、相机按钮、电源按钮、音量按钮、主按钮、后退按钮、菜单按钮，或呈现装置28。发射器72和接收器74经由如图1a所述的无线通信接口(诸如但不限于高频射频(rf)信号)来提供与其他装置(诸如如图1a所述的云服务器12、计算机系统14，或其他移动装置16)的无线通信。移动装置15可包括未在图1b中示出的附加分立数字逻辑部件或模拟电路。
34.一般来讲，操作系统64在处理器70上执行，并为包括便条管理应用程序78的一个或多个用户应用程序77(applications)(常常被称为“应用程序(apps)”)提供操作环境。例如，用户应用程序77可包括存储在计算机可读存储装置(例如，数据存储装置68)中的可执行程序代码以用于由处理器70来执行。作为其他实例，用户应用程序77可包括固件，或在一些实例中，可在分立逻辑部件中实现。
35.在操作中，移动装置15接收输入图像数据，并根据本文所述的技术来处理该输入图像数据。例如，图像捕获装置18可捕获具有多个便条的环境的输入图像，诸如具有便条22的图1a的工作空间20。又如，移动装置15可经由接收器74来接收来自外部来源(诸如云处理器15、计算机系统14或移动装置16)的图像数据。一般来讲，移动装置15将图像数据存储在用于由便条管理应用程序78和/或其他用户应用程序77访问并处理的数据存储装置68中。
36.如图1b所示，用户应用程序77可调用操作系统64的内核函数，以输出用于为移动装置的用户呈现信息的图形用户界面(gui)79。如下面进一步描述的，便条管理应用程序78可构造并控制gui 79，以提供用于生成并操纵代表物理便条22的对应数字便条的改善的电子环境。
37.为了更好地理解本公开，图1c示出便条识别系统100a的实施例。该系统100a可包括处理单元110、一个或多个便条120、传感器130，以及便条内容储存库140。该处理单元110可包括一个或多个处理器、微处理器、计算机、服务器，以及其他计算装置。该传感器130例如图像传感器被构造成捕获具有一个或多个便条120的场景的视觉表示。该传感器130可包括以下各项中的至少一者：相机、视频记录器、红外相机、ccd(电荷耦合装置)阵列、扫描器等。该视觉表示可包括以下各项中的至少一者：图像、视频、一系列图像(即，在一定时间段内和/或按次序拍摄的多个图像)、图像的集合等。该处理单元110耦接到传感器130，并且被构造成接收视觉表示。在一些情况下，该处理单元110电耦合到传感器130。该处理单元110被构造成从视觉表示识别所述一个或多个便条120中的至少一个便条。在一些实施例中，该处理单元110被构造成通过确定一个或多个便条的一般边界来识别该一个或多个便条。在识别便条之后，该处理单元110提取便条的内容。在一些情况下，该处理单元110被构造成从具有那些便条的场景的视觉表示中识别并提取多于一个便条的内容。
38.在一些情况下，该处理单元110可执行存储在非暂态计算机可读介质中的软件或固件，以实现用于系统100a的各种过程(例如，识别便条、提取便条等)。该便条内容储存库140可在单个计算机、服务器、存储装置、云服务器等上运行。在一些其他情况下，该便条内容储存库140可在一系列联网的计算机、服务器或装置上运行。在一些具体实施中，该便条内容储存库140包括包含本地、区域和中央的数据存储装置的层。该便条120可包括有序或随机地布置在协作空间中的物理便条，并且传感器130在协作空间中生成便条120的视觉表示。
39.在一些实施例中，一个或多个便条120中的至少一些便条包括标记，其可促进便条
的确认、识别和/或认证。在一些实施例中，标记包括以下各项中的至少一者：条形码、色块、色码、基准标记、商标徽标、点、孔等。便条自身的形状和/或颜色可被用作标记，以促进便条的确认、识别和/或认证。在一些情况下，标记可包括布置成某些图案的多个元素，例如矩形便条的四个拐角处的基准标记。在一些其他情况下，标记可包括多个元素，其中至少一些元素是可用于提供认证信息例如rfid(射频确认)标签的不可见元素。以举例的方式，标记可使用以下各项中的至少一者制成：逆向反射材料、光学变色墨、有色墨、红外吸收墨、荧光墨、水印、光滑材料、彩虹色材料、多层光学膜、胶体晶体、穿孔标记、结构化颜色、浮动图像、窗口线程等。在一些实施例中，处理单元110首先从视觉表示识别便条上的标记，确定标记在视觉表示上的位置，然后基于所识别的标记来提取便条的内容。在一些情况下，处理单元110基于所识别的标记、便条的已知形状、以及标记在所述便条上的已知相对位置来提取便条的内容。在一些具体实施中，处理单元110从视觉表示实时地提取便条的内容(即，处理暂态存储装置中的数据)，而不将视觉表示存储在非暂态存储装置中。
40.在一些具体实施中，便条识别系统100a可包括呈现装置(图1c中未示出)，以向用户示出哪些便条被识别和/或哪些便条的内容已经被提取。另外，便条识别系统100a可经由呈现装置而呈现所提取的内容。在一些实施例中，处理单元110可在提取便条的内容之前对便条进行认证。如果便条被认证，则内容将被提取并存储在便条内容储存库140中。在一些情况下，处理单元可提取来自便条上的标记的认证信息。在此类情况下，认证信息在标记上可以是可见的或不可见的。例如，便条上的标记可包括符号，例如公司徽标、矩阵代码、条形码、色标等。又如，便条上的标记可包括存储可被合适阅读器检索的信息的标签。例如，标记可包括rfid标签、近场通信(nfc)标签等。
41.在一些实施例中，传感器130可生成具有若干个便条120的场景的第一视觉表示，例如，拍摄具有周围环境的照片或视频剪辑。便条中的每个便条具有标记。处理单元110识别标记，确定标记的位置，并且使用标记的位置来控制传感器130，以生成具有便条120的场景的第二视觉表示，例如拍摄便条的放大图像。处理单元110还可从第二视觉表示识别并提取便条的内容。
42.图1d示出了便条管理系统100b的实施例。在该实施例中，便条管理系统100b包括处理单元110、一个或多个便条120、一个或多个便条来源150，以及便条内容储存库140。在一些情况下，系统100b包括呈现装置160。处理单元110、便条120，以及便条内容储存库140类似于如图1a所示的用于便条识别系统100a的部件。便条来源150可包括提供物理便条的内容(诸如具有一个或多个便条的场景的视觉表示)的来源，以及提供数字便条的内容(诸如从键盘输入的数据流)的来源。在一些实施例中，便条管理系统100b包括第一来源和第二来源，并且第一来源是具有一个或多个便条120的场景的视觉表示。第一来源和第二来源是由不同的装置产生的。第二来源包括以下各项中的至少一者：文本流、图像、视频、文件和数据条目。处理单元110识别来自第一来源的便条中的至少一个便条，并且提取便条的内容，如在便条识别系统100a所讨论的。在一些情况下，处理单元110利用类别来标记便条。处理单元110可基于便条的特定形状、颜色、内容、和/或便条的其他信息来标记便条。例如，每组便条均可具有不同的颜色(例如，红色、绿色、黄色等)。在一些情况下，便条120可包括具有一个或多个元素的标记，并且处理单元110可基于从标记提取的信息来标记便条。
43.在一些实施例中，便条管理系统100b可包括一个或多个呈现装置160，以向用户显
示便条120的内容。显示装置160可包括但不限于电子可寻址的显示器，诸如液晶显示器(lcd)、平板电脑、投影仪、电子布告板、蜂窝电话、膝上型电脑等。在一些具体实施中，处理单元110针对多种格式的便条生成内容例如分成行和/或列的列表、流程图等以在呈现装置160上显示。
44.便条识别系统和便条管理系统的各种部件诸如处理单元、图像传感器、以及便条内容储存库可经由通信接口来通信。通信接口包括但不限于任何有线或无线的短程和远程通信接口。短程通信接口可以是例如局域网(lan)、符合已知通信标准的接口，该通信标准诸如蓝牙标准、ieee 802标准(例如，ieee 802.11)、zigbee或类似规范，诸如基于ieee 802.15.4标准的那些规范，或者其他公共或专有无线协议。远程通信接口可以是例如广域网(wan)、蜂窝网络接口、卫星通信接口等。该通信接口可在私人计算机网络诸如内联网内，或在公共计算机网络诸如互联网上。
45.图2a至图2c示出了具有标记的便条的一些实例。如图2a所示，便条200a上的标记具有两个元素，元素210a和元素220a。元素210a和220a可具有不同的尺寸、形状、相对位置和/或材料成分。例如，元素210a是作为用于便条的标识符的条形码，并且元素220a是可用于确定便条的边界的向后反射墨的小矩形。如图2b所示，便条200b上的标记可具有四个元素210b,220b,230b和240b。该四个元素可具有类似的或不同的尺寸、形状和材料成分。标记可被用于识别便条的尺寸、位置、取向、失真和其他特性，这可用于内容提取和增强。如图2c所示，便条200c上的标记具有一个元素210c。便条200c具有非矩形形状。在一些实施例中，元素210c包括例如识别便条的类型和分组的标识符。在一些情况下，识别符是唯一标识符。
46.图3a示出了便条识别和/或管理系统的实施例的流程图。最初，系统捕获多个便条的视觉表示(步骤310a)。在一些实施例中，便条是物理便条，并且更有效地同时捕获多于一个便条。然后，系统从视觉表示识别所述多个便条中的一个便条(步骤320a)。例如，系统可识别便条上的特定标记，并且随后确定便条的一般边界。系统提取所述多个便条中的所述一个便条的内容(步骤330a)。在一些实施例中，系统可在提取内容之前对视觉表示的至少一部分应用图形转换。在一些其它实施例中，系统可应用图像增强或其他图像处理技术以改善所提取的内容的质量。在其它实施例中，系统还可从所提取的内容中识别文本和图形。
47.图3b示出了提取便条的内容的实施例的流程图。首先，由系统来接收视觉表示(步骤310b)。系统从视觉表示识别便条上的标记(步骤320b)。在确定标记的位置和/或形状之后，该系统可任选地对所述视觉表示执行几何校正和裁剪(步骤330b)。基于所识别的标记在便条上的位置和/或形状，便条的一般边界在视觉表示上被识别(步骤340b)。在一些实施例中，系统可接收相同便条组的两个视觉表示，其中便条中的每个便条具有标记。第一视觉表示是使用适于捕获便条上的标记的光源而获取的。例如，光源可以是使用红外敏感墨的用于标记的红外光。标记在第一视觉表示中被识别，并且标记的位置被确定。第二视觉表示可捕获便条组，并且系统可分别基于其标记来确定每个便条的一般边界。在便条的一般边界被确定之后，系统提取便条的内容(步骤350b)。例如，在视觉表示是图像的情况下，系统可根据所确定的便条的一般边界来裁剪图像。任选地，系统可增强便条的内容(步骤360b)，例如通过改变对比度、亮度，和/或使用其他图像处理技术。在一些情况下，系统可利用指示其内容被提取的状态来更新便条。
48.图3c示出了验证便条的实施例的流程图。首先，从便条或便条栈获得认证信号(步
骤310c)。在一个实施例中，认证信息是便条上的标记的视觉成分(例如，全息图)，并且认证信号可通过从捕获便条的视觉表示提取视觉成分而获得。在另一个实施例中，认证信息包含在便条上的标记的电子部件(例如，rfid标签)中，并且认证信号可使用合适的阅读器(例如rfid阅读器)获得。然后，系统对认证信号进行验证(步骤320c)。如果便条被认证(步骤320c)，则系统可启动便条管理应用程序或者使用便条。
49.图4a至图4d示出了具有标记的便条的内容提取过程的实例。首先，如图4a所示，便条410的视觉表示400被捕获。便条410具有可以是条形码、色码、矩阵码、色块等的标记420。然后，如图4b所示，系统在视觉表示上确定标记的一般边界430并且识别标记420。在一些情况下，如图4c所示，便条410在视觉表示400中可以是倾斜的。在一些其他情况下，视觉表示400可被获取为具有几何失真。系统可使用标记420或标记420的一部分的所确定的一般边界来确定针对视觉表示400的必要图像转换和校正，以获得便条内容。图4d示出了在先前分析和/或图像处理之后系统提取便条410的内容。
50.图5a至图5d示出了具有逆向反射标记的多个便条的内容提取的实施例。便条识别/管理系统接收视觉表示500a，该视觉表示捕获三个便条510a，并且每个便条510a具有标记520，该标记在左上部拐角和下底部拐角处具有两个元素-两个逆向反射矩形标签。由于逆向反射材料的光学属性，标记520基本上比便条的剩余部分亮。图5b示出了标记520比便条510a和背景亮的多。在一些实施例中，系统可使用图像处理以将如图5a所示的500a的视觉表示转换成如图5b所示的500b。在一些另选的实施例中，系统可利用不同光源例如闪光灯来生成三个便条510a的另一个视觉表示500b。系统可容易地从视觉表示500b确认标记520。如图5c所示，在标记520被确认之后，系统可提取便条510c的内容。在一些情况下，如图5d所示，系统可使用图像处理技术(例如，自适应柱状图平衡)以增强所提取的内容510d。
51.图6示出了便条识别系统600的实施例的模块图。在所示实施例中，系统600包括便条捕获模块620、便条识别模块630，以及便条提取模块640。便条识别系统600的多个部件可通过一个或多个计算装置(包括但不限于电路、计算机、处理器、处理单元、微处理器，和/或平板电脑)来实现。在一些情况下，便条识别系统600的各种部件可在共享的计算装置上实现。另选地，系统600的部件可在多个计算装置上实现。在一些具体实施中，系统600的各种模块和部件可实现为软件、硬件、固件或它们的组合。在一些情况下，便条识别系统600的各种部件可在由计算装置执行的软件或固件中实现。另外，系统600的各种部件可经由通信接口进行通信或者耦接到通信接口例如有线或无线接口。便条捕获模块620被构造成捕获多个物理便条的视觉表示。在一些实施例中，便条捕获模块620包括图像传感器。便条识别模块630耦接到便条捕获模块620，该便条识别模块被构造成接收所捕获的视觉表示，并且从所捕获的视觉表示确定多个物理便条中的一个物理便条的一般边界。在一些情况下，便条识别模块630被构造成创建代表所识别的物理便条的数字便条。便条提取模块640被构造成基于所确定的所述多个便条中的所述便条一个的一般边界来从所捕获的视觉表示提取所述多个便条中的所述一个便条的内容。在一些情况下，便条提取模块640被构造成使所提取的内容与对应的数字便条相关联。
52.在一些实施例中，便条识别系统600包括被构造成验证所述多个便条的便条认证模块650。在一些情况下，所述多个便条中的至少一些便条具有标记。可使用标记来促进便条的所识别、提取和认证。例如，便条认证模块650可包含来自便条的标记的认证信号，并且
基于该认证信号来验证认证。在一些情况下，便条认证模块650耦接到便条识别模块630，并且为便条识别模块630提供认证信息。在一些实施例中，便条识别模块630和便条提取模块640可执行在图3b和相关讨论中示出的步骤。
53.在一些实施例中，便条识别/管理系统可使用多个识别算法来识别便条并提取便条的内容，诸如颜色识别、形状识别和图案识别。例如，系统可使用颜色空间诸如rgb、hsv、cielab等来识别与便条对应的感兴趣区域，以用于颜色识别。在一些情况下，便条以它们的形状并且由于分别通过形状识别(例如，霍夫变换、形状上下文等)和图案识别算法(例如，支持向量机器、互相关性、模板匹配等)检测到的唯一图案的存在而被进一步区分开来。这些算法帮助过滤便条内容的视觉表示和其他来源中的不期望对象，并且只留下与便条对应的那些感兴趣区域。
54.在实施例中，便条可包括使用荧光材料诸如可印刷墨或可涂覆染料制成的标记。例如，可利用荧光墨将基准标记诸如徽标打印在便条的书写表面上。适当的光源可激发荧光材料。例如，移动手持装置的白光led(发光二极管)可以能够使用led输出光谱的显著蓝光波长分量来激发荧光基团。在一个实施例中，荧光染料可被涂覆在便条的书写表面上，或包含在制造便条的材料中。在该实施例中，荧光染料不仅可提供商标产品的认证，还可改善便条上的书写信息和便条自身的背景之间的对比度。该标记可促进在由图像传感器产生的视觉表示上的便条的认证和分割。就由具有荧光染料的纸材制成的便条而言，所捕获的视觉表示可以具有较好的可读性。根据用于荧光材料的激发波长范围和荧光波长范围，另外的光学设备诸如滤波器可连同图像传感器(例如，相机)使用以改善检测。
55.图7a示出了便条管理系统的实施例的流程图。首先，系统接收来自多个来源的多个便条(步骤710a)。例如，便条管理系统可接收来自相机或智能电话的大量便条的一组图像，并且接收从远程位置拍摄的大量便条的另一组图像。又如，便条管理系统可接收由视频记录装置拍摄的大量便条的视觉表示(例如，视频)和经由膝上型电脑输入的便条的文本流。在一些实施例中，所述多个来源是从不同装置(例如相机、扫描仪、计算机等)获取的便条内容的来源。然后，系统识别所述多个便条中的一个便条(步骤720a)。在一些情况下，系统创建表示多个物理便条中的一个物理便条的数字便条。系统提取所述多个便条的内容(步骤730a)。在一些情况下，系统使所提取的内容与代表物理便条的对应数字便条相关联。在一些实施例中，一些便条包括便条上的标记(例如，色块、色码、条形码等)，并且便条的一个来源是便条中的一些便条的视觉表示。在一些情况下，识别步骤包括从视觉表示识别便条上的标记，然后基于所识别的标记来确定便条的一般边界。在这些情况中的一些情况下，提取步骤包括基于所识别的标记、便条的已知形状、以及标记在便条上的已知相对位置来提取内容。在一些情况下，在所述多个便条的内容被提取之后，系统可使数字便条中的每个数字便条与唯一标识符相关联(步骤740a)。系统可利用类别来标记所述多个数字便条中的每个数字便条(步骤750a)。下面更详细地讨论标记步骤。另外，系统可以识别便条之前首先认证便条。任选地，系统可以显示器上呈现所述多个便条的内容(步骤760a)。在一些实施例中，系统可呈现具有输出字段的所述多个便条的所提取的内容，该输出字段指示便条的类别。在一些具体实施中，系统可使用数字便条的类别信息来呈现数字便条(例如，显示在一个小组中的一个类别中的便条)。
56.图7b示出了系统如何标记数字便条的实例。在一个实施例中，便条管理系统可基
于所检测到的信号来标记便条(710b)。例如，便条可具有包括条形码的标记；系统可以读取条形码并基于条形码来标记便条。在一些情况下，管理系统可基于所识别的标记来标记便条(720b)。例如，标记可包括图标、徽标，或指示特定组的其他图形符号。系统还可基于其内容来标记便条(730b)。在一些情况下，系统可基于历史数据和/或预测建模来标记便条(740b)。在一些其他情况下，系统可通过用户输入来标记便条(750b)。便条管理系统可使用一种或多种方法来标记便条。系统还可使用未在图7b中列出的其它方法来标记便条，例如基于便条的形状来标记便条。另外，在一些情况下，便条可与多于一个类别相关联。
57.图8示出了便条管理系统800的模块图。在所示实施例中，系统800包括一个或多个便条来源820、便条识别模块830、便条提取模块840，以及便条标记模块860。便条管理系统800的各种部件可由一个或多个计算装置(包括但不限于电路、计算机、处理器、处理单元、微处理器，和/或平板电脑)来实现。在一些情况下，便条管理系统800的各种部件可在共享的计算装置上实现。另选地，系统800的部件可在多个计算装置上实现。在一些具体实施中，系统800的各种模块和部件可实现为软件、硬件、固件或它们的组合。在一些情况下，便条管理系统800的各种部件可在由计算装置执行的软件或固件中实现。另外，系统800的各种部件可经由通信接口进行通信或者耦接到通信接口例如有线或无线接口。便条来源820被构造成提供多个便条。在一些实施例中，便条来源820中的一个便条来源是具有一个或多个物理便条的场景的视觉表示。在一些情况下，便条来源820包括用于提供便条的多个不同来源，例如图像、文本流、视频流等。便条识别模块830耦接到便条来源820，该便条识别模块被构造成接收视觉表示，从视觉表示确定物理便条的一般边界，以及创建表示物理便条的数字便条。便条提取模块840被构造成基于所确定的所述多个便条中的所述一个所述的一般边界来从视觉表示提取所述多个物理便条中的所述一个物理便条的内容，并且使所提取的内容与对应的数字便条相关联。便条标记模块860被构造成利用类别来标记所述多个数字便条中的所述一个数字便条。
58.在一些实施例中，便条管理系统800包括被构造成认证所述多个便条的便条认证模块850。在一些情况下，所述多个便条中的至少一些便条具有标记。可使用标记来促进便条的识别、提取和认证。例如，便条认证模块850可获取来自便条的标记的认证信号，并且基于该认证信号来验证认证。在一些情况下，便条认证模块850耦接到便条识别模块830，并且向便条识别模块830提供认证信息。在一些实施例中，便条识别模块830和便条提取模块840可执行在图3b和相关讨论中示出的步骤。在一些实施例中，便条标记模块860可使用在图7b和相关讨论中示出的一个或多个标记方法。在一些情况下，便条可与多于一个类别相关联。
59.在一些实施例中，便条管理系统800可包括便条呈现模块870，该便条呈现模块被构造成采集所述多个数字便条的内容，并且根据便条的类别来呈现所述多个便条的至少一部分。例如，便条呈现模块870可将所述多个数字便条组织成具有相同类别的组。又如，便条呈现模块870可添加数字便条的不同组的连接线和/或箭头。
60.示例性实施例
61.实施例1.一种管理便条的方法，包括：
62.提供来自第一来源和第二来源的多个便条，所述第一来源和所述第二来源从不同的装置产生，所述第一来源是具有所述多个便条中的一个或多个便条的场景的视觉表示；
63.由处理单元来识别来自所述第一来源的所述多个便条中的一个便条；
64.由所述处理单元来提取所述多个便条中的所述一个便条的内容；
65.由所述处理单元来创建多个数字便条，每个数字便条表示所述多个便条中的一个便条；以及
66.利用类别来标记由所述第一来源和所述第二来源提供的所述数字便条。
67.实施例2.根据实施例1所述的方法，其中所述第二来源包括以下各项中的至少一者：文本流、图像、视频、文件和数据条目。
68.实施例3.根据实施例1或实施例2所述的方法，还包括：
69.使所述数字便条与唯一标识符相关联。
70.实施例4.根据实施例1至实施例3中任一项所述的方法，其中标记步骤包括基于所提取的内容来标记所述数字便条。
71.实施例5.根据实施例1至实施例4中任一项所述的方法，其中所述标记步骤包括由用户来标记所述数字便条。
72.实施例6.根据实施例3中所述的方法，其中所述标记步骤包括基于所述唯一标识符来标记所述数字便条。
73.实施例7.根据实施例1至实施例6中任一项所述的方法，其中所述多个便条中的所述一个便条包括标记。
74.实施例8.根据实施例7所述的方法，其中所述标记包括以下各项中的至少一者：条形码、色块、色码、图案、基准标记、商标徽标、点、以及孔。
75.实施例9.根据实施例7或实施例8所述的方法，其中识别步骤包括从所述视觉表示识别所述多个便条中的所述一个便条的所述标记。
76.实施例10.根据实施例9所述的方法，其中所述识别步骤包括基于所识别的标记来确定所述多个便条中的所述一个便条的所述一般边界。
77.实施例11.根据实施例9所述的方法，其中所述识别步骤包括基于以下各项来确定所述多个便条中的所述一个便条的一般边界：所识别的标记、所述多个便条中的所述一个便条的已知形状、以及所述多个便条中的所述一个便条上的所述标记的已知相对位置。
78.实施例12.根据实施例7所述的方法，其中所述标记包括符号。
79.实施例13.根据实施例12所述的方法，其中所述提取步骤包括从所述视觉表示提取所述符号。
80.实施例14.根据实施例13所述的方法，还包括：
81.基于所提取的符号来认证所述多个便条中的所述一个便条。
82.实施例15.根据实施例9中所述的方法，其中标记步骤包括基于所识别的标记来标记所述数字便条。
83.实施例16.根据实施例13中所述的方法，其中所述标记步骤包括基于所提取的符号来标记所述数字便条。
84.实施例17.根据实施例1至实施例16中任一项所述的方法，其中所述多个便条包括物理便条、数字便条以及它们的组合。
85.实施例18.根据实施例1至实施例17中任一项所述的方法，其中所述处理单元包括以下各项中的至少一者：处理器、微处理器、微控制器、计算机和计算装置。
86.实施例19.根据实施例1至实施例18中任一项所述的方法，还包括：
87.由呈现装置来向用户呈现所提取的内容。
88.实施例20.根据实施例19所述的方法，其中呈现步骤包括呈现具有输出字段的所提取的内容，所述输出字段指示所述数字便条的所述类别。
89.实施例21.根据实施例7所述的方法，其中所述标记使用以下各项中的至少一者来形成：逆向反射材料、光学变色墨、有色墨、红外吸收墨、荧光墨、水印、光滑材料、彩虹色材料、穿孔标记、结构化颜色、浮动图像和窗口线程。
90.实施例22.根据实施例1至实施例21中任一项所述的方法，还包括：
91.由所述处理单元来认证所述多个便条中的所述一个便条；
92.其中所述提取步骤包括在所述多个便条中的所述一个便条被认证的情况下提取所述多个便条中的所述一个便条的所述内容。
93.实施例23.根据实施例1至实施例22中任一项所述的方法，其中所述视觉表示是图像或视频。
94.实施例24.根据实施例1至实施例23中任一项所述的方法，其中所述标记步骤包括基于所提取的内容和历史数据来标记所述数字便条。
95.实施例25.根据实施例1至实施例24中任一项所述的方法，其中所述标记步骤包括基于所提取的内容、历史数据和预测建模来标记所述数字便条。
96.实施例26.一种便条管理系统，其包括：
97.被构造成提供多个便条的第一便条来源和第二便条来源，所述第一便条来源和所述第二便条来源从不同的装置产生，所述第一便条来源是具有所述多个便条中的一个或多个便条的场景的视觉表示，
98.被构造成接收所述视觉表示并且从所述视觉表示确定所述多个便条中的一个便条的一般边界的便条识别模块。
99.被构造成基于所述多个便条中的所述一个便条的所确定的一般边界来从所述视觉表示提取所述多个物理便条的所述一个便条的内容并且创建与所述多个便条中的所述一个便条和所提取的内容相关联的数字便条的便条提取模块。
100.被构造成利用类别来标记所述数字便条的便条标记模块。
101.实施例27.根据实施例26所述的便条管理系统，其中所述第二便条来源包括以下各项中的至少一者：文本流、图像、视频、文件和数据输入。
102.实施例28.根据实施例26或实施例27所述的便条管理系统，其中所述便条提取模块被进一步构造成使所述数字便条与唯一标识符相关联。
103.实施例29.根据实施例26至实施例28中任一项所述的便条管理系统，其中所述便条标记模块被进一步构造成基于所提取的内容来标记所述数字便条。
104.实施例30.根据实施例26至实施例29中任一项所述的便条管理系统，其中所述标记步骤包括由用户来标记所述数字便条。
105.实施例31.根据实施例28所述的便条管理系统，其中所述标记步骤包括基于所述唯一标识符来标记所述数字便条。
106.实施例32.根据实施例26至实施例31中任一项所述的便条管理系统，其中所述多个便条中的所述一个便条包括标记。
107.实施例33.根据实施例32所述的便条管理系统，其中所述标记包括以下各项中的
至少一者：条形码、色块、色码、图案、基准标记、商标徽标、点、以及孔。
108.实施例34.根据实施例33所述的便条管理系统，其中所述便条识别模块被进一步构造成从所述视觉表示识别所述多个便条中的所述一个便条的所述标记。
109.实施例35.根据实施例34所述的便条管理系统，其中所述识别模块被进一步构造成基于所识别的标记来确定所述多个便条中的所述一个便条的所述一般边界。
110.实施例36.根据实施例34所述的便条管理系统，其中所述识别模块被进一步构造成基于以下各项来确定所述多个便条中的所述一个便条的所述一般边界：所识别的标记、所述多个便条中的所述一个便条的已知形状、以及所述多个便条中的所述一个便条上的所述标记的已知相对位置。
111.实施例37.根据实施例32所述的便条管理系统，其中所述标记包括符号。
112.实施例38.根据实施例37所述的便条管理系统，其中所述提取模块进一步被构造成从所述视觉表示提取所述符号。
113.实施例39.根据实施例38所述的便条管理系统，还包括：
114.被构造成基于所提取的符号来认证所述多个便条中的所述一个便条的便条认证模块。
115.实施例40.根据实施例34所述的便条管理系统，其中所述便条标记模块被进一步构造成基于所识别的标记来标记所述数字便条。
116.实施例41.根据实施例38所述的便条管理系统，其中所述便条标记模块被进一步构造成基于所提取的符号来标记所述数字便条。
117.实施例42.根据实施例26至实施例41中任一项所述的便条管理系统，其中所述多个便条包括物理便条、数字便条以及它们的组合。
118.实施例43.根据实施例26至实施例42中任一项所述的便条管理系统，其中所述处理单元包括以下各项中的至少一者：处理器、微处理器、微控制器、计算机和计算装置。
119.实施例44.根据实施例26至实施例43中任一项所述的便条管理系统，还包括：
120.被构造成向用户呈现所提取的内容的便条呈现模块。
121.实施例45.根据实施例44所述的便条管理系统，其中所述便条呈现模块被进一步构造成呈现具有输出字段的所提取的内容，所述输出字段指示与所提取的内容相关联的所述数字便条的所述类别。
122.实施例46.根据实施例32所述的便条管理系统，其中所述标记使用以下各项中的至少一者来形成：逆向反射材料、光学变色墨、有色墨、红外吸收墨、荧光墨、水印、光滑材料、彩虹色材料、穿孔标记、结构化颜色、浮动图像和窗口线程。
123.实施例47.根据实施例26至实施例46中任一项所述的便条管理系统，还包括：
124.被构造成认证所述多个便条中的所述一个便条的便条认证模块，
125.其中所述便条提取模块被进一步构造成在所述多个便条中的所述一个便条被认证的情况下提取所述多个便条中的所述一个便条的所述内容。
126.实施例48.根据实施例26至实施例47中任一项所述的便条管理系统，其中所述视觉表示是图像或视频。
127.实施例49.根据实施例26至实施例48中任一项所述的便条管理系统，其中所述便条标记模块被进一步构造成基于所提取的内容和历史数据来标记所述数字便条。
128.实施例50.根据实施例26至实施例49中任一项所述的便条管理系统，其中所述便条标记模块被进一步构造成基于所提取的内容、历史数据和预测建模来标记所述数字便条。
129.本发明不应被认为限于上述特定实例和实施例，因为详细描述此类实施例是为了方便说明本发明的各个方面。相反，本发明应被理解为涵盖本发明的包括落在所附权利要求书及其等同物所定义的本发明的实质和范围内的各种修改、等同方法和替代装置的所有方面。