一种用于存储和自定义播放声音文件的笔式协同交互系统的制作方法

1.本发明属于针对声音可视化相关的智能硬件领域，涉及交互设计、数字技术和声音可视化的实践研究，借助arduino开源电子原型平台，在整合现有例程和语言公式基础上开发出新的arduino库，运用arduino mega 2560、音频编解码模块(vs1053)及其他配件，实现将触摸和语音输入相结合的多模输入方式，开发出一款支持可视化声音播放模式和录音功能的交互式记忆笔。通过产品设计实践及软硬件开发，为声音可视化与工业设计领域的结合提供新思路，为未来人们对于声音可视化的深入探索抛砖引玉。


背景技术：

2.当下是一个以视觉文化元素为导向的信息社会，新的视觉文化最显著的特点是将非视觉性的东西图像化，即所有可触可见的事物视像化，强调视觉形式的表现经验。20世纪以来，电影、电视等视听媒体的发展造成了人类文化从以文字为中心到以图像为中心的“图像转向”。互联网及信息技术的迅猛发展让人们不再单纯的被动接受信息，而是逐渐向信息创造者、信息发布者、信息传播者等等身份转化。
3.如今虚拟现实技术炙手可热，ai、vr等交互技术一直是人们热议的话题，并渐渐被应用于各种领域，智能声音处理技术的发展更为声音素材提供了更宽广的价值拓展空间，并已经成为重要的基础研发方向。“看和听，应该成为未来’可视化’市场最重要的数据来源”。业内认为，从传感器角度看，音频和视频技术的整合一体化，原始数据智能化处理、数据自身的结构化、机构化数据的传输切换成为行业大势。这为音频技术企业，特别是音频处理技术厂商，提供了一个在交互时代深度融合进智慧视听产业的窗口。


技术实现要素：

4.本发明基于arduino开源电子原型平台，将声音和图像融合形成声音可视化，结合交互技术，尽可能地体现声音传播与沟通方式的丰富，设计了一种用于存储和自定义播放声音文件的笔式协同交互系统。本发明支持操作者自定义绘制声音文件播放的进度条，线条的形态和长度任意。本发明的不同之处在于，当现实生活中人们在把信息向移动媒体、向云端发送再进行编辑时，该系统在把需要电子设备进行控制和编辑的事情回归到纸张，同时可以做到实时控制并自定义创建和编辑，具有便利性、自然性和可控性的特点。
5.本发明采用的技术方案为一种用于存储和自定义播放声音文件的笔式协同交互系统，该笔式协同交互系统包括笔式交互产品、控制模块、操作端和声音文件存储端。
6.笔式交互产品由笔式外壳、电源、开关、显示屏(3)、麦克风(8)、耳机孔、按键和接触点(7)组成。按键包括菜单键(4)、选择键(5)、退出键(6)；
7.电源与开关连接；
8.开关、显示屏(3)、耳机孔、按键、接触点(7)均设置在产品外壳上，接触点(7)和笔芯连接；产品外壳的两端通过卡扣连接，显示屏(3)设置在产品外壳上侧，耳机孔设置在外壳下侧，按键设置在外壳左右两侧，与用户持笔手的手指接触，接触点(7)通过内部导线与
笔芯连接。
9.控制模块由控制板(1)、音频编解码模块(2)、显示屏(3)连接端口、菜单键(4、5、6)连接端口组成；控制板选用arduino mega主板，为该笔式协同交互系统的核心控制单元，音频编解码模块选用arduino mp3 shield with tf card模块；控制板(1)通过板载串口与音频编解码模块(2)连接；控制板通过显示屏连接端口与显示屏(3)连接，控制板通过菜单键连接端口与菜单键(4、5、6)连接；
10.控制板(1)通过音频编解码模块(2)与操作端、接触端和声音文件存储端进行数据交互；
11.操作端由显示屏(3)、菜单键(4、5、6)和接触点(7)组成。
12.系统主程序采用典型的arduino程序包括初始化函数(setup())和循环函数(loop())。循环体中检测的输入为菜单键和选择键，主菜单有两个子项为播放(play)和录制(record)，使用的程序库包括sdfat：记忆卡驱动、ssd1306：显示屏驱动、bounce2：按键去抖动，以及vs1053_sdfat：arduino mp3 shield驱动(有修改)。原驱动不支持录音，经修改增加录音支持。
13.本系统将检测到的输入通过铜线发送至控制板(1)，当输入为笔尖(7)和非持笔手之间的电压值时，系统利用检测到的电压值(模数转换的输出)来判断笔尖(7)在设定的两点之间的位置。此电压源自电路的5v输出，通过录音笔、所画的线段和人体，最终回到控制板(1)的adc输入引脚(a0)组成闭合回路。此回路电流极小，所以对人体无害；当输入的笔尖(7)位置变化时，控制板(1)将外界的模拟信号(电压)转换成数字信号，判断电压值改变后对应的音频位置，输出给音频编解码模块(2)，音频由后者解码后，移动至音频相应位置后输出播放；当输入为声音时，由板载麦克风(8)直接将声音输入到音频编解码模块(2)，模块将数据发送给控制板(1)，后者将音频保存到sd卡内，格式为.ogg。
14.显示屏(3)用以对当前状态进行显示，以便用户进行功能选择，包括播放界面和录制界面。用户通过按键(4、5、6)对系统进行操作，如“播放”被选中，则即时生成并显示播放列表菜单，选项为记忆卡根目录中所有后缀名为“.ogg”的音频文件。当某一音频被选中，则显示播放界面并开始播放该音频。如“录制”被选中，则显示录制界面并开始录制音频。
15.本技术的实现过程是启动音频播放模式前，用户在纸张上画出任意形态或走向的线条作为进度条，并在线条上标记相隔一定距离的点作为手指接触点、音频播放起点和终点。在启动音频播放模式时，需要笔尖(7)和用户非持笔手同时介入。
16.播放音频时，播放界面显示播放状态(play)、记录(音频文件)名称、当前播放位置和记录长度。用户选择播放(play)，非持笔手按住起始点不动，笔尖(7)在所画线条上移动位置后点击，音频便移动至相应音频位置后输出播放。按退出键(6)则退出播放程序。
17.录制音频时，录制界面显示录制状态(record)、记录(音频文件)名称、当前录制长度和音量柱。用户选择录制(record)，系统开始录音，用户停止录音后，系统将音频保存到sd卡内。
18.本发明的技术创新点在于控制音频播放的变量为笔画下的线段的电阻值。如铅笔中所含的石墨具有导电性，当用铅笔在电池和led小灯之间画一条线，线条将两端连接后小灯会亮。首先，用户在播放音频时，需要将非持笔手的食指按在线条的起点，同时将笔尖(7)接触开始点和结束点之间的线段上才能够形成回路，启动音频播放。控制音频播放位置的
电阻变量为笔尖和非持笔手之间的距离所产生的电阻值，距离越大电阻越大。其次，实现跳读也是通过计算和开始点与结束点之间的电阻差值比例实现。假设音频长度为l，在线段上定义一个起点(电阻值为s)，定义一个终点(电阻值为e)，假设s<e。当笔点在线段的起点和终点间的某个位置，电阻值为x，s<x<e，此时音频应当从当前播放位置跳到(x
‑
s)/(e
‑
s)*l点位置开始播放。
附图说明
19.图1为本系统的电路原型。
20.图2为本系统的主程序流程图。
21.图3为本系统的播放音频程序流程图。
22.图4为本系统的录制音频程序流程图。
具体实施方式
23.下面结合附图1
‑
4给出本发明的具体实施方式。
24.一种用于存储和自定义播放声音文件的笔式协同交互系统，该系统包括arduino mega模块(1)、arduino mp3 shield with tf card模块(2)、显示屏(3)和三个菜单键(4、5、6)。
25.下面重点介绍关键部分的使用及实现方法：
26.1、硬件设置与连接
27.接线说明如图1所示，输入单元有菜单键(4)为数字输入(d3)、选择键(5)为数字输入(d4)、退出键(6)为数字输入(d5)、笔尖(7)输入为模拟输入(a0)以及arduino mp3 shield上的麦克风(8)。
28.记忆笔中的元器件模块分为两大类：
29.(一)输入，具体到本次设计主要包括：adc输入，将外界的模拟信号(电压)，转换成数字信号；sd卡，控制板(1)直接读取并输出给音频编解码模块(2)；录音时，声音为模拟输入，由麦克风(8)直接输入到音频编解码模块(2)。
30.(二)输出，控制板(1)将输入模块传回的信息进行处理，控制输出元器件。具体到本次设计主要包括：显示屏模块(3)，由控制板(1)直接控制；音频，由音频编解码模块(2)解码后输出。
31.2、笔尖输入原理
32.本发明利用检测到的电压值(模数转换的输出)来判断笔尖(7)在设定的起始点和结束点中间的位置。此电压源自电路的5v输出，通过录音笔、所画的线段和人体，最终回到控制板(1)的adc输入引脚(a0)组成闭合回路。此回路电流极小，所以对人体无害。
33.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。