听障人士辅助器具（服务听障人士的声音可视化互动设计）

听障人士辅助器具（服务听障人士的声音可视化互动设计）（四）作品特色 第一部分的作品包括My Song和麦克风输入。这两者 都是将音频进行图像化处理的程序，在使用方面，如果 想要套入使用的音频格式不是mp3，则需要去源码中找到 XXX=new SoundFile（this ”Xxx.mp3”)这一行，将双引号中的文件名与格式改成想要播放的音频文件。如果还是 无法播放则降低音频质量，因为受Processing自身频谱分 析限制，无法分析过高质量音频。麦克风输入则如其字面 意思一般，通过输入、捕捉外界声音，利用minim库来分析 音频，进而生成图案变化——声音越低沉波动越平缓，音 调越高则波动越剧烈。（三）系统开发平台 开发工具与编程语言：Processing；源码支持环境： Windows/Linux/MacOS，需在Processing Development Environment-processing.exe中运行；开发使用的库文 件：M

陶雨琦 上海工程技术大学 上海 201680

摘要：众所周知，声音是由振动产生的。在传统意义上，音乐属于耳朵，是用听觉体验美感的艺 术。人们在欣赏音乐时，往往是在倾听的基础上，通过“音响感知与情绪感受”“形象联想与理性感 悟”以及“音乐美的体验与感悟”等阶段，完成对音乐作品由感性到理性的审美体验过程。音乐具有 形象思维的特点，在情感的伴随下，通过想象联想，获得音乐形象、生活情景以及意境等形象，音乐 可视化变为现实。

关键词：声音可视化；processing编程艺术；数字媒体艺术

一、简介

（一）项目背景及作品创意 众所周知，声音是由振动产生的。在传统意义上，音 乐属于耳朵，是用听觉体验美感的艺术。人们在欣赏音 乐时，往往是在倾听的基础上，通过“音响感知与情绪感 受”“形象联想与理性感悟”以及“音乐美的体验与感 悟”等阶段，完成对音乐作品由感性到理性的审美体验过 程。音乐具有形象思维的特点，在情感的伴随下，通过想 象联想，获得音乐形象、生活情景以及意境等形象，音乐 可视化变为现实。 我们计划塑造一个能将音乐可视化的产品，以更好地 呈现音乐所带来的情绪。同时，我们期望这款产品在未来 的迭代过程中，实现能够帮助听障人士感受音乐的功能。

（二）作品功能 第一部分的作品包括My Song和麦克风输入。这两者 都是将音频进行图像化处理的程序，这两者是根据音频 的振幅变化来生成图像，所以使用Processing自身创建 amplitude对象。第二部分的作品包括键盘钢琴与电子琴， 这一部分的作品是对于图像音频化的诠释。其中，电子 琴一共有32个键位，键盘上的三排字母都可以成为按键。 最低音是G3最高音到D8，因为G3是扬声器所能发出的最低 音；而最高音则是受限于键盘数所以只排到D8，实际最高 音未知。电子琴的琴音是电脑自生成音，与钢琴不同，不 需要data文件夹来添加音频文件。

图1 系统功能框架图

（三）系统开发平台 开发工具与编程语言：Processing；源码支持环境： Windows/Linux/MacOS，需在Processing Development Environment-processing.exe中运行；开发使用的库文 件：Minim 2.2.2，Sound 2.2.3；音乐、视觉效果均为 团队原创，使用工具有：Adobe Illustrator，Adobe Photoshop，库乐队，Adobe Audition。

（四）作品特色 第一部分的作品包括My Song和麦克风输入。这两者 都是将音频进行图像化处理的程序，在使用方面，如果 想要套入使用的音频格式不是mp3，则需要去源码中找到 XXX=new SoundFile（this ”Xxx.mp3”)这一行，将双引号中的文件名与格式改成想要播放的音频文件。如果还是 无法播放则降低音频质量，因为受Processing自身频谱分 析限制，无法分析过高质量音频。麦克风输入则如其字面 意思一般，通过输入、捕捉外界声音，利用minim库来分析 音频，进而生成图案变化——声音越低沉波动越平缓，音 调越高则波动越剧烈。

第二部分的作品包括键盘钢琴与电子琴，这一部分的 作品是对于图像音频化的诠释。琴音是根据每个键位输 入的每个音所代表的频率来产生的。在编程时考虑的听众 感受，采用的是体感最舒适的矩形波所生成的电子音。当 然，也可以通过将源码第三行第一个单词改成SinOsc、 SawOsc、TriOsc或Pulse来分别用正弦波、锯齿波、三角波 或脉冲波形成音频。另外，电子琴在弹奏的时候屏幕随机 出现会变化颜色的矩形，这些颜色变化是根据音频频率变 化而产生的。 二、多媒体系统详细设计 根据作品类别任选一类（可包含但不限于下列内 容）。 构想（创意）：我们作品的设计方向是围绕着“图 像”与“音频”这两个概念展开的。其背后想法就是将 “图像”可听化以及将“音频”可视化。 交互规则：我们参考了诸多乐器与麦克风的声音呈现 方式，探索视觉、触觉对听觉具象化的可能性。 视觉艺术：采用 A d o b e I l l u s t r a t o r、 A d o b e Photoshop设计样稿，在Processing中通过编程实现样稿的 可视化效果。 程序系统设计与编程（参考非媒体类的系统结构设计 与数据库结构设计）： 全部使用Processing开发完成，调用的库文件有： Minim 2.2.2，Sound 2.2.3。 美术、声效：团队成员使用钢琴、架子鼓录制基础音 频，在库乐队，Adobe Audition中进行优化处理。 编剧、角色、道具、场景：本作品中不涉及任何人物 角色、道具与场景。 界面设计：由Processing封装的基础可视化界面。

三、系统安装及使用说明 Processing项目是Java开发的，天生就具有跨平台的 特点，同时支持Linux、Windows以及Mac OSX三大平台，并 且支持将图像导出成各种格式。对于动态应用程序，甚至 可以将 Processing 应用程序作为 Java™ applet 导出以 用在 Web 环境内。当然，为了降低设计师的学习门槛，用 Processing进行图形设计的编程语言并不是Java，而是重 新开发了一门类C的编程语言，这也让非计算机科班出身的 设计师很容易上手。

（一）构建Processing环境 第一步是安装Processing环境。去Processing. org（https://processing.org/download/），单击 Download Processing 并选择您的操作系统。此外，还需 要确保Java技术已经可用。在windows上，下载解压后直 接运行processing.exe即可。这应该会弹出Processing Development Environment（PDE 或 Processing IDE）。 占此窗口较大的部分是文本编辑器。如果输入图中所示的 两行代码，然后单击Run（左上角的三角形），出现一个窗 口，显示您所输入的简单程序（或Processing术语所指的 sketch）的结果。单击Stop（左上角的方框）退出程序， 窗口消失。

（二）安装程序调用的库文件 在速写本-引用库文件-添加库文件中搜索并安装Minim 2.2.2，Sound 2.2.3。

图2 搜索并安装库文件

四、结语 我们作品的设计方向是围绕着“图像”与“音频”这 两个概念展开的。其背后想法就是将“图像”可听化以及 将“音频”可视化。本作品采用视觉、触觉等方式，令每 一位体验者充分动用五感，感受音乐的魅力，其采用的交 互效果也是音乐行业值得参考的。 我们期待这款产品在未来的迭代过程中能够通过可视 化的形式帮助听障人士认识、理解音乐。