脑电波整合程序（利用基于SSVEP的脑机接口）

脑电波整合程序（利用基于SSVEP的脑机接口）相反，干电极更方便，因为它们直接放置在头部而无需额外的凝胶，但信噪比较低。研究人员已经探索了使用干电极进行SSVEP。由于其非侵入性和可携带性，脑电图（EEG）已被广泛用于脑机接口（BCI）中。基于SSVEP的BCI通常使用研究级湿电极进行测试，这些电极提供5-10kΩ的低阻抗，非常适合非侵入性检测，在真实环境中使用湿电极会带来阻碍。对患有全身或大部分肌肉失去控制力锁定症候群的患者来说，这是一种有益的创意表达方式，因为它提供了一种对心理健康有积极影响的创作手段。它还允许创意从业者通过一种新的控制机制与音乐应用程序进行交流，稳态视觉诱发电位（SSVEP）由于其易于使用和高速率的通信而被广泛采用。然而，当尝试将这种BCI从实验室转化为实际场景时，会出现一些挑战，包括检测神经活动的笨重设备、商用传感器的信号质量不佳以及光线和声音.

文 | 爱嘤斯坦丁

编辑 | 爱嘤斯坦丁

«——【·前言·】——»

脑机接口（BCI）在音乐应用方面的应用，旨在将脑电波直接与作曲工具、乐器、算法式作曲家和音乐播放器等相连接。

对患有全身或大部分肌肉失去控制力锁定症候群的患者来说，这是一种有益的创意表达方式，因为它提供了一种对心理健康有积极影响的创作手段。

它还允许创意从业者通过一种新的控制机制与音乐应用程序进行交流，稳态视觉诱发电位（SSVEP）由于其易于使用和高速率的通信而被广泛采用。

然而，当尝试将这种BCI从实验室转化为实际场景时，会出现一些挑战，包括检测神经活动的笨重设备、商用传感器的信号质量不佳以及光线和声音.

由于其非侵入性和可携带性，脑电图（EEG）已被广泛用于脑机接口（BCI）中。基于SSVEP的BCI通常使用研究级湿电极进行测试，这些电极提供5-10kΩ的低阻抗，非常适合非侵入性检测，在真实环境中使用湿电极会带来阻碍。

相反，干电极更方便，因为它们直接放置在头部而无需额外的凝胶，但信噪比较低。研究人员已经探索了使用干电极进行SSVEP。

«——【·BCI技术·】——»

随着科学技术的不断发展，BCI技术这一神秘的技术也逐渐走进了人们的视野。

BCI技术是将脑机接口技术应用于人机交互的一项前沿技术，即通过监测脑部电信号，并实现对电信号的实时解码和反馈，使人通过意念来控制计算机和机器，实现指导机器人、驱动轮椅和电视、平板等设备的目的。

而其中基于SSVEP的脑机接口技术则是近年来备受研究者关注的领域之一，这项技术在音乐创作中广泛应用。

在这项研究中，专门为一个严重运动障碍患者（曾经是一名小提琴家）开发了一种基于SSVEP的BCI，以便在家中创作音乐。

它采用一款干式、无线、低密度和便携式EEG头戴式设备，通过10-20国际系统中的四个不同电极检测脑波。

与使用干式EEG的其他研究相比，该系统使用更少的电极、独立系统并将BCI应用于新颖的音乐应用。

这个系统旨在为一名严重的运动障碍患者开发基于BCI的表演和创作工具，使系统能够在没有专家或工程师的情况下独立使用。

不难看出，这是首个解决在家中使用BCI进行音乐创作的研究，因此，所有与BCI相关的操作都被封装到一个独立的应用程序中。采用联合频率-相位调制呈现视觉刺激，并采用规范相关分析来分析EEG。

采用CCA的BCI研究通常需要从用户那里收集训练数据来校准权重。

本研究采用了不需要权重校准的CCA，这不需要用户训练环节，从而提高了BCI的可用性。此外，还研究了视觉刺激的闪烁区域大小和距离以及EEG头戴式设备的放置。

一方面证明，闪烁区域的大小和SSVEP幅度之间存在线性关系，它还指出，刺激之间的距离对SSVEP幅度没有显著影响。

另一方面，观察到刺激之间的间距与分类准确度之间存在关系，这两项研究之间存在方法上的差异——一项直接测量了SSVEP幅度，另一项使用分类器，视觉刺激的设计已经在文献中得到了很多研究的覆盖。

然而，这些研究使用的是具有低阻抗的湿电极。因此，本文对两种不同的视觉刺激设计进行了评估——一种是具有较大闪烁正方形的设计，另一种是较小的闪烁正方形的设计。

通过使用个体特定的电极位置研究了SSVEP的影响，因此，研究了EEG头环放置方式对BCI通讯率的影响。

这里使用了一款商用低成本的EEG头环，它有一个固定的结构，并附有如何将头环放置在被试头部的说明。

调查是否对头环的微小调整产生了BCI通讯率的影响，这些调整通常没有由头环制造商进行讨论，为此专门进行了实验来研究这一现象。

出于实际原因，无法拜访运动障碍患者进行全面的测试。因此，在最终部署之前，对其他被试进行实验以研究参数。

由于BCI与传统的音乐界面相比具有明显的差异，因此需要在设计时考虑，以使严重运动障碍的人仅通过使用BCI即可表演和创作音乐。

因为通信速率受限，所以需要在灵活性和作曲所需的时间之间做出权衡，已经开发了多个BCI系统，具有不同程度的作曲灵活性。

例如，在某个系统中，用户可以从多个音乐音高中进行选择，但不能控制其他音乐参数，如节奏。这提供了高度灵活性以进行旋律的创作。

在另一个系统中，用户可以从固定集合的音乐循环中选择，这些循环包含多个音乐参数的变化。但是，选择仅限于当前可用的循环。

BCI的操作分为四个子操作：提供视觉刺激，记录EEG信号，分析获得的数据，以及产生音频/音乐输出。

使用的笔记本电脑规格为17.3英寸、1920×1080像素显示、60赫兹刷新率、HP ProBook 470 G4主板i7-7500U、Windows 10、8GB内存、Intel i7 2.7 GHz、NVIDIA显卡GeForce 930MX和集成的HD图形620。

有两种6目标的BCI-性能和组合，在性能方面，设计了一种称为小提琴的BCI。在组合方面，设计了两种BCI，称为Violin Composer和Violin Loops Composer，如图所示。

对于小提琴BCI，用户可以从C小调五声音阶的6个不同音高中选择，包括C4、D#4、F4、G4、A#4、C5，该BCI允许用户演奏乐器，但不能创作音乐，仅允许触发音乐样本并演奏乐器。

«——【·利用BCI技术创作音乐·】——»

用户的作品将储存在他们的电脑上，小提琴作曲家让用户创建一个旋律，用户可以从计算机随机显示的四个不同音高中选择一个。

如果用户想选择不在屏幕上显示的音符，则可以选择洗牌选项，这将显示一组新的四个音高。用户做出选择后，它会添加到作曲堆栈中。

之后，到那时为止的作曲将被播放，并显示一个新的音高集合。音高范围从G3到G5。我们决定显示随机的音高集合，而不是有序的集合，这样用户就不必等待很长时间才能得到“理想”的音高。

相反，用户可以选择一个音高，也可以选择洗牌，如果没有合适的音高就可以得到一组新的音高。

每个音符的持续时间是恒定的，删除选项可用于删除作曲中最近一次的选择。

开发了一个单独的配置程序，以允许用户设置每个音符的持续时间和作曲中出现的音符数量。

小提琴循环器

在小提琴循环器（如图所示）中，用户可以选择使用音乐循环，也就是可以直接用于作曲的预录音材料的短语段。

因此，用户可以直接使用音乐短语而不必逐个输入音符，这种方法的采用是为了使界面更有趣，并解决BCI的低通信速率问题。

在这个BCI中，用户需要在18个界面上进行导航才能制作出完整的作品，每个界面的音乐选择集合都是独特的，也就是说它们取决于作品的时间轴。

这使得用户可以从一开始就建立整个作品，播放选项可以让用户播放作品直到当前时刻，删除选项可以用于删除最近的选择。

干式、无线和便携式脑电图耳机。脑电图耳机的组件

Cognionics网站建议，在使用这些干电极时，阻抗应在100-200 kΩ的范围内。为了获得良好的信号质量，我们采取了以下步骤。

在佩戴头环后，电极被调整以获得低于1000 kΩ的阻抗。

这些电极的一个有用特性是它们的接触随着时间的推移而提高（这一点通过获得的阻抗值得到验证）。

随后，在规定的时间间隔内轻按电极以确保良好接触。

在所有情况下，我们都能在10分钟内获得低于250 kΩ的阻抗值。在此之后，我们关闭了载波波形，以使EEG信号的有效带宽为0到125 Hz。

对于小提琴，屏幕上呈现的六个选项是固定的。因此，给用户1秒的松弛时间，以便从一个区域转移到另一个区域。对于小提琴作曲家和小提琴循环作曲家，屏幕上呈现的选项不是固定的。

给用户6秒的时间来查看以及做出音乐选择，由于这是一个较长的放松时间，用户可能不希望从方块起就开始闪烁。

为了防止这种情况发生，在放松时间之后给予0.3秒的准备时间，在此期间，图标消失，只有闪烁方块的边框可见。

BCI作曲家系统的流程图

每个BCI选项都有一个与之相关联的声音文件，而音频输出会在放松时间内播放。所有声音文件都存储在波形音频文件格式中。实现了交叉淡入淡出，以实现声音样本之间的平稳过渡。

非音乐选择（如删除，播放和洗牌）有相应命令的声音文件，用户制作的作品以WAV文件形式存储在电脑上，可以由任何音乐播放器播放。

«——【·SSVEP响应·】——»

研究评估了两种不同的刺激，分别称为刺激A和刺激B。刺激A的闪烁正方形更大，相邻闪烁正方形的距离较小，刺激B的闪烁正方形更小，相邻闪烁正方形的距离较大。

相邻闪烁正方形的距离定义为两个连续闪烁正方形之间的距离，闪烁正方形的大小和相邻闪烁正方形的距离是相互依存的。

如果增加刺激大小，相邻闪烁正方形的距离会自动缩小，反之亦然。这是由于笔记本电脑屏幕大小固定所导致的。

不同大小的闪烁正方形和相邻闪烁正方形距离的动机是：较大的闪烁正方形可能会产生更大的SSVEP响应，较大的相邻闪烁正方形距离之间可能会有较少的干扰。

在刺激A中，每个闪烁区域是一个边长为7.62厘米(384像素)的正方形。水平和垂直距离分别为3.84厘米(192像素)和2.16厘米(108像素)。

其中，V是视角，S是物体大小，D是眼睛和物体之间的距离。在本次实验中，用户距离屏幕约70厘米，因此，D等于70厘米。

闪烁区域的视角为6.25∘。水平和垂直间隙之间的视角分别为3.13∘和1.76∘。这里可以指出，相邻闪烁正方形的距离应在5∘和7∘之间，可以提高BCI性能。

因此，在刺激B中，每个闪烁区域减小到一个边长为4.60厘米(230像素)的正方形，并且其视角为3.75∘。

它的水平和垂直距离相等，为6.98厘米(350像素)，因此其视角为5.70∘。

采用的头戴式EEG设备，从枕区检测EEG信号和顶部区域检测EEG信号，由于为所有用户使用相同的头戴式EEG设备(用户可能有不同的头部尺寸)，电极可能无法到达头部所需的位置。

提供的用户手册建议将地面干电极传感器放置在前额的中部，可以认为这种设置是放置A，如图所示。

B区的干接地垫传感器尽可能高地放置在前额上，但确保传感器不放在头发上，换句话说，它放置在发际线以下。有效地，相比于A区放置，B区中央、顶枕和枕骨电极向后移动了更远。

需要注意的是，耳罩式头戴设备具有四个固定的电极位置 ：Cz，Pz，O1和O2。

对于A区和B区，没有采用任何特殊手段，来精确计算每个电极位置与国际10-20系统的参考位置，因为这不是该研究的目的。

但是，研究的目标是找出微小偏差是否会对放置EEG耳机的性能产生影响。由于我们采用了干式高阻抗EEG耳机，信号可能对微小的调整敏感。

«——【·对严重运动障碍者抽样实验·】——»

如前所述，无法前往那位有严重运动障碍的个体进行广泛测试，原因如下：实验室和该个体位于不同的城市。

此外，与该个体的大部分时间都用于了解她对作曲系统的期望，向她解释BCI系统，并使她的照顾者能够独立地设置系统，不需要监督。因此，BCI系统在六名受试者身上进行了优化和测试。

所有实验过程均经过了大学伦理委员会的批准，参与实验的六名健康受试者（五名男性和一名女性），年龄在23至55岁之间。

所有受试者都有音乐创作的经验，并具有正常或矫正到正常的视力，实验在一个黑暗的房间中进行，要求受试者尽量减少身体活动并远离电子设备。

在实验期间，要求受试者避免眨眼。然而，没有采用任何方法来检测非故意的眼动笔记本电脑屏幕距离用户约70厘米。首先，随机选择四个配置之一，并相应地设置系统。

屏幕上有六个目标，一个绿色的视觉提示表明受试者应该看向哪个目标，该目标是由计算机随机选择的。

提示出现0.7秒后，用户被要求立即将视线转移到相应区域。随后，在准备时间内，仅显示六个区域的边框，持续时间为0.3秒。

1秒后（0.7秒 0.3秒），所有区域在各自的频率下闪烁4秒。每个测试用例包括六次视觉提示的出现（即每个目标一个），随机顺序。两个测试用例后，要求受试者闭上眼睛休息几分钟。

对于每个配置，从每个用户处获取了四个测试用例。对所有四个配置都遵循相同的程序，因此从所有用户处获得了总共16个测试用例。

该研究描述了一个便携、高速、使用干式、低密度和无线EEG头环的BCI系统，应用于三种音乐系统：小提琴、小提琴作曲家和小提琴循环作曲家。

该系统为一位严重运动障碍患者量身定制，使其能够在家中创作音乐。它采用了JFPM和CCA用于视觉刺激和EEG数据分析。

对于1秒和6.3秒的松弛时间，该系统分别获得了37.59±9.86bits/min和14.91±2.87bits/min的ITR，平均准确率分别为88.89±10.09％和95.83±6.97％。

获得的ITR超过了使用干电极的研究的性能，它的性能提高归因于EEG头环的最佳放置。但是，Xing et al.获得了比本文更高的ITR，但使用了更多的电极。

通过增加枕叶和枕顶-枕叶区域的电极数和电极密度可以提高我们的BCI性能。此外，多项研究表明，校准或用户训练可以提高BCI系统的性能。

由于我们为一个用户开发了定制的基于BCI的音乐系统，因此未来的研究中进行一些用户培训会很有益。这样，可以提高BCI的通信速率。

头环的放置显著提高了BCI的性能。这鼓励研究人员探索不同的头环放置方式，并找到其任务的最佳方式。

如果采用干式EEG，微小的放置调整可能会显著改变通信速率。厂家提供的指南不一定是EEG头环放置的最佳选择。

«——【·总结·】——»

在本研究中，刺激间距没有显著影响，在这里仅分析了两种不同设计的视觉刺激，它们的性能差异并不显著。

但还是需要测试各种设计以确认刺激间距与BCI性能之间的关系，BCI的最佳配置是C4：放置B和刺激B，最后BCI已成功交付给运动障碍患者。

创建了基于视频和文本的用户手册，以使照顾者能够设置BCI，这里见证了照顾者设置BCI，而个人使用所有三个音乐系统来创作音乐。通过与这个人保持联系，最后得知她经常使用BCI来创作音乐。

个人使用BCI创作音乐的照片

未来的研究将探索采用更多位于枕部和枕顶部的电极的替代头环设计，例如采用POz、Oz、O1和O2这种电极组合可能更适合SSVEP。

由于采用了干式无线EEG头环，因此其他消费级别的系统也可以用于我们的基于BCI的音乐系统。

此外，研究人员已经提出了替代的刺激范式，如稳态运动视觉诱发电位，这种范式可能更加方便，因为没有闪烁的刺激，并且对于音乐系统来说更加有趣。

通过基于SSVEP的脑机接口技术，以及使用低密度脑电图系统和干式EEG头环，可以实现音乐的创作和演奏。

该技术具有较高的可靠性和准确性，可广泛应用于健康人和运动障碍人群中。但在未来的研究中仍需要进一步探讨不同刺激和电极放置的影响，以及设计更加合理的头环来适用于更多的SSVEP。

参考文献：

1.Chen X Wang Y Nakanishi M et al. High-speed spelling with a noninvasive brain-computer interface[J]. Proceedings of the National Academy of Sciences 2015 112(44): E6058-E6067.

2. Kothe C A E. Lab streaming layer (LSL)[J]. 2014.

3. Schlogl A Keinrath C Zimmermann D et al. A fully automated correction method of EOG artifacts in EEG recordings[J]. Clinical neurophysiology 2007 118(1): 98-104.

4.Wang Y Gao X Hong B et al. Brain-computer interfaces based on visual evoked potentials[J]. IEEE engineering in medicine and biology magazine 2008 27(5): 64-71.

5.Roy D Banville H. EEGNet: A compact convolutional neural network for EEG-based brain–computer interfaces[J]. Journal of neural engineering 2019 16(5): 056013.