基于功能性近红外光谱（fNIRS）的脑机接口（BCI）是一种新型的人机交互手段。为探究单个肢体不同运动想象动作 fNIRS 信号的可分性，研究采集了 15 名受试者（业余足球爱好者）在想象右脚三种动作（传球、停球和射门）期间的 fNIRS 信号，提取了不同想象动作期间 HbO 信号的相关系数作为特征，构造了基于支持向量机的三分类模型。试验结果发现：右脚三种想象动作的分类准确率为 78.89%±6.161%；两类运动想象动作的分类，即传球与停球、传球与射门和停球与射门的分类准确率分别为 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%。研究结果表明单个肢体不同运动想象的 fNIRS 具有可分性，这可望为 fNIRS-BCI 增加新的控制命令，也可为单侧中风患者康复训练和控制外设提供一种新的选择。此外，研究也表明相关系数可以作为分类不同想象动作的一种有效特征。
引用本文： 李玉, 熊馨, 李昭阳, 伏云发. 基于功能性近红外光谱识别右脚三种想象动作研究. 生物医学工程学杂志, 2020, 37(2): 262-270. doi: 10.7507/1001-5515.201905001 复制
引言
脑机接口（brain-computer interface，BCI）旨在把感知觉或思维活动直接转换为控制外部设备的命令，可望为严重运动残疾人或健康人提供额外的通信或控制方式，从而提高他们的生活质量。其中基于运动想象（motor imagery，MI）的 BCI 是一类很重要的脑—机交互[1-2]，在脑控机器人、虚拟现实和运动功能康复等领域有潜在的应用价值[3-6]。
目前，基于运动想象的 BCI 获取脑功能信号的途径主要有脑电（electroencephalogram，EEG）、功能性磁共振（functional magnetic resonance imaging，fMRI）和功能性近红外光谱（functional near-infrared spectroscopy，fNIRS）。脑电直接反映神经元群的放电活动，具有较高的时间分辨率，能够快速检测脑信号，其主要缺点是空间分辨率较低，容易产生伪迹[7-8]。fMRI 能够测量脑局部血流的变化，空间分辨率较高，但其价格昂贵和体积庞大，不适合用于脑机交互[9-13]。fNIRS 通过测量脑组织的血氧浓度变化间接反映神经元的活动，具有较好的时间分辨率和空间分辨率，而且 fNIRS 成本低，便携且适应范围广[14-22]。因此，研究者已经将 fNIRS 应用于神经科学、运动医学、BCI 等多个领域[23-29]。基于 fNIRS 运动想象的 BCI 具有潜在的应用前景。
迄今为止，基于 fNIRS 运动想象的 BCI 研究逐渐增多，主要用于识别不同肢体的运动想象。例如 Naseer 等[22]研究识别左右手腕弯曲两分类运动想象；焦学军等[30]研究基于 fNIRS 左右手同一动作的运动想象（motor imagery，MI）和运动执行（motor execution，ME）的分类识别；Kaiser 等[31]利用 fNIRS 识别右手和双脚两分类运动想象等。然而基于 fNIRS 识别单个肢体不同运动想象的研究鲜见报道，例如识别右脚不同动作的运动想象。其次，传统基于 fNIRS 解码运动想象利用的特征主要是任务期间氧合血红蛋白（oxyhemoglobin，HbO）信号的均值、峰值、斜率等特征[16, 22, 30, 32-33]；这些特征属于信号自身的属性，并没有计算不同运动想象任务信号之间的差异性特征。而信号之间的相关系数描述了信号之间的关系，因此，计算不同运动想象任务信号之间的相关性作为差异性特征来解码运动想象成为可能。
本研究中，我们设计提出了一种新的试验范式，要求受试者完成单个肢体（右脚）三种不同动作的运动想象（传球、停球和射门），以检验这三类运动想象信号之间的可区分性。同时，区别于传统的 fNIRS 特征，本研究还提取了不同运动想象动作 HbO 信号之间的相关系数作为新的识别特征，最后采用支持向量机（support vector machine，SVM）构造分类器，对右脚三种动作的运动想象进行分类识别，以验证文章假设。
1 材料和方法
1.1 受试、试验范式、试验过程和数据采集
1.1.1 受试者
本试验共招募 20 名受试者，均为在校大学本科生和研究生，为足球爱好者，有一定的足球基础。年龄范围 20～28 周岁，均为男性右利手，无精神疾病和运动性障碍。在告知他们试验的内容、试验性质和试验目的之后，受试者自愿签署试验知情同意书。本研究获得昆明理工大学医学院医学伦理委员会的批准。
1.1.2 试验范式
本试验要求受试者运动想象右脚三种动作：传球、停球和射门。试验范式如图1 所示，试验开始，首先进行 60 s 基线时间，此期间受试者无试验任务；之后进入正式想象任务试验，包括 60 个 trials。每个 trial 的想象任务根据显示器屏幕上随机提示的三种动作之一进行，提示持续时间为 2 s；提示结束，显示器屏幕中央呈现星号，要求受试者以第一人称视角想象所提示的动作，持续时间为 10 s，星号消失，想象任务结束；随后显示器屏幕提示受试者进入休息，休息时间为 20 s，为一个 trial；试验期间全程伴有语音提示。一组试验时间约为 36 min，包括 60 个 trials，每种运动想象动作各 20 个 trials。
图1
试验范式
Figure1.
Experimental paradigm
1.1.3 试验过程
本研究招募的 20 名受试者均为业余足球爱好者，经历并体验过右脚三种实际动作（传球、停球和射门）。在正式实验前，对受试者进行单个肢体（右脚）三种动作运动想象训练（想象右脚传球、停球和射门），要求他们在心里回忆并感知三种动作过程，但不发生实际运动，受试者反复训练直到在心里能够生动、可控地排演三种动作过程[5, 19, 31]。训练完后，填写感觉运动想象能力量表评估受试者的运动想象能力[5, 31]。本研究的 20 名受试者通过上述训练，均具有想象这三种动作的能力。
试验在一间宽敞安静的房间里进行，要求受试者熟悉试验流程。试验过程中，受试者坐在一张舒适的椅子上，正对显示器屏幕，通过显示器屏幕接收视觉提示；要求受试者保持静止放松状态，尽量避免身体动作，降低对近红外信号的干扰。试验期间，要求受试者按图1 试验范式完成所需要的任务。每名受试者进行两次试验，采集两组内容相同的数据。
1.1.4 数据采集
本试验研究采用中国丹阳慧创医疗设备有限公司的 fNIRS 设备（两个波长 760 nm 和 850 nm）采集数据。设备由 6 个入射光源和 8 个探测器光纤组成的探头设计组成，共计 16 个通道，光源单波长功率大于 20 mW，时间分辨率高达 100 Hz，动态范围大于 110 dB，数模转换精度为 24 bit。fNIRS 光源和探测器的测量设置如图2 所示，其中 S 表示光源探头，D 表示探测器探头，光源探头和探测器探头之间的连线表示通道，旁边的数字表示通道的编号；测量区域覆盖整个大脑皮层运动区，包括左脑 8 个通道和右脑 8 个通道，左右区域对称，设备的采样率设定为 20 Hz。最后，在试验过程中，关闭房间内所有的灯，以减少来自环境的光源对 fNIRS 信号的污染。
图2
各探头排布图
Figure2.
Layout of each probe
1.2 数据处理
试验采集到的 fNIRS 信号的干扰成分主要有基线漂移、运动伪迹、生理干扰和高频噪声等[32, 34-35]。其中基线漂移主要来源于测量过程中设备温度改变等原因引起的基线改变；运动伪迹主要来源于探头与头皮接触中相对移动引起的光路径的改变；生理干扰主要包括心动干扰（0.7～1.5 Hz）、呼吸干扰（0.13～0.33 Hz）和 Mayer 波（0.1 Hz）；高频噪声主要来源于工频干扰。数据处理流程如图 3 所示，首先进行数据预处理，消除干扰成分，然后将每个通道的 HbO 信号分割成休息以及想象传球、停球和射门数据段，接着从想象传球、停球和射门数据段中提取特征，最后采用 SVM 对运动想象动作传球、停球和射门进行三分类，同时又分别对传球与停球、传球与射门、停球与射门两类运动想象动作进行二分类。
图3
数据处理流程与分类
Figure3.
Data processing and classification steps performed in the study
1.2.1 预处理
首先对采集的 fNIRS 数据进行带通滤波（0.02～0.1 Hz），去除由心跳（1～1.5 Hz）、呼吸（0.13～0.33 Hz）和 Mayer 波（约 0.1 Hz）引起的高频生理噪声。对上述处理后的 fNIRS 数据进行去基线漂移处理，利用 HbO 信号和脱氧血红蛋白信号反向变化的相关性改善算法，去除运动伪迹[36]。
1.2.2 特征选择
HbO 信号均值和 HbO 信号斜率是 fNIRS 研究中常用的信号特征，本研究首先从时域信号中提取 HbO 信号均值和 HbO 信号斜率。其中 HbO 信号均值用来表征相应脑区的活跃程度，而 HbO 信号斜率用来反映脑活跃程度的变化过程[30]。均值特征则是对每个 trial 单个通道任务期间的所有采样点求平均值作为该 trial 单个通道的均值特征，斜率特征先对该 trial 单个通道任务期间的 HbO 信号进行曲线拟合，然后计算出每个采样点的斜率值，取其中最大值作为该通道的特征。除了信号均值和信号斜率特征外，本研究还计算了不同想象运动任务 HbO 信号之间的相关系数作为新的特征。相关系数是由著名统计学家卡尔·皮尔逊于 19 世纪 80 年代提出的统计指标，描述的是一种非确定性的关系，是研究变量之间线性相关程度的量，两个随机变量 X 和 Y 的相关系数 r 的计算公式如式 (1) 所示。
 |
式中 Cov(X，Y) 为随机变量 X 和 Y 的协方差函数，σX、σY 分别为两个随机变量的标准差，E(X)、E(Y) 为两随机变量的平均值。
对采集得到的同一名受试者两组数据预处理之后，由于两组数据试验内容相同，故将两组数据进行统一分析处理。以计算想象传球动作的第一个 trial 的通道一的相关系数特征为例，其相关系数特征计算方法如图4 所示。首先计算运动想象传球动作的第一个 trial 的通道一与运动想象传球动作 20 个 trials 的通道一的相关系数，然后再计算这 20 个相关系数的均值，得到运动想象传球动作的第一个 trial 的通道一与传球动作的相关系数特征 a；再计算运动想象传球动作的第一个 trial 的通道一与运动想象停球动作 20 个 trials 的通道一的相关系数，然后计算这 20 个相关系数的均值，得到运动想象传球动作的第一个 trial 的通道一与停球动作的相关系数特征 b；最后计算运动想象传球动作的第一个 trial 的通道一与运动想象射门动作 20 个 trials 的通道一的相关系数，然后计算这 20 个相关系数的均值，得到运动想象传球动作的第一个 trial 的通道一与射门动作的相关系数特征 c。综上可得，运动想象传球动作的第一个 trial 的通道一的相关系数特征为［a, b, c］，运动想象传球动作的第一个 trial 的其他通道相关系数特征也按此方法求出。同理，皆可按此方法求出其他运动想象动作每个 trial 的相关系数特征。
图4
传球动作第一个 trial 的通道一的相关系数特征计算示意图
Figure4.
Schematic calculation of correlation coefficient characteristics of channel one of the first trial of the pass
特征选择时，任务期间 HbO 信号的均值、斜率和相关系数三个特征进行 SVM 全通道联合分类。本试验 fNIRS 设备有 16 通道，则每个 trial 的均值和斜率特征均为 16 个,而每个 trial 单个通道的相关系数特征按照图4 所示方法，可求得单个通道的三个相关系数特征，故每个 trial 的相关系数特征为 48 个。
1.2.3 分类方法
本研究采用 SVM 构建分类器。SVM 的目标是通过创建最优超平面来最大化不同类（支持向量）的最近训练点之间的距离。通过最小化误差函数可以找到最佳超平面。SVM 已用于各种 fNIRS-BCI 分类研究中，并显示其效果良好。
在本研究中，使用了 matlab 中的 SVM 库，使用交叉验证的网格搜索来训练分类器，以确定最佳的内核和特征，得到性能最好的内核是高斯径向基函数[37]。对高斯核的代价函数参数和自由参数进行了优化，以获得最优分类性能。
1.2.4 脑激活地形图和 HbO 响应曲线图
本研究绘制了三种运动想象动作的脑激活地形图。对每名受试者所采集的两组内容相同的数据，计算这两组数据相同通道三种运动想象动作和基线期间的 HbO 浓度均值，然后再分别计算传球、停球和射门运动想象动作与基线之间的 HbO 浓度差值，最后计算所有受试者相同通道三种动作运动想象和基线期间的 HbO 总的浓度差值的均值。对得到 HbO 总浓度差值的均值作归一化处理，然后根据归一化后的值分别绘制三种动作运动想象在皮层运动区的脑激活地形图。与此同时，为了比较三种不同想象动作之间的 HbO 浓度响应，本研究绘制了所有受试者三种运动想象任务期间对应的总的平均 HbO 浓度变化曲线图。
2 结果
本研究招募 20 名受试者，其中 5 名受试者的数据由于失真被剔除，最终得到 15 名受试者的数据进行分析。然后把两组试验 120 个 trials 平均分为训练集和测试集，各 60 个 trials，每个数据集包括传球、停球和射门各 20 个 trials，并采用 SVM 构造的模型进行训练分类。研究提取的各个分类特征得到的分类准确率统计信息如表1 所示。从表中三分类准确率看，计算不同运动想象任务 HbO 信号之间的相关系数作为分类特征的平均分类准确率为 78.89%±6.161%，实现了对右脚三种不同动作运动想象的有效区分；而想象任务 HbO 信号的斜率和均值作为分类特征的平均分类准确率分别为 60.44%±4.475% 和 40.44%±5.824%，表明想象任务 HbO 信号之间的相关系数作为分类特征的分类性能好于 HbO 信号的斜率和均值作为分类特征。从表中二分类准确率看，相关系数作为分类特征整体的平均分类准确率也高于以 HbO 信号斜率和均值作为分类特征的分类结果。
表1
不同特征分类准确率统计（%）
Table1.
Classification accuracy statistics of different characteristics (%)
图5 是绘制的三种动作运动想象的脑激活地形图。脑激活地形图显示，三种动作想象任务下，左脑运动区激活程度明显高于右脑；且三种动作想象任务左脑运动区激活程度相比较：射门>传球>停球。由于所使用的数据是所有受试者三种动作运动想象 HbO 总浓度差值的均值，因此图中显示了三种运动想象动作总体大脑激活情况。图6 是三种动作运动想象期间各通道 HbO 浓度响应曲线图，所使用的数据是所有受试者三种动作运动想象 HbO 浓度均值，反映出总体三种动作运动想象 HbO 浓度响应趋势。从曲线图上可以直观地观察到，三种动作运动想象任务期间 HbO 浓度最大值和到达最大值的时间各不相同。
图5
三种想象动作的大脑激活地形图
Figure5.
Brain activated maps of three imaginative actions
图6
三种运动想象动作HbO浓度响应曲线图
Figure6.
HBO concentration response curves of three imaginative actions
3 讨论
在本研究中，针对基于 fNIRS 的运动想象 BCI，有别于传统对不同肢体运动想象的分类，设计了单个肢体（右脚）三种运动想象任务（传球、停球和射门），探究 fNIRS 信号对单个肢体运动想象分类的可行性，期望增加该类 BCI 的控制指令。此外，在基于 fNIRS 的运动想象 BCI 中，首次计算不同想象任务 HbO 信号之间的相关系数作为新的分类特征，并验证了该特征对单个肢体不同运动想象任务的可分性。
现有文献研究证明了基于 fNIRS 在一定程度上能够识别不同肢体的运动想象，如 Kaiser 等[31]利用 fNIRS 识别了右手和双脚两分类运动想象；焦学军等[30]研究识别了左右手同一动作的运动想象和运动执行的分类；Naseer 等[22]基于 fNIRS 成功区分左右手腕弯曲运动想象的研究。本研究探讨单个肢体（右脚）三种不同动作运动想象任务的可区分性，得到了较好的分类结果。已有研究文献指出不同的动作可以制定不同的外部设备控制指令[38-39]。如果结合本研究对单个肢体不同动作运动想象的有效识别，有望增加 fNIRS-BCI 的指令数。
由表1 可知，在所设计的试验范式下，提取不同运动想象任务 HbO 信号之间的相关系数作为特征，采用 SVM 分类右脚三种运动想象动作（传球、停球和射门）所得平均分类准确率为 78.89%±6.161%，这说明成功地区分了右脚不同运动想象任务，表明相关系数可以作为有效的分类特征。之前基于 fNIRS 的分类识别研究中，Naseer 等[22]基于 fNIRS 识别想象左右手腕弯曲运动的二分类研究，其分类准确率为 73.35%；Kaiser 等[31]利用 fNIRS 识别右手和双脚两分类运动想象，得到的平均分类准确率为 70%；焦学军等[30]研究识别了左右手同一动作的运动想象和运动执行的分类，其平均分类准确率为 72.94%；Power 等[40]采用 fNIRS 进行三分类（想象音乐、心算、静息态）研究，平均分类准确率为 56.2%。与上述研究的分类精度相比，本研究得到了较好的分类结果。
综合比较表1 各个特征的分类精度，信号相关系数特征的识别率最高。这是由相关系数的计算方法决定的，相关系数是对两个信号关联性的量化描述，使其精炼为一个描述性数据；相关系数的计算不仅能够反映信号之间的相互关系，而且计算时不受变量单位的限制，描述信号之间的相关性大小[41-42]。信号的均值特征虽然容易计算，且可以直观、简明地表示单个信号的情况，但是它利用了信号所有数据的信息，其值容易受极端数据的影响[43]；同时信号均值特征只描述信号自身属性，即一个通道中单个 trial 只用一个数据进行描述。至于信号的斜率特征，信号曲线上某点的斜率反映了此信号曲线在此点处变化的快慢程度，而不同点的斜率不尽相同，很难选择信号曲线上一个分类效果较好的点的斜率作为分类特征，通常选择信号采样点中斜率最大值作为分类特征[16, 22, 30]；同样地，斜率特征描述信号自身属性，一个通道中单个 trial 也只用一个数据进行描述。本研究提取相关系数作为分类特征，即对于同一通道中每个 trial（其类别标签已知）分别计算自相关系数和与其他 trial（其类别标签已知）的相关系数，然后根据该 trial 标签类型和其他 trial 标签类型将计算得到的所有相关系数分成传球、停球和射门三类，分别求这三类相关系数的均值，即用三个数据来表征此通道的该 trial。对于单个通道中的单个 trial，其均值和斜率特征只用一个数据描述，而相关系数用三个数据进行表征。已有研究显示单一特征难以描述信号的全部特征信息，并且用单一特征进行分类，其识别准确率低，而采用多特征来描述任务并进行分类时，其识别准确率得到明显提高[44]。
此外，仅靠三种运动想象动作总体的平均分类准确率的结果并不能确定分类结果是否成功，除了三种运动想象动作总体的平均分类准确率，还需要得出三种运动想象动作中两两动作（即传球与停球、传球与射门、停球与射门）之间的分类准确率[40]。为了确认不同运动想象动作任务期 HbO 信号的不同，也需要对三种运动想象动作中两两动作之间进行分类[45]。根据表1 所示，传球与停球、传球与射门、停球与射门的平均分类准确率分别为 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%，表明三种运动想象动作的 HbO 信号不同[45]。已有文献研究结果显示二分类的平均分类准确率高于三分类的平均分类准确率[33, 46]。比较表1 中三分类与二分类的平均分类准确率情况，与上述文献研究结果一致。
运动想象任务期间大脑激活区域的验证非常重要[33]。图5 为三种运动想象动作期间脑激活地形图，显示右脚三种运动想象期间左脑 HbO 浓度均高于右脑 HbO 浓度，反映出右脚运动想象主要由左脑运动区控制，左脑激活引起 HbO 浓度上升。Nishiyori 等[35]研究结果显示单侧肢体运动由对侧的大脑运动区神经元控制，即单侧肢体运动与大脑运动区的激活区域相反。同时可以用大脑半球优势进行解释，即单侧肢体运动时，同侧大脑运动区激活受到抑制[47]。本研究结果与已有研究结果一致。Power 等[40, 48]研究显示同一大脑区域可以解码不同的想象任务；图5 中三种运动想象动作均激活大脑左侧运动区，不同的是三种运动想象动作在大脑左侧运动区激活程度存在差异，可以利用这些差异程度计算任务间的相关系数来解码三种运动想象任务。
图5 大脑区域激活地形图只能提供有关大脑激活位置和强度大小的信息，无法揭示有关给定位置信号值的任何信息[46]。图6 是三种运动想象动作任务期间所有受试者的 HbO 响应的平均值。研究表明，不同动作的 HbO 信号到达峰值的时间不同[17]。图6 清楚地显示了对应于三种运动想象动作的 HbO 信号之间存在显著的差异，传球、停球和射门三种运动想象动作 HbO 浓度达到峰值的时间分别在 9～10 s、15～16 s 和 8～9 s。因此，该结果提示每个运动想象动作可以基于大脑运动区相应 HbO 信号与其他运动想象动作分开。同时，可以计算三种想象动作之间的相关性得到不同的相关系数，用来描述三种动作之间的差异属性，作为分类识别特征。
需要注意的是，本研究只在 20～28 岁的受试者中进行，而有报道称老年人与年轻人的血液动力学响应存在差异[49-51]，且所有受试者均为健康人，他们的血流动力学响应与神经系统疾病的患者会有所不同[48]，如果将研究的对象扩大并能取得良好的分类结果，将更有助于 fNIRS-BCI 的推广。
4 结论
本研究探讨了 fNIRS 对单个肢体不同动作（右脚传球、停球和射门动作想象）运动想象的可分性。计算不同动作运动想象间 HbO 信号的相关系数作为新的特征，并采用 SVM 对右脚三种运动想象动作进行分类，平均分类准确率为 78.89%±6.161%，同时还对传球与停球、传球与射门和停球与射门进行了二分类，平均分类准确率分别为 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%。试验结果表明基于 fNIRS 信号分类单个肢体不同运动想象动作是可行的，相关系数可以作为一种有效的分类特征。本研究可望为 fNIRS-BCI 增加新的控制命令，也可为单侧中风患者康复训练和控制外设提供一种新的选择。我们未来的研究是构建在线 fNIRS-BCI 控制单侧假肢执行多种动作。
利益冲突声明：本文全体作者均声明不存在利益冲突。
引言
脑机接口（brain-computer interface，BCI）旨在把感知觉或思维活动直接转换为控制外部设备的命令，可望为严重运动残疾人或健康人提供额外的通信或控制方式，从而提高他们的生活质量。其中基于运动想象（motor imagery，MI）的 BCI 是一类很重要的脑—机交互[1-2]，在脑控机器人、虚拟现实和运动功能康复等领域有潜在的应用价值[3-6]。
目前，基于运动想象的 BCI 获取脑功能信号的途径主要有脑电（electroencephalogram，EEG）、功能性磁共振（functional magnetic resonance imaging，fMRI）和功能性近红外光谱（functional near-infrared spectroscopy，fNIRS）。脑电直接反映神经元群的放电活动，具有较高的时间分辨率，能够快速检测脑信号，其主要缺点是空间分辨率较低，容易产生伪迹[7-8]。fMRI 能够测量脑局部血流的变化，空间分辨率较高，但其价格昂贵和体积庞大，不适合用于脑机交互[9-13]。fNIRS 通过测量脑组织的血氧浓度变化间接反映神经元的活动，具有较好的时间分辨率和空间分辨率，而且 fNIRS 成本低，便携且适应范围广[14-22]。因此，研究者已经将 fNIRS 应用于神经科学、运动医学、BCI 等多个领域[23-29]。基于 fNIRS 运动想象的 BCI 具有潜在的应用前景。
迄今为止，基于 fNIRS 运动想象的 BCI 研究逐渐增多，主要用于识别不同肢体的运动想象。例如 Naseer 等[22]研究识别左右手腕弯曲两分类运动想象；焦学军等[30]研究基于 fNIRS 左右手同一动作的运动想象（motor imagery，MI）和运动执行（motor execution，ME）的分类识别；Kaiser 等[31]利用 fNIRS 识别右手和双脚两分类运动想象等。然而基于 fNIRS 识别单个肢体不同运动想象的研究鲜见报道，例如识别右脚不同动作的运动想象。其次，传统基于 fNIRS 解码运动想象利用的特征主要是任务期间氧合血红蛋白（oxyhemoglobin，HbO）信号的均值、峰值、斜率等特征[16, 22, 30, 32-33]；这些特征属于信号自身的属性，并没有计算不同运动想象任务信号之间的差异性特征。而信号之间的相关系数描述了信号之间的关系，因此，计算不同运动想象任务信号之间的相关性作为差异性特征来解码运动想象成为可能。
本研究中，我们设计提出了一种新的试验范式，要求受试者完成单个肢体（右脚）三种不同动作的运动想象（传球、停球和射门），以检验这三类运动想象信号之间的可区分性。同时，区别于传统的 fNIRS 特征，本研究还提取了不同运动想象动作 HbO 信号之间的相关系数作为新的识别特征，最后采用支持向量机（support vector machine，SVM）构造分类器，对右脚三种动作的运动想象进行分类识别，以验证文章假设。
1 材料和方法
1.1 受试、试验范式、试验过程和数据采集
1.1.1 受试者
本试验共招募 20 名受试者，均为在校大学本科生和研究生，为足球爱好者，有一定的足球基础。年龄范围 20～28 周岁，均为男性右利手，无精神疾病和运动性障碍。在告知他们试验的内容、试验性质和试验目的之后，受试者自愿签署试验知情同意书。本研究获得昆明理工大学医学院医学伦理委员会的批准。
1.1.2 试验范式
本试验要求受试者运动想象右脚三种动作：传球、停球和射门。试验范式如图1 所示，试验开始，首先进行 60 s 基线时间，此期间受试者无试验任务；之后进入正式想象任务试验，包括 60 个 trials。每个 trial 的想象任务根据显示器屏幕上随机提示的三种动作之一进行，提示持续时间为 2 s；提示结束，显示器屏幕中央呈现星号，要求受试者以第一人称视角想象所提示的动作，持续时间为 10 s，星号消失，想象任务结束；随后显示器屏幕提示受试者进入休息，休息时间为 20 s，为一个 trial；试验期间全程伴有语音提示。一组试验时间约为 36 min，包括 60 个 trials，每种运动想象动作各 20 个 trials。
图1
试验范式
Figure1.
Experimental paradigm
1.1.3 试验过程
本研究招募的 20 名受试者均为业余足球爱好者，经历并体验过右脚三种实际动作（传球、停球和射门）。在正式实验前，对受试者进行单个肢体（右脚）三种动作运动想象训练（想象右脚传球、停球和射门），要求他们在心里回忆并感知三种动作过程，但不发生实际运动，受试者反复训练直到在心里能够生动、可控地排演三种动作过程[5, 19, 31]。训练完后，填写感觉运动想象能力量表评估受试者的运动想象能力[5, 31]。本研究的 20 名受试者通过上述训练，均具有想象这三种动作的能力。
试验在一间宽敞安静的房间里进行，要求受试者熟悉试验流程。试验过程中，受试者坐在一张舒适的椅子上，正对显示器屏幕，通过显示器屏幕接收视觉提示；要求受试者保持静止放松状态，尽量避免身体动作，降低对近红外信号的干扰。试验期间，要求受试者按图1 试验范式完成所需要的任务。每名受试者进行两次试验，采集两组内容相同的数据。
1.1.4 数据采集
本试验研究采用中国丹阳慧创医疗设备有限公司的 fNIRS 设备（两个波长 760 nm 和 850 nm）采集数据。设备由 6 个入射光源和 8 个探测器光纤组成的探头设计组成，共计 16 个通道，光源单波长功率大于 20 mW，时间分辨率高达 100 Hz，动态范围大于 110 dB，数模转换精度为 24 bit。fNIRS 光源和探测器的测量设置如图2 所示，其中 S 表示光源探头，D 表示探测器探头，光源探头和探测器探头之间的连线表示通道，旁边的数字表示通道的编号；测量区域覆盖整个大脑皮层运动区，包括左脑 8 个通道和右脑 8 个通道，左右区域对称，设备的采样率设定为 20 Hz。最后，在试验过程中，关闭房间内所有的灯，以减少来自环境的光源对 fNIRS 信号的污染。
图2
各探头排布图
Figure2.
Layout of each probe
1.2 数据处理
试验采集到的 fNIRS 信号的干扰成分主要有基线漂移、运动伪迹、生理干扰和高频噪声等[32, 34-35]。其中基线漂移主要来源于测量过程中设备温度改变等原因引起的基线改变；运动伪迹主要来源于探头与头皮接触中相对移动引起的光路径的改变；生理干扰主要包括心动干扰（0.7～1.5 Hz）、呼吸干扰（0.13～0.33 Hz）和 Mayer 波（0.1 Hz）；高频噪声主要来源于工频干扰。数据处理流程如图 3 所示，首先进行数据预处理，消除干扰成分，然后将每个通道的 HbO 信号分割成休息以及想象传球、停球和射门数据段，接着从想象传球、停球和射门数据段中提取特征，最后采用 SVM 对运动想象动作传球、停球和射门进行三分类，同时又分别对传球与停球、传球与射门、停球与射门两类运动想象动作进行二分类。
图3
数据处理流程与分类
Figure3.
Data processing and classification steps performed in the study
1.2.1 预处理
首先对采集的 fNIRS 数据进行带通滤波（0.02～0.1 Hz），去除由心跳（1～1.5 Hz）、呼吸（0.13～0.33 Hz）和 Mayer 波（约 0.1 Hz）引起的高频生理噪声。对上述处理后的 fNIRS 数据进行去基线漂移处理，利用 HbO 信号和脱氧血红蛋白信号反向变化的相关性改善算法，去除运动伪迹[36]。
1.2.2 特征选择
HbO 信号均值和 HbO 信号斜率是 fNIRS 研究中常用的信号特征，本研究首先从时域信号中提取 HbO 信号均值和 HbO 信号斜率。其中 HbO 信号均值用来表征相应脑区的活跃程度，而 HbO 信号斜率用来反映脑活跃程度的变化过程[30]。均值特征则是对每个 trial 单个通道任务期间的所有采样点求平均值作为该 trial 单个通道的均值特征，斜率特征先对该 trial 单个通道任务期间的 HbO 信号进行曲线拟合，然后计算出每个采样点的斜率值，取其中最大值作为该通道的特征。除了信号均值和信号斜率特征外，本研究还计算了不同想象运动任务 HbO 信号之间的相关系数作为新的特征。相关系数是由著名统计学家卡尔·皮尔逊于 19 世纪 80 年代提出的统计指标，描述的是一种非确定性的关系，是研究变量之间线性相关程度的量，两个随机变量 X 和 Y 的相关系数 r 的计算公式如式 (1) 所示。
|
式中 Cov(X，Y) 为随机变量 X 和 Y 的协方差函数，σX、σY 分别为两个随机变量的标准差，E(X)、E(Y) 为两随机变量的平均值。
对采集得到的同一名受试者两组数据预处理之后，由于两组数据试验内容相同，故将两组数据进行统一分析处理。以计算想象传球动作的第一个 trial 的通道一的相关系数特征为例，其相关系数特征计算方法如图4 所示。首先计算运动想象传球动作的第一个 trial 的通道一与运动想象传球动作 20 个 trials 的通道一的相关系数，然后再计算这 20 个相关系数的均值，得到运动想象传球动作的第一个 trial 的通道一与传球动作的相关系数特征 a；再计算运动想象传球动作的第一个 trial 的通道一与运动想象停球动作 20 个 trials 的通道一的相关系数，然后计算这 20 个相关系数的均值，得到运动想象传球动作的第一个 trial 的通道一与停球动作的相关系数特征 b；最后计算运动想象传球动作的第一个 trial 的通道一与运动想象射门动作 20 个 trials 的通道一的相关系数，然后计算这 20 个相关系数的均值，得到运动想象传球动作的第一个 trial 的通道一与射门动作的相关系数特征 c。综上可得，运动想象传球动作的第一个 trial 的通道一的相关系数特征为［a, b, c］，运动想象传球动作的第一个 trial 的其他通道相关系数特征也按此方法求出。同理，皆可按此方法求出其他运动想象动作每个 trial 的相关系数特征。
图4
传球动作第一个 trial 的通道一的相关系数特征计算示意图
Figure4.
Schematic calculation of correlation coefficient characteristics of channel one of the first trial of the pass
特征选择时，任务期间 HbO 信号的均值、斜率和相关系数三个特征进行 SVM 全通道联合分类。本试验 fNIRS 设备有 16 通道，则每个 trial 的均值和斜率特征均为 16 个,而每个 trial 单个通道的相关系数特征按照图4 所示方法，可求得单个通道的三个相关系数特征，故每个 trial 的相关系数特征为 48 个。
1.2.3 分类方法
本研究采用 SVM 构建分类器。SVM 的目标是通过创建最优超平面来最大化不同类（支持向量）的最近训练点之间的距离。通过最小化误差函数可以找到最佳超平面。SVM 已用于各种 fNIRS-BCI 分类研究中，并显示其效果良好。
在本研究中，使用了 matlab 中的 SVM 库，使用交叉验证的网格搜索来训练分类器，以确定最佳的内核和特征，得到性能最好的内核是高斯径向基函数[37]。对高斯核的代价函数参数和自由参数进行了优化，以获得最优分类性能。
1.2.4 脑激活地形图和 HbO 响应曲线图
本研究绘制了三种运动想象动作的脑激活地形图。对每名受试者所采集的两组内容相同的数据，计算这两组数据相同通道三种运动想象动作和基线期间的 HbO 浓度均值，然后再分别计算传球、停球和射门运动想象动作与基线之间的 HbO 浓度差值，最后计算所有受试者相同通道三种动作运动想象和基线期间的 HbO 总的浓度差值的均值。对得到 HbO 总浓度差值的均值作归一化处理，然后根据归一化后的值分别绘制三种动作运动想象在皮层运动区的脑激活地形图。与此同时，为了比较三种不同想象动作之间的 HbO 浓度响应，本研究绘制了所有受试者三种运动想象任务期间对应的总的平均 HbO 浓度变化曲线图。
2 结果
本研究招募 20 名受试者，其中 5 名受试者的数据由于失真被剔除，最终得到 15 名受试者的数据进行分析。然后把两组试验 120 个 trials 平均分为训练集和测试集，各 60 个 trials，每个数据集包括传球、停球和射门各 20 个 trials，并采用 SVM 构造的模型进行训练分类。研究提取的各个分类特征得到的分类准确率统计信息如表1 所示。从表中三分类准确率看，计算不同运动想象任务 HbO 信号之间的相关系数作为分类特征的平均分类准确率为 78.89%±6.161%，实现了对右脚三种不同动作运动想象的有效区分；而想象任务 HbO 信号的斜率和均值作为分类特征的平均分类准确率分别为 60.44%±4.475% 和 40.44%±5.824%，表明想象任务 HbO 信号之间的相关系数作为分类特征的分类性能好于 HbO 信号的斜率和均值作为分类特征。从表中二分类准确率看，相关系数作为分类特征整体的平均分类准确率也高于以 HbO 信号斜率和均值作为分类特征的分类结果。
表1
不同特征分类准确率统计（%）
Table1.
Classification accuracy statistics of different characteristics (%)
图5 是绘制的三种动作运动想象的脑激活地形图。脑激活地形图显示，三种动作想象任务下，左脑运动区激活程度明显高于右脑；且三种动作想象任务左脑运动区激活程度相比较：射门>传球>停球。由于所使用的数据是所有受试者三种动作运动想象 HbO 总浓度差值的均值，因此图中显示了三种运动想象动作总体大脑激活情况。图6 是三种动作运动想象期间各通道 HbO 浓度响应曲线图，所使用的数据是所有受试者三种动作运动想象 HbO 浓度均值，反映出总体三种动作运动想象 HbO 浓度响应趋势。从曲线图上可以直观地观察到，三种动作运动想象任务期间 HbO 浓度最大值和到达最大值的时间各不相同。
图5
三种想象动作的大脑激活地形图
Figure5.
Brain activated maps of three imaginative actions
图6
三种运动想象动作HbO浓度响应曲线图
Figure6.
HBO concentration response curves of three imaginative actions
3 讨论
在本研究中，针对基于 fNIRS 的运动想象 BCI，有别于传统对不同肢体运动想象的分类，设计了单个肢体（右脚）三种运动想象任务（传球、停球和射门），探究 fNIRS 信号对单个肢体运动想象分类的可行性，期望增加该类 BCI 的控制指令。此外，在基于 fNIRS 的运动想象 BCI 中，首次计算不同想象任务 HbO 信号之间的相关系数作为新的分类特征，并验证了该特征对单个肢体不同运动想象任务的可分性。
现有文献研究证明了基于 fNIRS 在一定程度上能够识别不同肢体的运动想象，如 Kaiser 等[31]利用 fNIRS 识别了右手和双脚两分类运动想象；焦学军等[30]研究识别了左右手同一动作的运动想象和运动执行的分类；Naseer 等[22]基于 fNIRS 成功区分左右手腕弯曲运动想象的研究。本研究探讨单个肢体（右脚）三种不同动作运动想象任务的可区分性，得到了较好的分类结果。已有研究文献指出不同的动作可以制定不同的外部设备控制指令[38-39]。如果结合本研究对单个肢体不同动作运动想象的有效识别，有望增加 fNIRS-BCI 的指令数。
由表1 可知，在所设计的试验范式下，提取不同运动想象任务 HbO 信号之间的相关系数作为特征，采用 SVM 分类右脚三种运动想象动作（传球、停球和射门）所得平均分类准确率为 78.89%±6.161%，这说明成功地区分了右脚不同运动想象任务，表明相关系数可以作为有效的分类特征。之前基于 fNIRS 的分类识别研究中，Naseer 等[22]基于 fNIRS 识别想象左右手腕弯曲运动的二分类研究，其分类准确率为 73.35%；Kaiser 等[31]利用 fNIRS 识别右手和双脚两分类运动想象，得到的平均分类准确率为 70%；焦学军等[30]研究识别了左右手同一动作的运动想象和运动执行的分类，其平均分类准确率为 72.94%；Power 等[40]采用 fNIRS 进行三分类（想象音乐、心算、静息态）研究，平均分类准确率为 56.2%。与上述研究的分类精度相比，本研究得到了较好的分类结果。
综合比较表1 各个特征的分类精度，信号相关系数特征的识别率最高。这是由相关系数的计算方法决定的，相关系数是对两个信号关联性的量化描述，使其精炼为一个描述性数据；相关系数的计算不仅能够反映信号之间的相互关系，而且计算时不受变量单位的限制，描述信号之间的相关性大小[41-42]。信号的均值特征虽然容易计算，且可以直观、简明地表示单个信号的情况，但是它利用了信号所有数据的信息，其值容易受极端数据的影响[43]；同时信号均值特征只描述信号自身属性，即一个通道中单个 trial 只用一个数据进行描述。至于信号的斜率特征，信号曲线上某点的斜率反映了此信号曲线在此点处变化的快慢程度，而不同点的斜率不尽相同，很难选择信号曲线上一个分类效果较好的点的斜率作为分类特征，通常选择信号采样点中斜率最大值作为分类特征[16, 22, 30]；同样地，斜率特征描述信号自身属性，一个通道中单个 trial 也只用一个数据进行描述。本研究提取相关系数作为分类特征，即对于同一通道中每个 trial（其类别标签已知）分别计算自相关系数和与其他 trial（其类别标签已知）的相关系数，然后根据该 trial 标签类型和其他 trial 标签类型将计算得到的所有相关系数分成传球、停球和射门三类，分别求这三类相关系数的均值，即用三个数据来表征此通道的该 trial。对于单个通道中的单个 trial，其均值和斜率特征只用一个数据描述，而相关系数用三个数据进行表征。已有研究显示单一特征难以描述信号的全部特征信息，并且用单一特征进行分类，其识别准确率低，而采用多特征来描述任务并进行分类时，其识别准确率得到明显提高[44]。
此外，仅靠三种运动想象动作总体的平均分类准确率的结果并不能确定分类结果是否成功，除了三种运动想象动作总体的平均分类准确率，还需要得出三种运动想象动作中两两动作（即传球与停球、传球与射门、停球与射门）之间的分类准确率[40]。为了确认不同运动想象动作任务期 HbO 信号的不同，也需要对三种运动想象动作中两两动作之间进行分类[45]。根据表1 所示，传球与停球、传球与射门、停球与射门的平均分类准确率分别为 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%，表明三种运动想象动作的 HbO 信号不同[45]。已有文献研究结果显示二分类的平均分类准确率高于三分类的平均分类准确率[33, 46]。比较表1 中三分类与二分类的平均分类准确率情况，与上述文献研究结果一致。
运动想象任务期间大脑激活区域的验证非常重要[33]。图5 为三种运动想象动作期间脑激活地形图，显示右脚三种运动想象期间左脑 HbO 浓度均高于右脑 HbO 浓度，反映出右脚运动想象主要由左脑运动区控制，左脑激活引起 HbO 浓度上升。Nishiyori 等[35]研究结果显示单侧肢体运动由对侧的大脑运动区神经元控制，即单侧肢体运动与大脑运动区的激活区域相反。同时可以用大脑半球优势进行解释，即单侧肢体运动时，同侧大脑运动区激活受到抑制[47]。本研究结果与已有研究结果一致。Power 等[40, 48]研究显示同一大脑区域可以解码不同的想象任务；图5 中三种运动想象动作均激活大脑左侧运动区，不同的是三种运动想象动作在大脑左侧运动区激活程度存在差异，可以利用这些差异程度计算任务间的相关系数来解码三种运动想象任务。
图5 大脑区域激活地形图只能提供有关大脑激活位置和强度大小的信息，无法揭示有关给定位置信号值的任何信息[46]。图6 是三种运动想象动作任务期间所有受试者的 HbO 响应的平均值。研究表明，不同动作的 HbO 信号到达峰值的时间不同[17]。图6 清楚地显示了对应于三种运动想象动作的 HbO 信号之间存在显著的差异，传球、停球和射门三种运动想象动作 HbO 浓度达到峰值的时间分别在 9～10 s、15～16 s 和 8～9 s。因此，该结果提示每个运动想象动作可以基于大脑运动区相应 HbO 信号与其他运动想象动作分开。同时，可以计算三种想象动作之间的相关性得到不同的相关系数，用来描述三种动作之间的差异属性，作为分类识别特征。
需要注意的是，本研究只在 20～28 岁的受试者中进行，而有报道称老年人与年轻人的血液动力学响应存在差异[49-51]，且所有受试者均为健康人，他们的血流动力学响应与神经系统疾病的患者会有所不同[48]，如果将研究的对象扩大并能取得良好的分类结果，将更有助于 fNIRS-BCI 的推广。
4 结论
本研究探讨了 fNIRS 对单个肢体不同动作（右脚传球、停球和射门动作想象）运动想象的可分性。计算不同动作运动想象间 HbO 信号的相关系数作为新的特征，并采用 SVM 对右脚三种运动想象动作进行分类，平均分类准确率为 78.89%±6.161%，同时还对传球与停球、传球与射门和停球与射门进行了二分类，平均分类准确率分别为 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%。试验结果表明基于 fNIRS 信号分类单个肢体不同运动想象动作是可行的，相关系数可以作为一种有效的分类特征。本研究可望为 fNIRS-BCI 增加新的控制命令，也可为单侧中风患者康复训练和控制外设提供一种新的选择。我们未来的研究是构建在线 fNIRS-BCI 控制单侧假肢执行多种动作。
利益冲突声明：本文全体作者均声明不存在利益冲突。
