针对脑胶质瘤形状、位置及大小的不一致性，本文提出了一种基于双通道三维密集连接网络的脑胶质瘤核磁共振成像（MRI）自动分割算法。该算法基于三维卷积神经网络，在两个通道采用不同大小卷积核，从而在不同尺度感受野下提取多尺度特征，并构造各自的密集连接块进行特征学习与传递，通过特征结联后输入到分类层进行目标体素分类，最终实现脑胶质瘤的自动分割。为了验证本文算法的实用性，本文采用公开的脑肿瘤分割挑战赛数据集对网络进行训练与验证，并将得到的结果与其他脑胶质瘤分割方法比较。实验结果表明，本文所提出的算法能够更准确地分割出不同的肿瘤病变区域，在临床脑肿瘤疾病诊断中具有一定的应用价值。
引用本文： 霍智勇, 杜帅煜, 陈钊, 戴伟达. 基于双通道三维密集连接网络的脑胶质瘤核磁共振成像分割算法研究. 生物医学工程学杂志, 2019, 36(5): 763-768, 776. doi: 10.7507/1001-5515.201902006 复制
引言
脑胶质瘤是神经胶质细胞不受控制地非自然生长和分裂的脑部肿瘤，其早期诊断对治疗起着至关重要的作用，而准确的肿瘤区域分割与定位是治疗的基础。核磁共振成像（magnetic resonance imaging，MRI）具有良好的软组织对比度，提供了丰富的脑组织内部结构信息，且是一种非侵入性的检查技术，因此临床上经常采用 MRI 作为诊断参考依据。MRI 具有多参数成像的特点，不同参数获得的模态具有差异性。T1 加权图像（T1-weighted images）、对比增强 T1 加权图像（contrast enhanced T1-weighted images，T1c）、T2 加权图像（T2-weighted images）和液体衰减反转恢复序列图像（fluid-attenuated inversion recovery images，FLARI）是临床上使用较多的图像模态。不同模态图像包含不同类型的生物信息，通过对这四种模态图像相互对比与参照，可以更好地了解病变区域组织结构。
脑肿瘤 MRI 图像的分割是指将脑胶质瘤组织在 MRI 图像上分离出不同的肿瘤结构（包括水肿区域、坏死区域、非增强型肿瘤与增强型肿瘤）。临床上通常是采用人工分割的方式进行，其过程耗时耗力且存在主观性判读，不同专家的分割结果往往存在差异，因此人们一直在寻找更为客观的自动准确分割脑胶质瘤的方法。传统的自动分割算法可以分为阈值法[1]、分水岭算法[2]、区域生长法[3]、基于梯度信息边缘检测算法[4]等。这些方法通常是针对特定肿瘤形态或某个模态的 MRI 图像，泛化性不强。
近年来，基于深度学习的脑肿瘤分割算法受到广泛关注并发展迅速。Zikic 等[5]提出一种多模态输入的浅层二维神经网络，验证了神经网络方法用于脑肿瘤分割任务的可行性。Chang 等[6]提出一种全卷积神经网络，将最深层的卷积输出与初始卷积层的特征图结合，训练完成后 1 s 内就可以生成分割结果图。Zhao 等[7]提出了一种多尺度的二维卷积神经网络模型，该模型可以自动适应目标区域大小，有效解决了脑肿瘤尺度不一致的问题。上述方法较传统方法在分割精度方面都取得了很大的提升，但算法输入采用的是 MRI 图像切片，因此选取二维卷积神经网络，没有充分利用 MRI 数据的三维空间信息。Kamnitsas 等[8]提出了深度医学（DeepMedic）模型，一种双路径输入的 11 层三维卷积神经网络模型，以不同尺寸的三维图像块作为数据输入，在 2015 年的脑肿瘤分割挑战赛中排名前三。Ronneberger 等[9]提出利用三维 U 型网络（U-Net）实现脑肿瘤分割，在子区域分割结果最优。上述研究成果大大促进了人工神经网络在脑肿瘤自动分割领域的技术应用。
基于以上研究成果，为了进一步提高 MRI 图像中子区域的分割精度，本文提出了一种双通道三维密集连接网络的脑肿瘤分割算法，首先利用三维密集连接网络加强特征传播，减少了低级特征向高级特征传递过程中的损失；然后采用双通道特征提取网络，选取不同尺度的卷积核，在不同尺度感受野下获取特征结构，解决脑肿瘤区域大小不一致问题；最后采用多类损失函数，降低因类不均衡问题造成的分类错误。最终，通过训练好的分割模型对测试集图像进行测试，以验证本文算法应用于脑肿瘤患者的诊断与治疗的可行性，或将为进一步辅助脑肿瘤类疾病临床诊疗奠定基础。
1 方法
为了更好地获取 MRI 图像体素间的三维空间信息，本文算法的深度学习网络结构如图 1 所示，即构造了一个双通道三维密集连接网络。输入为包含 T1、T1c、T2、FLARI 模态的体素切块，大小为 4 × 64 × 64 × 64；算法采用双通道的方式，以不同尺度的三维卷积核来提取 MRI 图像中的体素特征；卷积核大小分别为 3 × 3 × 3 和 5 × 5 × 5，以满足不同大小肿瘤的特征提取。然后进一步构造三维密集连接块来获取更加稠密的特征，实现了对每层特征的重复利用。最后使用归一化指数函数（softmax）作分类层，输出为目标体素对应类别的预测概率。
图1
双通道三维密集连接网络结构
Figure1.
The structure of dual-channel 3-dimensional densely connected network
1.1 三维卷积神经网络
三维卷积神经网络根据每个体素的邻域及上下文信息对体素标签进行独立估计，通过级联卷积操作实现特征提取。较高网络层组合输入的特征产生用于分类的复杂特征，网络的最后一层为分类层，对应用于特定分类的类别标签。本文网络分类层选取 1 × 1 × 1 大小的卷积核进行卷积操作，输出概率图中心的 12 × 12 × 12 区域为待预测体素区域。
本文算法采用三维卷积核对 MRI 数据进行卷积运算，添加偏置项后经过线性整流函数（rectified linear unit，RELU）得到输出特征图，计算公式如式（1）所示：
 |
其中，每个卷积核 
是学习的隐藏权重；m 指卷积核的个数，即输出特征维度；n 是输入特征维度；
表示输入的三维特征图；
为偏置项；“*”代表卷积运算；f（.）为非线性激活函数，此处采用 RELU 函数。
卷积层输出特征图的大小则是由输入特征图的大小、卷积核的尺寸和步长决定的。本文网络的步长均设置为 1，为了最终输出特征图便于融合，本文网络中卷积操作均采用零值填充的方式，确保输入和输出的特征图大小相同。
1.2 双通道特征学习网络
三维卷积神经网络根据每个输出节点在感受野内获取的上下文信息对目标体素进行分类。感受野是网络层输出的每个节点所对应的输入层的区域，从数学上讲就是每个网络输出对输入特征图的映射区域。第 l 层的感受野等于前一层感受野大小乘以当前层的卷积核大小，计算公式如式（2）所示：
 |
式中，
指第 l 层的三维卷积核的大小，s 为步长，
为前一层感受野尺寸。
传统的卷积神经网络是通过特征的逐层传递从而获取局部信息，如式（2）所示，感受野的大小由卷积核的尺寸与步长决定。若单纯采用较小的 3 × 3 × 3 的卷积核时，对应的感受野区域较小且相对单一，只能获得局部固定区域大小的上下文信息。由于肿瘤区域大小不规则性，不同大小的感受野对于最后分类层的贡献不同。为了利用更大范围的上下文信息，增大感受野，本文提出增加卷积核更大的特征学习通道，从而将不同感受野下的特征进行融合，获得更加丰富的特征表征方式。本文网络的上通道和下通道采用的卷积核尺寸分别为 3 × 3 × 3 和 5 × 5 × 5，最后输入到分类层的特征包括：待预测类别体素周围的细节特征和较大范围的上下文特征。
1.3 三维密集连接网络
传统的卷积神经网络在进行低级特征向高级特征传递过程中存在特征损失，低级特征没有输入到最后的分类层。本文借鉴二维密集连接网络[10]的思想设计了一种三维的密集连接网络，利用密集连接块实现特征学习，完成脑肿瘤分割任务。密集连接网络的思想是指任意两层之间都有直接的连接，网络的每一层输入都是前面所有层的并集。这样做的优点是加强了特征的复用，避免梯度快速消失，减少了网络参数量。本文网络的每个通道均构造了两个密集连接块用于特征学习与传递，密集连接块的结构如图 2 所示。
图2
密集连接块结构
Figure2.
The structure of densely connected block
每个密集连接块包含 4 个卷积层，其中 x0 为输入，d0 为输入层的特征图维度，d1 为第一个密集连接块中第一个卷积层与输入特征图结连后的维度。每个卷积层的输出如式（3）和式（4）所示：
 |
 |
式中，［x0，x1，
，xl-1］代表前面各层特征结联，B（x）代表批标准化（batch normalization，BN），R 表示 RELU 函数，W 表示学习到的权值矩阵，“*”代表卷积运算。密集连接块的输出是前面所有卷积层的并集，则第 l 层的特征维度如式（5）所示：
 |
式中，d0 代表输入密集连接块的特征图维度，g 代表特征增长率，即每一层卷积操作中卷积核的个数，这里本文选取的 g 的数值为 12。为了保持图像较高的分辨率，本文网络结构中没有采用下采样操作，步长均设置为 1，此时感受野的计算公式可简化为如式（6）所示：
 |
式中，
表示前一层的感受野大小，
是第 l 层上三维卷积核的尺寸。由此就可以根据选取的卷积核尺寸计算出每个通道中两个密集连接块输出节点的感受野尺寸。计算结果以及网络中各节点的输出特征维度如表 1 所示。
表1
特征学习网络中各组成单元细节
Table1.
Specification of each component in the feature learning network
1.4 损失函数
损失函数用来衡量网络预测输出和真实标签之间的差距，作为优化网络训练参数的约束条件。由于脑肿瘤图像相比于自然图像存在严重的类不均衡问题，仅仅采用简单的交叉熵损失函数不能得到最优的分割结果，因此本文通过增加损失函数种类来解决肿瘤分割任务中存在的类不均衡问题。
本文采用的损失函数包含两部分：第一部分是真实标签与预测结果的交叉熵损失，另一部分是多分类损失。本文算法采用的损失函数是两者相加，如式（7）所示：
 |
式中，
为交叉熵损失，
为多分类损失。
交叉熵损失
计算如式（8）所示：
 |
式中，gi 是真实值，pi 是分类层输出的预测概率值，v 代表待预测中心体素块的个数。
多分类损失
的计算公式如式（9）示：
 |
式中，K 是待预测类别数目，
是第 i 个体素属于第 j 类别的真实概率，
是分类层关于第 i 个体素属于第 j 类别的输出概率。
1.5 实验数据及处理方法
1.5.1 数据集与预处理
本文采用 2017 年的脑肿瘤分割挑战赛[11]（Brain Tumor Segmentation Challenge，BraTS）（网址：https://www.med.upenn.edu/sbia/brats2017.html）提供的公开数据集进行训练与测试。数据集包含 210 个高分级胶质瘤（high-grade glioma，HGG）患者数据和 75 个低分级胶质瘤（low-grade glioma，LGG）患者数据。其中每个患者的数据均包含四种模态的 MRI 图像，分别是 FLAIR、T1、T1c 和 T2。根据数据集提供的标准分割结果，待分割的类别有 4 类，分别为：非肿瘤区域（标签为 0）、水肿区域（标签为 1）、坏死肿瘤和非增强型肿瘤（标签为 2）、增强型肿瘤（标签为 4）。
预处理是为了确保不同患者不同模态的图像之间有确定的匹配值范围，从而避免网络的初始偏差。本文的预处理过程包含三个部分，首先采用改进的非参数非均匀化回顾性偏差校正算法 [12]进行偏置场校正；然后提取三维体素块；最后进行归一化操作。其中提取三维体素块的操作方式是针对每个患者的多模态 MRI 图像，随机选取 200 个标签为 0 和标签不为 0 的体素点作为中心，提取周边 64 × 64 × 64 大小的邻域；归一化操作采用 0 均值，方差为 1 的归一化，计算公式如式（10）所示：
 |
式中，xi 代表待归一化的值，yi 代表归一化后的值，X 表示输入序列，mean（·）表示均值计算函数，std（·）表示标准差计算函数。
1.5.2 实验环境与训练细节
本文采用基于数据流图的深度学习计算软件 TensorFlow（Google Inc.，美国）进行数值实验，在统一计算设备架构平台 CUDA 9.0（NVIDIA Inc.，美国）上并行计算，调用深度神经网络计算库 CuDNN 7.5（NVIDIA Inc.，美国）实现加速，硬件运算平台为英特尔高性能处理器（i7-8700K，Intel Inc.，美国）、图形处理器设备（NVIDIA GeForce GTX 1080 Ti，NVIDIA Inc.，美国）。
批处理大小为 2，对于每个训练集样本迭代 4 次，采用自适应矩估计（adaptive moment estimation，Adam）优化算法，初始学习率设置为 5 × 10−4。训练中发现采用如旋转、镜像之类的数据增强操作对分割精度的效果增益不强，因此本文没有采用数据增强。
2 结果
2.1 评价指标
脑肿瘤挑战赛官方在线评估系统将分割结果分成三类区域，分别为肿瘤整体（whole tumor，WT）、肿瘤核心（tumor core，TC）和增强型肿瘤（enhanced tumor，ET）。其中肿瘤整体包括水肿区域、坏死区域、非增强型肿瘤和增强型肿瘤；肿瘤核心包括坏死区域、非增强型肿瘤和增强型肿瘤，增强型肿瘤仅包含标签为 4 的增强型肿瘤。
对于每类区域，采用骰子相似系数（dice similarity coefficient，DSC）（以符号 DSC 表示）作为脑肿瘤分割精度评价指标，计算方式如式（11）所示：
 |
式中，P 表示预测结果，T 表示真实值，“∩”表示取交集，“∪”表示取并集，|.|表示取绝对值。DSC 表示模型的预测结果与真实值的相似程度，能够衡量模型的分割精度。
2.2 数值结果对比分析
本文分别对比了几种典型的基于传统机器学习的方法、基于二维卷积神经网络的方法及基于三维卷积神经网络方法的分割结果，对比的数值结果如表 2 所示。
表2
不同算法分割结果 DSC 对比
Table2.
Comparison of DSC from segmentation results of diffe rent algorithms
本文选取了两个最新发表的基于传统机器学习的脑肿瘤分割算法作为参考，分别是随机森林算法和稀疏表示算法，并列出其分割结果的 DSC。在肿瘤整体分割方面，本文算法与随机森林算法和稀疏表示算法相比，在 DSC 上分别提升了 0.11 和 0.07，对于肿瘤内部子区域分割精度提升较明显，尤其是增强型肿瘤分割方面，本文算法的 DSC 相较于随机森林算法和稀疏表示算法分别提升了 0.26 和 0.11。原因是传统机器学习算法输入到分类器的特征是手工提取的，针对不同患者特征提取的方法存在局限性，往往分类器在某个患者分割结果较好，但整体精度却不高。
文献[15]算法是基于二维卷积神经网络的方法，采用级联学习的策略，各肿瘤区域分割精度均优于传统机器学习算法。但是该算法需要分阶段训练，并非端到端的训练方式，大大增加了网络训练时长，并且在分割肿瘤内部子区域时受前一阶段分割肿瘤整体的影响，从而限制了肿瘤内部子区域的分割精度。本文算法采用端到端的训练，生成分割结果图像的时间更短，并且在分割精度方面，肿瘤整体与肿瘤核心的 DSC 相近，在增强型肿瘤分割上 DSC 提升了 0.03。
与本文算法同样采用多层三维卷积神经网络结构的 DeepMedic，其分割结果 DSC 如表 2 所示，利用条件随机场（conditional random field，CRF）优化后的算法分割精度提升不明显。本文算法在分割肿瘤整体、肿瘤核心、增强型肿瘤的 DSC 分别为 0.88、0.81、0.76，DeepMedic 模型相较于本文算法，在肿瘤整体分割上 DSC 提升了 0.02，而本文算法则在肿瘤内部子区域（肿瘤核心和增强型肿瘤）分割上 DSC 分别提升了 0.06 和 0.04，这是由于密集连接网络及双通道特征提取策略使网络能够利用多级特征，并且适应肿瘤区域大小变化从而提升了分割精度。
2.3 可视化结果
如图 3 所示，为了能够客观地展示本文算法的分割结果，本文随机选取测试数据集中三组患者的 MRI 图像用于可视化分析。图中第一列和第二列分别为 T1c 和 FLAIR 模态序列图像，第三列是标准结果（医学专家手动分割结果），第四列是本文方法的分割结果。
图3
可视化分割结果
Figure3.
Visualization of segmentation results
图 3 中，绿色区域代表水肿区域，蓝色区域代表坏死区域和非增强肿瘤区域，红色区域代表增强型肿瘤区域。比较三位患者的图像可以看出肿瘤区域的大小、位置、形状均不统一，这是肿瘤分割领域一大挑战。对比标准结果和本文方法的分割结果，可以发现本文提出的模型能够准确地分割出肿瘤区域轮廓及其肿瘤内部结构，从而进一步证明了本文算法的性能。对比患者 1 的标准结果与本文方法的分割图可以看出，本文算法给出的分割结果中增强型肿瘤区域所占整体比例比标准结果中所占比例高，存在过分割的情况，这是由于该患者图像中增强型肿瘤区域占整个肿瘤区域比例太小，正负样本不均衡问题造成的过分割现象。正负样本不均衡问题是脑肿瘤分割的另一大挑战，这是由于脑肿瘤图像中非肿瘤区域所占比例较大，且内部各子区域所占比例分布不均衡导致，虽然本文通过改进损失函数减少正负样本不均衡对分割结果造成的影响，但某些极端情况仍会出现过分割结果，解决正负样本不均衡问题将是本文下一步研究的目标。
3 总结
本文提出了一种双通道三维密集连接网络用于脑胶质瘤分割的算法，并通过实验验证了该算法的可行性。本文算法采用三维卷积核，相比于二维神经网络更好地利用了 MRI 图像中各体素周围的灰度关系；通过设置不同卷积核大小以获取多尺度特征，解决了肿瘤区域大小不一致的问题；构建密集连接网络进行特征学习与传递，加强特征复用，与传统卷积神经网络逐层连接相比，密集连接网络大大提高了各级特征对分类层的贡献，分割精度方面也有显著提升。通过与其他算法进行对比分析，可以看出本文算法在肿瘤分割中的性能提升十分明显。
本方法也存在一定的不足，由于 MRI 图像中非肿瘤区域所占比例较大，且内部各子区域所占比例没有统一的分布，从而导致严重的正负样本不均衡问题。基于此问题，本文虽然采用多类损失函数以减少正负样本不均衡造成的分类错误，但效果不显著。今后的工作将致力于解决正负样本不均衡问题，研究方向有两个，一是采用级联网络，采用分段学习的策略结合多个分割网络实现脑肿瘤分割；二是将对抗生成式网络和分割网络结合起来，更好地利用体素之间的相互关系，生成连续的分割结果，从而抑制正负样本不均衡问题导致的过分割现象。
利益冲突声明：本文全体作者均声明不存在利益冲突。
引言
脑胶质瘤是神经胶质细胞不受控制地非自然生长和分裂的脑部肿瘤，其早期诊断对治疗起着至关重要的作用，而准确的肿瘤区域分割与定位是治疗的基础。核磁共振成像（magnetic resonance imaging，MRI）具有良好的软组织对比度，提供了丰富的脑组织内部结构信息，且是一种非侵入性的检查技术，因此临床上经常采用 MRI 作为诊断参考依据。MRI 具有多参数成像的特点，不同参数获得的模态具有差异性。T1 加权图像（T1-weighted images）、对比增强 T1 加权图像（contrast enhanced T1-weighted images，T1c）、T2 加权图像（T2-weighted images）和液体衰减反转恢复序列图像（fluid-attenuated inversion recovery images，FLARI）是临床上使用较多的图像模态。不同模态图像包含不同类型的生物信息，通过对这四种模态图像相互对比与参照，可以更好地了解病变区域组织结构。
脑肿瘤 MRI 图像的分割是指将脑胶质瘤组织在 MRI 图像上分离出不同的肿瘤结构（包括水肿区域、坏死区域、非增强型肿瘤与增强型肿瘤）。临床上通常是采用人工分割的方式进行，其过程耗时耗力且存在主观性判读，不同专家的分割结果往往存在差异，因此人们一直在寻找更为客观的自动准确分割脑胶质瘤的方法。传统的自动分割算法可以分为阈值法[1]、分水岭算法[2]、区域生长法[3]、基于梯度信息边缘检测算法[4]等。这些方法通常是针对特定肿瘤形态或某个模态的 MRI 图像，泛化性不强。
近年来，基于深度学习的脑肿瘤分割算法受到广泛关注并发展迅速。Zikic 等[5]提出一种多模态输入的浅层二维神经网络，验证了神经网络方法用于脑肿瘤分割任务的可行性。Chang 等[6]提出一种全卷积神经网络，将最深层的卷积输出与初始卷积层的特征图结合，训练完成后 1 s 内就可以生成分割结果图。Zhao 等[7]提出了一种多尺度的二维卷积神经网络模型，该模型可以自动适应目标区域大小，有效解决了脑肿瘤尺度不一致的问题。上述方法较传统方法在分割精度方面都取得了很大的提升，但算法输入采用的是 MRI 图像切片，因此选取二维卷积神经网络，没有充分利用 MRI 数据的三维空间信息。Kamnitsas 等[8]提出了深度医学（DeepMedic）模型，一种双路径输入的 11 层三维卷积神经网络模型，以不同尺寸的三维图像块作为数据输入，在 2015 年的脑肿瘤分割挑战赛中排名前三。Ronneberger 等[9]提出利用三维 U 型网络（U-Net）实现脑肿瘤分割，在子区域分割结果最优。上述研究成果大大促进了人工神经网络在脑肿瘤自动分割领域的技术应用。
基于以上研究成果，为了进一步提高 MRI 图像中子区域的分割精度，本文提出了一种双通道三维密集连接网络的脑肿瘤分割算法，首先利用三维密集连接网络加强特征传播，减少了低级特征向高级特征传递过程中的损失；然后采用双通道特征提取网络，选取不同尺度的卷积核，在不同尺度感受野下获取特征结构，解决脑肿瘤区域大小不一致问题；最后采用多类损失函数，降低因类不均衡问题造成的分类错误。最终，通过训练好的分割模型对测试集图像进行测试，以验证本文算法应用于脑肿瘤患者的诊断与治疗的可行性，或将为进一步辅助脑肿瘤类疾病临床诊疗奠定基础。
1 方法
为了更好地获取 MRI 图像体素间的三维空间信息，本文算法的深度学习网络结构如图 1 所示，即构造了一个双通道三维密集连接网络。输入为包含 T1、T1c、T2、FLARI 模态的体素切块，大小为 4 × 64 × 64 × 64；算法采用双通道的方式，以不同尺度的三维卷积核来提取 MRI 图像中的体素特征；卷积核大小分别为 3 × 3 × 3 和 5 × 5 × 5，以满足不同大小肿瘤的特征提取。然后进一步构造三维密集连接块来获取更加稠密的特征，实现了对每层特征的重复利用。最后使用归一化指数函数（softmax）作分类层，输出为目标体素对应类别的预测概率。
图1
双通道三维密集连接网络结构
Figure1.
The structure of dual-channel 3-dimensional densely connected network
1.1 三维卷积神经网络
三维卷积神经网络根据每个体素的邻域及上下文信息对体素标签进行独立估计，通过级联卷积操作实现特征提取。较高网络层组合输入的特征产生用于分类的复杂特征，网络的最后一层为分类层，对应用于特定分类的类别标签。本文网络分类层选取 1 × 1 × 1 大小的卷积核进行卷积操作，输出概率图中心的 12 × 12 × 12 区域为待预测体素区域。
本文算法采用三维卷积核对 MRI 数据进行卷积运算，添加偏置项后经过线性整流函数（rectified linear unit，RELU）得到输出特征图，计算公式如式（1）所示：
|
其中，每个卷积核 是学习的隐藏权重；m 指卷积核的个数，即输出特征维度；n 是输入特征维度； 表示输入的三维特征图； 为偏置项；“*”代表卷积运算；f（.）为非线性激活函数，此处采用 RELU 函数。
卷积层输出特征图的大小则是由输入特征图的大小、卷积核的尺寸和步长决定的。本文网络的步长均设置为 1，为了最终输出特征图便于融合，本文网络中卷积操作均采用零值填充的方式，确保输入和输出的特征图大小相同。
1.2 双通道特征学习网络
三维卷积神经网络根据每个输出节点在感受野内获取的上下文信息对目标体素进行分类。感受野是网络层输出的每个节点所对应的输入层的区域，从数学上讲就是每个网络输出对输入特征图的映射区域。第 l 层的感受野等于前一层感受野大小乘以当前层的卷积核大小，计算公式如式（2）所示：
|
式中，指第 l 层的三维卷积核的大小，s 为步长， 为前一层感受野尺寸。
传统的卷积神经网络是通过特征的逐层传递从而获取局部信息，如式（2）所示，感受野的大小由卷积核的尺寸与步长决定。若单纯采用较小的 3 × 3 × 3 的卷积核时，对应的感受野区域较小且相对单一，只能获得局部固定区域大小的上下文信息。由于肿瘤区域大小不规则性，不同大小的感受野对于最后分类层的贡献不同。为了利用更大范围的上下文信息，增大感受野，本文提出增加卷积核更大的特征学习通道，从而将不同感受野下的特征进行融合，获得更加丰富的特征表征方式。本文网络的上通道和下通道采用的卷积核尺寸分别为 3 × 3 × 3 和 5 × 5 × 5，最后输入到分类层的特征包括：待预测类别体素周围的细节特征和较大范围的上下文特征。
1.3 三维密集连接网络
传统的卷积神经网络在进行低级特征向高级特征传递过程中存在特征损失，低级特征没有输入到最后的分类层。本文借鉴二维密集连接网络[10]的思想设计了一种三维的密集连接网络，利用密集连接块实现特征学习，完成脑肿瘤分割任务。密集连接网络的思想是指任意两层之间都有直接的连接，网络的每一层输入都是前面所有层的并集。这样做的优点是加强了特征的复用，避免梯度快速消失，减少了网络参数量。本文网络的每个通道均构造了两个密集连接块用于特征学习与传递，密集连接块的结构如图 2 所示。
图2
密集连接块结构
Figure2.
The structure of densely connected block
每个密集连接块包含 4 个卷积层，其中 x0 为输入，d0 为输入层的特征图维度，d1 为第一个密集连接块中第一个卷积层与输入特征图结连后的维度。每个卷积层的输出如式（3）和式（4）所示：
|
|
式中，［x0，x1，，xl-1］代表前面各层特征结联，B（x）代表批标准化（batch normalization，BN），R 表示 RELU 函数，W 表示学习到的权值矩阵，“*”代表卷积运算。密集连接块的输出是前面所有卷积层的并集，则第 l 层的特征维度如式（5）所示：
|
式中，d0 代表输入密集连接块的特征图维度，g 代表特征增长率，即每一层卷积操作中卷积核的个数，这里本文选取的 g 的数值为 12。为了保持图像较高的分辨率，本文网络结构中没有采用下采样操作，步长均设置为 1，此时感受野的计算公式可简化为如式（6）所示：
|
式中， 表示前一层的感受野大小，是第 l 层上三维卷积核的尺寸。由此就可以根据选取的卷积核尺寸计算出每个通道中两个密集连接块输出节点的感受野尺寸。计算结果以及网络中各节点的输出特征维度如表 1 所示。
表1
特征学习网络中各组成单元细节
Table1.
Specification of each component in the feature learning network
1.4 损失函数
损失函数用来衡量网络预测输出和真实标签之间的差距，作为优化网络训练参数的约束条件。由于脑肿瘤图像相比于自然图像存在严重的类不均衡问题，仅仅采用简单的交叉熵损失函数不能得到最优的分割结果，因此本文通过增加损失函数种类来解决肿瘤分割任务中存在的类不均衡问题。
本文采用的损失函数包含两部分：第一部分是真实标签与预测结果的交叉熵损失，另一部分是多分类损失。本文算法采用的损失函数是两者相加，如式（7）所示：
|
式中，为交叉熵损失，为多分类损失。
交叉熵损失计算如式（8）所示：
|
式中，gi 是真实值，pi 是分类层输出的预测概率值，v 代表待预测中心体素块的个数。
多分类损失的计算公式如式（9）示：
|
式中，K 是待预测类别数目， 是第 i 个体素属于第 j 类别的真实概率， 是分类层关于第 i 个体素属于第 j 类别的输出概率。
1.5 实验数据及处理方法
1.5.1 数据集与预处理
本文采用 2017 年的脑肿瘤分割挑战赛[11]（Brain Tumor Segmentation Challenge，BraTS）（网址：https://www.med.upenn.edu/sbia/brats2017.html）提供的公开数据集进行训练与测试。数据集包含 210 个高分级胶质瘤（high-grade glioma，HGG）患者数据和 75 个低分级胶质瘤（low-grade glioma，LGG）患者数据。其中每个患者的数据均包含四种模态的 MRI 图像，分别是 FLAIR、T1、T1c 和 T2。根据数据集提供的标准分割结果，待分割的类别有 4 类，分别为：非肿瘤区域（标签为 0）、水肿区域（标签为 1）、坏死肿瘤和非增强型肿瘤（标签为 2）、增强型肿瘤（标签为 4）。
预处理是为了确保不同患者不同模态的图像之间有确定的匹配值范围，从而避免网络的初始偏差。本文的预处理过程包含三个部分，首先采用改进的非参数非均匀化回顾性偏差校正算法 [12]进行偏置场校正；然后提取三维体素块；最后进行归一化操作。其中提取三维体素块的操作方式是针对每个患者的多模态 MRI 图像，随机选取 200 个标签为 0 和标签不为 0 的体素点作为中心，提取周边 64 × 64 × 64 大小的邻域；归一化操作采用 0 均值，方差为 1 的归一化，计算公式如式（10）所示：
|
式中，xi 代表待归一化的值，yi 代表归一化后的值，X 表示输入序列，mean（·）表示均值计算函数，std（·）表示标准差计算函数。
1.5.2 实验环境与训练细节
本文采用基于数据流图的深度学习计算软件 TensorFlow（Google Inc.，美国）进行数值实验，在统一计算设备架构平台 CUDA 9.0（NVIDIA Inc.，美国）上并行计算，调用深度神经网络计算库 CuDNN 7.5（NVIDIA Inc.，美国）实现加速，硬件运算平台为英特尔高性能处理器（i7-8700K，Intel Inc.，美国）、图形处理器设备（NVIDIA GeForce GTX 1080 Ti，NVIDIA Inc.，美国）。
批处理大小为 2，对于每个训练集样本迭代 4 次，采用自适应矩估计（adaptive moment estimation，Adam）优化算法，初始学习率设置为 5 × 10−4。训练中发现采用如旋转、镜像之类的数据增强操作对分割精度的效果增益不强，因此本文没有采用数据增强。
2 结果
2.1 评价指标
脑肿瘤挑战赛官方在线评估系统将分割结果分成三类区域，分别为肿瘤整体（whole tumor，WT）、肿瘤核心（tumor core，TC）和增强型肿瘤（enhanced tumor，ET）。其中肿瘤整体包括水肿区域、坏死区域、非增强型肿瘤和增强型肿瘤；肿瘤核心包括坏死区域、非增强型肿瘤和增强型肿瘤，增强型肿瘤仅包含标签为 4 的增强型肿瘤。
对于每类区域，采用骰子相似系数（dice similarity coefficient，DSC）（以符号 DSC 表示）作为脑肿瘤分割精度评价指标，计算方式如式（11）所示：
|
式中，P 表示预测结果，T 表示真实值，“∩”表示取交集，“∪”表示取并集，|.|表示取绝对值。DSC 表示模型的预测结果与真实值的相似程度，能够衡量模型的分割精度。
2.2 数值结果对比分析
本文分别对比了几种典型的基于传统机器学习的方法、基于二维卷积神经网络的方法及基于三维卷积神经网络方法的分割结果，对比的数值结果如表 2 所示。
表2
不同算法分割结果 DSC 对比
Table2.
Comparison of DSC from segmentation results of diffe rent algorithms
本文选取了两个最新发表的基于传统机器学习的脑肿瘤分割算法作为参考，分别是随机森林算法和稀疏表示算法，并列出其分割结果的 DSC。在肿瘤整体分割方面，本文算法与随机森林算法和稀疏表示算法相比，在 DSC 上分别提升了 0.11 和 0.07，对于肿瘤内部子区域分割精度提升较明显，尤其是增强型肿瘤分割方面，本文算法的 DSC 相较于随机森林算法和稀疏表示算法分别提升了 0.26 和 0.11。原因是传统机器学习算法输入到分类器的特征是手工提取的，针对不同患者特征提取的方法存在局限性，往往分类器在某个患者分割结果较好，但整体精度却不高。
文献[15]算法是基于二维卷积神经网络的方法，采用级联学习的策略，各肿瘤区域分割精度均优于传统机器学习算法。但是该算法需要分阶段训练，并非端到端的训练方式，大大增加了网络训练时长，并且在分割肿瘤内部子区域时受前一阶段分割肿瘤整体的影响，从而限制了肿瘤内部子区域的分割精度。本文算法采用端到端的训练，生成分割结果图像的时间更短，并且在分割精度方面，肿瘤整体与肿瘤核心的 DSC 相近，在增强型肿瘤分割上 DSC 提升了 0.03。
与本文算法同样采用多层三维卷积神经网络结构的 DeepMedic，其分割结果 DSC 如表 2 所示，利用条件随机场（conditional random field，CRF）优化后的算法分割精度提升不明显。本文算法在分割肿瘤整体、肿瘤核心、增强型肿瘤的 DSC 分别为 0.88、0.81、0.76，DeepMedic 模型相较于本文算法，在肿瘤整体分割上 DSC 提升了 0.02，而本文算法则在肿瘤内部子区域（肿瘤核心和增强型肿瘤）分割上 DSC 分别提升了 0.06 和 0.04，这是由于密集连接网络及双通道特征提取策略使网络能够利用多级特征，并且适应肿瘤区域大小变化从而提升了分割精度。
2.3 可视化结果
如图 3 所示，为了能够客观地展示本文算法的分割结果，本文随机选取测试数据集中三组患者的 MRI 图像用于可视化分析。图中第一列和第二列分别为 T1c 和 FLAIR 模态序列图像，第三列是标准结果（医学专家手动分割结果），第四列是本文方法的分割结果。
图3
可视化分割结果
Figure3.
Visualization of segmentation results
图 3 中，绿色区域代表水肿区域，蓝色区域代表坏死区域和非增强肿瘤区域，红色区域代表增强型肿瘤区域。比较三位患者的图像可以看出肿瘤区域的大小、位置、形状均不统一，这是肿瘤分割领域一大挑战。对比标准结果和本文方法的分割结果，可以发现本文提出的模型能够准确地分割出肿瘤区域轮廓及其肿瘤内部结构，从而进一步证明了本文算法的性能。对比患者 1 的标准结果与本文方法的分割图可以看出，本文算法给出的分割结果中增强型肿瘤区域所占整体比例比标准结果中所占比例高，存在过分割的情况，这是由于该患者图像中增强型肿瘤区域占整个肿瘤区域比例太小，正负样本不均衡问题造成的过分割现象。正负样本不均衡问题是脑肿瘤分割的另一大挑战，这是由于脑肿瘤图像中非肿瘤区域所占比例较大，且内部各子区域所占比例分布不均衡导致，虽然本文通过改进损失函数减少正负样本不均衡对分割结果造成的影响，但某些极端情况仍会出现过分割结果，解决正负样本不均衡问题将是本文下一步研究的目标。
3 总结
本文提出了一种双通道三维密集连接网络用于脑胶质瘤分割的算法，并通过实验验证了该算法的可行性。本文算法采用三维卷积核，相比于二维神经网络更好地利用了 MRI 图像中各体素周围的灰度关系；通过设置不同卷积核大小以获取多尺度特征，解决了肿瘤区域大小不一致的问题；构建密集连接网络进行特征学习与传递，加强特征复用，与传统卷积神经网络逐层连接相比，密集连接网络大大提高了各级特征对分类层的贡献，分割精度方面也有显著提升。通过与其他算法进行对比分析，可以看出本文算法在肿瘤分割中的性能提升十分明显。
本方法也存在一定的不足，由于 MRI 图像中非肿瘤区域所占比例较大，且内部各子区域所占比例没有统一的分布，从而导致严重的正负样本不均衡问题。基于此问题，本文虽然采用多类损失函数以减少正负样本不均衡造成的分类错误，但效果不显著。今后的工作将致力于解决正负样本不均衡问题，研究方向有两个，一是采用级联网络，采用分段学习的策略结合多个分割网络实现脑肿瘤分割；二是将对抗生成式网络和分割网络结合起来，更好地利用体素之间的相互关系，生成连续的分割结果，从而抑制正负样本不均衡问题导致的过分割现象。
利益冲突声明：本文全体作者均声明不存在利益冲突。
