本文旨在将深度学习与图像分析技术进行结合，提出一种有效的桡骨远端骨折类型的分类方法。首先，使用扩展U-Net三层级联分割网络，对识别骨折最重要的关节面区和非关节面区进行精准分割；然后，对关节面区和非关节面区图像再分别进行骨折识别；最后，综合判断出正常或者ABC骨折分型结果。实验表明，正常、A型、B型和C型骨折在测试集上的准确率为0.99、0.92、0.91和0.82，而骨科医学专家的平均识别准确率为0.98、0.90、0.87和0.81。所提自动识别方法整体好于专家，在无专家参与的场景下，可以使用该方法进行初步的桡骨远端骨折辅助诊断。
引用本文： 刘云鹏, 干开丰, 李瑾, 孙德超, 邱虹, 刘东权. X线片桡骨远端骨折自动快速诊断研究. 生物医学工程学杂志, 2024, 41(4): 798-806. doi: 10.7507/1001-5515.202309050 复制
0 引言
由于人体结构是立体的，而医学上采集的X线片是二维图像，用于腕骨骨折诊断时存在一定信息遗漏，桡骨远端解剖结构的复杂性在二维平面下更加突出，尤其是微小骨折与桡骨重叠区域，所以需要专家反复观察与讨论才可以对骨折类型进行确诊。X线片骨折诊断本质上属于二维图像分类的技术范畴，计算机辅助诊断技术在这一领域已经取得了显著进展。一种常见的方法是将整个原始图像输入系统，使用传统机器学习方法得到诊断结果[1-2]。然而，传统机器学习方法在特征提取和识别准确性方面存在一定的局限性。随着技术的发展，以卷积神经网络为代表的深度学习技术，因其在自动特征提取上的显著优势，逐渐成为主流方法[3-8]。针对腕部桡骨远端骨折的诊断，在已知深度学习研究文献中分为三大类：① 直接对包括桡骨远端在内的整个手掌和手腕区域的X线片影像进行分类，主要集中在骨折与正常的二分类研究[9]。② 在X线片中定位或分割桡骨远端的同时进行分类，也是主要集中在骨折与正常的二分类研究[10-13]。③ 先准确定位到桡骨远端区域再进行分类[14-16]。除了X线片诊断，也有部分复杂骨骼部位需要使用计算机断层扫描（computed tomography，CT）影像，尽管CT是时间轴上的一组图像序列，但在实际识别过程中，只是选择序列中少数几张关键位置清晰的图像，仍是类似X线片的二维图像处理[17-18]。在已知的国内外文献中，未见对X线片桡骨远端进行精确分割后再识别骨折的研究，而是主要集中在骨折与正常二分类的简单判断，尽管文献[14]做了进一步提升，可以对A型和BC型（作为一个大类）骨折进行区分，但还是属于基于目标检测的二分类思想，无法有效地区分B型和C型骨折。
X线片中关节面区和非关节面区的骨折诊断是区分ABC型骨折的医学依据，而判断关节面区和非关节面区是否骨折，必须要先把两个区域精准地分割出来，才可以使用深度学习分类模型进行判断。如果不分割，一方面，由于关节面区和非关节面区是紧密连接，使用最小矩形框会把两个区域放入到一个识别空间，故无法准确地分辨出到底是哪个区域的骨折；另一方面，会把大量的关节面区和非关节面区以外的骨区域划分进来，由于骨折区域的识别度本来就低，大量的干扰和噪声区域会大大降低识别的准确度。因此，本文拟采用三层级联的深度学习分割网络先对关节面区和非关节面区进行精准分割，再对关节面区和非关节面区分别进行骨折识别，从而综合判断出骨折分型结果。
1 桡骨远端骨折分型描述
关节面区与非关节面区说明如图1所示，其中图1a为X线片图像，图1b为对应的三维效果示意图，可以从三维角度更加清晰地呈现。红线所描区域是桡骨远端的关节面区，绿线所描区域是桡骨远端的非关节面区，蓝线所示区域是桡骨远端的干骺端。当骨折仅发生于非关节面区且包括干骺端时，定义为A型，如图2a所示；当骨折发生于关节面区且无干骺端骨折时，定义为B型，如图2b所示；当骨折同时发生于干骺端和关节面区时，则定义为C型，如图2c所示。
图1
关节面区与非关节面区图示
a. X线图；b. 3D图
Figure1. Illustration of joint surface area and non joint surface areaa. X-ray image; b. 3D image
图2
ABC型骨折图示
a. A型；b. B型；c. C型
Figure2. Illustration of type ABC fracturea. type A; b. type B; c. type C
2 实验数据
手腕部位X线片数据集来自宁波李惠利医院、鄞州人民医院和宁波第六医院3所三级甲等的骨科权威医院，训练阶段，每个医院的训练与验证数据集都包括4 000张图像，其中正常、A型、B型和C型桡骨远端骨折各1 000张，都是由从医10年以上的骨科医学专家进行标注。对于桡骨和腕骨、桡骨远端与关节面区三个对象区域的分割标注，从训练与验证数据集中，每家医院每种类型随机选择250张进行标注，三个区域的分割标注图像共1 000张，三家医院总共3 000张。最后测试环节另纳入每家医院400张图像和其他国外渠道500张图像，共计1 700张，每种类型数量比例近似1∶1，不参与分割、轮廓优化和关节面区分类的训练，其原始诊断结果由提供图像的各家医疗机构3名以上资深骨科专家综合判定。测试环节中，本研究还设计了专家诊断试验，由3名从医10年以上资深骨科专家（与前述专家均不重合）对1 700张图像进行诊断，取其结果的平均值。训练与测试所有图像均已获授权使用。
3 感兴趣区域分割
3.1 分割方法
本文设计了一种扩展U-Net网络结构的分割模型，如图3所示。解码端上采样过程使用Isola等[19]提出的采样方法，为了减少上采样引起的图像损失，加入子像素卷积的方法[20]。由于关节面区尺寸较小，在卷积过程中会导致特征不断地弱化甚至消失，故使用一种应用于医学影像的注意门（attention gate，AG）技术[21]。
图3
扩展U-Net网络
Figure3.
Extended U-Net
端到端的分割网络使用三个扩展U-Net，同时分割桡骨和腕骨、桡骨远端与关节面区三个不同的区域，形成一种三层级联结构，如图4所示。通过级联控制，桡骨远端被限制在上一层分割结果区域中进行分割，同样关节面区被限制在桡骨远端区域内分割，由于在局部区域中形态与纹理的唯一性，故可以保证分割的准确性。
图4
三层级联分割模型
Figure4.
Three-layer cascaded segmentation model
分割区域在经过形态学操作后，因为部分区域比真实分割结果在轮廓上会扩充一些像素，所以需要对分割轮廓进行优化处理。轮廓边缘优化的本质是以分割后像素为中心的图像块进行二分类，训练数据集中，如果像素在感兴趣区域内，对应的图像块为正样本。对于负样本的设置，并不是选择感兴趣区域外的所有像素，此类型像素数量很多，而且可能存在于多种不同的组织区域，因此只关注真实边缘附近一定范围内的像素，一方面是为了正负样本数量的均衡，另一方面优化的目的就是精确地对感兴趣区域内外的图像块分类，从而确定边缘。由于形态学操作的结果只是边缘附近的区域被合并到感兴趣区域，故将边缘附近5个像素范围内的区域设置为负样本的采样区域。因为AlexNet网络模型架构简单，对于特征空间复杂度较低的图像处理快速有效，所以选择AlexNet，并针对单通道图像进行一定调整，调整后的结构如图5所示。
图5
调整后的AlexNet网络结构图
Figure5.
Adjusted AlexNet network structure diagram
3.2 实验结果
3.2.1 数据预处理
X线片图像和对应分割掩码图像通过边缘填充法扩展为正方形，并缩放到224×224大小。3 000张分割标注好的图像，五倍交叉验证。训练集数据在训练的时候实时进行下面操作随机组合的数据增广，增广操作包括：① 上下左右进行15%范围内平移；② 15%范围内缩放；③ 30°内旋转；④ 拉伸系数–5～5范围内拉伸变形。
3.2.2 训练参数与评估标准
训练参数包括：批大小为32，使用逐像素交叉熵损失函数、自适应矩估计（adaptive moment estimation，ADAM）优化器，学习率取经验值0.000 1，衰减率取经验值0.000 01，迭代次数设置为120，若连续5个迭代次数后损失不再减少就停止训练，通过回调函数对损失最小的模型和对应的权重进行保存。ADAM优化完成后，将最佳权重载入继续使用随机梯度下降（stochastic gradient descent，SGD）优化器进行优化，学习率取0.000 01，当连续10个迭代次数后损失不减少则停止最终训练，此时的权重为最优分割权重。三个感兴趣区域同时分割，统一进行评价。评估图像分割性能的标准包含敏感度（sensitivity，Sen），命中率（positive predicted value，PPV）和戴斯系数（Dice coefficient，DC）。
3.2.3 与当前先进方法整体对比
根据已知范围内研究文献，没有专门针对本文所述医学图像区域进行分割研究的论文，因此将本文方法与近年来在医学图像领域分割性能表现突出的分割模型[22-27]进行对比，分割性能比较如表1所示。SAM[27]和SAMM[23]是最具有代表性的通用分割模型，AA-transunet[22]和Transformer[26]是以Transformer编码技术为代表的先进分割方法，BlendMask[25]和ResGANet[24]是多种深度学习优势技术相结合进行分割应用的先进代表。
表1
分割性能比较
Table1.
Comparison of segmentation performance
由表1结果可以看出，所提方法性能在每一个指标的平均值都是所有算法中最好的，Sen、PPV和DC可以达到0.91、0.94和0.93。其他方法分割性能相对较差，主要是因为桡骨远端与关节面区的纹理结构与其他手部和腕部骨结构是非常类似的，区别主要在于大小，因为深度学习具有尺度不变特性，容易有非感兴趣区域的假阳性对象被分割出来，后处理中并没有针对假阳性做处理，导致最终性能下降。而本文方法的三层级联结构进行了空间限制，不会出现假阳性分割情况，故表现出高精度的分割效果。
3.2.4 典型分割结果展示
如图6所示，对一个典型分割结果进行展示。可以看出本文方法的分割结果与标注基本一致，而AA-transunet[22]、SAMM[23]和ResGANet[24]对于桡骨远端和关节面区的上面曲线部分没有正确分割，可能会导致失去关节面区骨折的部分核心特征。BlendMask[25]除了上述问题，还对于桡骨远端右上角的重叠区域出现分割错误。Transformer[26]和SAM[27]不仅存在上述两种问题，还在桡骨和腕骨分割中缺少左上角部分区域，同时错分了关节面区。
图6
不同方法分割比较图
Figure6.
Comparison chart of segmentation using different methods
3.2.5 模型参数优化
从每家中方医院训练集的正常、A型、B型和C型骨折四种类型中各随机抽取100张图像，每张图像随机采样正负样本各500个。训练参数包括：批大小为64，使用分类交叉熵损失函数、ADAM优化器，参数取系统缺省值，迭代次数设置为200，训练在连续10个迭代次数后损失不再减少就停止训练，通过回调函数对损失最小的模型和对应的权重进行保存。ADAM优化完成后，将最佳权重载入继续使用SGD优化器进行优化，动量取0.9，学习率取0.000 1，当连续15个迭代次数后损失不减少则停止最终的训练，此时的权重为最优的分类权重。对多种区域大小的图像块进行测试，15 × 15区域取得最佳效果，同时如表2所示，调整后AlexNet性能最佳，准确率为最高值0.98。
表2
图像块训练性能比较
Table2.
Comparison of image block training performance
3.2.6 分割消融实验
为了观察三层级联、后处理形态学操作和轮廓优化的贡献，设计如下消融实验：方案1：使用三层级联和分割后的形态学操作，不进行轮廓优化；方案2：使用三层级联，分割后不进行后处理的形态学操作，不进行轮廓优化；方案3：不使用三层级联，分别独立使用扩展U-Net进行分割，分割后使用形态学操作，不进行轮廓优化；方案4：使用三层级联和分割后的形态学操作，进行轮廓优化。测试集所有图像的平均分析结果如表3所示。根据上述分析，将方案中的技术因素重要性进行对比，三层级联技术可以最大幅度地提升分割性能，其次是后处理形态学操作，而轮廓优化后的平均性能指标也有一定提升，且均方差减少，提示分割的稳定性也增强了，同时轮廓边缘的细化可以进一步去除多余噪声，保证后面分类的正确性。
表3
消融实验性能比较
Table3.
Performance comparison of ablation experiment
4 关节面区和非关节面区骨折判断方法
4.1 判断方法
精确分割后需要进一步分类处理，要同时对关节面区和非关节面区进行分类，分类使用一致的卷积神经网络，训练过程以关节面区为例，如图7所示。
图7
骨折判断模型训练框架图
Figure7.
Training framework diagram of fracture judgment model
4.2 实验结果
4.2.1 数据预处理
在训练集中分割标注的
关节面区直接进行分割标注，非关节面区没有直接标注，需要桡骨远端标注区域减去关节面区得到。获取关节面区和非关节面区所在标注区域的最小矩形框，根据最小矩形框获取关节面区和非关节面区图像，再调整为正方形，并将图像缩放到128×128分辨率。
4.2.2 性能比较
EfficientNet-B7网络结构对深度、宽度和分辨率进行了很好的平衡与结合，从而可以达到很好的预测结果。本文使用EfficientNet-B7模型对关节面区和非关节面区图像进行分类，并与AmoebaNet-A、NASNet-A与ResNeXt-101等模型进行比较。从表4可以看出，EfficientNet-B7模型的分类效果最佳，而且由于非关节面区在骨折上的纹理特征更加突出，故整体准确率会更高一些。
表4
关节面区和非关节面区分类准确率比较
Table4.
Comparison of joint surface area and non joint surface area classification accuracy
4.2.3 热图可视化
为了进一步说明分类模型的可解释性，可以通过类别激活图方法对图像中识别特征进行热图可视化，效果如图8所示。尽管桡骨重叠会干扰关节面区的骨折识别，然而关节面区和非关节面区的骨折区域，在明显和微小的情况下依然都表现出最为显著的颜色。因为桡骨边缘分割准确度高，突出了重叠区域在位置和灰度变化上与其他位置的不同，所以让深度学习模型可以更好地学习到特征，从而与真正的骨折区域有所区分。
图8
骨折激活特征可视化效果
Figure8.
Visualization effect of fracture characteristics
5 桡骨远端骨折分型诊断方法
5.1 诊断方法
桡骨远端骨折分型诊断框架如图9所示。首先，通过分割模型得到桡骨远端与关节面区的分割区域；其次，区域求差后得到非关节面区分割区域；接着，在原图像中获取对象边界最小矩形框，扩展边界到正方形并缩放到分类模型要求大小；最后，使用两个分类模型分别预测两个区域，综合判断出骨折类型。
图9
分型诊断框架图
Figure9.
Framework diagram for predicting fracture types
5.2 实验结果
微小骨折与桡骨重叠区域是引起正常、A型、B型和C型骨折分类错误的主要因素，关节面区和非关节面区的准确分割，在一定程度上可以解决该难点问题。在1 700张新患者图像上进行分型测试，结果如表5所示，所提方法最终分型诊断结果要略好于专家的平均诊断，只有C型骨折诊断结果的查准率和F-Score稍低于专家诊断结果，但仍远高于对图像直接分类的结果。可以看出直接对图像进行分类的方法性能较差，主要因为分型判断的核心区域是关节面区和非关节面区两个部分，两个区域加起来只占整个X线片图像的5%左右比例，噪声区域占了绝大部分比例，分类前会对图像进一步缩小，核心识别区域的纹理特征会进一步减少和模糊；同时由于手掌骨关节的特殊性，一些骨骼结构具有一定的相似性，也会导致直接分类的识别率大大下降。
表5
测试集分型结果比较
Table5.
Comparison of test set typing results
6 结论
本文针对X线片桡骨远端骨折诊断问题，提出一种智能化和自动化的损伤分类方法。采用三层级联分割技术，对识别骨折最重要的关节面区和非关节面区进行精准分割，在此基础上对正常、A型、B型和C型骨折进行准确分类，平均识别率略高于骨科专家。该方法可以辅助医生准确诊断桡骨远端骨折，目前已经集成到合作企业的医学影像科研平台，并在宁波部分三级甲等医院开展试用。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：刘云鹏负责整体设计与核心算法分析；干开丰和刘东权负责医学知识指导；孙德超、邱虹负责编码与实验分析；李瑾负责数据整理与图表绘制。
0 引言
由于人体结构是立体的，而医学上采集的X线片是二维图像，用于腕骨骨折诊断时存在一定信息遗漏，桡骨远端解剖结构的复杂性在二维平面下更加突出，尤其是微小骨折与桡骨重叠区域，所以需要专家反复观察与讨论才可以对骨折类型进行确诊。X线片骨折诊断本质上属于二维图像分类的技术范畴，计算机辅助诊断技术在这一领域已经取得了显著进展。一种常见的方法是将整个原始图像输入系统，使用传统机器学习方法得到诊断结果[1-2]。然而，传统机器学习方法在特征提取和识别准确性方面存在一定的局限性。随着技术的发展，以卷积神经网络为代表的深度学习技术，因其在自动特征提取上的显著优势，逐渐成为主流方法[3-8]。针对腕部桡骨远端骨折的诊断，在已知深度学习研究文献中分为三大类：① 直接对包括桡骨远端在内的整个手掌和手腕区域的X线片影像进行分类，主要集中在骨折与正常的二分类研究[9]。② 在X线片中定位或分割桡骨远端的同时进行分类，也是主要集中在骨折与正常的二分类研究[10-13]。③ 先准确定位到桡骨远端区域再进行分类[14-16]。除了X线片诊断，也有部分复杂骨骼部位需要使用计算机断层扫描（computed tomography，CT）影像，尽管CT是时间轴上的一组图像序列，但在实际识别过程中，只是选择序列中少数几张关键位置清晰的图像，仍是类似X线片的二维图像处理[17-18]。在已知的国内外文献中，未见对X线片桡骨远端进行精确分割后再识别骨折的研究，而是主要集中在骨折与正常二分类的简单判断，尽管文献[14]做了进一步提升，可以对A型和BC型（作为一个大类）骨折进行区分，但还是属于基于目标检测的二分类思想，无法有效地区分B型和C型骨折。
X线片中关节面区和非关节面区的骨折诊断是区分ABC型骨折的医学依据，而判断关节面区和非关节面区是否骨折，必须要先把两个区域精准地分割出来，才可以使用深度学习分类模型进行判断。如果不分割，一方面，由于关节面区和非关节面区是紧密连接，使用最小矩形框会把两个区域放入到一个识别空间，故无法准确地分辨出到底是哪个区域的骨折；另一方面，会把大量的关节面区和非关节面区以外的骨区域划分进来，由于骨折区域的识别度本来就低，大量的干扰和噪声区域会大大降低识别的准确度。因此，本文拟采用三层级联的深度学习分割网络先对关节面区和非关节面区进行精准分割，再对关节面区和非关节面区分别进行骨折识别，从而综合判断出骨折分型结果。
1 桡骨远端骨折分型描述
关节面区与非关节面区说明如图1所示，其中图1a为X线片图像，图1b为对应的三维效果示意图，可以从三维角度更加清晰地呈现。红线所描区域是桡骨远端的关节面区，绿线所描区域是桡骨远端的非关节面区，蓝线所示区域是桡骨远端的干骺端。当骨折仅发生于非关节面区且包括干骺端时，定义为A型，如图2a所示；当骨折发生于关节面区且无干骺端骨折时，定义为B型，如图2b所示；当骨折同时发生于干骺端和关节面区时，则定义为C型，如图2c所示。
图1
关节面区与非关节面区图示
a. X线图；b. 3D图
Figure1. Illustration of joint surface area and non joint surface areaa. X-ray image; b. 3D image
图2
ABC型骨折图示
a. A型；b. B型；c. C型
Figure2. Illustration of type ABC fracturea. type A; b. type B; c. type C
2 实验数据
手腕部位X线片数据集来自宁波李惠利医院、鄞州人民医院和宁波第六医院3所三级甲等的骨科权威医院，训练阶段，每个医院的训练与验证数据集都包括4 000张图像，其中正常、A型、B型和C型桡骨远端骨折各1 000张，都是由从医10年以上的骨科医学专家进行标注。对于桡骨和腕骨、桡骨远端与关节面区三个对象区域的分割标注，从训练与验证数据集中，每家医院每种类型随机选择250张进行标注，三个区域的分割标注图像共1 000张，三家医院总共3 000张。最后测试环节另纳入每家医院400张图像和其他国外渠道500张图像，共计1 700张，每种类型数量比例近似1∶1，不参与分割、轮廓优化和关节面区分类的训练，其原始诊断结果由提供图像的各家医疗机构3名以上资深骨科专家综合判定。测试环节中，本研究还设计了专家诊断试验，由3名从医10年以上资深骨科专家（与前述专家均不重合）对1 700张图像进行诊断，取其结果的平均值。训练与测试所有图像均已获授权使用。
3 感兴趣区域分割
3.1 分割方法
本文设计了一种扩展U-Net网络结构的分割模型，如图3所示。解码端上采样过程使用Isola等[19]提出的采样方法，为了减少上采样引起的图像损失，加入子像素卷积的方法[20]。由于关节面区尺寸较小，在卷积过程中会导致特征不断地弱化甚至消失，故使用一种应用于医学影像的注意门（attention gate，AG）技术[21]。
图3
扩展U-Net网络
Figure3.
Extended U-Net
端到端的分割网络使用三个扩展U-Net，同时分割桡骨和腕骨、桡骨远端与关节面区三个不同的区域，形成一种三层级联结构，如图4所示。通过级联控制，桡骨远端被限制在上一层分割结果区域中进行分割，同样关节面区被限制在桡骨远端区域内分割，由于在局部区域中形态与纹理的唯一性，故可以保证分割的准确性。
图4
三层级联分割模型
Figure4.
Three-layer cascaded segmentation model
分割区域在经过形态学操作后，因为部分区域比真实分割结果在轮廓上会扩充一些像素，所以需要对分割轮廓进行优化处理。轮廓边缘优化的本质是以分割后像素为中心的图像块进行二分类，训练数据集中，如果像素在感兴趣区域内，对应的图像块为正样本。对于负样本的设置，并不是选择感兴趣区域外的所有像素，此类型像素数量很多，而且可能存在于多种不同的组织区域，因此只关注真实边缘附近一定范围内的像素，一方面是为了正负样本数量的均衡，另一方面优化的目的就是精确地对感兴趣区域内外的图像块分类，从而确定边缘。由于形态学操作的结果只是边缘附近的区域被合并到感兴趣区域，故将边缘附近5个像素范围内的区域设置为负样本的采样区域。因为AlexNet网络模型架构简单，对于特征空间复杂度较低的图像处理快速有效，所以选择AlexNet，并针对单通道图像进行一定调整，调整后的结构如图5所示。
图5
调整后的AlexNet网络结构图
Figure5.
Adjusted AlexNet network structure diagram
3.2 实验结果
3.2.1 数据预处理
X线片图像和对应分割掩码图像通过边缘填充法扩展为正方形，并缩放到224×224大小。3 000张分割标注好的图像，五倍交叉验证。训练集数据在训练的时候实时进行下面操作随机组合的数据增广，增广操作包括：① 上下左右进行15%范围内平移；② 15%范围内缩放；③ 30°内旋转；④ 拉伸系数–5～5范围内拉伸变形。
3.2.2 训练参数与评估标准
训练参数包括：批大小为32，使用逐像素交叉熵损失函数、自适应矩估计（adaptive moment estimation，ADAM）优化器，学习率取经验值0.000 1，衰减率取经验值0.000 01，迭代次数设置为120，若连续5个迭代次数后损失不再减少就停止训练，通过回调函数对损失最小的模型和对应的权重进行保存。ADAM优化完成后，将最佳权重载入继续使用随机梯度下降（stochastic gradient descent，SGD）优化器进行优化，学习率取0.000 01，当连续10个迭代次数后损失不减少则停止最终训练，此时的权重为最优分割权重。三个感兴趣区域同时分割，统一进行评价。评估图像分割性能的标准包含敏感度（sensitivity，Sen），命中率（positive predicted value，PPV）和戴斯系数（Dice coefficient，DC）。
3.2.3 与当前先进方法整体对比
根据已知范围内研究文献，没有专门针对本文所述医学图像区域进行分割研究的论文，因此将本文方法与近年来在医学图像领域分割性能表现突出的分割模型[22-27]进行对比，分割性能比较如表1所示。SAM[27]和SAMM[23]是最具有代表性的通用分割模型，AA-transunet[22]和Transformer[26]是以Transformer编码技术为代表的先进分割方法，BlendMask[25]和ResGANet[24]是多种深度学习优势技术相结合进行分割应用的先进代表。
表1
分割性能比较
Table1.
Comparison of segmentation performance
由表1结果可以看出，所提方法性能在每一个指标的平均值都是所有算法中最好的，Sen、PPV和DC可以达到0.91、0.94和0.93。其他方法分割性能相对较差，主要是因为桡骨远端与关节面区的纹理结构与其他手部和腕部骨结构是非常类似的，区别主要在于大小，因为深度学习具有尺度不变特性，容易有非感兴趣区域的假阳性对象被分割出来，后处理中并没有针对假阳性做处理，导致最终性能下降。而本文方法的三层级联结构进行了空间限制，不会出现假阳性分割情况，故表现出高精度的分割效果。
3.2.4 典型分割结果展示
如图6所示，对一个典型分割结果进行展示。可以看出本文方法的分割结果与标注基本一致，而AA-transunet[22]、SAMM[23]和ResGANet[24]对于桡骨远端和关节面区的上面曲线部分没有正确分割，可能会导致失去关节面区骨折的部分核心特征。BlendMask[25]除了上述问题，还对于桡骨远端右上角的重叠区域出现分割错误。Transformer[26]和SAM[27]不仅存在上述两种问题，还在桡骨和腕骨分割中缺少左上角部分区域，同时错分了关节面区。
图6
不同方法分割比较图
Figure6.
Comparison chart of segmentation using different methods
3.2.5 模型参数优化
从每家中方医院训练集的正常、A型、B型和C型骨折四种类型中各随机抽取100张图像，每张图像随机采样正负样本各500个。训练参数包括：批大小为64，使用分类交叉熵损失函数、ADAM优化器，参数取系统缺省值，迭代次数设置为200，训练在连续10个迭代次数后损失不再减少就停止训练，通过回调函数对损失最小的模型和对应的权重进行保存。ADAM优化完成后，将最佳权重载入继续使用SGD优化器进行优化，动量取0.9，学习率取0.000 1，当连续15个迭代次数后损失不减少则停止最终的训练，此时的权重为最优的分类权重。对多种区域大小的图像块进行测试，15 × 15区域取得最佳效果，同时如表2所示，调整后AlexNet性能最佳，准确率为最高值0.98。
表2
图像块训练性能比较
Table2.
Comparison of image block training performance
3.2.6 分割消融实验
为了观察三层级联、后处理形态学操作和轮廓优化的贡献，设计如下消融实验：方案1：使用三层级联和分割后的形态学操作，不进行轮廓优化；方案2：使用三层级联，分割后不进行后处理的形态学操作，不进行轮廓优化；方案3：不使用三层级联，分别独立使用扩展U-Net进行分割，分割后使用形态学操作，不进行轮廓优化；方案4：使用三层级联和分割后的形态学操作，进行轮廓优化。测试集所有图像的平均分析结果如表3所示。根据上述分析，将方案中的技术因素重要性进行对比，三层级联技术可以最大幅度地提升分割性能，其次是后处理形态学操作，而轮廓优化后的平均性能指标也有一定提升，且均方差减少，提示分割的稳定性也增强了，同时轮廓边缘的细化可以进一步去除多余噪声，保证后面分类的正确性。
表3
消融实验性能比较
Table3.
Performance comparison of ablation experiment
4 关节面区和非关节面区骨折判断方法
4.1 判断方法
精确分割后需要进一步分类处理，要同时对关节面区和非关节面区进行分类，分类使用一致的卷积神经网络，训练过程以关节面区为例，如图7所示。
图7
骨折判断模型训练框架图
Figure7.
Training framework diagram of fracture judgment model
4.2 实验结果
4.2.1 数据预处理
在训练集中分割标注的
关节面区直接进行分割标注，非关节面区没有直接标注，需要桡骨远端标注区域减去关节面区得到。获取关节面区和非关节面区所在标注区域的最小矩形框，根据最小矩形框获取关节面区和非关节面区图像，再调整为正方形，并将图像缩放到128×128分辨率。
4.2.2 性能比较
EfficientNet-B7网络结构对深度、宽度和分辨率进行了很好的平衡与结合，从而可以达到很好的预测结果。本文使用EfficientNet-B7模型对关节面区和非关节面区图像进行分类，并与AmoebaNet-A、NASNet-A与ResNeXt-101等模型进行比较。从表4可以看出，EfficientNet-B7模型的分类效果最佳，而且由于非关节面区在骨折上的纹理特征更加突出，故整体准确率会更高一些。
表4
关节面区和非关节面区分类准确率比较
Table4.
Comparison of joint surface area and non joint surface area classification accuracy
4.2.3 热图可视化
为了进一步说明分类模型的可解释性，可以通过类别激活图方法对图像中识别特征进行热图可视化，效果如图8所示。尽管桡骨重叠会干扰关节面区的骨折识别，然而关节面区和非关节面区的骨折区域，在明显和微小的情况下依然都表现出最为显著的颜色。因为桡骨边缘分割准确度高，突出了重叠区域在位置和灰度变化上与其他位置的不同，所以让深度学习模型可以更好地学习到特征，从而与真正的骨折区域有所区分。
图8
骨折激活特征可视化效果
Figure8.
Visualization effect of fracture characteristics
5 桡骨远端骨折分型诊断方法
5.1 诊断方法
桡骨远端骨折分型诊断框架如图9所示。首先，通过分割模型得到桡骨远端与关节面区的分割区域；其次，区域求差后得到非关节面区分割区域；接着，在原图像中获取对象边界最小矩形框，扩展边界到正方形并缩放到分类模型要求大小；最后，使用两个分类模型分别预测两个区域，综合判断出骨折类型。
图9
分型诊断框架图
Figure9.
Framework diagram for predicting fracture types
5.2 实验结果
微小骨折与桡骨重叠区域是引起正常、A型、B型和C型骨折分类错误的主要因素，关节面区和非关节面区的准确分割，在一定程度上可以解决该难点问题。在1 700张新患者图像上进行分型测试，结果如表5所示，所提方法最终分型诊断结果要略好于专家的平均诊断，只有C型骨折诊断结果的查准率和F-Score稍低于专家诊断结果，但仍远高于对图像直接分类的结果。可以看出直接对图像进行分类的方法性能较差，主要因为分型判断的核心区域是关节面区和非关节面区两个部分，两个区域加起来只占整个X线片图像的5%左右比例，噪声区域占了绝大部分比例，分类前会对图像进一步缩小，核心识别区域的纹理特征会进一步减少和模糊；同时由于手掌骨关节的特殊性，一些骨骼结构具有一定的相似性，也会导致直接分类的识别率大大下降。
表5
测试集分型结果比较
Table5.
Comparison of test set typing results
6 结论
本文针对X线片桡骨远端骨折诊断问题，提出一种智能化和自动化的损伤分类方法。采用三层级联分割技术，对识别骨折最重要的关节面区和非关节面区进行精准分割，在此基础上对正常、A型、B型和C型骨折进行准确分类，平均识别率略高于骨科专家。该方法可以辅助医生准确诊断桡骨远端骨折，目前已经集成到合作企业的医学影像科研平台，并在宁波部分三级甲等医院开展试用。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：刘云鹏负责整体设计与核心算法分析；干开丰和刘东权负责医学知识指导；孙德超、邱虹负责编码与实验分析；李瑾负责数据整理与图表绘制。
