有效的医学图像增强方法可以增强感兴趣目标或区域以及抑制背景及噪声区域,从而改善图像的质量,在减少噪声的同时保持原有的几何纹理结构,基于增强后的图像可以更方便地诊断疾病。本文针对当前医学图像细微结构增强方法展开研究,主要包括锐化增强方法、粗糙集与模糊集增强、多尺度几何增强以及基于微分算子的增强方法。最后给出几种常用的图像细节增强定量评价指标,并探讨了医学图像细微结构增强进一步的研究方向。
引用本文: 王宇, 靳珍怡, 王远军. 医学图像细微结构增强方法研究进展. 生物医学工程学杂志, 2018, 35(4): 651-655. doi: 10.7507/1001-5515.201705055 复制
引言
由于人体解剖结构非常复杂,早期病灶在医学图像上的表征非常微弱,病灶的细节信息不够清楚。而医学图像中相对微小、不明显的病灶细节信息又很重要,在临床诊断中细节的可识别程度会直接影响医生的诊断效果。医学图像增强方法主要分为两大类,灰度对比度增强和纹理结构细节增强。灰度对比度增强能够增强图像层次间的差异,使得图像的灰阶层次分布更加丰富,产生良好的视觉效果,但图像的纹理细节却没有得到根本的改善。因此,对医学图像细微结构进行增强,针对图像中的局部结构特征,突出一些病灶结构和细节,使之能够更清晰、准确地反映出病灶信息,有利于临床医生的诊断以及图像的后续处理[1]。
医学图像纹理结构细节增强方法根据不同的原理特点,可以分为锐化增强、粗糙集模糊集增强、多尺度几何增强以及基于微分算子的方法等。图像的边缘和纹理细节信息主要存在于图像的高频部分,一些高通滤波器常被用于提取边缘细节信息,如梯度滤波器和拉普拉斯滤波器。锐化增强方法还包括反锐化掩模法和基于数学形态学的锐化。由于锐化增强对噪声比较敏感,在增强细节的同时不可避免地放大了噪声,很多学者对此作出了改进,如分数阶微分的运用[2],以及结合非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)的多尺度抗噪反锐化掩模增强[3]。另一类细节增强方法是基于模糊数学、粗糙集理论的增强方法,粗糙集与模糊集均可以处理医学图像中包含的不确定性[4-5]。此外,还有两类方法是基于小波变换等多尺度几何增强方法以及微分算子的增强方法[6-7]。小波变换可以有效地将图像分解为包含近似信息的低频部分和包含纹理细节的高频部分,在空域和频域上对图像进行多尺度分析;而基于微分算子的方法,可以计算图像局部邻域灰度变化的强度及方向或结构张量,相当于对一幅二维图像的结构增加了方向性信息,可以有效地描述图像的边缘和纹理细节信息,并可以有效地增强图像中的角点和管状结构[8]。本文最后介绍几种常用的图像细节增强定量评价指标。
1 图像细节增强方法
1.1 锐化增强方法
图像锐化的作用主要是增强图像边缘和纹理细节的清晰度,主要分为三大类:微分锐化、反锐化掩模法和基于形态学的锐化。
1.1.1 微分锐化
微分锐化主要是通过微分运算而突出图像的边缘和纹理细节。主要包括整数阶微分和分数阶微分。整数阶微分主要包括梯度算子和拉普拉斯算子。梯度算子是常用的一阶微分锐化算子,主要突出图像的边缘,而二阶微分算子拉普拉斯算子主要突出图像中的小细节即细微结构,但是对噪声的响应要比梯度算子强,影响增强效果。分数阶微分是整数阶微分运算的推广,理论研究发现,信号在进行分数阶微分运算时,当微分阶数在[0,1]范围内,信号的高频分量会被大幅提升,同时信号中频部分也相应有所加强,且没有大幅衰减信号的低频部分,而是进行了非线性的保留[2]。分数阶微分在图像处理研究上是一个较新领域,通过构造方向模板,应用掩模运算,突出图像细节信息,保留图像平滑区域。文献[9]在婴幼儿脑磁共振图像(magnetic resonance imaging,MRI)增强研究中提出了一种自适应方法确定分数阶阶数,根据平均梯度和大津算法,融合非局部均值信息来确定。分数阶微分阶次的选取、更多的方向模板、更有效的分数阶微分掩模算子以及更多的应用于医学图像的细节增强有待进一步研究。
1.1.2 反锐化掩模法
反锐化掩模法可有效地抑制图像亮度较大范围内的变化,并保持低对比度的细节。线性反锐化掩模法主要是对高频进行处理,将原图像与低通滤波后得到的模糊图做差值运算得到高频部分,然后乘上一个增益系数再与原图求和,最后得到细节和边缘等均增强的图像。该方法中可改进的部分主要包括两方面:一是增益系数,一是高频部分。传统的反锐化掩模法中,增益系数常设置为常数,这样导致处理后图像噪声影响较大,且灰度突变的边缘细节区易出现过增强,因此后续作了较多改进,例如结合多尺度几何分析以实现更优效果[3]。
1.1.3 形态学锐化
数学形态学是一组形态学代数运算算子组成的集合,根据一定形态的结构元素去度量、提取图像中对应的几何形状和结构,对此进行适当地处理以实现图像分析和目标识别的目的。主要运算包括膨胀、腐蚀、开运算和闭运算。在图像增强中,形态学锐化应用包括形态学梯度和 top-hat 算子。形态学梯度是通过对图像作膨胀和腐蚀得到局部极大值和极小值,在锐化图像边缘的同时可以去除图像中部分噪声;top-hat 算子通过原图像与结构元素之间的开闭运算的差值提取图像亮、暗细节特征值以突出图像细节信息。但是,形态学梯度算子不能很好地增强图像对比度,top-hat 算子不能很好地锐化图像,所以,这两种算法需要与其他方法结合使用才能突出其优点。
1.2 基于粗糙集与模糊集的增强方法
1.2.1 基于粗糙集的增强
粗糙集理论假定知识是一种对对象进行分类的能力,在分类过程中,将区别较小的个体归于同一类,它们之间的关系就是不可分辨关系。根据医学图像的特有属性确定分类知识,在不影响整幅图像质量的前提下,将图像分成不同部分,并对小区域感兴趣部位的纹理细节部分进行增强突出,便于医生定性定量观察。因其突出的分类降维作用,还常被用于图像特征选择分类器[10]。
1.2.2 基于模糊集的增强
图像成像过程中,由于光照条件的不同以及物体结构复杂性和多样性等的影响,使得目标图像对比度低,目标和背景之间有过渡区域,目标边缘具有模糊性,所以使用模糊数学进行图像处理分析具有一定的合理性。
1981 年 Pal 等[11]针对 X 线图片提出了一种图像模糊增强算法,根据模糊集理论,将图像变换到模糊域,在模糊域中对图像做适当的增强处理,再根据隶属度函数重新将图像从模糊域逆变换到空间域,得到增强后的图像,该方法中因其隶属度函数的确认需要依赖于较多的先验知识,所以鲁棒性较低。由于医学图像包含了大量的不确定性,因此,直觉模糊集和二型模糊集被引入进来。直觉模糊集定义了真隶属度函数和假隶属度函数,比模糊集考虑了更多的不确定性。文献[12]根据直觉模糊集理论,对分解的子图像的对象和背景区域构建基于限制等价函数的各个直觉模糊生成器,对对象和背景区域的各自隶属函数执行不同的操作。相对于一型模糊集,二型模糊集克服了在处理实际问题中不确定性存在的局限性,但是计算量很大。文献[5]采用了区间二型模糊集,减少了计算量,缩短了图像处理时间,并有效地增强了图像。
1.3 多尺度几何增强
1.3.1 小波变换增强
小波变换能同时在空域和频域上对图像进行多尺度分析,这样在多个频段上同时增强图像可以避免谷粒效应的出现,抗噪性强,而且从人眼视觉要求的角度,不仅可以突出细节和边缘,还可以丰富图像层次感。
小波变换图像增强的一般思想:通过合理地构造线性或非线性变换函数,选择性地调整小波分解系数,突出增强图像中的细微结构。文献[13]中提到二次分解,首先用 Haar 变换分解医学图像,然后小波变换再次分解高频子图像,最后通过不同子图像中的不同权重值来增强高频系数。此外,小波变换还被广泛用于图像融合中,文献[14-15]等均将图像融合用于图像细节增强,其中文献[15]中首先将电子计算机断层扫描(computed tomography,CT)图用基于熵的直方图算法得到重要区域的分离图像,然后将该分离图像与原图像基于小波变换的融合得到明显增强肿瘤区域的增强型 CT 图。
1.3.2 Curvelet 变换、NSCT
小波变换虽然在表示细节和边缘的高频分量中非常有用,但它不能捕获各向异性特征。因此,Curvelet 变换和 NSCT 由于可提供各向异性特征以及更多的方向,被开发和用于医学图像处理。Curvelet 变换是 1999 年 Candes E J 和 Donoho D L 提出的曲线波变换理论,与小波变换不同,小波分解只有三个方向:水平、垂直和对角,而 Curvelet 变换增加了一个方向参量,具有更好的方向辨识能力,能更好地反映图像的特征[16]。NSCT 是静小波与 Contourlet 变换的结合。Contourlet 变换可以在每一尺度上分解出 2n 多的方向子带,这样 Contourlet 变换可以更稀疏地表达曲线部分[17],如图 1 中 Contourlet 方向子带图。文献[3, 18]均使用 NSCT 分解图像,低频系数线性增强、高频系数自适应阈值函数处理后,文献[3]使用反锐化掩模来增强重建图像的细节,而文献[18]则使用拉普拉斯算子增强高频细节。

1.4 基于微分算子增强
1.4.1 Hessian 矩阵
基于 Hessian 矩阵的增强滤波器是目前图像预处理技术中使用最广泛的滤波器之一,已经被用于处理医学图像中的角点、管状和平面状结构[19]。设二维图像函数 u(x,y),我们用它的二阶偏导数来构造每个像素点的 Hessian 矩阵,其定义为:
![]() |
构造的 Hessian 矩阵的特征值可以表示图像密度变化,可用于判断图像上该点是否为角点或管状特征。由于二阶偏导数对噪声比较敏感,所以 Hessian 矩阵常与高斯函数结合构造多尺度增强滤波器,并结合使用 top-hat 算子等改进增强滤波器[20]。由于获取图像 Hessian 矩阵的特征值需要大量的计算工作,所以 Yang 等[21]根据矩阵的特征多项式系数和 Routh-Hurwitz 稳定性,可以不计算 Hessian 矩阵特征值而获得基于 Hessian 的增强滤波器对图像元素的响应,大大缩短了图像处理时间。
1.4.2 结构张量
结构张量用矩阵表示时是一个实对称矩阵,设 u(x,y)为二维图像函数,其结构张量可由其像素点的一阶偏导数构成:
![]() |
其中 T 表示向量转置,
表示图像 u(x,y)的梯度向量,
表示张量积。矩阵的特征向量 e1、e2 表示该邻域内信号变化的方向,其特征值
1、
2 表示沿这些方向变化的大小信息,反映了该邻域内像素变化特性[22]。根据特征值和特征向量的信息,可以描述图像局部几何结构,对图像感兴趣区域进行有针对性的增强。比如特征值可以反映图像的结构信息[23]:① 若
1 ≈
2 ≈ 0,则表示图像在该点附近任何方向灰度变化几乎为 0,可以认为是图像的平滑区域;② 若
1 >>
2 ≈ 0,则表示图像在该点附近的水平变化率要远远大于垂直变化率,可以认为是图像的边缘区域;③ 若
1 ≈
2 >> 0,则表明图像在该点无论是水平方向还是垂直方向变化率都很大,可以认为是图像的角点部分。并且结构张量实际构造时结合了高斯平滑,对噪声具有更强的鲁棒性,可以提取图像的稳定结构特征,有利于增强图像的纹理结构细节。根据这些特性,文献[ 7]基于梯度对医学图像管状结构增强,提出了滤波结构张量(filtered structure tensor,FST),实验表明有效地增强了血管造影图像;文献[24]提出了一种基于结构张量的曲线特征检测技术;步蕊蕊等[25]将三维结构张量应用于 CT 肺血管树的增强,很好地描述了血管管状结构,肺血管末梢可清晰显像。
2 图像细节增强评价
图像细节增强评价主要分为主观评价和客观评价。主观性评价就是以人体作为观察者,主观性强,且评价标准很难掌握,所以需要一种定量标准作为参考,做出客观评价。目前,常用的图像细节增强客观定量评价标准主要有以下几种:
(1)对比度改善指数(contrast improvement index,CII)用来衡量图像的整体对比度,反映图像整体和细节的增强效果。其定义如下:
![]() |
其中 Cproposed 和 Coriginal 分别为增强后图像和原图像的局部对比度。C 定义为:
![]() |
其中 fmax(i,j)为像素点(i,j)在3 × 3邻域窗口中的最大灰度值,fmin(i,j)为最小灰度值,C 为所有子图像对比度的均值。
(2)信息熵(entropy)是衡量图像信息丰富程度的一个重要指标。图像的信息熵越大,则图像中包含的信息量越丰富,图像的边缘和纹理细节越明显。图像的熵定义为:
![]() |
其中 p 为点(i,j)的像素值在图像中所占的比例,即
。
(3)平均梯度(mean gradient)又称为清晰度,反映了图像中的微小细节反差与纹理变化特征,同时也反映了图像的清晰度。其定义为:
![]() |
式中
与
分别为 x、y 方向上的差分。
(4)基于概率分布的评价方法(distribution separation measure,DSM),用 DSM 评价图像增强效果时,需将图像分为目标子图和背景子图,其具体定义如下:
![]() |
![]() |
![]() |
式中,
、
、
、
分别为增强前图像 O 中目标子图和背景子图的灰度均值和均方差,
、
、
、
分别为增强后图像 E 中目标子图和背景子图的灰度均值和均方差。若 DSM ≤ 0,说明未增强辨识度;若 DSM > 0,说明增强了图像的辨识度且增强效果与 DSM 值正相关 [26]。
3 总结与展望
本文首先介绍了几种主要医学图像细微结构增强方法,包括锐化增强方法、粗糙集与模糊集增强、多尺度几何增强以及基于微分算子的增强方法。然后针对细节增强后的图像,我们可以应用对比度改善指数反映细节增强效果,信息熵反映增强后的细节丰富程度,基于概率分布的评价方法可以反映图像细节增强后的辨识度,以及进一步用平均梯度反映增强后细节的清晰度。
另外通过分析发现,基于微分算子应用的结构张量增强方法在表达图像细节时具有较明显的优势,且相较于 Hessian 矩阵,结构张量计算特征值与特征向量也较为简单。因此,结构张量不仅在图像纹理细节增强方面有良好的发展前景,而且在图像分割、图像融合以及图像重建方面也有一定的发展前景与应用价值[27-29]。在接下来的研究中,我们可以将结构张量与其他方法有效地结合,取长补短,使其对医学图像增强具有普遍适应性,实现更优的细微结构增强效果。
引言
由于人体解剖结构非常复杂,早期病灶在医学图像上的表征非常微弱,病灶的细节信息不够清楚。而医学图像中相对微小、不明显的病灶细节信息又很重要,在临床诊断中细节的可识别程度会直接影响医生的诊断效果。医学图像增强方法主要分为两大类,灰度对比度增强和纹理结构细节增强。灰度对比度增强能够增强图像层次间的差异,使得图像的灰阶层次分布更加丰富,产生良好的视觉效果,但图像的纹理细节却没有得到根本的改善。因此,对医学图像细微结构进行增强,针对图像中的局部结构特征,突出一些病灶结构和细节,使之能够更清晰、准确地反映出病灶信息,有利于临床医生的诊断以及图像的后续处理[1]。
医学图像纹理结构细节增强方法根据不同的原理特点,可以分为锐化增强、粗糙集模糊集增强、多尺度几何增强以及基于微分算子的方法等。图像的边缘和纹理细节信息主要存在于图像的高频部分,一些高通滤波器常被用于提取边缘细节信息,如梯度滤波器和拉普拉斯滤波器。锐化增强方法还包括反锐化掩模法和基于数学形态学的锐化。由于锐化增强对噪声比较敏感,在增强细节的同时不可避免地放大了噪声,很多学者对此作出了改进,如分数阶微分的运用[2],以及结合非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)的多尺度抗噪反锐化掩模增强[3]。另一类细节增强方法是基于模糊数学、粗糙集理论的增强方法,粗糙集与模糊集均可以处理医学图像中包含的不确定性[4-5]。此外,还有两类方法是基于小波变换等多尺度几何增强方法以及微分算子的增强方法[6-7]。小波变换可以有效地将图像分解为包含近似信息的低频部分和包含纹理细节的高频部分,在空域和频域上对图像进行多尺度分析;而基于微分算子的方法,可以计算图像局部邻域灰度变化的强度及方向或结构张量,相当于对一幅二维图像的结构增加了方向性信息,可以有效地描述图像的边缘和纹理细节信息,并可以有效地增强图像中的角点和管状结构[8]。本文最后介绍几种常用的图像细节增强定量评价指标。
1 图像细节增强方法
1.1 锐化增强方法
图像锐化的作用主要是增强图像边缘和纹理细节的清晰度,主要分为三大类:微分锐化、反锐化掩模法和基于形态学的锐化。
1.1.1 微分锐化
微分锐化主要是通过微分运算而突出图像的边缘和纹理细节。主要包括整数阶微分和分数阶微分。整数阶微分主要包括梯度算子和拉普拉斯算子。梯度算子是常用的一阶微分锐化算子,主要突出图像的边缘,而二阶微分算子拉普拉斯算子主要突出图像中的小细节即细微结构,但是对噪声的响应要比梯度算子强,影响增强效果。分数阶微分是整数阶微分运算的推广,理论研究发现,信号在进行分数阶微分运算时,当微分阶数在[0,1]范围内,信号的高频分量会被大幅提升,同时信号中频部分也相应有所加强,且没有大幅衰减信号的低频部分,而是进行了非线性的保留[2]。分数阶微分在图像处理研究上是一个较新领域,通过构造方向模板,应用掩模运算,突出图像细节信息,保留图像平滑区域。文献[9]在婴幼儿脑磁共振图像(magnetic resonance imaging,MRI)增强研究中提出了一种自适应方法确定分数阶阶数,根据平均梯度和大津算法,融合非局部均值信息来确定。分数阶微分阶次的选取、更多的方向模板、更有效的分数阶微分掩模算子以及更多的应用于医学图像的细节增强有待进一步研究。
1.1.2 反锐化掩模法
反锐化掩模法可有效地抑制图像亮度较大范围内的变化,并保持低对比度的细节。线性反锐化掩模法主要是对高频进行处理,将原图像与低通滤波后得到的模糊图做差值运算得到高频部分,然后乘上一个增益系数再与原图求和,最后得到细节和边缘等均增强的图像。该方法中可改进的部分主要包括两方面:一是增益系数,一是高频部分。传统的反锐化掩模法中,增益系数常设置为常数,这样导致处理后图像噪声影响较大,且灰度突变的边缘细节区易出现过增强,因此后续作了较多改进,例如结合多尺度几何分析以实现更优效果[3]。
1.1.3 形态学锐化
数学形态学是一组形态学代数运算算子组成的集合,根据一定形态的结构元素去度量、提取图像中对应的几何形状和结构,对此进行适当地处理以实现图像分析和目标识别的目的。主要运算包括膨胀、腐蚀、开运算和闭运算。在图像增强中,形态学锐化应用包括形态学梯度和 top-hat 算子。形态学梯度是通过对图像作膨胀和腐蚀得到局部极大值和极小值,在锐化图像边缘的同时可以去除图像中部分噪声;top-hat 算子通过原图像与结构元素之间的开闭运算的差值提取图像亮、暗细节特征值以突出图像细节信息。但是,形态学梯度算子不能很好地增强图像对比度,top-hat 算子不能很好地锐化图像,所以,这两种算法需要与其他方法结合使用才能突出其优点。
1.2 基于粗糙集与模糊集的增强方法
1.2.1 基于粗糙集的增强
粗糙集理论假定知识是一种对对象进行分类的能力,在分类过程中,将区别较小的个体归于同一类,它们之间的关系就是不可分辨关系。根据医学图像的特有属性确定分类知识,在不影响整幅图像质量的前提下,将图像分成不同部分,并对小区域感兴趣部位的纹理细节部分进行增强突出,便于医生定性定量观察。因其突出的分类降维作用,还常被用于图像特征选择分类器[10]。
1.2.2 基于模糊集的增强
图像成像过程中,由于光照条件的不同以及物体结构复杂性和多样性等的影响,使得目标图像对比度低,目标和背景之间有过渡区域,目标边缘具有模糊性,所以使用模糊数学进行图像处理分析具有一定的合理性。
1981 年 Pal 等[11]针对 X 线图片提出了一种图像模糊增强算法,根据模糊集理论,将图像变换到模糊域,在模糊域中对图像做适当的增强处理,再根据隶属度函数重新将图像从模糊域逆变换到空间域,得到增强后的图像,该方法中因其隶属度函数的确认需要依赖于较多的先验知识,所以鲁棒性较低。由于医学图像包含了大量的不确定性,因此,直觉模糊集和二型模糊集被引入进来。直觉模糊集定义了真隶属度函数和假隶属度函数,比模糊集考虑了更多的不确定性。文献[12]根据直觉模糊集理论,对分解的子图像的对象和背景区域构建基于限制等价函数的各个直觉模糊生成器,对对象和背景区域的各自隶属函数执行不同的操作。相对于一型模糊集,二型模糊集克服了在处理实际问题中不确定性存在的局限性,但是计算量很大。文献[5]采用了区间二型模糊集,减少了计算量,缩短了图像处理时间,并有效地增强了图像。
1.3 多尺度几何增强
1.3.1 小波变换增强
小波变换能同时在空域和频域上对图像进行多尺度分析,这样在多个频段上同时增强图像可以避免谷粒效应的出现,抗噪性强,而且从人眼视觉要求的角度,不仅可以突出细节和边缘,还可以丰富图像层次感。
小波变换图像增强的一般思想:通过合理地构造线性或非线性变换函数,选择性地调整小波分解系数,突出增强图像中的细微结构。文献[13]中提到二次分解,首先用 Haar 变换分解医学图像,然后小波变换再次分解高频子图像,最后通过不同子图像中的不同权重值来增强高频系数。此外,小波变换还被广泛用于图像融合中,文献[14-15]等均将图像融合用于图像细节增强,其中文献[15]中首先将电子计算机断层扫描(computed tomography,CT)图用基于熵的直方图算法得到重要区域的分离图像,然后将该分离图像与原图像基于小波变换的融合得到明显增强肿瘤区域的增强型 CT 图。
1.3.2 Curvelet 变换、NSCT
小波变换虽然在表示细节和边缘的高频分量中非常有用,但它不能捕获各向异性特征。因此,Curvelet 变换和 NSCT 由于可提供各向异性特征以及更多的方向,被开发和用于医学图像处理。Curvelet 变换是 1999 年 Candes E J 和 Donoho D L 提出的曲线波变换理论,与小波变换不同,小波分解只有三个方向:水平、垂直和对角,而 Curvelet 变换增加了一个方向参量,具有更好的方向辨识能力,能更好地反映图像的特征[16]。NSCT 是静小波与 Contourlet 变换的结合。Contourlet 变换可以在每一尺度上分解出 2n 多的方向子带,这样 Contourlet 变换可以更稀疏地表达曲线部分[17],如图 1 中 Contourlet 方向子带图。文献[3, 18]均使用 NSCT 分解图像,低频系数线性增强、高频系数自适应阈值函数处理后,文献[3]使用反锐化掩模来增强重建图像的细节,而文献[18]则使用拉普拉斯算子增强高频细节。

1.4 基于微分算子增强
1.4.1 Hessian 矩阵
基于 Hessian 矩阵的增强滤波器是目前图像预处理技术中使用最广泛的滤波器之一,已经被用于处理医学图像中的角点、管状和平面状结构[19]。设二维图像函数 u(x,y),我们用它的二阶偏导数来构造每个像素点的 Hessian 矩阵,其定义为:
![]() |
构造的 Hessian 矩阵的特征值可以表示图像密度变化,可用于判断图像上该点是否为角点或管状特征。由于二阶偏导数对噪声比较敏感,所以 Hessian 矩阵常与高斯函数结合构造多尺度增强滤波器,并结合使用 top-hat 算子等改进增强滤波器[20]。由于获取图像 Hessian 矩阵的特征值需要大量的计算工作,所以 Yang 等[21]根据矩阵的特征多项式系数和 Routh-Hurwitz 稳定性,可以不计算 Hessian 矩阵特征值而获得基于 Hessian 的增强滤波器对图像元素的响应,大大缩短了图像处理时间。
1.4.2 结构张量
结构张量用矩阵表示时是一个实对称矩阵,设 u(x,y)为二维图像函数,其结构张量可由其像素点的一阶偏导数构成:
![]() |
其中 T 表示向量转置,
表示图像 u(x,y)的梯度向量,
表示张量积。矩阵的特征向量 e1、e2 表示该邻域内信号变化的方向,其特征值
1、
2 表示沿这些方向变化的大小信息,反映了该邻域内像素变化特性[22]。根据特征值和特征向量的信息,可以描述图像局部几何结构,对图像感兴趣区域进行有针对性的增强。比如特征值可以反映图像的结构信息[23]:① 若
1 ≈
2 ≈ 0,则表示图像在该点附近任何方向灰度变化几乎为 0,可以认为是图像的平滑区域;② 若
1 >>
2 ≈ 0,则表示图像在该点附近的水平变化率要远远大于垂直变化率,可以认为是图像的边缘区域;③ 若
1 ≈
2 >> 0,则表明图像在该点无论是水平方向还是垂直方向变化率都很大,可以认为是图像的角点部分。并且结构张量实际构造时结合了高斯平滑,对噪声具有更强的鲁棒性,可以提取图像的稳定结构特征,有利于增强图像的纹理结构细节。根据这些特性,文献[ 7]基于梯度对医学图像管状结构增强,提出了滤波结构张量(filtered structure tensor,FST),实验表明有效地增强了血管造影图像;文献[24]提出了一种基于结构张量的曲线特征检测技术;步蕊蕊等[25]将三维结构张量应用于 CT 肺血管树的增强,很好地描述了血管管状结构,肺血管末梢可清晰显像。
2 图像细节增强评价
图像细节增强评价主要分为主观评价和客观评价。主观性评价就是以人体作为观察者,主观性强,且评价标准很难掌握,所以需要一种定量标准作为参考,做出客观评价。目前,常用的图像细节增强客观定量评价标准主要有以下几种:
(1)对比度改善指数(contrast improvement index,CII)用来衡量图像的整体对比度,反映图像整体和细节的增强效果。其定义如下:
![]() |
其中 Cproposed 和 Coriginal 分别为增强后图像和原图像的局部对比度。C 定义为:
![]() |
其中 fmax(i,j)为像素点(i,j)在3 × 3邻域窗口中的最大灰度值,fmin(i,j)为最小灰度值,C 为所有子图像对比度的均值。
(2)信息熵(entropy)是衡量图像信息丰富程度的一个重要指标。图像的信息熵越大,则图像中包含的信息量越丰富,图像的边缘和纹理细节越明显。图像的熵定义为:
![]() |
其中 p 为点(i,j)的像素值在图像中所占的比例,即
。
(3)平均梯度(mean gradient)又称为清晰度,反映了图像中的微小细节反差与纹理变化特征,同时也反映了图像的清晰度。其定义为:
![]() |
式中
与
分别为 x、y 方向上的差分。
(4)基于概率分布的评价方法(distribution separation measure,DSM),用 DSM 评价图像增强效果时,需将图像分为目标子图和背景子图,其具体定义如下:
![]() |
![]() |
![]() |
式中,
、
、
、
分别为增强前图像 O 中目标子图和背景子图的灰度均值和均方差,
、
、
、
分别为增强后图像 E 中目标子图和背景子图的灰度均值和均方差。若 DSM ≤ 0,说明未增强辨识度;若 DSM > 0,说明增强了图像的辨识度且增强效果与 DSM 值正相关 [26]。
3 总结与展望
本文首先介绍了几种主要医学图像细微结构增强方法,包括锐化增强方法、粗糙集与模糊集增强、多尺度几何增强以及基于微分算子的增强方法。然后针对细节增强后的图像,我们可以应用对比度改善指数反映细节增强效果,信息熵反映增强后的细节丰富程度,基于概率分布的评价方法可以反映图像细节增强后的辨识度,以及进一步用平均梯度反映增强后细节的清晰度。
另外通过分析发现,基于微分算子应用的结构张量增强方法在表达图像细节时具有较明显的优势,且相较于 Hessian 矩阵,结构张量计算特征值与特征向量也较为简单。因此,结构张量不仅在图像纹理细节增强方面有良好的发展前景,而且在图像分割、图像融合以及图像重建方面也有一定的发展前景与应用价值[27-29]。在接下来的研究中,我们可以将结构张量与其他方法有效地结合,取长补短,使其对医学图像增强具有普遍适应性,实现更优的细微结构增强效果。