基于人眼视觉的结构相似度图像质量评价方法_图文

2008 年 1月 第 34卷 第 1期

北京航空航天大学学报 Journa l o f Be ijing U nivers ity of A eronautics and A stronautics

January 2008 V o.l 34 N o 1

基于人眼视觉的结构相似度图像质量评价方法













( 北京航空航天大学 仪器科学与光电工程学院 , 北京 100083 )

要 : 分析了数字图像中亮度 、 纹理细节 、 空间位置等因素对人眼视觉特性的影

响 , 建立了数学模型, 将人眼视觉特性与图像的结构相似度结合起来 , 提出一种符合人眼视觉 特性的图像质量评价新方法. 该方法将图像划分成大小相等的分块 , 计算出各分块的亮度影响 因子、 纹理细节影响因子和空间位置影响因子 , 经过归一化处理得到每个分块的权值 , 用加权 平均的结构相似度作为图像质量的评价指标. 实验证明该方法能够区别图像中不同区域的图 像特征 , 符合人眼视觉特性 , 与主观评价结果一致. 关 键 词 : 图像质量评价; 人眼视觉系统 ; 结构相似度 中图分类号 : TP 391 文献标识码 : A 文 章 编 号 : 1001 5965( 2008) 01 0001 04

Method of m i age qua lity assess ment based on human v isua l system and structura l sm i ilarity
Yang W e i Zhao Yan Xu Dong
( School of Instrum en t Science and O p to electron ics Engineering , B eijing U n ivers ity of A eronau tics and A stronaut ics , Beij ing 100083 , Ch in a)

Abstract : T hrough analyzing the influ ence of certa in dig ita l i m age factors ( brightness, texture details , di m en tio na l positio n , etc . ) on hum an v isual characteristic , a m ath em atic m ode lw hich com b in es hum an v isua l character is tic and structural si m ilarity of i m ages w as buil, t a new i m age quality assessm ent m ethod in accord ance w ith hum an v isual characteristic w as put for w ard . By unoverlapped part ition ing o f i m ages usin g equal sized slid ing w in dow s , this m ethod can calcu late th e fo llow ing factorsw ith influ ence on the partit io ns: in fluen cing brightness, in f lu enc in g tex tu re deta ils, and in fluenc ing di m ent io na l posit ion. The w e ig hted va lu e of each partit ion is generated a fter norm alization , and the w e ig hted structural si m ila rity is used as the assessin g index of i m age qua lity . Experi m ent show s that this m ethod is in accordance w ith hum an visua l characteristic , and consistent w ith the resu lt o f sub ject iv e assessm en.t Key wo rds : quality assessm ent o f i m age ; hum an v isua l system; structu ra l si m ilarity

对图像质量的正确评价是图像信息工程领域 内一项很有意义的研究课题. 图像质量评价方法 一般来说可分为主观评价方法和客观评价方法. 主观评价方法 ( MOS , M ean Op in io n Score) 考虑了 观察者对图像的理解效果, 但是这种方法由于受 到观察者知识背景、 观测目的和环境等影响, 稳定 性和可移植性差 , 且难以用数学模型表达加以应 用 . 常用的客观评价方法有均方误差 ( M SE, M ean Square Error) 和峰值信噪比 ( PSNR, Peak S ig na l N oise Rat io ) , 他们对两幅图像之间的误差进行了

简单数学统计, 虽能将误差量化表达 , 却不能真实 反映图像的视觉感知质量 , 其准确性相对较差 , 试 [ 1] 验表明相关系数 M SE /M OS 仅为 0 . 4到 0 . 7 .此 后 , 人们开始利用 HVS 的某些特性对客观评价尺 度进行修改, 例如归一化均方误差 ( NM SE, Nor m a lizedM ean Square E rror) 评价方法 . 90 年代 后期, 人们对视觉系统功能的理解有了显著的进 展 , 各种基于 HVS ( H um an V isua l System ) 模型的 图像 质量评 价方 法应运 而生. 其性 能明显 提高 ( 与 MOS 的相关系数都在 0. 8 以上 ) , 在实际应用
[ 2]

收稿日期 : 2007 01 17 作者简介 : 杨 威 ( 1981 - ) , 男, 北京人 , 硕士生 , victor_young_yw@ hotm ai. l com.

2

北 京 航 空 航 天 大 学 学 报

2008 年

中 , 正逐步取代传统的 M SE 或 PSNR. 本文提出一种基于人眼视觉特性的结构相似 度图像质量评价方法, 将图像划分成大小相等的 分块, 计算每个分块的结构相似度 ( SS I M, S truc ture S i m ilar ity) , 根据每个分块 的亮度, 纹 理细节 和分块空间位置对人眼视觉的影响 , 确定每个分 块的权值 , 加权计 算出 WM SSI M ( W e ig hted M ean S tructu re S i m ilarity) , 作为图像质量 的评价指 标. 经实验验证 , 评价结果符合人眼视觉特性 .

像进行等大地分块 , 分块四周也无特定的边缘特 征 , 所以面积和边缘灰度并不影响整体的加权系 数 , 不用考虑其对人眼视觉的影响. 2 . 1 . 1 亮度对人眼视觉的影响 人眼视觉系统对刺激信号的反映不是取决于 信号的绝对亮度 , 而是取决于信号相对于背景亮 度 ( 信号的平均亮度 ) 的刺激程度. 由韦伯 - 费克 纳 ( W eber F echner) 法则
[ 5]

可知: 视觉上主观亮度

与光刺激强度的对数成比例, 即 : s = k lg I I0 式中, k 为 常 数; I0 为 绝 对 门 限 值. 定 义 I j m ax {x 1, x 2, 最大值, Ij
avg

1 人眼的视觉特性
对于以人眼为最终信宿的图像来说, 合理地 评价图像质量应充分遵循人眼的视觉特性. 大量 的研究表明 , 基于 HVS 的方法评价结果明显优于 传统 的方法
[ 3] n

( 1)
m ax

=

, x n, n = L = 1 n

L } 为第 j 个分块中亮度 (n = L
m ax

. 从 图像 质量评 价的研 究进展 来

!x
k= 1

k

L ) 表示第 j 个分

看 , 目前基于 HVS 的新方法主要分为两类: 基于 视觉感知的方法和基于视觉兴趣的方法. 从视觉生理特性来看 , 图像降质对人眼视觉 的影响是由人眼视觉系统的灵敏度决定的, 而视 觉灵敏度是由人眼的视觉细胞决定的 . 此外, 灵敏 度还受到图像局部空间频率的影响 , 大量实验结 果证明影响像素误差可视度的因素是误差周围的 局部区域环境, 而不是整个图像的背景环境
[ 4]

块中亮度的平均值, 这样

Ij avg 就可以近似地表征该 Ij

分块的光刺激强度, 令 k = 1, sj 为由亮度变化导致 的权重因子 , 则由上式可导出 sj = lg Ij m ax { x 1, x 2, avg = lg Ij 1 n n= L L
m ax

, xk,

, xn }

!x
k= 1

n

k

.

( 2)

从视觉心理学角度, 视觉是一种积极地感受 行为, 不仅与生理因素有关 , 还在相当大的程度上 取决于心理因素 . 人们在观察和理解图像时往往 会不自觉地对其中某些区域产生兴趣 . 整幅图像 的视觉质量也往往取决于感兴趣区域的质量, 而 不感兴趣区的降质有时不易觉察.

2 . 1 . 2 纹理细节对人眼视觉的影响 对人眼视觉系统的研究表明 , 人眼对图像的 不同部分敏感度是不同的, 对边缘及条状结构比 较敏感 . 人眼视觉的主要作用是感知形状 , 通过追 踪未知物体的轮廓来扫视一个未知的物体 . 另外, 对同样类型和规模的噪声, 将其累加在图像的细 节和平坦区域上所引起的视觉失真程度是不一样 的 , 前者给人的感觉往往更明显 . 选用最简单的灰 度方差来描述图像块的纹理粗糙度 , 方差越大说 明该分块上的纹理细节越多, 越能引起人眼视觉 的关注, 反之, 方差越小说明该分块区域越平坦, 空间频率相近, 权值应该适当降低. 从而可将纹理 细节影响因子 d j 取为如下形式: dj =
j

2 权值矩阵的确定
2 . 1 数字图像中影响人眼视觉的因素 人眼观察一幅图像时 , 只会对其中显著变化 的区域发生兴趣仔细观看, 而对那些亮度均匀的 平滑区域或空间频率相近的纹理区则忽略掉. 为 了简化加权系数的计算, 本文忽略色彩变化带来 的视觉影响 , 而只考虑灰度图像. 首先将原始图像 X 互不重叠地分成 T 个大 小相等的分块, 每一块含有 L L 个像素点, 各分 块记为 T j. 分别根据亮度、 纹理细节和分块空间位 置计算出每一分块 T j 的亮度影响因子 sj、 纹理细 节影响因子 d j 和空间位置影响因子 r j, 经过归一 化处理得到该分块的权值 w j. 除去以上因素, 分块的面积和边缘灰度也是 影响人眼视觉的主要因素, 本文由于对待评价图

=

1 1 xk xk n - 1! k= 1 N ! k=1

n

n

2

1 /2

n= L L 2 . 1 . 3 空间位置对人眼视觉的影响

( 3)

光敏细胞在视网膜的黄斑区分布较密, 所以 在中央黄斑区中心, 人眼的分辨率最高, 而视网膜 周围由杆状细胞构成的周边视力分辨率低, 不能 看清图像细节
[ 6]

. 故人眼观看一幅图像时只能对

其中某一部分区域的细节具有良好的分辨力, 而 不能同时分辨图像中的其它区域.

第 1期



威等 : 基于人眼视觉的结构相似度图像质量评价方法

3

人们在观察一张图片时 , 首先注意的是图片 中央部分, 再依次往周围扩展, 即图像的重要性一 般是由中央向周围递减, 这与平时照相选景一致 ( 总是将所关注的物体或部位放在取景器的中央 位置 ). 因此空间位置影响因子可取为 rj = 1 - ( 1 - Br ) ( x jo - x c ) + ( y j o - y c ) r
2 2

S = l (x, y ) # c(x, y ) # s( x, y ) 其中, l( x, y ) = 2
2 x x y 2 y

( 10 )

2ux uy 2 2为亮度比较函数 ; c( x, y ) = ux + uy
xy x y

+

为对比度比较函数 ; s( x, y ) =

为结构

相似性比较函数 . 利用式 ( 10 ) 计算出每个分块 T j 的结构相似 度 S (X j, Yj ), 根据式 ( 11 ), 按照人眼视觉特性权 值矩阵进行加权求和 , 得到图像质量评价指标 : W (X, Y ) =

( 4) 式中, x jo, y jo 表示分块 j 的中心位置; x c, y c 表示原 始图像 X 的中心坐标 ; r 表示原始图像 X 中各点 到中心坐标的最大距离 ; B r 是基础权值 , 它跟人 眼与图像之间的距离和人眼的视野大小有关, 一 般取 0~ 0 . 5 , 可以根据实际情况而定 , 并不影响 最终空间位置因子 rj 的性质 . 2 . 2 权重因子 w j 的确定 综合以上对 Tj 分块中亮度影响因子 sj、 纹理 细节影响因子 dj 和空间位置影响因子 rj 的分析, 定义 w ? j为 w? j= sj
2

!

T

[w j # S (X j, Yj ) ]

( 11 )

j= 1

4 评价结果及分析
4 . 1 权值矩阵的计算 将图像划分为 25 个大小相等的分块 (图 1 ), 分步计算出图像的亮度因子 sj 阵、 纹理细节因子 d j 阵、 空间位 置因子 r j 阵 和最终 的权 重因子 w j 阵 , 如表 1所示. 它反映了在人眼视觉的作用下不 同因素对视觉兴趣的影响程度 .

dj

2

rj

2

( 5)

对w? j进行归一化处理得到最终的权重因子 : wj = w j?

! w?
j j= 1

T

( 6)

3 加权平均的图像结构相似度
人类视觉系统的主要功能是从视觉区域提取 图像的结构性信息 . 该方法把评价值分为评价图 像和原始图像之间的亮度比较、 对比度比较和结 构相似性比较, 把 3 个部分的比较结果进行乘积 运算, 以其结果对图像质量进行评价 , 具体如下 . 对于原始图像 X { x i | i= 1 , 2 , , N } 和评价图 像 Y { y i | i= 1 , 2, , N }: 1 ux = N 1 uy = N
N

a 原始图像

b 分块图

图 1 图像等分图 表 1
图 1b 块号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 亮度因子 0. 0. 1. 0. 0. 1. 0. 0. 1. 0. 1. 0. 0. 0. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 39 47 31 57 56 12 44 37 70 56 42 74 56 49 39 00 00 91 46 67 00 00 00 84 50

各加权阵权值
纹理细节 因子 96 . 9 89 . 9 42 . 9 68 . 1 67 . 6 53 . 4 91 . 2 86 . 0 23 . 6 65 . 9 43 . 6 81 . 9 83 . 7 81 . 0 28 . 2 0 . 00 0 . 00 65 . 3 75 . 0 57 . 7 0 . 00 0 . 00 0 . 00 56 . 4 55 . 2 空间位置 因子 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 51 62 67 63 53 61 75 84 77 63 64 81 99 84 67 60 74 81 75 62 50 60 64 61 51 最终权重 因子 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 0 . 03 04 06 04 03 06 05 04 05 04 07 08 08 05 04 00 00 08 04 04 00 00 00 05 02

!x
i= 1 N

N

i

( 7)
i

!y
i= 1

分别表示原始图像 X 和评价图像 Y 的平均亮度 .
x

=

1 2 (x i - ux ) N - 1! i= 1
N

1 /2

y

2 1 = (y i - uy ) N - 1! i= 1

1 /2

( 8)

分别表示原始图像 X 和评价图像 Y 的标准差.
xy

1 = (x i - ux ) ( y i - uy ) N - 1! i= 1

N

( 9)

表示两者之间的协方差. 则基于结构相似度的评 价值定义为

4

北 京 航 空 航 天 大 学 学 报

2008 年

考虑了各种因素对人眼视觉特性的影响, 评价结 果与主观评价结果相当一致, 评价指标敏感度高, 与 MOS 的相关系数大大高于另两种评价指标 .
表 2
图 2 主观相对评测 组图中最好的 好于平均水平 好于平均水平 平均水平 组图中最差的 比平均水平差 组图中最差的 比平均水平差

评价结果
PSNR 无穷大 21 26 16 14 16 12 19 L k / 106 2 . 7 0 . 73 5 . 8 8 . 5 0 . 13 0 . 84 0 . 49 1 . 0 WM SS I M 1. 000 0 0. 954 1 0. 957 2 0. 791 9 0. 603 4 0. 721 8 0. 333 1 0. 769 4

a 清晰图像

b 抖动模糊

a b c d e f g h

c 高斯噪声

d

椒盐噪声

5 结束语
通过对该方法原理的论述和各种实验结果的 分析可以看出, 新方法充分考虑了人眼视觉系统 的复杂特性 , 对图像相对亮度、 纹理细节、 空间位
e 散焦模糊 f 线性偏移

置对人眼视觉兴趣的影响作了全面的建模分析和 定量计算. 相比传统的非加权方法, WM SSI M 指标 能够区别图像中不同区域的图像特征 , 对不同程 度的降质图像评价灵敏度很高, 符合人眼视觉特 性 , 近似于主观评价的评价结果 , 可以用于评价图 像质量优劣和判断复原算法的实际效果.

g

气动光学

h 复原图像

参考文献 ( Referen ces)
[ 1] W ifried O sb erger . Percep tual v is ion m odels for p icture quality assess m en t and com pression app licat ion s [ D ] . Q ueens land :

图 2 待评价图像组图

4 . 2 与其他评价方法的对比 图 2 中的 8幅图像为待评价图像, 其中 a 为 清晰图像, b 到 h 分别为不同程度的加噪降质图 像 . 选择不同年龄、 不同知识背景、 不同工作环境 的若干测试人员 , 对图 2 中的 8 幅不同降质程度 的图像进行主观评测, 将评测结果按照相对评测 标准分为组图中最好的、 好于平均水平、 平均水 平、 比平均水平差、 组图中最差的 5 档 . 利用经典 方法 PSNR、 常用方法梯度幅度和 L k 和本文提出 的 WM SSI M 方法进行定量评价 , 评价结果见表 2 . 由评价结果可看 出, PSNR 由 于对图像 中每 个像素平等对待 , 只简单地反映了各点误差的统 计信息 , 所以在评价图 d , , f h 时出现了与主观评 价不一致情况, 没有能够正确地反映图像质量 ; L k 是利用 L ap lace 算子计算图 像的边缘梯度 , 给出 一个表征图像边缘特征的统计量 , 不能很好地综 合评价图像质量 , 在评价图 a , b , d 的时候出现了 偏差. 本文提出的 WM SS I M 方 法, 能够针 对图像 不同区域的特征 , 确定符合人眼特性的权值, 充分

D epart m en t of Com puter Science & Com puter Engin eering , Q ueensland U n ivers ity of Technology, 1999 [ 2] M ar mo lin H. Sub ject ive M SE m easures [ J] . I EEE T ran s O n Sys tem s , M an, and C ybernetics , 1986 , 16 ( 3 ) : 486 - 489 [ 3] E sk iciogln A M. I m age quality m easures and the ir perfor m an ce [ J] . I EEE Trans Comm, 1995, 43( 12 ) : 2959 - 2965 [ 4] K arunaseka S A. A d is tortion m easu re for b lock ing artifacts in m age b ased on hum an visu al sen sit ivity [ J] . i 1995, 4( 6) : 713- 724 [ 5] 陆旭光 , 旺岳峰 , 胡文刚 , 等 . 基 于视觉感 兴趣区域 图像质量 评价方法 [ J] . 微计算机信息 , 2005 , 21( 10 3) : 95 - 96 Lu Xuguang, W ang Y u efeng, H u W engang, et a.l A m eth od of m age quality assess i m en t based on visua l reg ion s of interest[ J]. M icrocompu ter In for m ation , 2005, 21 ( 10 3) : 95 - 96 ( in Ch i n ese) [ 6] 郑圣超 , 叶正麟 , 陈作平 . 基于局部自相似性的图像质量度量 [ J]. 计算机应用 , 2006 , 26( 3 ): 605- 606 Zheng Sh engch ao, Y e Zhenglin, Ch en Zoup ing . I m age quality eva luation m ethod b ased on loca l self si m ilarity [ J] . Com puter A pp licat ions , 2006 , 26( 3 ) : 605- 606 ( in Ch in ese) I EEE T rans I P,

( 责任编辑 : 娄

嘉)


相关文档

基于视觉阈值的结构相似度图像质量评价算法
基于人眼视觉特性的图像质量评价方法研究
基于结构相似性的图像质量评价方法
基于人眼视觉的结构相似度图像质量评价方法
基于人眼视觉特征的立体图像质量客观评价方法
基于视觉注意机制与区域结构相似度的图像融合质量评价
基于人类视觉特性和结构相似度图像评价方法
一种基于人眼视觉特性的图像质量评价
基于人眼视觉特性的图像质量评价模型
电脑版