面向格式转换的数字视频处理方法及其硬件实现

摘要

视频格式转换是当前数字化处理电视和新一代的全数字电视中一项重要的技术。把具有图像边缘保持特性的降噪滤波器与运动自适应的逐行插补算法相结合，提出一种新的视频格式转换算法，并进一步讨论该算法硬件实现的原理和结构。文中所提出的算法已用FPGA芯片实现，实验结果表明该算法十分有效。

正文

《1 引言》

1 引言

长期以来, 扫描格式转换主要用于不同制式的节目交换, 但是随着高清晰度电视 (HDTV) 、可视电话、因特网和计算机视频的出现, 视频传送中出现了不同的扫描格式, 对扫描格式之间的转换要求越来越高。不仅在专业方面, 而且在消费类设备中, 这种逐渐增长的需求引起了关于“隔行与逐行” 的讨论^[1]。另一方面, 利用液晶、等离子实现的大尺寸显示器开始运用, 这类显示器只允许逐行扫描, 并且PC机都采用无闪烁的逐行扫描视频信号。现在, 绝大部分播送图像格式是525 (480) 或625 (576) 行隔行扫描, 另外, 电影的显示速率是24、25、30和50 Hz格式。在数字播送的情况下, 会采用新的480或720逐行扫描和1080行隔行扫描格式。因此, 对于运用同一发射源进行多种扫描格式播送来说, 图像扫描格式转换是一项很重要技术。

隔行扫描带来了扫描格式转换的复杂化, 从而使许多图像处理任务复杂化。近20年来, 已经提出了许多隔行到逐行的转换算法, 如简单的利用方向相关滤波的空间插值到先进的运动补偿 (MC) 插值^[2]。在这些算法中, 运动补偿算法是最优的, 只要给定一个运动模型, 则其运动轨迹可以准确估算, 但它对误差是非常敏感的, 而且由于硬件实现的高代价, 导致了人们对次优的、且更具鲁棒性算法感兴趣^[3]。

隔行扫描视频信号的逐行转换为逐行扫描、图像降噪、图像边缘增强、图像大小变化 (Scaling) 和色度瞬态特性改善等数字视频处理算法在专用芯片上经济地实现已成为一个急待解决的重要问题。本文针对这一问题主要讨论了面向视频格式转换的数字图像处理算法及其硬件实现。它的基本思想是:根据帧间像素差值估算图像的运动信息, 并通过调整插补滤波器的结构参数, 实现图像插补的自适应滤波。基于运动自适应的隔行到逐行转换逐行插补算法, 不需要进行准确的运动信息估算, 可以大大降低硬件设计的复杂度, 提高设计可靠性;为了在降低信号噪声的同时对图像的边缘尽可能的保持, 采用3×3的窗口来获得图像边缘的方向信息, 在最优方向上对信号进行中值滤波, 计算出当前像素点的亮度值, 像素点的亮度值由它相邻像素之间的亮度梯度值确定——这是一种基于图像边缘保持的滤波 (edge-preserving) 方法, 该算法不但可以很好的将图像噪声滤除掉, 同时也保持了图像的边缘, 避免了滤波处理造成的图像边缘模糊。

作者提出基于运动自适应的隔行到逐行转换插补新算法, 研究具有边缘保持的非线性降噪算法以及数字视频图像处理芯片的硬件实现, 并在该芯片设计的基础上讨论了数字化处理电视的SOC系统设计方案。

《2 基于运动自适应的逐行插补算法》

2 基于运动自适应的逐行插补算法

《2.1 隔行电视信号插补算法的时空频域分析》

2.1 隔行电视信号插补算法的时空频域分析

标准的隔行电视信号是将奇场信号和偶场信号分别进行传输。将隔行电视信号的扫描格式转换为逐行扫描即是将隔行电视信号的奇场信号和偶场信号在时空域中进行插补, 形成一帧完整的视频信号。隔行信号的逐行插补过程如图1所示。

《图1》

图1 隔行信号的逐行插补示意

Fig.1 Interlaced-to-noninterlaced conversion (deinterlacing)

将隔行电视信号转换为逐行电视信号提高了电视信号在图像垂直方向上的采样密度, 可以消除在对电视信号进行隔行采样时造成的一次谐波分量的影响, 从而提高电视信号的清晰度。为了充分的保持信号的特征, 必须要有足够的采样率。由采样定理可知, 为使采样后能够真实的反映原始模拟信号的信息, 采样率应大于信号最高频率分量的2倍。当对信号欠采样时, 就会出现信号混叠的现象, 即采样后的信号中混入了虚假的低频信号分量。消除信号混叠的基本方法是在对信号进行采样前使用一个低通滤波器, 称为反混叠滤波器, 滤除高于采样频率1/2的高频分量, 保证信号不会出现欠采样。但是, 在电视视频信号进行采样时, 对信号的预处理只有在摄像机的光学通路中进行, 因此, 在实际系统中, 对信号的反混叠滤波是不易实现的, 这导致了隔行采样的电视信号与原始信号的非线性关系。由于电视信号的隔行到逐行处理的采样率并不是线性变换的, 如果仅仅是将隔行的奇偶场电视信号简单的按照线性关系插补成一帧图像, 会造成图像的运动模糊和图像边缘出现锯齿等问题。

电视信号以行、场方式进行扫描, 实现平面图像的传输和显示过程的实质是对一个三维 (x, y, t) 模拟信号的二维采样过程。即在水平x方向上保持不变, 而在垂直y方向上和时间t方向进行二维取样。以亮度信号而言, 其采样后的信号可用图像亮度函数f (y, t) 与一个冲击函数序列δ (y-mΔy, t-nΔt) 相乘来表示。Δy和Δt分别表示式在y和t方向上的采样间隔。当 $Δ y = \frac{1}{625}$ $Δ y = \frac{1}{625}$ 和 $Δ t = \frac{1}{50}$ $Δ t = \frac{1}{50}$ 时, 隔行与逐行扫描信号时域表示^[4]:

隔行扫描:

$\begin{array}{l} f_{1} (y, t) = \sum_{m = - \infty}^{\infty} \sum_{n = - \infty}^{\infty} [\begin{array}{l} f (\frac{2 m}{625}, \frac{2 n}{50}) \cdot \\ δ \end{array} \\ δ (y - \frac{2 m}{625}, t - \frac{2 n}{50}) + f (\frac{2 m + 1}{625}, \frac{2 n + 1}{50}) \cdot \\ δ (y - \frac{2 m + 1}{625}, t - \frac{2 n + 1}{50})] ‚ (1) \end{array}$ $\begin{array}{l} f_{1} (y, t) = \sum_{m = - \infty}^{\infty} \sum_{n = - \infty}^{\infty} [\begin{array}{l} f (\frac{2 m}{625}, \frac{2 n}{50}) \cdot \\ δ \end{array} \\ δ (y - \frac{2 m}{625}, t - \frac{2 n}{50}) + f (\frac{2 m + 1}{625}, \frac{2 n + 1}{50}) \cdot \\ δ (y - \frac{2 m + 1}{625}, t - \frac{2 n + 1}{50})] ‚ (1) \end{array}$

逐行扫描:

$\begin{array}{l} f_{2} (y, t) = \sum_{m = - \infty}^{\infty} \sum_{n = - \infty}^{\infty} f (\frac{m}{625}, \frac{n}{50}) \\ δ (y - \frac{m}{625}, t - \frac{n}{50}) 。 (2) \end{array}$ $\begin{array}{l} f_{2} (y, t) = \sum_{m = - \infty}^{\infty} \sum_{n = - \infty}^{\infty} f (\frac{m}{625}, \frac{n}{50}) \\ δ (y - \frac{m}{625}, t - \frac{n}{50}) 。 (2) \end{array}$

其对应的频域表达式:

隔行扫描:

$\begin{array}{l} F_{1} (f_{y}, f_{t}) = \frac{625}{2} \times \frac{50}{2} \sum_{m = - \infty}^{\infty} \sum_{n = - \infty}^{\infty} F (f_{y} - \\ \frac{625}{2} m, f_{t} - \frac{50}{2} n) \times [1 + (- 1)^{m + n}], (3) \end{array}$ $\begin{array}{l} F_{1} (f_{y}, f_{t}) = \frac{625}{2} \times \frac{50}{2} \sum_{m = - \infty}^{\infty} \sum_{n = - \infty}^{\infty} F (f_{y} - \\ \frac{625}{2} m, f_{t} - \frac{50}{2} n) \times [1 + (- 1)^{m + n}], (3) \end{array}$

逐行扫描:

$\begin{array}{l} F_{2} (f_{y}, f_{t}) = 625 \times 50 \sum_{m = - \infty}^{\infty} \sum_{n = - \infty}^{\infty} F (f_{y} - \\ 625 m, f_{t} - 50 n) 。 (4) \end{array}$ $\begin{array}{l} F_{2} (f_{y}, f_{t}) = 625 \times 50 \sum_{m = - \infty}^{\infty} \sum_{n = - \infty}^{\infty} F (f_{y} - \\ 625 m, f_{t} - 50 n) 。 (4) \end{array}$

式中:f_y为图像垂直方向上的空间频率, 即空间清晰度 (线) ;f_t为时间方向上的频率。

通过对电视信号的频谱图分析, 可以清楚地看到静止图像与运动图像的差别。下面分别以50 Hz的静止和运动视频图像为例讨论其频谱图 (见图2和图3) ^[1]。

《图2》

图2 视频图像的二维频谱图

Fig.2 The spectrum of the video images

《图3》

图3 理想的隔行到逐行的转换

Fig.3 The ideal result of deinterlacing

图2a是静止图像的频谱, 它表示了基带的频谱和隔行采样信号在25 Hz、50 Hz的谐波分量。图2b是运动图像的频谱, 当图像运动时, 图像垂直方向上的频谱方向发生了偏转。因此, 在运动图像序列中, 相邻图像序列的信号相位发生了变化。从图3可以看出, 将隔行电视信号插补成为逐行电视信号就是滤除隔行信号中的混叠信号, 达到提高图像清晰度的目的。图3a是隔行信号的图像频谱, 信号在25 Hz处的一次谐波产生了混叠现象。图3b是在理想情况下通过逐行插补算法处理得到的信号频谱, 第一谐波分量被完全滤除掉了。因此, 在隔行信号的插补处理过程中, 应针对图像的静止区域和运动区域分别进行处理。同时, 隔行电视信号的逐行插补算法将涉及到时域和空域的处理。

《2.2 运动自适应逐行插补算法》

2.2 运动自适应逐行插补算法

在隔行视频信号的插补过程中, 为了在图像的运动和静止两种区域都能获得好插补的效果, 需要对视频信号进行运动检测, 根据相邻图像的帧间差估算出图像的运动信息, 在场间和场内插补之间进行切换。但由于图像中的噪声, 往往使静止图像序列的视频图像之间也会存在差别。另外, 视频信号的色副载波也导致了彩色区域的非一致性, 以及对信号进行采样时钟的不稳定, 都会使相邻图像序列的水平区域不能完全重复。因此, 需要用一个可变系数来描述视频图像的运动, 而不能仅仅用“0”或者“1”给出运动检测的估计结果。在复杂场景中区分图像的运动和静止区域, 应用基于运动检测的自适应帧间滤波器分别选择最优的插补策略, 可以获得较好的图像插补结果。

考虑到图像的插补效果以及算法的硬件实现 (见图4) , 图像中的运动检测利用4场的图像信息, 实现帧间的运动检测。由于像素点的离散性和图像的噪声干扰, 图像运动信息的估计值I_m需要利用中值滤波以及阈值分割算法进行后处理。

《图4》

图4 4场信号运动检测的示意图

Fig.4 Motion detection using four fields information

图像运动信息的估值I_m为:

$Ι_{m} = Μ e d {D_{a}, D_{b}, D_{c}} - Ι_{Τ Η}, (5)$ $Ι_{m} = Μ e d {D_{a}, D_{b}, D_{c}} - Ι_{Τ Η}, (5)$

式中 D_a=|a₃₂-a₁₂|, D_b=|b₃₂-b₁₂|, D_c=|c₄₂-c₂₂|, I_TH为阈值。

图5所示为直接根据帧间像素差值的运动检测结果。图6是根据式 (5) 估算, 通过空间中值滤波和阈值处理后得到的图像运动信息。

《图5》

图5 根据帧间像素差值的运动检测结果

Fig.5 The motion detected by pixel difference of inter-frame

《图6》

图6 根据式 (5) 估计出的图像运动信息

Fig.6 The motion detected by equation (5)

根据复杂场景图像的运动区域分割, 调整插补滤波器的结构参数, 实现图像插补的运动自适应滤波。滤波器结构为:

$\begin{array}{l} s (x, y, t) = Ι_{m} g (x, y, t) + \\ (1 - Ι_{m}) g (x, y, t - 1) 。 (6) \end{array}$ $\begin{array}{l} s (x, y, t) = Ι_{m} g (x, y, t) + \\ (1 - Ι_{m}) g (x, y, t - 1) 。 (6) \end{array}$

式中g (x, y, t) 表示帧内插补, g (x, y, t-1) 表示帧间插补。从上式可以看出, 当运动检测量足够小时, 逐行插补滤波器的输出倾向于直接合并奇偶场信号, 减少图像的模糊, 而当检测到较大运动时, 滤波器的输出主要是针对运动虚像而进行滤波处理。图像处理结果见图7。

《图7》

图7 运动自适应逐行插补算法处理结果Fig.7 The performance of the motion adaptive interpolation deinterlacing algorithm

《3 边缘保持的视频图像二维滤波处理》

3 边缘保持的视频图像二维滤波处理

《3.1 基于图像边缘保持的二维滤波算法》

3.1 基于图像边缘保持的二维滤波算法

对插补滤波器输出的信号需要进一步进行滤波处理, 消除和减小所得图像信号中混杂的椒盐噪声, 以及数字化处理误差所带来的数字化噪声。中值滤波的依据是假设图像在足够小的空间和足够短的时间内, 像素值是相等的或近似相等的。经中值滤波后的图像, 能够很好的抑制噪声, 原来具有脉冲值的像素由中值像素替代。由于采用中值滤波算法是用适当的原始像素值代替当前处理样点值, 因此, 不会产生量化误差, 也不会由于平均或其他运算产生像素值的畸变。二维中值滤波可选择“方形”或“十字形”结构。

由于隔行视频信号经过逐行插补处理之后, 虽然垂直清晰度得到了提高, 但由于图像的运动, 造成边缘的畸变锯齿和模糊, 图像的主观清晰度并没有得到提高。增强和保持好图像边缘, 能大大提高图像的主观清晰度。因此, 在逐行插补处理中, 对于图像边缘处理的效果也有较高的要求。采用基于图像边缘保持 (edge-preserving) 的滤波器对图像进行处理能很好地消除图像边缘锯齿, 达到提高图像清晰度的目的。传统的插补方法常用邻近像素的平均值作为插补像素的值, 没有考虑图像边缘的方向信息, 会造成图像边缘的不连续。为了减小图像边缘滤波所造成的图像边缘不连续的问题, 需要采用边缘保持的中值滤波处理算法。这种方法是将待插补像素各个方向的相邻像素并综合图像边缘方向的信息完成插补运算。考虑到视频图像的特点, 为了在降低信号噪声的同时对图像的边缘尽可能的保持, 采用3×3大小的滤波窗口获得边界方向信息。确定滤波的最优方向之后, 就在最优方向上对信号进行中值滤波。像素的值就由相邻像素之间的亮度梯度值确定。寻找图像边缘的方向也就是将二维滤波器进行降维处理的过程。将二维滤波器变换为一维滤波器降低了滤波器实现的复杂程度, 有利于硬件实现。边缘保持滤波方法通过使用定向滤波的方法来实现滤波降噪的目的。这种算法是沿着边缘的方向而不能穿越图像的边缘对图像进行处理。沿着图像边缘的方向进行滤波可有效地消除图像边缘周围的噪声。

在定向滤波算法的实现中, 由于逐行插补算法主要目的是提高图像的垂直清晰度, 图像的水平方向需要采用其他算法, 如图像水平边缘增强处理, 因此图像边缘保持的二维滤波算法中将图像可能的边缘方向只化分成三个角度:45°, 90°和135°, 同时, 针对这三个方向和图像的边缘情况, 产生3组滤波结构。针对定向滤波算法, 通常是按照一致性标准或应用边缘检测方法, 在上述的各种情况中, 选择出最佳区域作为定向滤波器的滤波区域, 构造出一维滤波器。选择出最佳滤波区域后, 再采用中值滤波算法计算出当前像素点的亮度值。这样能够很好的保留信号的基波分量。基于图像边缘插补算法是由图像边缘信息来确定边缘的方向, 然后再根据边缘的方向进行插补。如图8所示, 图像的像素矩阵中点是待插补的像素点。根据图像的亮度梯度确定图像在该点附近的边缘信息, 通过对边缘信息的插补而获得点值。当前像素点的亮度值可由下式得到:

$X_{n} = {\begin{matrix} X_{A}, & ((| A - F | < | C - D |) \land \\ (| A - F | < | B - E |)) \\ X_{B}, & ((| B - E | < | C - D |) \land \\ (| B - E | < | A - F |)) \\ X_{C}, & (Ο t h e r w i s e) \end{matrix} (7)$ $X_{n} = {\begin{matrix} X_{A}, & ((| A - F | < | C - D |) \land \\ (| A - F | < | B - E |)) \\ X_{B}, & ((| B - E | < | C - D |) \land \\ (| B - E | < | A - F |)) \\ X_{C}, & (Ο t h e r w i s e) \end{matrix} (7)$

式中X_A, X_B和X_C分别表示滤波后三个方向像素对 (A, X_n-1, F ) , (B, X_n-1, E ) , (C, X_n-1, D ) 的中值滤波处理结果。中值滤波是一种自适应非线性滤波, 其输出由滤波器区域内的中值给出。

《图8》

图8 3×3滤波窗口像素矩阵示意图Fig.8 The 3×3 windows of the median filter

图像边缘保持的二维滤波算法的实现步骤:

1) 将串行扫描视频码流转化为并行数据, 生成如图8所示的3×3像素矩阵;

2) 根据式 (7) 确定图像边缘, 选择最佳滤波区域;

3) 利用步骤2的结果, 针对最佳滤波区域进行中值滤波处理;

4) 将滤波结果作为图像输出结果。

经过滤波算法处理将图像噪声滤除掉, 同时, 达到图像的边缘保持的目的, 避免了一般滤波算法将图像边缘模糊的问题。

图9给出的实际处理效果可见, 基于图像边缘保持的滤波算法能减少图像的噪声, 并能提高图像画质, 同时很好地保持了图像边缘。

《图9》

图9 基于边缘保持滤波处理后结果Fig.9 The result image of the edge-preserving filter

《3.2 边缘保持的二维滤波算法的硬件实现》

3.2 边缘保持的二维滤波算法的硬件实现

以上分析可以看出, 基于图像边缘方向的插补算法可通过并行处理而大大提高处理速度。这种基于图像边缘方向的插补算法十分适合于用硬件进行算法处理的实现。中值滤波的窗口大小对降噪影响也很大:窗口大, 对脉冲噪声的抑制效果差, 但对图像带来的损伤小;窗口小, 对图像的损伤大, 但降噪效果好。同时, 窗口的选择还必须考虑到硬件实现的问题。窗口选择过大, 需要占用大量的寄存器, 也会由于所需处理的数据量增加, 导致信号延迟增加, 为硬件的实现带来很大的困难。综上所述, 在用硬件实现滤波算法时选择3×3的9点窗口较为合适, 见图8。

图像边缘方向的插补算法硬件实现的结构分为四部分 (见图10) :输入像素的并行结构转换矩阵、多方向的图像边缘插补滤波、图像边缘检测控制电路以及多路选择输出电路。在输入像素的并行结构转换矩阵电路中, 通过一个寄存器矩阵实现对输入串行像素点的并行化处理, 完成3×3滤波窗口的设定工作;多方向的图像边缘插补滤波电路是将各个方向的像素对分别进行插补滤波处理, 这种设计可以通过并行处理满足实时视频处理的要求。

《图10》

图10 自适应滤波算法的硬件结构示意图

Fig.10 The hardware structure of the edge-preserving filter

《4 增强型数字视频图像处理芯片与逐行扫描数字处理电视》

4 增强型数字视频图像处理芯片与逐行扫描数字处理电视

《4.1 增强型数字视频图像处理芯片》

4.1 增强型数字视频图像处理芯片

该芯片如图11所示, 它可完成对输入的数字16位YUV (4∶2∶2) 格式的标准电视信号的各种数字处理, 将隔行50 Hz场频提高到逐行60 Hz的帧频。由于片内集成了SDRAM控制接口, 因此可以外挂大容量通用同步动态存储器, 大大降低了系统成本。采用先进的非线性视频处理技术, 在对视频的亮度信号进行处理的同时, 针对视频色度信号边缘模糊的问题, 采用动态彩色瞬态特性改善, 改善了彩色信号的清晰度。数字降噪方法的采用可以进一步增强视频信号的主观清晰度。芯片还具有VGA接口, 可以通过数据控制线选择芯片输出的同步信号。芯片采用了灵活、简便的总线控制方式, 根据用户需要灵活配置芯片功能和视频处理的参数, 如视频边缘增强的强度, 视频运动补偿选择开关等。芯片具有缺省配置, 可以在不需要程序外部编程的情况下正常工作。

《图11》

图11 增强型数字视频图像处理芯片框图

Fig.11 The diagram of the advanced digital video processing chip

《4.2 数字化处理电视的SOC系统设计》

4.2 数字化处理电视的SOC系统设计

将系统功能集成一起可以提高系统的可靠性, 降低系统成本, 特别是在考虑到数字化处理电视系统的产品转化过程中, 提高系统芯片的集成度是很有意义的。在完成增强型数字化视频图像处理芯片设计和数字化处理电视整机开发的基础上, 增加嵌入式CPU核、红外遥控接收、视频解码及视频DA转换, 从而实现数字化处理电视的SOC设计。图12给出了数字化处理电视的SOC系统设计方案。

《图12》

图12 数字化处理电视的SOC系统设计方案

Fig.12 The diagram of the SOC system

《5 结论》

5 结论

将隔行电视信号进行逐行插补处理, 并提高图像的扫描频率, 有效地抑制和消除传统电视的行间闪烁、场闪烁和爬行现象, 改善了电视信号的显示效果, 提高画面清晰度。上述处理算法已经利用FPGA (Field-Programmable Gate Arrays) 得以实现, 并且已完成了数字化处理电视系统的整合。在完整的系统中, 验证了芯片设计所完成的功能和图像处理所达到的效果, 图像主观评价较高。逐行扫描数字处理电视整机系统达到了批量生产的基本要求。目前正在进行将FPGA转化为ASIC的设计工作。同时在现有设计基础上进一步完成数字化处理电视的SOC系统设计方案和该芯片在HDTV扫描格式转换中的应用。

展示更多