基于FPGA的高清采集与显示系统设计

2011-08-17 15:48:00来源:IT168 作者:左事君 刘新朝等热度:
本文介绍了一种基于FPGA的视频采集与显示系统的设计。系统以FPGA为核心,配合高分辨率CCD图像传感器、ADC模数转换、视频编码器等,实现了高清视频实时采集与显示。详细阐述了色彩插值与色彩空间转换算法和BURST传输的FPGA硬件实现。测试表明,该系统运行良好,能够满足高清视频实时监控要求。

  近年来,高清网络摄像机席卷视频监控市场,传统的模拟摄像机也在寻找新的出路提升图像质量,采用非压缩方案的高清模拟摄像机成为首选。一般来说,非压缩方案的硬件平台有DSP或ASIC或FPGA。它们各有优缺点,FPGA是现场可编程门阵列,兼顾了实时性与灵活性,而且还可以内嵌CPU,因此适合用来做图像处理。FPGA的最大缺点是功耗太大,但本文设计的不是便携式消费电子,功耗问题可以不考虑。

  本文在数据传输方式上进行了创新,一般的视频采集与显示方案均需要使用2个DMA通道和2片SDRAM做缓存,本文采用自行编写的BURST模块传输,仅需要一片SDRAM,节省硬件开销的同时降低了PCB板的复杂度。

  1 系统总体设计

  FPGA是整个系统的核心,本文采用的FPGA是Cyclone系列的EP3C16,它内部集成了15 408个逻辑单元,56个18×18乘法器,4个锁相环,CCD是SONY的ICX274,其有效分辨率是1 600×1 200,像素时钟是36 MHz,并且逐行扫描。SDRAM是Micron的MT48LC2M32B2,容量是2 M×32 bit,完全满足本设计的需要。

  首先ADC驱动CCD,CCD输出模拟视频,经过ADC转换成数字图像数据,然后通过FPGA内部的BURST传输写到SDRAM,在SDRAM内部开辟三段数据空间。其中code区域存放NIOS软件代码,bufferA和bufferB作为图像数据缓存,当图像数据写入bufferA时,可以读bufferB用于显示,当一帧数据采集完后,切换BURST传输地址,写入bufferB,此时读bufferA用于显示,这样数据可以不间断地采集和显示,这就是所谓乒乓操作。FPGA输出的视频数据经过编码器编码后形成串行码流,即SDI数据,然后经过同轴电缆线传输到具有SDI接口的显示器显示。其中,FLASH用来保存NIOS软件和FPGA硬件配置信息。

  在FPGA内部实现的模块中,VIDEO IP是根据AVALON总线规范编写的用户自定义模块,其余的模块均是ALTERA提供的标准模块,只需要在SoPC Builder中调用即可,因此本系统的设计主要是VIDEO IP的设计。

  2 硬件模块设计

  硬件模块也就是VIDEO IP模块,主要由色彩插值、色彩空间转换、FIFO三部分构成。基于成本与工程复杂度的考虑,本系统为单CCD系统,在CCD表面覆盖一层色彩滤波阵列(CFA),该滤波阵列采用Bayer格式,每个像素点只有一个颜色通道,为了实现彩色显示,每个像素点必须要有RGB 3个通道,要通过色彩插值才能获得其余两个通道。本文处理的视频数据都是YCbCr格式,因此还需要经过色彩空间转换将RGB格式转换成YCbCr格式。由于NIOS处理器的位宽是32 bit,而YCbCr(4:2:2)是16 bit,所以YCbCr必须经过FIFO,当FIFO半满时,通过BURST传输写数据到SDRAM。值得注意的是:写入FIFO之前,YCbCr的格式是4:4:4,为了方便显示,必须转换成4:2:2,本设计采取了最简单的处理方式,就是Cb和Cr间隔采样。实验表明,这种处理不影响显示效果。

  2.1 色彩插值算法

  考虑到本文设计的系统主要用于视频监控,因此采用最简单的插值算法,即双线性正交法。该算法的原理是在每个像素的领域取8个像素构成3×3阵列,该阵列中心的像素为待插值像素,其中一个色彩通道直接使用该像素的数据,另外两个色彩通道通过计算领域的2个或4个像素的平均值获得。不同位置的像素四周情况不同,根据待插值像素所处位置总结出4种情况(设待插值像素坐标为(X,Y))。

  (a)R(X,Y)=[R(X,Y-1)+R(X,Y+1)]/2;

  G(X,Y)=G(X,Y);

  B(X,Y)=[B(X-1,Y)+B(X+1,Y)]/2;

  (b)R(X,Y)=[R(X-1,Y-1)+R(X+1,Y-1)+R(X-1,

  Y+1)+R(X+1,Y+1)]/4;

  G(X,Y)=[G(X-1,Y)+G(X,Y-1)+G(X+1,Y)+

  G(X,Y+1)]/4;

  B(X,Y)=B(X,Y);

  (c)R(X,Y)=R(X,Y);

  G(X,Y)= [G(X-1,Y)+G(X,Y-1)+G(X+1,Y)+

  G(X,Y+1)]/4;

  B(X,Y)= [B(X-1,Y-1)+B(X+1,Y-1)+

  B(X-1,Y+1)+B(X+1,Y+1)]/4;

  (d)R(X,Y)=[R(X-1,Y)+R(X+1,Y)]/2;

  G(X,Y)=G(X,Y);

  B(X,Y)= [B(X,Y-1)+B(X,Y+1)]/2

  由于要形成3×3阵列,因此FPGA硬件实现时,为色彩插值模块,采用3个双口RAM分别保存3行数据,其中A、B、C、D、E、F表示寄存器,CCD的数据是在行场同步控制下从左到右、从上到下输出,在行场同步下先把第一行数据写到RAM1,写完第一行再切换到第二行,写完第二行再写第三行,第三行写完第3个数据即可读出RAM和各寄存器的数据做色彩插值,当第三行写完以后,第四行数据再写到RAM1,以此类推,一直循环直到一帧数据处理结束。值得注意的是:3×3阵列各行的数据是循环切换的,当RAM1保存的是3×3阵列的第一行数据时,3×3阵列第一行数据从左到右依次为B、A、RAM1,第二行数据从左到右依次D、C、RAM2,第三行数据从左到右依次为F、E、RAM3;当RAM2保存第一行数据时,第一行是D、C、RAM2,以后各行循环切换,不再赘述。

  3×3阵列的数据进入多路选择器,根据当前的位置以及所需的颜色通道选出4个像素进行相加求和运算。4个像素的获得方法是:当是1个像素时,复制3次;得到4个像素,当是2个像素求平均时,每个像素各复制1次;当是4个像素求平均时,不用复制。

  本文采用的CCD为SONY的ICX274,其有效分辨率为1 600×1 200,而用于显示的分辨率为1 280×720(720P),因此需要截取1 600×1 200为1 282×722进行插值,增加两行两列是为了做边界处理。

  2.2 色彩空间转换

  本文采用的转换关系如下:

  Y=0.257×R+0.504×G+0.098×B+16

  Cb=-0.148×R-0.291×G+0.439×B+128

[FS:Page]

  Cr=0.439×R-0.368×G-0.071×B+128

  在FPGA实现时,以上转换关系要调用乘加单元。其中为了保持数据的稳定,增加处理速度,增加了三级流水线,由于系数为小数,因此先左移8位,取整数后分别与R、G、B相乘,再右移8位输出,最后与整数相加输出YCbCr格式数据。

  2.3 突发传输模块

  经过上述两步处理以后的视频数据即可用于显示,本文采用突发传输方案。视频数据首先经过FIFO缓冲,然后经过突发传输写到SDRAM,数据从SDRAM读出也是采用突发传输,读出的数据再经过另外的FIFO缓冲以后即可用于显示。突发(BURST)传输一次进行多个数据单元的传输,而不仅仅是把每个数据单元作为一次单独的传输。这样便提高了从端口的数据吞吐量,在主端口一次处理多个数据单元时,可以达到极高的效率。要使用突发传输就必须严格按照突发传输的规范设计AVALON总线接口。限于篇幅,本文不再详述AVALON总线接口。

  3 测试结果

  本系统使用了48%的逻辑单元和40%的存储器,还有剩余的资源可以给系统增加更多的功能。该系统运行良好。本文设计的基于FPGA的高清视频处理系统,能在FPGA硬件设备中高速、高质量地对CCD传感器采集的Bayer图像进行色彩插值和色彩空间转换,经过SDI编码后能够实时显示。在本设计的基础上可以增加更多的功能以改变图像质量,例如3A算法(自动曝光,自动白平衡,自动聚焦)。

责任编辑:51DTV编辑部

为您推荐

普然宣布10G EPON芯片进展

12/7/2009,EPON芯片供应商普然(Opulan)宣布其对称10GEPON芯片在经过数月的内部测试和7月,11月两轮行业互通测试后已经进入批量生产阶段。该系列芯片包括了OLT和ONU的芯片。普然表示其10GEPON芯片可以支持9Gbps的下行流量和8.6Gbps的上行流量。普然称中国大陆大规模的10GEPON部署将会在2010年开始,日本紧随其后也会在2011年上半年开始部署10GEPON。中日两国市场在未来几年内很可能需要每年800万到900万的10GEPONONU。目前中国几大运营商正在进行数个10GEPON的现场测试。中国电

利用FPGA实现高性能数字电视系统

由于MPEG-2压缩技术的采用,绝大多数市场都已接受数字电视(DTV),但情况并非如此简单。H.26?-AVC(MPEG-4第10部分)和微软的VCI压缩标准承诺可为标准和高清(HD)电视带来更大幅度的进步。广播设备OEM将需要采用这些新兴的压缩编码标准,以有效地满足目前及未来的带宽要求。在这个设计转换过程中,OEM不但要面对内核的视频编解码器标准,还要应对各种要求更高的视频前/后处理算法,这些算法对保持和改善图象质量至关重要。鉴于这种状况,设计前景可谓充满挑战。越来越高的分辨率和各种新兴的压缩标准都对底层技术提出了更高性能要求。此外,架构也必须具有足够的灵活性,以便让设计工程师能迅速高效地升