视频采集
该模块的主要功能是将从CCD摄像头输入的模拟视频信号转换为数字信号。如图4所示，普通CCD摄像头的输出是NTSC制式(或PAL制式)的复合全电视信号CVBS或是S-Video信号，二者均为模拟信号。通过Philips公司的TV解码芯片SAA7114H将模拟TV信号解码并且模数转换为符合CCIR.601标准的数字视频信号，并且存储到AVERLOGIC(凌泰)专用的视频帧FIFO芯片AL4V8M440(8Mb)中，等待DSP处理。帧FIFO配置在C6416的CE2空间，CPLD通过SAA7114H的输出状态信号以及C6416DSP的相应输出控制信号生成 FIFOAL4V8M440的控制信号。通过检测SAA7114H输出的同步信号来生成DSP中断，通知DSP读取视频FIFO 中已满的一场图像数据。
图4 视频采集模块
由于H.264的视频格式主要为QCIF和CIF，QCIF的Y信号规定为176点/行、144行/帧，其色度信号Cb和Cr的规定为88点/行、 72行/帧，每个像素用12位表示；CIF的Y信号的规定为352点/行、288行/帧，其色度信号Cb和Cr的规定为176点/行、144行/帧，每个像素用12位表示。H.264标准中默认的输入位流为4:2:0形式，所以要对采集来的视频数据进行存储格式转换，即通过存储转换使视频流在FIFO中以 4:2:0的QCIF或者CIF格式进行存放，这里称之为视频格式转换。
主处理器模块
TMS320C6416是德州仪器(TI) 公司最新推出的高性能定点DSP，其时钟频率可达600MHz，最高处理能力为4800MIPS，该DSP具有Viterbi译码协处理器(VCP)和 Turbo译码协处理器(TCP)。采用两级缓存结构：一级缓存(L1)由128kb的程序缓存和128kb的数据缓存组成，二级缓存(L2)为8Mb。有2个扩展存储器接口(EMI F)，可以与异步(SRAM，EPROM)/同步存储器(SDRAM、SBSRAM、ZBTSRAM、FIFO)无缝连接，最大可寻址范围为1280MB；主机接口(HPI)总线宽度可由用户配置(32/16b)。由于需要处理的图像数据量非常大(对于720*576的图像需要829440B)，而且系统频繁的转移数据，采用64位数据宽度的SDRAM对提高整体效率非常有用，所以配置64位宽128MB的SDRAM在A总线 EMIFA上，使用分区CE0。FLASHROM用于存放程序，连接在分区CE1，使用16位宽B总线EMIFB，共8MB。帧FIFO配置在分区 CE2，用于存放A/D采集的像素，由CPLD控制写入，DSP读出数据进行压缩处理，具体流程如图5所示。
图5 系统工作流程
实现的主要功能：
(1)采用H.264/AVC标准，能够对数字视频数据进行压缩和编码处理；
(2)完成对整个硬件系统各模块的控制功能，实现数字视频流的传输控制；
(3)通过C6416的HPI32总线将压缩后的视频流传送到微控制器上；
(4)通过C6416的McBSP1模拟I2C总线，对视频A/DSAA7114H和视频FIFO进行配置；
(5)带有音频扩展接口，可以很方便的构成音频视频同步的网络视频监控系统。
面向RTP的NAL接口
H．264首先对视频编码流的相关信息进行语法优先级上的数据分类，根据具体的网络传输环境，在保证视频抗误码能力的前提下选择大小合适的数据分类整合打包策略。在此基础上，H.264提供了面向RTP/UDP/IP和H.223信道传输的NAL接口，本系统使用面向RTP/UDP/IP的NAL接口。
H.264将每个编码帧或者分片Slice在MTU容量的限制下分成传输优先级不同的两个输出包：
(1)编码信息包(优先级高)
TYPE_HEADER，TYPE_MBHEADER；
TYPE_MVD，TYPE_EOS；
(2)纹理信息包(优先级低)
TYPE_CBP，TYPE_2x2DC；
TYPE_COEFE_Y，TYPE_COEFE_C；
H.264/AVC编码及关键技术
为了满足不同速率、解析度以及网络传输的要求，H.264提供了多种档次(Profile)和等级(level)。根据H.264/AVC规范，结合矿山监控系统信息流的特点，经过测试分析，采用如图6所示的编码结构。H.264编码主要由帧间预测(Inter-Prediction)，帧内预测 (Intra-Prediction)，整数变换(Transition)、量化(Q)、环路滤波(filter)和熵编码 (EntropyEncoding)等几部分组成，编码器生成的码流提交给NAL层。
图6 H.264编码器
输入帧Fn经过宏块(MC)处理后，根据是在帧间还是帧内预测编码模式，分别确定预测值(P)：在帧内模式，P值由前面经过编码、译码和重建的分片uF'n决定；在帧间模式，P值由帧间的运动补偿预测决定。