基于嵌入式平台的USB摄像头图像采集及显示

基于嵌入式平台的USB 摄像头图像采集及显示钱鹰1，陈胜利2（1.重庆邮电大学软件学院，重庆400065；2.重庆邮电大学自动化学院，重庆400065）摘要：基于嵌入式Linux 环境下图像采集及在嵌入式开发板上对图像显示的目的，本文研究了视频采集及显示的一般方法，并将飞凌公司OK6410开发板与嵌入式Linux 操作系统相结合，通过对内核的定制、交叉编译程序及基于Qt/Embedded 设计图像显示GUI ，最终实现了嵌入式Linux 平台下USB 摄像头对图像的采集以及在开发板上的显示，并且在开发板上实现了对显示图像的简单操作。

关键词：ARM ；USB 摄像头；V4L ；嵌入式Linux 中图分类号：TP391.4文献标识码：A文章编号：1674－6236（2013）03-0140-03Image acquisition and display with USB camera based on embedded platformQIAN Ying 1，CHEN Sheng -li 2（1.School of Software ，Chongqing University of Posts and Telecommunications ，Chongqing 400065，China ；2.School of Automation ，Chongqing University of Posts and Telecommunications ，Chongqing 400065，China ）Abstract:For the purpose of image acquisition based on embedded Linux environment and image display in the embedded development board ，this paper studies the general method of video capture and display ，and combined the OK6410development board of Feiling company with embedded Linux operating system.Through customizing kernel ，cross -compiling procedure and designing image display GUI based on Qt/Embedded ，we ultimately achieve image acquisition in the embedded Linux platform and display in the development board by USB camera ，and simple operation in the development board of the displayed image.Key words:ARM ；USB camera ；V4L ；embedded Linux收稿日期：2012-09-29稿件编号：201209217基金项目：教育部留学回国人员科研启动基金项目（教外司留[2009]1590号）；重庆邮电大学自然科学基金项目（A2011-07）作者简介：钱鹰（1968—），男，重庆人，博士，教授。

研究方向：医学图像处理与分析、计算机软件仿真。

随着科技的进步和社会的发展，数字视频图像的采集、存储、处理及传输技术在最近几年得到了广泛的应用，与传统图像处理系统相比，嵌入式图像处理系统具有体积小、成本低、可靠性高等优点，在智能交通、远距离监控、计算机视觉等领域广泛运用。

而嵌入式Linux 系统具有源代码开放、内核稳定、可裁减性、驱动丰富等特点，吸引着众多商业公司和自由软件开发者的目光，成为嵌入式系统领域不可或缺的操作系统之一。

文献[1]详细介绍了嵌入式中的交叉编译环境的搭建及移植技术，但该论文没有说明具体实际的应用。

在文献[2]中介绍了ARM920T 的嵌入式Linux 下利用USB 摄像头采集图像的硬件、软件设计过程，但在设计图片显示的GUI 时只是简单的显示而没有设计对采集图片的操作。

文献[3]分析了V4L2的图像采集驱动和流程，然后在Qt 环境下设计并实现采集终端软件设计，最后在Tiny6410平台上移植嵌入式视频采集终端，受该文献的启发，本文在完成V4L 图像采集驱动及内核的定制之后，直接利用Qt 库设计GUI 显示，并在设计GUI 时考虑了对采集图像的放大、缩小等简单操作，最终在Linux 环境下完成交叉编译，并将交叉编译所得的可执行文件直接运行于OK6410开发板。

1系统架构文中使用的系统架构如图1所示。

该架构采用Samsung公司的处理器S3C6410，该处理器是一款低功耗、高性价比的RSIC 处理器，它基于ARM11内核（ARM1176JZF-S ），资源丰富，执行ARMv6架构的指令，ARMv6指令包含了针对媒体处理的单指令流多数据流（SIMD ）扩展，采用特殊的设计，以改善视频处理性能，拥有强大的内部资源和视频处理能力，可稳定运行在667MHz 主频以上，支持Mobile DDR 和多种NAND Flash 。

开发板硬件模块包括1个100M 网口、无线网卡、高速SD 卡座、CMOS 摄像头接口、JTAG 接口。

在处理器丰富的资源基础上，还进行了相关配置和扩展，平台另外配置了128M 字节Mobile DDR 内存和1G 字节NAND Flash 。

2嵌入式Linux 内核的定制及摄像头驱动的加载由于嵌入式Linux 具有成本低、代码开放、移植性好的特电子设计工程Electronic Design Engineering第21卷Vol.21第3期No.32013年2月Feb.2013－140－图2视频采集程序流程图Fig.2Video acquisition program flow chart点，其用于嵌入式系统的优势和发展潜力是不容置疑的。

在嵌入式系统中，由于硬件资源有限，需要对Linux 内核进行嵌入式化，即通过配置内核、裁剪shell 和嵌入式C 库对系统进行定制，使得整个系统能够存放到容量较小的FLASH 中。

Linux 平台的驱动一般分为字符设备、块设备和网络设备3种类型。

而在Linux 下要使系统所挂接的外部设备正常工作，必须加载相应的驱动程序，Linux 下对于一个硬件的驱动，可以有两种方式：一种是直接加载到系统的内核当中去，另一种是以模块方式进行加载，就是在编译内核的时候，同时生成可重定位的目标文件（.o 文件），动态方式与静态方式相比，测试时要简单的多，不需要下载整个内核，只需通过NFS 加载驱动即可测试，在测试成功后就可以编译进内核[4]，因此本文采用第一种方法。

又由于Video4Linux 是Linux 中关于视频设备的内核驱动，并为针对视频设备的应用程序编程提供一系列接口函数，因此，在Linux 下进行图像的采集首先必须加在Video4Linux 模块和USB 及ZC301设备驱动模块。

在内核源目录下运行make menuconfig ，具体步骤为：1）在配置菜单中选择Multimedia support →Video for Linux ，加载video4linux 模块，为实现图像的采集提供了编程接口；2）在配置菜单中选择USB Support →Support for Host_side USB 及USB announce new devices ，Multimedia support →Video capture adapter →V4L USB Video device →CSPCA based webcams →ZC301USB Camera Driver 使得内核中加入了对采用ZC301接口芯片的USB 数字摄像头的驱动支持[5]。

3基于Video4Linux 的图像采集Video4Linux （简称V4L ）模块提供的主要API 函数有：VIDIOCGCAP 函数以数据结构video_capability 返回视频采集设备的基本信息，包括设备名称、设备类型、信道数、最大及最小像素高度和宽度等；VIDIOCSFBUF 函数使用数据结构video_buffer 设置采集设备的帧缓存参数，包括缓存区大小、同时采集的帧数、偏移量等；VIDIOGWIN 函数使用数据结构video_windows 来设置采集窗口参数，使用参数1调用VIDIOCCAPTURE 开始视频信号采集；VIDIOCSPICT 函数使用数据结构video_picture 来获取和设置采集图像帧的属性，如亮度、色调和对比度等。

基于V4L 的视频采集程序流程图如图2所示[6]。

以下简单介绍程序的编写，给出关键部分的实现代码。

首先，必须声明包含sys/types.h 、linux/videodev.h2个头文件：其次，设备的初始化[7]：int fd=open （“/dev/video ”，ORDWR ）；/*打开设备文件*/struct video_capability grab_capability ；ioctl （fd ，VIDIOCGCAP ，&grab_capability ）；/*获得struct video_capability 中摄像头的信息*/struct video_picture grab_picture ；ioct1（fd ，VIDIOCGPICT ，&grab_picture ）；/*获得图像的信息*/在获得图像信息后，还可根据需要改变这些信息，例如对比度、调色、亮度板等，具体做法是先给video_picture 中相应变量赋新值，再利用VIDIOCSPICT ioct1函数。

其次，使用mmap 方式的双帧图像采集：struct video_mmap grab_buf ；/*设置图像缓冲区信息*/grab_buf.frame=1；/*采集帧数为2帧，交替出现，以完成显示图像的连续性*/grab_buf.height=240；/*图像高度*/grab_buf.width=320；/*图像宽度*/grab_buf.format =VIDEO_PALETTE_RGV24；/*图像的调色板格式，24位真彩色*/unsigned char *data=mmap （0，240*320*3，PROT_READ|PROT_WRITE ，MAP_SHARED ，fd ，0）；/*内存映射*/ioctl （fd ，VIDIOCMCAPTURE ，&grab_buf ）；/*采集图像*/最后，调用ioctl （grab_fd ，VIDIOCSYNC ，&frame ）函数，该函数成功返回则表示采集完毕，采集到的图像数据放到以data 为起始地址，长度为240×320×3的内存区域中，读取该内存中的数据便可得到图像数据。