时间：2023-09-14 17:44:46
开篇：写作不仅是一种记录，更是一种创造，它让我们能够捕捉那些稍纵即逝的灵感，将它们永久地定格在纸上。下面是小编精心整理的12篇计算机视觉常用技术，希望这些内容能成为您创作过程中的良师益友，陪伴您不断探索和进步。
【关键词】精密测量 计算机视觉图像 关键技术
在现代城市的建设中离不开测量的运用，对于测量而言需要精确的数值来表达建筑物、地形地貌等特征及高度。在以往的测量中无法精准的进行计算及在施工中无法精准的达到设计要求。本文就计算机视觉图像精密测量进行分析，并对其关键技术做以简析。
1 概论
1.1 什么是计算机视觉图像精密测量
计算机视觉精密测量从定义上来讲是一种新型的、非接触性测量。它是集计算机视觉技术、图像处理技术及测量技术于一体的高精度测量技术，且将光学测量的技术融入当中。这样让它具备了快速、精准、智能等方面的优势及特性。这种测量方法在现代测量中被广泛使用。
1.2 计算机视觉图像精密测量的工作原理
计算机视觉图像精密测量的工作原理类似于测量仪器中的全站仪。它们具有相同的特点及特性，主要还是通过微电脑进行快速的计算处理得到使用者需要的测量数据。其原理简单分为以下几步：
（1）对被测量物体进行图像扫描，在对图像进行扫描时需注意外借环境及光线因素，特别注意光线对于仪器扫描的影响。
（2）形成比例的原始图，在对于物体进行扫描后得到与现实原状相同的图像，在个步骤与相机的拍照原理几乎相同。
（3）提取特征，通过微电子计算机对扫描形成的原始图进行特征的提取，在设置程序后，仪器会自动进行相应特征部分的关键提取。
（4）分类整理，对图像特征进行有效的分类整理，主要对于操作人员所需求的数据进行整理分类。
（5）形成数据文件，在完成以上四个步骤后微计算机会对于整理分类出的特征进行数据分析存储。对于计算机视觉图像精密测量的工作原理就进行以上分析。
1.3 主要影响
从施工测量及测绘角度分析，对于计算机视觉图像精密测量的影响在于环境的影响。其主要分为地形影响和气候影响。地形影响对于计算机视觉图像精密测量是有限的，基本对于计算机视觉图像精密测量的影响不是很大，但还是存在一定的影响。主要体现在遮挡物对于扫描成像的影响，如果扫描成像质量较差，会直接影响到对于特征物的提取及数据的准确性。还存在气候影响，气候影响的因素主要在于大风及光线影响。大风对于扫描仪器的稳定性具有一定的考验，如有稍微抖动就会出现误差不能准确的进行精密测量。光线的影响在于光照的强度上，主要还是表现在基础的成像，成像结果会直接导致数据结果的准确性。
2 计算机视觉图像精密测量下的关键技术
计算机视觉图像精密测量下的关键技术主要分为以下几种：
2.1 自动进行数据存储
在对计算机视觉图像精密测量的原理分析，参照计算机视觉图像精密测量的工作原理，对设备的质量要求很高，计算机视觉图像精密测量仪器主要还是通过计算机来进行数据的计算处理，如果遇到计算机系统老旧或处理数据量较大，会导致计算机系统崩溃，导致计算结果无法进行正常的存储。为了避免这种情况的发生，需要对于测量成果技术进行有效的存储。将测量数据成果存储在固定、安全的存储媒介中，保证数据的安全性。如果遇到计算机系统崩溃等无法正常运行的情况时，应及时将数据进行备份存储，快速还原数据。在对于前期测量数据再次进行测量或多次测量，系统会对于这些数据进行统一对比，如果出现多次测量结果有所出入，系统会进行提示。这样就可以避免数据存在较大的误差。
2.2 减小误差概率
在进行计算机视觉图像精密测量时往往会出现误差，而导致这些误差的原因主要存在于操作人员与机器系统故障，在进行操作前操作员应对于仪器进行系统性的检查，再次使用仪器中的自检系统，保证仪器的硬件与软件的正常运行，如果硬软件出现问题会导致测量精度的误差，从而影响工作的进度。人员操作也会导致误差，人员操作的误差在某些方面来说是不可避免的。这主要是对操作人员工作的熟练程度的一种考验，主要是对于仪器的架设及观测的方式。减少人员操作中的误差，就要做好人员的技术技能培训工作。让操作人员有过硬过强的操作技术，在这些基础上再建立完善的体制制度。利用多方面进行全面控制误差。
2.3 方便便携
在科学技术发展的今天我们在生活当中运用到东西逐渐在形状、外观上发生巨大的变大。近年来，对于各种仪器设备的便携性提出了很高的要求，在计算机视觉图像精密测量中对设备的外形体积要求、系统要求更为重要，其主要在于人员方便携带可在大范围及野外进行测量，不受环境等特殊情况的限制。
3 计算机视觉图像精密测量发展趋势
目前我国国民经济快速发展，我们对于精密测量的要求越来越来高，特别是近年我国科技技术的快速发展及需要，很多工程及工业方面已经超出我们所能测试的范围。在这样的前景下，我们对于计算机视觉图像精密测量的发展趋势进行一个预估，其主要发展趋势有以下几方面：
3.1 测量精度
在我们日常生活中，我们常用的长度单位基本在毫米级别，但在现在生活中，毫米级别已经不能满足工业方面的要求，如航天航空方面。所以提高测量精度也是计算机视觉图像精密测量发展趋势的重要方向，主要在于提高测量精度，在向微米级及纳米级别发展，同时提高成像图像方面的分辨率，进而达到我们预测的目的。
3.2 图像技术
计算机的普遍对于各行各业的发展都具有时代性的意义，在计算机视觉图像精密测量中运用图像技术也是非常重要的，在提高图像处理技术做以提高。同时工程方面遥感测量的技术也是对于精密测量的一种推广。
4 结束语
在科技发展的现在，测量是生活中不可缺少的一部分，测量同时也影响着我们的衣食住行，在测量技术中加入计算机视觉图像技术是对测量技术的一种革新。在融入这种技术后，我相信在未来的工业及航天事业中计算机视觉图像技g能发挥出最大限度的作用，为改变人们的生活做出杰出的贡献。
参考文献
[1]汤剑.周芳芹.杨继隆.计算机视觉图像系统的技术改造[J].机电产品开发与创新周刊，2015，14（18）：33-36.
[2]马玉真.程殿彬.范文兵，计算机视觉检测技术的发展及应用研究[J].济南大学学报，2014，18（23）：222-227.
[3]李华.基于计算机视觉图像精密测量的关键技术分析[J].电脑知识与技术，2013（05）：1211-1212.
【关键词】视频；图像处理；智能交通系统
交通视频监控系统是一个国家交通正常运行的有力保障。随着我国城镇化进程的不断推进和汽车的普及，交通问题日益严峻，道路拥挤、事故频发，加上不遵守交通规则的人比比皆是，使交通问题成为一直困扰我国的难题。而由于交通系统是一个相当复杂的庞大系统，所以监控起来十分困难。
随着计算机技术的发展，计算机视觉处理技术兴盛起来。计算机视觉处理技术是模拟人类视觉系统的一种技术，人类可以通过对视觉中感知到的信息进行适当的组合和联想以达到对外界信息进行判断的能力，计算机视觉处理技术就是要用计算机代替人类的大脑实现对采集到的信息进行处理，从而使计算机具有外部感知的能力，这对于交通视频监控系统具有非常重要的意义。
在智能交通系统中，基于计算机视觉的图像处理技术扮演着重要的角色，它以视频图像为分析对象，利用先进的算法去除干扰，具有直观、高效、精度高等特点。
1 交通视频中进行图像处理的重要性
交通视频检测系统的摄像机在工作时面临的是自然气象条件，这就意味着它要受到各种自然条件的干扰，比如强光、雾霾、粉尘、街灯等，由于光照条件不同所引起的图像差异远远大于由于人的不同所引起的图像差异，即使是在相同光照条件下，由于镜面反射的存在，同一物体的不同表面对光的反射不同，再加上粉尘、雾霾等的影响，从不同视角反映出来的图像有很大差异。外界光照的方向和强度还会随着时间不断发生变化，这些因素会导致采集的图像不清晰、重影、有阴影等，给基于视频的检测带来很大的难度。而视觉检测必须借助外界光线才能够获取图像信息，所以要把图像中的车辆信息完整清晰的反应出来，就要对静止的视频图像序列（即每帧图像）进行预处理。这些处理会涵盖图像色彩模式转换、格式转换、算法处理等。
2 交通视频监控系统的组成
交通视频监控系统一般由采集、传输、控制、显示四部分组成。
2.1 图像采集
图像采集工作由前端的摄像机完成，采集质量的好坏将直接影响视频图像处理的效果。如果视频图像中的车辆信息清楚，对比度好，无干扰信息或干扰信息少，将有利于车辆的检测和跟踪，反之，将不利于车辆的检测和跟踪。
2.2 传输
根据摄像机和控制中心之间距离的长短，会采用不同的传输设备，一般的传输方式包括视频基带传输、射频有线传输、光纤传输、电话线传输等。
2.3 控制
控制部分是整个交通视频监控系统的中心，由总控制台组成。总控制台可以进行信号的缩放、矫正、补偿、切换、遥控、记录存储图像等。
2.4 显示
显示部分的功能就是把传送过来的图像显示出来，由若干台监视器组成。
3 交通视频监控系统中视频图像处理技术的应用
3.1 车辆检测
对运动车辆的检测是交通视频监控系统的核心功能，通过对视频图像中的连续画面的变化分析能抽出运动车辆的特征，从而实现检测。但是由于运动的车辆受光线、灰尘、雾霾、阴影等因素的影响，给图像分割带来很大的困难。所以在进行车辆检测时，要对获得的视频图像进行处理，来提取目标车辆信息，常用的方法有帧间差分法、背景差分法、边缘检测法等。
3.2 车辆跟踪
对车辆进行检测的目的是辨别运动车辆，然而要想了解目标的运动参数，还要对车辆进行跟踪。车辆跟踪的核心内容是根据目标运动车辆的某些特征在不同的图像帧中进行目标匹配，用于匹配的特征包括位置、大小、形状，以及局部的点、线特征和整体轮廓特征等[1]。常用的车辆跟踪方法有基于区域的方法、基于特征的方法、基于运动估计的方法、基于模型的方法、基于轮廓的方法等。
3.3 阴影检测
阴影检测是交通视频监控系统的一项重要且具有挑战性的工作。运动目标车辆由于受各种光源的影响会产生阴影，而阴影与运动目标车辆具有相似的视觉特征和运动特征，所以前面介绍的车辆检测方法都不能有效地将阴影检测出来。阴影的存在会使车辆检测和跟踪产生误差，给交通参数的提取带来很大误差，因而阴影的检测与去除是视频检测的重点和难点。根据阴影形成的不同原理可以把阴影分成不同的类型，而不同类型的阴影又有不同的特点，这给阴影的检测和提取提供了可能。目前，阴影检测方法通常包括两大类：一类是基于阴影属性如颜色不变性、纹理不变性、低频性质等属性的检测技术，另一类是基于应用场景先验知识的模型的阴影检测[2]。
3.4 交通参数的检测
交通参数可以分为两类，一类是针对某一具体车辆的，如该车辆的车型、颜色、车牌、速度、重量等；另一类是针对某一具体路段的，如该这段的固定时间内的车流量、平均速度、车辆密度、车辆数目、路面占有率等。基于图像处理的交通参数检测需要实时处理大量的图像数据，这些参数的获得可以为交通执法提供依据，增加交通道路的容量。目前应用较为广泛的交通参数获取方法为虚拟线圈检测方法，很多学者都在此基础之上设计算法更加精密的检测系统。
3.5 车牌识别
车牌识别技术（Vehicle License Plate Recognition，VLPR） 是计算机视频图像识别技术在车辆牌照识别中的一种应用。车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。通过车牌识别可以实现对停车场的收费管理、车辆定位、交通违法行为监控等功能，对于维护交通安全、实现交通自动化管理有很重要的意义。
视频图像处理技术在交通视频监控系统中应用的已经十分广泛，随着计算机视觉、人工智能理论的发展，对包含运动目标的图像序列进行分析和处理，能够实现交通管理的高效智能化。随着视频图像处理技术硬件的不断发展，我们所面临的挑战是如何找出与硬件相匹配的高效的软件技术（即先进的算法），使智能交通系统的功能更加强大和完善。
【参考文献】
[1]梁晓爱.基于视频的车辆检测与跟踪技术研究[D].山东师范大学，2010.
[2]许洁琼.基于视频图像处理的车辆检测与跟踪方法研究[D].中国海洋大学，2012.
[3]卫小伟.视频图像处理技术在智能交通系统中的运用[J].电子测试，2015（6）.
[4]姜旭.视频图像处理技术在智能交通系统中的应用[D].苏州大学，2009.
关键词：印制电路板；图像处理；机器视觉；PCB裸板；自动光学检测；缺陷检测 文献标识码：A
中图分类号：TP391 文章编号：1009-2374（2016）09-0010-05 DOI：10.13535/ki.11-4406/n.2016.09.005
我国是全球第一大PCB生产基地，作为电子产品承载体的电路板，其集成度和产量不断在提高。为了保证电子产品的性能，电路板缺陷检测技术已经成为电子行业中非常关键的技术。建立在图像处理算法基础上的机器视觉检测技术与传统的人工检测技术相比，提高了缺陷检测的效率和准确度。因此，设计一种高效精准的机器视觉检测电路板缺陷的系统，具有非常重要的现实意义。评估印刷电路板质量的一个重要因素就是表观检测，PCB的表观质量对产品性能及成品使用安全有着极大的重要性。而伴随着近年来在工业生产领域崛起的计算机视觉，当前表观缺陷检测和分类识别的研究方向已经转向了利用计算机视觉技术来实现。计算机图像处理识别技术这种基于计算机视觉的检测技术成功取代了传统的PCB缺陷检测方法，在自动光学检测系统众多应用中占据了相对重要的地位，一跃成为PCB生产业表观缺陷的主要检测方法。
图1 系统框图
因此本文通过设计AOI自动光学检测系统，搭建较为简单的PCB缺陷自动检测系统的实验平台，对PCB中四类较为关键、常见的缺陷进行检测、分析、识别、判定，为研究推广PCB缺陷自动检测系统开拓应用前景，如能实现工业上的产业化检测，将有高额的经济收益。本文侧重对PCB中的四类较为关键、常见的缺陷进行检测、分析、识别、判定，并且仅搭建了较为简单的PCB缺陷自动检测系统的实验平台，即通过复杂算法对采集到的图像进行处理、配准、对比，从而得出PCB缺陷类型及对其进行标识。如图1所示。
1 硬件设计方案
PCB缺陷检测的总体系统设计方案主要是基于自动光学检测技术来搭建PCB缺陷检测系统，硬件设计是使用CNC-T程控光源高精度影像测试系统操作台，对待测电路板进行图像采集，再通过VS2010软件所编写程序处理，得出待测电路板的缺陷种类。整个系统主要分为运动控制、光源、图像采集、图像处理四个模块，分模块简要阐述了实验过程、所需设备以及软件算法，搭建了一个相对完整的系统工作平台。
图2 CNC-T程控光源影像操作台
该设备具有测量元素种类齐全、手动测量、自动对焦等多种功能，使用该设备采集图像进行二维检测，测量软体为YR-CNC，将图像储存至电脑后便由VS软件进行图像处理。实验组成如图3所示：
图3 实验系统框图
1.1 运动控制模块
本系统运动流程为：被检测的PCB在检测台上，通过步进电机XY轴运动到摄像机拍摄区域，CCD摄像机固定在工作台上方（Z轴），通过Z轴的运动实现聚焦。如图4所示：
图4 平台运动示意图
设备工作台台面尺寸为746mm×506mm，承载玻璃面尺寸为452mm×354mm，有效测量行程为400×300×200。本装置既可通过软件驱动自动采集图像，也可以通过手动控制，移动并聚焦采集待测PCB的图像。
1.2 光源模块
辅助光照――采用的是正向和背向光源这两种辅助光照。其中正光源和摄像头同侧，均位于Z轴上，正光源主要用于检测待测物体的表面特征。背光源位于检测台面下方，与正光源处于同轴反向关系，背光源能突出待测物体的轮廓特征，常用于检测物体轮廓尺寸。
图像采集：分别利用正光源突出PCB表面如走线、过孔和焊盘等主要特征，而下光源主要使PCB的轮廓尺寸和过孔产生强烈的轮廓对比。
光源：使用的是高度集中照明光源中心的LDR系列，由于该光源的伞状结构紧密排列着LED且采用了CCS独创的柔性板，使之成为LED照明系统的标准模式。照明系统如图5所示：
图5 照明系统
1.3 图像采集模块
图像采集模块是由图像采集卡、相机和镜头组成的，该模块是图像配准阶段的硬件基础。计算机采集图像的媒介就是相机，而相机按照不同原理又分为多种，常见的有CCD（Charge Coupled Device）和CMOS（Complementary Metal Oxide Semiconductor）两类。本系统采用的是CCD 1/2英寸43万像素彩色摄像头和高清晰度0.7～4.5X变焦倍率镜头，显示分辨率为0.001mm。
1.4 图像处理模块
通常获得的图像将受到工业现场环境、光照等条件的干扰，计算机所获得的图像质量多数参差不齐，图像的清晰度不一致，大大增加了PCB缺陷检测的难度，所以在利用复杂算法检测、识别PCB缺陷前要先对图像进行预处理。
本图像处理模块主要通过VS软件在OpenCV计算机视觉库的基础上，通过一系列算法对图像进行处理对比。
2 系统软件设计
2.1 OpenCV
OpenCV（Open Source Computer Vision Library）是一个跨平台的可以运行在Linux、Windows和Mac OS操作系统上的基于（开源）发行的计算机视觉库。它重量轻而高效，开放了多种接口如MATLAB、Ruby和Python等，并且在计算机视觉和图像处理中大多数通用的算法都是被允许的。OpenCV可用于开发实时图像处理、计算机视觉和模式识别方案，它提供了多种函数，实现了大量的计算机视觉算法，算法涵盖了从最基础的滤波至以高级的物体检测。OpenCV实际上是一堆C和C++语言源代码文件，许多常见的计算机视觉算法由这些源代码文件实现。如C接口函数cvCanny（）实现Canny边缘检测算法。它可直接加入到我们自己的软件项目编程中，而无需去编写自己的Canny算子代码，就是没有必要重复“造轮子”。
根据OpenCV中源代码文件巨多的特点，以算法的功能为基准，将这些源文件分到多个模块中，如core、imgproc、highgui等。将每个模块中的源文件编译成一个库文件（如opencv_core.lib、opencv_imgproc.lib、opencv_highgui.lib等），用户在使用时，仅需在自己的项目中添加要用的库文件，与自己的源文件一起连接成可执行程序即可。
OpenCV计算机视觉库的出现，是为了使人们利用方便快捷的计算机视觉框架，在计算机视觉领域可以更加轻松地设计出更为复杂的应用程序。OpenCV涵盖了多种计算机视觉应用区域，如用户界面、信息安全、医学影像学、工厂产品检验、立体视觉、机器人和摄像机标定等，约有500多个函数。因为计算机视觉与机器学习是相辅相成的，所以OpenCV也开放了MLL（Machine Learning Library）机器学习库。MLL除了在视觉任务相关中使用，也可以很容易地应用到其他机器学习中。
2.2 Microsoft Visual Studio2010
Visual Studio是微软公司推出的开发环境，是同行业中目前最流行的Windows平台应用程序开发环境。Visual Studio 2010于2010年4月12日，其集成开发环境（IDE）已被重新设计和组织，变得更简单了。
Visual Studio 2010同时带来了NET Framework 4.0、Microsoft Visual Studio 2010 CTP（Community Technology Preview――CTP），并且支持开发面向Windows 7的应用程序。除了Microsoft SQL Server外，它还支持IBM DB2和Oracle数据库。目前有专业版、高级版、旗舰版、学习版和测试版五个版本。Visual Studio的用处十分广泛，不仅可被用来基于Windows平台创建Windows应用程序和Web应用程序，还可被用来创建智能设备、Office插件和Web服务等应用程序。微软的Visual Studio 2010将成为一个版本的经典，这是相当于6.0版本。该版本可以自定义开始页，新功能还包括：（1）C# 4.0中的动态类型和动态编程；（2）多显示器支持；（3）使用Visual Studio 2010的特性支持TDD；（4）支持Office；（5）Quick Search特性；（6）C++ 0x新特性；（7）IDE增强；（8）使用Visual C++ 2010创建Ribbon界面；（9）新增基于.NET平台的语言F#。本课题将基于OpenCV计算机视觉库使用Microsoft Visual Studio2010开发环境，通过编辑算法实现PCB缺陷检测。
3 图像预处理
要使用计算机对图像进行处理，所得到的连续图像就必须被转换为离散的数据集，这是因为计算机只能处理离散度数据，这一过程我们称之为图像采集。图像采集由图像采集系统实现，如图6所示。图像采集系统的三个主要模块是成像系统、采样系统和量化器。
图6
将整理出的字符图像交予识别模块来识别，被称为图像的预处理。PCB的图像预处理包括灰度化、增强、滤波、二值化、配准等，处理后的PCB输出的图像质量将得到改善，在很大程度上使得该图像特征更直观，方便计算机分析和处理。PCB的图像预处理为整个PCB缺陷检测系统的核心部件，很大程度上决定了检测的准确性。图像预处理流程如图7所示：
图7 图像预处理流程图
4 PCB缺陷检测
本文针对四种常见缺陷：断路、短路、毛刺（凸起）、缺损（凹陷）进行检测研究。在这四种缺陷中，最为严重的缺陷类型是断路和短路，它们将会使整块板子失去本来的功能；而凸起、凹陷也可能影响到PCB在使用过程中的稳定性能。如图8所示为几种常见的缺陷：
图8 常见电路板缺陷
4.1 PCB缺陷的检测方法
常用的PCB缺陷检测方法有参考法和非参考法两种。要是从概念理解和电路难易程度看，参考法明显更加具有概念直观、电路简单的优势；要是从检测所需要的条件来看，非参考法则在不需要待测PCB与标准PCB进行准确对准这一点上优于参考法。
本课题采用参考法进行PCB缺陷检测。
使用参考法对PCB缺陷进行检测的流程为：（1）确定标准的PCB图像并放入参考库；（2）通过成像设备采集待测PCB图像，进行图像预处理之后，再二值化PCB待测图像，并对其进行连通域提取；（3）然后将处理结果与标准图像进行对比，利用图像相减来判断PCB可能存在的缺陷；（4）进行分类，确定缺陷类型。
4.2 图像连通域
像素是图像中最小的单位，每个像素周围有8个邻接像素，常见的邻接关系有两种：4邻接与8邻接。4邻接一共4个点，即上下左右。包括对角线位置的点，8邻接的点一共有8个，如图9所示：
图9 领域示图
如果像素点A与B邻接，我们称A与B连通，即有如下的结论：
如果A与B连通、B与C连通，则A与C连通。在视觉上看来，点与点相互连通，形成一个区域，而不是连通的点形成不同的区域。这种相互立体的所有的点，我们称为连通区域。连通区域标记常用的方法有Two-Pass（两遍扫描法）和Seed Filling（种子填充法）两种方法，本课题主要介绍第二种。
Seed Filling来源于计算机图形学，通常应用在填充图形上。思路：以一个前景像素当作种子，而后在处于同一像素值且位置相邻的连通区域，把和种子相邻的前景像素融合到同一组像素中，结果将是获得一个像素集，即连通区域。接下来介绍使用种子填充法实现的连通区域分析法：
第一，重复扫描图像，当得到当前像素点B（x，y）=1时停止：（1）赋予B（x，y）一个label，并将像素位置作为种子，接着将所有位于该种子周围的前景像素都压入栈中；（2）将栈顶像素赋以相同的label值并弹出，接着将全部位于栈顶像素周边的前景像素都压入栈中；（3）重复（2）步骤，直到栈为空。此时，图像B中的一个像素值被标记为label的连通区域便被找到了。
第二，在扫描结束前，重复第一个步骤，由此可以获得图像B中所有的连通区域在扫描结束后。
扫描所得的连通域如图10所示：
图10 图像连通域提取
4.3 缺陷识别
缺陷识别具体特征如表1所示：
表1 缺陷特征
缺陷种类 二值图像面积 连通区域数
断路 减少 增加
短路 增加 减少
凸起 增加 不变
凹陷 减少 不变
第一，短路和断路。在出现短路缺陷时，待测图像与标准图像相比，其所包含的连通区域数将会减少。同理可得，在出现断路缺陷时，待测图像与标准图像相比，其所包含的连通区域数将会增多。因此，断路和短路缺陷便可利用比较连通区域数来判定和识别。
第二，凸起和凹陷。凸起缺陷将导致导线和导线、导线和其他导体间的间隙变小，而凹陷缺陷将导致导线和导线、导线和其他导体间的间隙变大，二者均会导致PCB使用过程中出现不稳定状态。而观察可知，这两种缺陷的连通区域相同，差别在于各自二值化面积的大小，所以可以通过计算该待测图像的连通区域面积来识别凸起、凹陷缺陷。
识别过程：将经过图像预处理的待测PCB图像与标准图像进行对比后，通过算法找出缺陷。比较二者的连通区域数，若前者大于后者，则标定该缺陷点为断路，反之则为短路；若二者连通区域数相同，则比较二值化图像面积，若前者大于后者，则标定该缺陷点为凸起，反之则为凹陷。检测流程如图11所示：
图11 PCB缺陷检测流程图
5 系统实验
本文使用CNC-T程控光源高精度影像测试系统操作台，结合VS2010软件基于OpenCV计算机视觉库的算法编程来实现PCB的缺陷检测。整体实验过程为：手动控制操作台捕捉、聚焦、采集待测PCB的图像，采集到的图像与标准图像进行对比、识别，得出缺陷种类并显示结果。
本课题一共就所研究缺陷类型，做了40组实验，通过实验结果计算正确率。如表2所示：
表2 实验结果统计
缺陷类型 实验次数 正确率
断路 10 100%
短路 10 100%
凸起 10 100%
凹陷 10 100%
针对不同电路板图中出现的同种断路类型进行检测，效果如图12a、图12b、图12c所示，可准确检测出缺陷存在。
图12
针对不同电路板图中出现的同种短路类型进行检测，效果如图13a、图13b、图13c所示，可准确检测出缺陷存在。
图13
针对不同电路板图中出现的同种凸起类型进行检测，效果如图14a、图14b、图14c所示，可准确检测出缺陷存在。
图14
针对不同电路板图中出现的同种凹陷类型进行检测，效果如图15a、图15b、图15c所示，可准确检测出缺陷存在。
图15
6 结语
PCB板面向体积越来越小、密度越来越高的方向发展。在检测产品价格方面，国外AOI检测产品价格普遍偏高，而由于经济原因，在国内PCB板生产制造商多数仍采用人工目测等传统检测方法检测。随着经济的发展，数字图像处理研究的深入，自动光学检测系统也开始频繁活跃在人们视线中，但在PCB缺陷检测方面的应用却还有待完善。因此，本论文建立在深入掌握工控系统结构并从PCB板的质量标准、图像特点、缺陷特征及检测要求的分析基础上，对以图像处理为基础的PCB缺陷检测技术进行了深入研究。由于PCB缺陷自动检测系统的研究涉及多个领域的知识，其研究过程十分耗时、繁琐，由此，本论文仅仅对PCB缺陷检测中较为常见的问题进行了较深入研究，并且仅搭建了较为简单的PCB缺陷自动检测系统的实验平台，对PCB中的四类较为关键、常见的缺陷进行检测、分析、识别、判定。虽然还未实现真正实现工业上产业化检测，但是在未来几十年中，研究推广的PCB缺陷自动检测系统将有十分良好的应用前景，也将有高额的经济收益。
参考文献
[1] 陈胜勇，刘盛，等.基于OpenCV的计算机视觉技术实现[M].北京：科学出版社，2008.
[2] Gary Bradski，Adrian Kaebler，于仕琪，等.学习OpenCV[M].北京：清华大学出版社，2009.
[3] 周长发.精通Visual C++图像处理编程（第3版）
[M].北京：电子工业出版社，2006.
[4] 党振.中国大陆PCB产业的现状与未来[J].印制电路信息，2006，32（1）.
[5] 胡跃明，谭颖.自动光学检测在中国的应用现状和发展[J].微计算机信息，2006，（4）.
[6] 李汉，何星，等.印刷电路板的自动光学检测系统
[J].无损检测，2004，26（6）.
[7] 张利，高永英，等.PCB板检测中的定位研究[J].中国图像图形学，1999，4（8）.
[8] 姚立新，张武学，等.AOI系统在PCB中的应用[J].电子工业专用备，2004，（5）.
[9] 范小涛，夏雨人.一种基于图像处理的PCB检测算法研究[J].计算机工程与应用，2004，（13）.
[10] 傅莉.印制电路板的发展及前景[J].电脑与电信，2010，（5）.
[11] 张明轩.基于视频序列的人脸检测与跟踪算法研究[D].中北大学，2011.
[12] 张驰.基于机器视觉的智能控制与图像识别问题研究[D].兰州理工大学，2009.
[13] 谢飞.基于计算机视觉的自动光学检测关键技术与应用研究[D].南京大学，2013.
[14] 张静.PCB表观缺陷的自动光学检测理论与技术
[D].电子科技大学，2013.
[15] 俞玮.AOI技术在PCB缺陷检测中的应用研究[D].电子科技大学，2007.
关键词 智能交通系统；计算机视觉；汽车流量
中图分类号：TN948 文献标识码：A 文章编号：1671-7597（2014）14-0048-01
基于视觉的图像处理器测量精度高，抗干扰能力强，许多自然及人为的干扰都可以被消除，运用预测技术可以再捕获瞬间丢失的目标，并且能实现对记忆的跟踪。它通常安装在路边或架空安装，不会重新铺设路面，也不会影响埋在地下的水和天然气管道，更不会干扰交通。 基于视觉的图像处理有其突出的优点，表现在：可以获得的目标信息非常巨大，获取信息的方法也非常方便。
1 研究的实用意义
车辆检测系统在智能交通系统中具有很重要的地位。机动车辆流量计数与监控为智能控制提供了相当重要的数据来源，通过计算机视觉的机动车流量统计系统可以检测很多交通参数，便于我们检测和监控，这些参数中的一个重要参数就是汽车
流量。
基于视频的检测法作为最有前途的方法之一，有以下优点。
1）能高效、准确、安全可靠地的监视和控制道路交通，能够提供高质量高分辨率的图像信息。
2）用于交通监视和控制的主要设备就是安装视频摄像机，现在我国所有城市基本都已经安装了视频摄像机，甚至高清视频摄像机。因为安装视频摄像机破坏性非常低、很方便、也很经济。
3）由计算机视觉得到的交通信息可以通过联网工作，非常有利于对道路交通网的监视以及控制。
4）由于目前对智能交通系统的安全性、实时性和可靠性的要求都非常高，计算机技术和图像处理技术的发展显得极其
重要。
2 研究内容
本研究主要包含两大部份：一部分就是采用分类和分割方法把采集到的视频图像的目标进行识别；另一部分就是通过定位方法来实现目标的跟踪。这两部份是缺一不可，紧密联系在一起的。
首先先介绍视频图像的目标识别，视频图像目标的识别方法有很多，但总体上主要有两种方法：一是大家熟悉的相关匹配法，二是特征匹配法。相关匹配法是通过找到最大相关值（最大相关值指的就是当前图像与参考图像间的相关系数的大小）所在的位置来确定当前输入图像中的目标位置。相关匹配法优点是可以在信噪比很小的条件下工作，对噪声抑制能力非常强，在计算形式上比较简单，很容易实现。但它的缺点也很明显，由于相关匹配法对几何和灰度畸变十分敏感，反而计算量偏大，造成的直接后果就是非常容易产生累积误差，而且最关键的就是不能充分利用视频图像目标的几何特性，就不能保证对识别目标的跟踪精度。相关匹配法比较适合于对目标的尺寸变化不大并且场景各部分的相关性不强，当前输入图像和参考图像的产生条件较为一致的场合。特征匹配方法是目前研究较多的一类图像匹配方法，它是通过目标的特征与输入图像中目标的特征来比较辨识目标。它首先提取输入图像和参考图像的相关特征信息，比如边缘、角点等。然后通过测量距离来比较输入图像与参考图像的特征集合，如果输入图像的特征集与参考图像的特征集距离是最小的（在满足给定约束条件下），则判定该目标被识别。它对目标的几何特征、灰度畸变一点都不敏感，但它充分利用了目标图像的特征信息，因而可以保证较高的跟踪精度。
上面介绍了视频图像目标的识别，现在介绍本研究第二部分：通过定位方法来实现目标的跟踪。对于图像目标的跟踪方法通常有下面几个方法。
亮度中心法，其实这种方法计算很简单，只要确定了一个点，就能完成定位。这个点就是一个跟踪点，它就是具有最高灰度的像素点（来自获得的视频目标图像）或这个点上的一个邻域。这种方法、性能很稳定、容易实现，工程上运用的很多。但这种跟踪非常容易受干扰，因为它主要适用于红外和其他放射性目标的跟踪。
最佳空间滤波法是常用跟踪方法之一，它完全是在亮度中心法的基础上建立起来的，为了提高跟踪性能，就要把目标的大小、形状、运动特性等特征都完全利用起来。但目前这类方法也有明显缺点，在实用性、定位精度上和计算量方面都有较大的限制。
投影、形心法是通过目标的投影或形心来确定目标的实际位置和运动姿态。对比前面两种跟踪方法，投影、形心法的优点是计算量非常小，容易通过硬件方式来实现。缺点是它的抗干扰性能力比较差，主要用于均匀背景下跟踪孤立目标。
从以上对研究内容的介绍，现有的各类识别和定位方法都各有优缺点，要想找到一个合适的方法，都达不到满意的效果。要想取得较好的性能，都只能在目标尺寸相对对比度变化都不大、对噪声的干扰又比较小、图像灰度的空间变化并不明显的理论环境中。然而实际的环境通常是变化无常的，通过一种方法来实现目标的识别与跟踪很难有合适的效果。最近几年，结合这些方法的优点和缺点，混合定位识别的方法确能将上述各类基本的识别方法进行混合定位，使它们能够合二为一，相互补充。这代表着目标识别方法非常具有理论研究和应用价值，是一个重要发展方向。
3 技术路线
研究的技术路线（如图1）：首先提取出摄像机采集到的视频，该视频是以帧为单位的图片文件形式。然后对图像数据进行数学上的处理，比如二值化、提取边缘等。这样就可以识别汽车的位置进行定位，最后对识别出来的汽车数量通过计数器计数。
4 研究实现
通过基于计算机视觉的研究，我们设计出了能够实现机动车流量的检测和计数的系统。并且该系统能够对运动目标进行识别与跟踪定位，对出现多目标遮挡和丢失目标，还可以重新匹配。
5 结束语
本文创新之处就是将上述各类基本的识别方法进行混合定位，使它们能够相互补充。这代表着目标识别方法非常具有理论研究和应用价值，是一个重要发展方向。
参考文献
[1]章毓晋.图像工程（第2版）[M].清华大学出版社，2007.
[2]夏文龙.基于计算机视觉的汽车流量检测研究[D].四川大学，2003.
[3]葛群辉，浅谈基于视觉的高速公路车流检测技术[J].科技资讯，2010（2）.
[4]刘萌萌，基于无标度摄像机的车流跟踪与速度估计算法研究[D].西南交通大学，2005.
【关键词】机器视觉；VisionPro；识别定位；
1.引言
自20世纪80年代以来，机器视觉技术开始高速发展，已经从实验室走向了人们生产生活的各个方面。机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。现今，在机器视觉领域已经有了一些成熟的视觉开发软件，其封装了很多可靠、高效的算法和工具。本文选用美国康耐视公司的VisionPro软件，这是一套基于PC架构的视觉系统软件开发包，主要应用于各种复杂的机器视觉领域。它集成了用于定位、检测、识别和通讯等任务的工具库，可用C#、VB和VC等语言进行二次开发。本文基于VisionPro利用语言进行视觉定位系统的软件开发[1]。
2.视觉定位系统
2.1 硬件组成
在图像处理前首先要得到清晰、有效的图像，这就需要有一套完整的硬件设备。一般主要包括照明用的光源、调节图像清晰度的镜头、将图像转换为数字信号的摄像机和进行图像处理的计算机。其中摄像机与计算机之间的接口也比很重要的，主要分为IEEE1394和采集卡，USB2.0或Gigabit Ethernet千兆网三种[2]。
本视觉系统采用的是日本FUJINON工业摄像头，德国BASLER工业像机ACA1600-20GM，GigE千兆网接口。
2.2 基于VisionPro的软件开发
本视觉定位系统利用编写适合实验需要的界面，界面中只包含需要的操作功能和数据，使整个界面看起来更加清楚简单，操作起来更方便。
（1）图像采集
本视觉系统通过GigE千兆网作为接口控制相机进行图像采集。打开软件并连接相机，设置好参数后，就可以通过可视化工具Image Source直接获取图像。
（2）相机的标定
机器视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体。空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定[3]。
本文利用VisionPro的CalibChecker-boardTool工具进行摄像机标定。首先需要一个棋盘板，棋盘板必须满足以下条件：必须由大小相同的黑白格子交替组成；格子最好是正方形，如果达不到的话，格子长宽比也要在0.9和1.0之间。本系统采用康耐视公司提供的标准棋盘板进行标定[4，5]。图1是标定的结果。
（3）目标识别与定位
视觉定位的目的就是找出目标物的坐标位置。本文利用VisionPro的PMAlignTool工具对目标物体进行识别定位。PMAlignTool工具是基于PatMax算法，该算法采用模板定位技术（pattern-location technology），先训练模板，然后根据模板对采集图像进行模板匹配，实现定位。在训练模板和定位过程中，PatMax不是基于像素栅格（Pixel grid）分析图像，而是采用基于几何外形（Features based）的定位方法，通过图像的几何特征信息和特征之间的空间位置关系进行模板训练和匹配，使其能够保证很高的精度和抗干扰性，而且可以高速定位发生旋转、缩放、甚至拉伸形变的物体[1]。PMAlignTool工具定位的流程如图2。
通过PMAlignTool工具对目标物体识别定位后，利用VB调用该工具下的Results.Item（i）.GetPose（）.TranslationX和Results.Item（i）.GetPose（）.Transl-ationY。这两个值就是序号为i的目标物在图像上的X、Y坐标值，其中i为识别的各个目标物的序号。
3.实验
3.1 PatMax识别定位
在对摄像机完成标定校正后，运用自己编写的人机交互界面完成对目标物体进行识别定位，并将所需要的目标位置坐标显示在界面上。同时又将识别到的所有目标物体的坐标信息保存到了文本文档中，方便调用。主要操作如下：
（1）模型训练。实验以一元硬币为目标物，图3为训练完成的模型。
（2）目标识别定位。图4是利用编写的界面，在图像上能够清楚的显示出所识别出的目标轮廓和形心位置，界面右方结果显示区内可以看到所识别的目标数量和所需要的目标物的坐标。
3.2 对比实验
视觉定位可以用的软件和工具包很多，其中应用最广泛的就是Opencv，它是一个基于（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。为了验证PatMax算法定位的准确性，本文利用Opencv对相同的图像进行目标识别定位，对得到的效果图和坐标进行对比[6]。如图5所示，其中蓝色为轮廓曲线，绿色十字为目标形心。
图6为VisionPro识别硬币的效果图，轮廓和形心均用绿色线标识。对比两图可以看出VisionPro对轮廓的识别效果要更好一些。由于形心坐标是由轮廓曲线上的点计算得到的，所以VisionPro获得的形心坐标值也会比Opencv的更加准确，而且精确度更高。下表是两种方法得到的形心坐标。
4.结束语
本文基于VisionPro采用对其进行开发，首先利用VisionPro中的工具进行图像的采集，摄像机的标定，运用PatMax算法进行目标物的识别与定位，然后运用编写人机交互界面，可以更加方便快捷的得到所需要的目标物坐标值。本文利用Opencv对相同的图像进行目标的识别定位，与VisionPro得到的结果进行实验对比。结果证明基于VisionPro的视觉定位系统对目标的识别效果更好，定位的数据更加准确。基于该软件使应用程序的开发更加快速方便，得到的数据结果误差较小，具有应用价值。
参考文献
[1]威洛斯，焦宗夏.基于VisionPro的焊膏印刷机视觉定位系统[C].第十二届中国体视学与图像分析学术年会论文集，2008.
[2]Carsten Steger，Markus Ulrich，Christean Wiedemann，著.机器视觉算法与应用[M].杨少荣，吴迪靖，段德山，译.北京：清华大学出版社，2008.
[3]邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述[J].自动化学报，2000，26（1）：47-59.
[4]Cognex，Cognex MVS-8100D and CDC Cameras Hardware Manual，2006.
[5]Cognex，VisionPro，Net Help，2006.
[6]Bradski G.，Kaehler A.著.学习OpenCV[M].于仁琪，刘瑞祯，译.北京：清华大学出版社，2009.
作者简介：
韩庆瑶（1953—），男，华北电力大学教授。
张志远（1986—），男，华北电力大学能源动力与机械工程学院硕士研究生。
关键词：人脸识别，安检
人脸识别(Face Recognition)一直是计算机视觉与模式识别领域的研究热点，在身份鉴别、自动监控、人机交互系统等方面有着广泛应用。，安检。随着我国民航事业的发展，客流量增多，机场安检工作量加大，传统的低效率人工安检手段已不能满足大型国际机场的需要。如何将人脸识别这种计算机自动验证技术应用于安检系统，并使其成为一种安全、稳定、高效的检测技术，已是当务之急。
人脸识别技术是一种依据人的面部特征（如统计或几何特征等），自动进行身份鉴别[1]的技术。，安检。它综合运用了数字图像、视频处理、模式识别等多种技术。本文针对机场安检的工作要求，提出了一个自动人脸识别仿真系统，并就其主要技术作了详细介绍。
1 系统实现
1．1 基本架构及应用环境
本系统结构框图如图1所示。系统主要由脸部图像预处理，特征提取和人脸识别三个部分组成。，安检。
图1 人脸识别系统结构框图
考虑到安检的工作环境及高检测率需求性等特征，本系统的用户检测环境处于室内正常光照条件下，并以墙壁为背景对人脸进行检测，检测过程中要求人脸与相机的距离变化及相机的方向不宜太大，拍摄角度须接近正面，表情保持自然状态。这样可以很好的解决光照不均、表情差异大等常见的检测问题，降低误测度[2]。
1.2 脸部图像预处理
自动人脸识别系统的首要任务是检测和定位人脸，这一步检测效率的高低将直接影响后续模块的执行效果。本系统采用肤色检测算法中基于彩色信息相似度的人脸定位方法提取面部图像。利用平时常用的色度空间RGB[3]，可以很容易排除掉检测结果中在灰度图像中很像人脸,而对应到彩色图像根本不是肤色的区域。
首先将三维RGB（红绿蓝三基色）色度空间降为二维，使肤色区域相对集中。再采用训练方法计算得到人脸分布中心，根据像素离该中心的远近得到相似度分布图，对该分布图二值化以确定人脸区域。
再采用Gamma变换算法将脸部图像进行预处理，提高图像清晰度，使特征明显化。Gamma变换是一种非线性的灰度变换，用式（1）来表示。
即原来的灰度值I用（r>0）或代替。，安检。其中[4]。Gamma变换的光照补偿因图像像素灰度值不同而异，图2给出了不同参数的Gamma变换曲线。，安检。对于图像较暗的地方，光照补偿大，而对于高光部分则较小。，安检。表情图像预处理结果如图3所示。
图2 Gamma变换曲线
关键词：计算机视觉;移动机器人;路径识别;自主导航
中图分类号：TP24262文献标识码：B
文章编号：1004-373X(2008)08-165-03オ
Navigation of Mobile Robot Based on Computer Vision
ZHAO Yu,ZHONG Lanxiang,ZHANG Wanxu
(Information Science & Technology College,Northwest University,Xi′an,710069,China)オ
Abstract：Mobile robot navigation using path following has several weaknesses such as weak flexibility,high cost of maintenance and single function.Considering those disadvantages computer vision is proposed in mobile robot navigation using path recognition.First,the image obtained by vision sensor is processed in order to get the useful target,then the robot can comprehend the current path environment,second,the robot is controlled by the different movement module of straight or turning according to the results in the first step.The experimental results demonstrated the effective and robustness of the system.
Keywords：computer vision;mobile robot;path recognition;autonomous navigation
现代机器人技术在人工智能、计算机技术和传感器技术的推动下获得了飞速发展，其中移动机器人因具有可移动性和自治能力,能适应环境变化被广泛用于物流、探测、服务等领域[14]。移动机器人的核心技术之一是导航技术，特别是自主导航技术。由于环境的动态变化和不可预测性、机器人感知手段的不完备等原因，使得移动机器人的导航难度较大，一直是人们研究的重点[5]。
目前常用的一种导航方式是“跟随路径导引”[6]，即机器人通过对能感知到某些外部的连续路径参考信息做出相应的反应来导航。如在机器人运动路径上敷设金属导线或磁钉，通过检测金属导线或磁钉的特征信息来确定机器人的位置。从导航的角度看，这种方法的优点是可靠性较高，但功能单一，如不能在行进的同时对目标进行识别、避障，对环境的适应能力较弱、灵活性较差、维护成本较高，因此限制了其在移动机器人中的应用。
随着计算机技术、数字图像处理技术及图像处理硬件的发展，基于计算机视觉的导航方式在机器人导航中得到广泛关注[68]。在实际应用中，只需要在路面上画出路径引导线，如同在公共交通道路上画的引导线一样，机器人就可以通过视觉进行自主导航。相对于敷设金属导线、磁钉等方法，这种方法增强了系统的灵活性，降低了维护成本。视觉信息中包含有大量的数据，要从中提取有用的信息，需要复杂的算法及耗时的计算。如何保证视觉导航系统在正确理解路径信息的前提下仍具有较好的实时性和鲁棒性，是该方法要解决的核心问题。
1 视觉导航系统构成及工作过程
基于计算机视觉的移动机器人导航实验系统的硬件部分由计算机、USB接口的摄像头、LEGO实验用机器人组成。软件分为2部分，即图像处理和机器人运动控制。基于视觉导航的原始输入图像是连续的数字视频图像。系统工作时，图像预处理模块首先对原始的输入图像进行缩小、边缘检测、二值化等预处理。其次利用哈夫变换提取出对机器人有用的路径信息。最后，运动控制模块根据识别的路径信息，调用直行或转弯功能模块使机器人做相应的移动。整个工作流程如图1所示。
1.1 视觉导航的图像预处理
目前图像采集设备都具有较高的空间和灰度分辨率，精度高、数据量大。
实验中的原始输入图像是USB摄像头采集320×240像素的RGB格式图像，最大帧数30帧/s。
图像预处理的效果对后续哈夫变换检测路径信息的速度和准确性有很大影响。对整幅图像进行抽取时计算量过大、也无必要，故先将彩色图像转换为灰度图像，再将图像的大小依据最近邻域插值法原理[9]进行缩小以节约后续计算时间。在实验室环境下，经测试，将原始图像缩小到30%仍然能满足需要，处理时间缩短了72%。
图1 视觉导航系统工作流程
由于图像传感器从时间和空间上对介质(光)采样，其图像质量对现场的非均匀光场和其他干扰因素非常敏感，二值化时，不同光照条件下阈值的确定是一件比较困难的工作。目前常用的阈值选取方法有双峰法、迭代法和 最大类间方差法[10]。从执行时间和处理效果2方面考虑，对3种方法比较后(结果如表1所示)，在优先考虑实时性的前提下，选用双峰法来求取阈值。在实验室条件下，路径环境相对理想，黑色引导线与背景反差较大。在灰度直方图上，引导线和背景都形成高峰，对这2个峰值及谷底的求取也可简化，使用灰度级的最大值和最小值代替2个峰值，那么这2个峰值的中间值即可作为谷底用作图像的阈值。
ケ1 三种阈值选取方法执行时间比较
执行时间 /s阈值T
最大类间方差法31.534190
迭代法21.541145
双峰法0.006124
地面的反光和阴影，以及不均匀的光照都会导致同一幅图像的二值化效果表现出很大差别，图2和图3是对同一幅图像在不同光照条件下二值化的结果，可以看到在光照条件2下会出现大量的黑点，这些黑点将严重影响提取路径信息的速度并且可能导致错误的路径信息。然而，相对于灰度、颜色特征,边缘特征受光照影响较小[11]。为此，对缩小后的图像先进行引导线的边缘检测，边缘检测后图像中引导线边缘像素灰度的对比度得到增强，通过实验确定合适的阈值，然后对图像进行二值化以提取路径信息。
图2 光照条件1
图3 光照条件2
1.2 引导线角度检测
采用哈夫变换检测路径引导线的角度[12]。为了简单而又不失一般性，引导线分1条路径和2条相交的路径。当2条直线的夹角等于90°时即认为是两条相互垂直的路径。直线的哈夫变换利用如下直线的极坐标方程:
И
λ=xcos θ+ysin θ(1)
И
式(1)中，(x,y)表示图像空间xy中所有共线的点即图像中的黑点；θ表示直线法线和x轴的夹角，取值范围为0~180°；λ表示直线到原点的距离。И
2 视觉导航的机器人运动控制
机器人运动控制部分分为直行控制和转弯控制2部分。
2.1 直行控制
如果哈夫变换的检测结果表明是一条直线即机器人视野中只有1条主引导线时，则运行直行模块。实际中有2种情况需要考虑：一是机器人的初始位置不一定正对引导线，二是在机器人的机电配置中，左右轮子的马达运动不会绝对精确和对称。这些会使机器人在运动中出现侧偏。可采用下述方法进行直行控制：根据引导线在图像平面坐标中的位置来判断机器人的偏向。当引导线位于图像平面的左半边，说明摄像头的光轴与引导线不垂直且相对于引导线右偏，则命令机器人左转；当引导线位于图像平面的右半边，说明摄像头的光轴与引导线不垂直且相对于引导线左偏，则命令机器人右转；当引导线在图像平面两边均存在时，则命令机器人不偏转继续直行。机器人在前进过程中，根据图像平面中引导线位置不断调整方位，以一定的转动角度(转动角度尽量小，这样机器人的摆动幅度就会小)在直线路径上行走。
2.2 转弯控制
如果哈夫变换的检测结果表明是两条相互垂直的直线，即机器人的视野中出现转弯路口，则开始运行转弯模块。
机器人需要在距转角合适的距离处开始运行转弯模块，以保证机器人视野中始终具有引导线。如图4所示，AB段表示摄像头的纵向视野范围，C点为转角点，机器人需要知道自身在实际二维平面中相对于转角点C的距离即BC段距离。由图像信息获得现实世界坐标系中的参数，即所谓三维重建，这需要对基于计算机视觉的移动机器人导航系统进行摄像机标定。
鉴于移动机器人识别的引导线在地面上这一限制条件，并且摄像头固定在机器人上，可以选择机器人坐标系为世界坐标系，即世界坐标系与机器人同步移动。坐标原点为标定模板的左下角标定点的中心，Zw轴垂直地面，XwYw平面即为地面。在该坐标系下地面目标的坐标可以表示为(Xw,Yw,0)，П甓模板由直径5 mm、相距10 mm共72个圆点构成，如图5所示。
图4 转变示意图
图5 标定模板
移动机器人的摄像机标定问题，如果忽略因物面与摄像机光轴不垂直造成的非线性，则可归结为在二维世界坐标系中求变换矩阵M[13]。
И[HT6”]
X1Y11000-u1X1-u1Y1
000X1Y11-v1X1-v1Y1
…………
…………
XnYn1000-unXn-unYn
000XnYn1-vnXn-vnYn•m11m12m14m21m22m24m31m32=u1v1u2v2ぁぁunvn(2)
И
世界坐标系(Xw,Yw,Zw )，Zw轴垂直地面，XwYw平面即为地面，在该坐标系下地面目标的坐标P可以表示为(Xw,Yw,0)。式(2)中Xi,Yj (其中i=1,2,…,n,j=1,2,…,n)即为地面目标的坐标(Xw,Yw)。只要有4个标定点就可以求解该线性方程组，分别测得其在地面上的坐标(Xw,Yw,0)，再根据由图像处理的方法得到的图像坐标系中的像素坐标(ui,vj)(其中i=1,2,…,n,j=1,2,…,n)，即可求得变换矩阵M，M = ［m11,m12,m14,m21,m22,m24,m31,m32］T,其中m34=1。П浠痪卣M的元素取值受到摄像头俯仰角和架设高度的影响。在实验室条件下，本系统选取BC=13 cm时开始运行转弯模块。
在单目视觉的条件下，对于固定的俯仰角，为保证道路引导线不移出摄像头视野范围，必须控制机器人以一定的弧度转弯，即沿弧线路径执行转弯模块。要做到这一点，弧线的弧度必须选取合适。在转弯过程中需要根据机器人的位置不断调整机器人的运动速度和转动角度，具体过程如下：
(1) 找出图像中最后一行中点m的像素坐标(um，vm)，即摄像头视野最下方的中点，通过变换矩阵M将其转换为世界坐标系xyz中的位置(xm，ym)，z轴垂直于xy平面即地面。
(2) 找出图像中转角点t的像素坐标(ut，vt)，通过变换矩阵M求出其在世界坐标系xyz中的位置(xt，yt)。
(3) 以地面上转角点为圆心的世界坐标系定义为XYZ，Z轴垂直于XY平面即地面，求出弧线在此坐标系中的方程，(x-a)2+(y-b)2=r2，(a,b)表示在坐标系XYZ下弧线所在圆的圆心，r表示圆的半径。И
(4) 将xyz坐标系下的坐标点(xm，ym)转换到XYZ坐标系下，用坐标(Xm，Ym)表示，如图6所示。X轴与x的夹角为θ，XOY坐标系的原点O即为转角点t，则:
И
Xm=(xm-xt)cos θ Ym=(ym-yt)cos θ(3)
图6 坐标系转换
(5) Щ∠叻匠讨械y=Ym时，求得X，比较x与Xm，若Xm-x>0，则命令机器人左转；若Xm-x
本系统确定转弯弧的半径为20 cm，弧度为90°的弧线即可使机器人顺利转弯，机器人视野中始终保持引导线。
3 实验结果及结论
实验中选用的LEGO移动机器人，其运动速度为8.57 cm/s(指令设定Power=25 RPM)。导航场地中画有宽1 cm的黑色引导线，实验要求中机器人完全根据引导线自主运动。实验中，识别1帧图像并且机器人根据识别的路径信息运行直行或转弯模块共需0.311 s，即机器人每处理1帧图像移动2.67 cm。实验室中的光照条件是机器人移动时的主要干扰，而锐利的引导线边缘受光照影响较小，对这些干扰有较好的滤除作用。经过在阴天白天、晴天白天以及开灯和不开灯的情况下、晚上开灯的情况下、遮盖物位于摄像头上方50 cm处形成阴影情况下，机器人能正确的沿引导线移动。同时，当摄像头视野范围内引导线消失即认为出现障碍物，机器人能发出前方有障碍物的报警信息。
可见上面所述方法有较好的实时性和鲁棒性有一定的通用性，使得该视觉导航方法具有一定的应用价值。只要光照条件变化不是非常剧烈，在工厂、医院、办公楼等环境中，机器人根据路径引导线可自主到达目的地。
当然，由于移动机器人活动场景的复杂性和动态特性，以及视觉处理的复杂性，视觉导航还有很多需要解决的问题，例如当导航场地出现较大面积的强烈反光、极暗的阴影时能否有效可靠的进行移动机器人的导航控制，这需要进一步研究。另外，如何将视觉系统与本系统机器人平台中的超声波传感器、光电传感器及声音传感器在空间、时间及数据上进行融合以提高系统的适应性和环境识别能力也是一个研究方向。
参 考 文 献
［1］方强,谢存禧.基于视觉的移动机器人自主定位导航［J］.机床与液压,2004(7):4042.
［2］Siegwart Roland,Nourbakhsh Illah R.Introduction to Autonomous Mobile Robots［J］.Massachusetts Institute of Technology,2004:111.
［3］Gérard Medioni,Alexandre Francois R J,Matheen Siddiqui.Robust Realtime Vision for a Personal Service Robot ［J］.Computer Vision and Image Understanding,2007:18.
［4］,马旭东,戴先中.一种基于移动机器人视觉的实用数字识别方法［J］.制造业自动化,2006,28(5):3943.
［5］陆新华,张桂林.室内服务机器人导航方法研究［J］.机器人,2003,25(1):8087.
［6］张海波,原魁,周庆瑞.基于路径识别的移动机器人视觉导航［J］.中国图像图形学报,2004,9(7):853857.
［7］吴玉斌,曹广忠,徐刚.基于虚拟仪器技术的机器人视觉伺服研究［J］.机械科学与技术,2006,25(8):1 0051 008.
［8］董再励,郝颖明,朱枫.一种基于视觉的移动机器人定位系统［J］.中国图像图形学报,2000,5(8):688692.
［9］江巨浪.基于改进CatmullRom 样条的图像缩放算法［J］.计算机技术与发展,2007,17(4):211213.
［10］杨晖.图像分割的阈值法研究［J］.辽宁大学学报:自然科学版,2006,33(2):135137.
［11］陈锻生,刘政凯.彩色图像边缘特征及其人脸检测性能评价［J］.软件学报,2005,16(5):727732.
［12］陈震,高满屯,杨声云.基于Hough 变换的直线跟踪方法［J］.计算机应用,2003,23(10):3032.
［13］康晶,邹北骥,刘相滨.一种改进的摄像机内外参数初值计算方法［J］.计算机工程与科学,2007,29(1):5255.
作者简介
赵 瑜 女，1983年出生，陕西西安人，硕士研究生。主要研究方向为非接触测量与可视化计算。
种兰祥 男，1960年出生，陕西合阳人，西北大学信息科学与技术学院副教授，中国科学院西安光学精密仪器研究所博士研究生。主要从事非接触测量、光电子技术和可视化计算方面的研究。
关键词：计算机视觉；跟踪算法；综述；人数统计
中图分类号：TP391 文献标识码：A DOI：10.3969/j.issn.1003-6970.2013.03.003
0 引言
计算机视觉作为一门多学科的交叉领域，涉及图像处理、计算机图形学、模式识别、人工智能、人工神经网络、计算机、数学、心理学、生理学和物理学等。本文是对视频人数统计技术的综述，属于智能视频监控范畴。
由于智能视屏监控的挑战性以及其巨大的应用价值，越来越多的学校、研究所以及公司的研究人员投入到该领域中来。麻省理工学院、卡内基梅隆大学以及其他国外著名大学成立了专门的计算机视觉及多媒体方向的实验室；Nice和Object video等公司已经针对飞机场、国界线等应用场合开发了一些相应的智能监控系统。国际上的高级视频和录像（Advanced Videoand Signal-Based Surveillance）论坛每年都会举办PETS（Performance Evaluation of Tracking Systems）会议专门针对于人群行为分析，包括群体人数统计，人流密度估计；对单个人员以及群体中个体进行跟踪；特殊群体和特殊事件检测等。本文主要针对视频人数识别这个研究方向，从基于特征点、颜色与形状信息、模板匹配三种不同类型识别跟踪方式分析了近些年来国内外的研究工作及最新进展，通过对各种不同识别方法比较，对当前亟需解决的问题做了详细的分析。
1 人数识别研究现状
人数统计算法融合了运动物体检测、行人检测与分割、形状分析、特征提取和目标跟踪等多个领域的技术。从采用的手段来讲可以分为直接法和间接法：直接法（或称基于检测的），即首先在场景中检测出每个行人，再计数。第二种称为间接法（也称为基于映射或基于度量的），一般是建立场景特征与行人数量的函数关系来测算人数。在行人高度密集的场景中，间接法比直接法更加可靠，主要因为直接法无法有效分割每个行人，特别是在行人高度密集的场景中，从20世纪90年代起到目前为止这近20年里，出现了众多的视觉跟踪算法，1988年，Aggarwal和Nanadhakumar对运动图像分析算法进行了总结，将算法分为两类，一类是基于光流法的分析，另一类是基于特征点的分析，此后在视觉跟踪领域中，又出现了许多新的方法，目前，视频中人数的跟踪方法大致分为三类，分别是基于区域的跟踪、基于特征点的跟踪、基于模板和模型的跟踪，这种分类方法概括了目前大多数视觉跟踪算法，因此下面用这种分类方法对视觉跟踪算法进行介绍。
1.1 基于特征的人数识别
基于特征的人数跟踪算法选取目标的某个或某些局部特征作为相关时的对象，这种算法的优点在于即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务，另外，这种方法与卡尔曼滤波器联合使用，也具有很好的跟踪效果。这种算法的难点是：对某个运动目标，如何确定它的唯一特征集？这也是一个模式识别问题，若采用特征过多，系统效率将降低，且容易产生错误，文献对这一问题进行了讨论，在特征提取时，一般采用Canny算子获得目标的边缘特征，而采用SUSAN算子获得目标的角点信息。有关基于特征的跟踪算法还可参见文献。在2009年，Albiol使用角点个数作为场景特征来估测人数，首先通过Harris角检测器检测出图像角点，然后进行角点匹配以区分人身上的角点和背景角点，Albiol认为每帧总人数与人身上角点的个数成正比例关系，以此估测人数，算法虽然简单，但在PETS 2010“人数统计与密度估计”竞赛中取得优胜。2010年，Conte等“”基于Albiol的方法提出改进。采用的SURF（Speed up Ro.bust Feature）特征点以代替角点，同时，Conte等不仅考虑到特征点个数对人数估测的影响，还考虑到透视投影（拍摄距离d）密度人群遮掩（特征点密度p）对于估测的影响，同时对所有SURF点进行分组回归以提高精度，在这个基础上张茂军等相比Conte等的研究成果在处理远距离人群上精度提高，主要因为使用“非最大抑制聚类”——对不同拍摄距离的人群采取不同的聚类标准，有效解决远距离人群的类过大问题，提取人身上特征点的方法是在掩模上直接检测特征点，使得特征点个数更加稳定，有利于SVM预测。
1.2 基于区域的人数识别
基于区域的跟踪算法基本思想是：首先得包含目标的模板（Template），该模板通过图像分割获得或是预先人为确定，模板通常为略大于目标的矩形，也可为不规则形状；然后在序列图像中，运用相关算法跟踪目标，对灰度图像可以采用基于纹理和特征的相关，对彩色图像还可利用基于颜色的相关。
McKenna等首先利用色彩和梯度信息建立自适应的背景模型，并且利用背景减除方法提取运动区域，有效地消除了影子的影响；然后，跟踪过程在区域、人、人群三个抽象级别上执行，区域可以合并和分离，而人是由许多身体部分区域在满足几何约束的条件下组成的，同时人群又是由单个的人组成的，因此利用区域跟踪器并结合人的表面颜色模型，在遮挡情况下也能够较好地完成多人的跟踪。Marana等认为低密度人群在图像上体现出粗糙纹理特征，而高密度人群则体现出精细纹理特征。文献分别采用自组织理论和Minkowsld不规则维度理论从图像纹理特征预测人群密度。Lin等则结合Harr小波变换（HWT）和支持向量机（SVM）进行行人头部轮廓检测，从而达到人数统计的目的。文献利用颜色和形状信息实现人头的检测，包含两个步骤：黑色区域提取和形状分析。通过对HSV空间V通道的像素设置阈值这种方法有效地检测出黑色区域，同时可以少受光照变化和阴影的影响。使用一种基于形状描述的快速弧形结构提取方法实现人头检测。姬红兵等提出了一种基于局部特征的目标跟踪算法，通过多尺度分析方法，根据颜色和空间上的相似性将目标分割为多个区域，每个区域由一个团块表示，团块包含了该区域所有像素的颜色均值、形状和位置，根据团块特征构造目标的外观模型，定义团块的匹配准则，通过团块匹配进行目标跟踪。
1.3 基于模板匹配的人数识别
采用模板匹配识别跟踪方法首先将图像序列转换为一组静态形状模式然后在识别过程中和预先存储的行为标本相比较，
部分学者在运动前景提取的基础上使用了轮廓匹配方法对目标进行定位，文献使用了半圆模型搜索前景中人头肩所在位置，然后使用Snake模型与卡尔曼滤波相结合对目标进行跟踪目标，但Snake模型比较适合单目标的跟踪，当行人发生重叠时，定位精度会有一定的下降；在此基础上文献提出使用含有人harr特征分类器（使用头肩部上半身样本），对行人重叠情况下的检测精度有一定的提升。文献提出使用垂直摄像头降低行人之间的遮挡程度，通过对基于AdaBoost的人头检测本方法，建立一个良好的人头检测分类器。然后根据运动人头的特征去除误检区域。最后配合过线跟踪实现出入口人数统计。
2 视频跟踪问题中的难点
从上面的阐述可以看出，各种方法都有自己的优点和不足，是在文献基础上分析得到的几种具体识别方法的比较结果，由于各种方法在设定理想情况下都有较好的准确率，所以不对各种方法的准确率做出比较，而是从各种算法的复杂度、鲁棒性、先验知识需求、高密度复杂人群适应性（有遮挡出现）等方面进行相对的比较分析，分析结果如表1。
2.1 视觉跟踪问题中的难点
从控制的观点来看，视觉跟踪问题所面临的主要难点可以归结为对视觉跟踪算法在三个方面的要求，即对算法的鲁棒性、准确性和快速性。
鲁棒性是指视觉跟踪算法能够在各种环境条件下实现对运动目标持续稳定的跟踪。影响人数跟踪系统鲁棒性的最主要原因在于目标处环境的光照变化以及部分遮挡引起的运动目标不规则变形和全部遮挡引起的目标的暂时消失。当运动目标所处环境的光照发生改变时，采用图像灰度信息或色彩信息作为跟踪基础的视觉跟踪算法一般都会失效，而基于图像特征的方法往往不受光照改变的影响，如利用运动目标的边缘信息能有效避免光照变化对运动目标的影响，但在复杂环境中要将运动目标的边缘和周围其它目标边缘区分开来是非常困难的，遮挡问题是视觉跟踪算法中又一难点问题，利用单摄像机解决遮挡问题也一直是视觉跟踪领域中的热点。而利用多摄像机可以在很大程度上解决这一问题，但正如前所述，多摄像机的应用又会引入新的难题。
在视觉跟踪研究中，准确性包括两个方面，一是指对运动目标检测的准确性，另一个是指对运动目标分割的准确性，对运动目标检测准确性的目的是尽量避免运动目标虚检和漏检，从而提高对真实运动目标的检测概率。由于实际复杂环境中存在大量噪声。至今已经出现了上千种各种类型的分割算法，但由于尚无通用的分割理论，目前并没有一种适合于所有图像的通用分割算法。
一个实用的视觉跟踪系统必须能够实现对运动目标的实时跟踪，这就要求视觉跟踪算法必须具有快速性但是，视觉跟踪算法处理的对象是包含巨大数据量的图像，这些算法往往需要大量的运算时间，很难达到实时处理的要求，通常，简单算法能够实现实时跟踪，但跟踪精度却很差；复杂算法具有很高的跟踪精度，实时性却很差，一种通用的减小视觉跟踪算法运算量的方法是利用金字塔分解或小波变换将图像分层处理。
3 展望与结束语
3.1 展望
实现一个具有鲁棒性、准确性和快速性的视觉跟踪系统是当前视觉跟踪技术努力的方向。但视觉跟踪技术在这几个方面中每前进一步都是非常困难的，因为该技术的发展与人的感知特性的研究紧密联系在一起，由于目前对人的感知特性没有一个主流的理论，其数学模型更是难以建立。同时，在计算机视觉中大多数问题是不确定的，这就更增加了视觉跟踪技术发展的难度。但是，近几十年来，数学理论方面取得了巨大的进步，因此合理的使用在数学理论方面的知识提高系统的性能能够很好的解决视觉跟踪问题。例如现在已经应用在诸多领域的模糊算法，神经网络等提高系统性能，简化计算复杂度。
3.2 结束语
关键词：图像分割；阈值分割；Otsu算法
中图分类号：TP312
在图像处理、模式识别和计算机视觉领域，图像分割对于许多图像分析和处理的任务来说是一个基石。因为人们往往仅对图像中的某些部分感兴趣，所以希望将这些相关区域分离并提取出来以进行进一步的应用，如进行特征提取和测量。图像分割是解决此类问题的方法。图像分割是把图像分成各具特征的区域并提取出感兴趣目标的技术和过程。图像分割技术是一项计算机领域里的经典的研究课题，计算机视觉中的图像理解包括目标检测、特征提取和目标识别等，都依赖图像分割的质量。
因为分割质量的好坏将直接影响图像处理的后续工作的进行，所以对图像分割的研究一直是图像技术研究中的热点和难点之一。到目前为止已经出现了许多图像分割技术，如：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。其中阈值分割算法是应用在图像分割领域的最流行的技术。阈值分割是最早提出的图像分割方法之一，具有简单、快速的优点。阈值分割算法的基本思想是通过处于图像灰度取值范围之中的灰度阈值将图像划分成不同的区域，从而达到分割的目的，其中最常见的一种方法，是将图像划分为两部分，即前景和背景。阈值分割的关键是阈值的选取。阈值分割算法具有悠久的历史，并广泛应用于图像分析与目标识别等方面。常用的阈值分割算法有最小误差法、最大类间方差法、P-tile法、双峰法、灰度直方图凹度分析法、最大熵法与Otsu方法等。
在这些阈值分割算法中，Otsu法是最流行的方法之一。由于Otsu法拥有计算简单、实时性高、鲁棒性强等优点，所以被广泛使用。Otsu法是由日本人大津首先提出的，也称“大津阈值法”或“最大类间方差法”。该方法是基于图像中前景和背景两类别的可分离性提出的。在一些免费的或是商业的软件上，如GIMP或是MATLAB，都采用Otsu法来进行图像的自动阈值分割。在图像阈值分割中，确定最佳的阈值t*往往是基于估计的位置和散度。像其他的方法一样，Otsu方法采用取样的方式和样本分布的偏差来估计位置和散度。然而，如果这些图像的分布是非常倾斜的或是有异常数据等情况出现时，Otsu分割算法提供的结果通常不令人满意。为了解决这一问题，我们提出了一种基于中值的Otsu分割方法，并且它与原来的Otsu方法相比可以得到非常令人满意的结果。
假设在灰度值为L的灰度图像中，灰度值为i的像素个数用ni表示，总的像素个数用n表示；pi表示灰度图像中灰度值i出现的频率，则pi=ni/n。将图像中的像素按灰度值用阈值t分成两类，设为C0和C1，其中C0={0，1，…，t}，C1={t+1，t+2，…，L-1}。
则这两类像素出现的概率分别是：
ω0= pi= ω（t），ω1= pi=1- ω（t）
这两类像素出现的均值分别是：
μ0= i = ，μ1= i =
图像总均值表示为：
而且我们可以发现：
设ω0和ω1代表前景和背景的概率。μ0，μ1，μT表示前景，背景和整个图像的灰度值的平均值。设表示两类的类间方差，则
最终，最佳阈值t*为
传统的二维Otsu法是通过均值来确定最佳阈值，对于那些直方图呈双峰分布的图像，该算法具有十分优秀的分割效果。然而，因为均值的鲁棒性较差，若直方图是单峰的或是接近单峰的时候，亦或是有异常数据时会失败。
我们知道，当直方图的分布是倾斜的，或当有异常数据等情况出现时，中值比均值具有更强的鲁棒性。所以我们用中值来代替原式中的均值，以尝试获得更好的阈值和分割结果。
原式中的μ0，μ1，μT可以被中值m0，m1，mT所替代，于是在C0和C1的类间方差可以重写为
最优的阈值t*为
在验证本文的实验中，传统的Otsu方法和我们改进的Otsu方法都在Visual C++ 2008软件上进行测试，应用的计算机的CPU型号是AMD Athlon 7750 Dual-Core 2.7GHz，内存是2G RAM，系统是Windows XP platform。通过实验我们可以发现改进的Otsu方法得到的阈值分割的结果是令人满意的，而传统的Otsu方法得到的阈值分割的结果并不理想。
结论：在本文中，我们提出了一种基于中值的Otsu图像阈值分割算法。传统的二维Otsu方法对于双峰分布的直方图提供了令人满意的结果，但是，如果直方图是单峰的或是接近单峰时所得到的结果并不理想。我们知道，当直方图的分布是倾斜的，或当有异常数据等情况出现时，中值比均值具有更强的鲁棒性。在这样的情况下，我们用中值取代均值来进行背景和前景以及整个图像的Otsu法分割。与原来的Otsu方法相比，这种方法提供了更优的阈值和令人满意的阈值分割的结果。
参考文献：
[1]W Niblack.An Introduction to Digital Image Processing[M].Prentice Hall，Englewood Cliffs，NJ，1986：115-116.
[2]J Sauvola and M Pietikainen.Adaptive Document Image Binarization[J].Pattern Recognition，2000，33（2）：225-236.
[3]B Gatos，I Pratikakis and S J Perantonis.Adaptive Degraded Document Image Binarization[J].Pattern Recognition，2006，39（3）：317-327.
[4]F Moghaddam and M Cheriet.A Multi-scale Framework for Adaptive Binarization of Degraded Document Images[J].Pattern Recognition，2010，43（6）：2186-2198.
[5]C H Chou，W H Lin and F Chang.A Binarization Method with Learning-build Rules for Document Images Produced by Cameras[J].Pattern Recognition，2010，43（4）：1518-1530.
[6]Y T Pai，Y F Chang and S J Ruan.Adaptive Thresholding Algorithm：Efficient Computation Technique Based on Intelligent Block Detection for Degraded Document Images[J].Pattern Recognition，2010，43（9）：3177-3187.
[7]Chierr Hsing.Chou，Werr Hsiung Lin，Fu Chang.A binarization method with learning build rules for document images produced by cameras[J].Pattern Recognition，2010，43（4）：1508-1530.
【关键词】视频检索；信息融合；视频检索；运动目标；监控视频
一、引言
在计算机视觉领域中，视频图像中运动目标检测与分割是一个重要的研究课题，它是对视频图像做进一步处理、分析和理解的基础，在机器人导航、智能监控系统、交通监测、医学图像处理以及视频图像压缩和编码等领域有着广泛的应用。在许多监控场所，场景中的背景往往比较复杂，具体到每个像素点，其运动或为多模态或为单模态。数据规模的庞大和增长的快速是学术界和商业应用中关注的新热点，信息时代，数据结构日益繁杂，数据规模急剧膨胀。数据结构的繁杂体现在数据模态种类、模态间融合形式的多样化上，特别是有了用户的参与，数据内容更加丰富。
二、视频检索
视频检索就是在视频数据库中找到与查询相关的视频片段，由于视频具有复杂的层次结构并且其中存在着图像声音等其他多媒体信息，所以视频检索较其他类的多媒体检索来说更加复杂。目前国内基于视频媒体信息检索的研究还处于初级阶段，从各类文献检索较少找到相关的比较成熟的项目和论文，个别研究者只涉及了基于内容的视频媒体检索技术的一个或几个分支。
三、基于一种快速运动目标视频检索
这种动态的背景模型可以很好的适应光线的变化，缓慢移动的目标等，它最大的特点是可以处理由于背景的来回运动而灰度分布呈现多峰的情况。然而这种算法需要对每一个点都用一个模型来描述，在不降低检测结果的前提下提高实时性。具体做法是融入空间相关性和融入时间相关性。在视频图像背景区域固定不动时，常用的运动目标检测方法有光流法、相邻分差法和背景差分法。
四、基于关系代数的多模态信息融合视频检索
文本检索模块主要针对视频中包含的文本信息进行查询，它将自动语音识别得到的脚本信息，字符识别得到的画面文字信息和从视频解码中得到的字幕信息进行综合整理，并对应到相应的镜头，然后利用布尔查询方法针对查询处理得到的关键词在已建立的视频文本特征索引结构上进行查询。该模块利用W = TF ×IDF计算查询词在查询结果中的权重，并利用其计算每一个查询得到的镜头的置信度，按照置信度的值对结果进行排序，其中TF和IDF分别代表单词频率以及逆文档频率。
五、基于直方图熵差的镜头检测方法
直方图熵差作为镜头检测度的镜头检测方法，使用连续帧间熵差检测突变，使用隔帧熵差扩大渐变效果，使用滑动窗口法计算出适应阈值可同时进行突变和渐变镜头的检测，使用最大熵确定分段全局最佳阈值消除滑动窗口法局部极大值造成的误捡。镜头边界检测的基本思想是通过比较视频序列的帧间差异来寻找镜头边界变化的规律。基于直方图方法不使用像素位置信息，只是考虑像素亮度和颜色的统计值，这样就降低对噪声和运动的敏感性，是目前最常用的镜头检测方法。
六、视频多特征的综合检索方法
基于内容视频检索还要解决多种检索手段相结合的问题，以提高检索的效率。对于单一特征检索手段，由于其约束信息不足，在返回目标视频的同时往往会返回大量其他也满足此检索要求的视频。采用多个检索手段相结合的方法无疑可提供更多的约束而使得返回视频中目标视频的比率得到提高，但检索手段间的融合是所要解决的问题。
七、结束语
基于运动目标的监控视频检索是一种基于对象的视频检索方法，通过对监控视频的分析获得运动目标，以运动目标为对象提取特征，在一定程度上提高了检索准确率。该方法具有一定的实用性，为警方在监控视频中查找嫌疑车辆或嫌疑人员提供帮助。基于内容的视频检索是当前信息检索的研究热点，它以图象处理、模式识别、计算机视觉、图象理解等领域的知识为基础，从认知科学、人工智能、数据库管理系统及人机交互、信息检索等领域，引入新的媒体数据表示和数据模型，实现对视频数据的有效检索。
2013年全国大学生创新创业训练计划立项项目（2013XKCX209）。
参考文献：
[1]张静，俞辉.一种多模态信息融合的视频检索模型[J].计算机应用，2008，1.
[2]张丽花.基于内容的视频媒体信息检索方法及框架研究[J].硕士不也论文，2009，4.
【关键词】年龄估计、图像处理
【中图分类号】TP75【文献标识码】A【文章编号】1672-5158（2013）02-0170-01
1 引言
人脸年龄估计是计算机视觉领域和图像处理领域的重要研究课题，一直受到诸多研究人员的关注。所谓人脸年龄估计就是根据人脸图像提取年龄特征，采用计算机技术进行相关处理分析，自动判定人脸图像年龄的计算机视觉技术。人的年龄是一个随时间变化的长期的过程，在人的外部表现比较明显，如：人脸轮廓的变化、人脸皮肤的变化等，随着年龄的增长，人脸外貌会产生很大变化。
2 人脸年龄估计的方法分类
人脸年龄估计方法根据不同分类标准可分成不同的类别。多数分类是根据提取的特征进行的，可以分成三类：基于局部特征的人脸年龄估计方法，基于整体特征的人脸年龄估计方法，局部特征和整体特征相结合的人脸年龄估计方法。本文根据年龄估计发展历程进行分类：基于概率模式的方法，基于年龄函数的方法，基于年龄模式子空间的方法和其他新方法在年龄估计中的应用四类。
2.1 基于概率模式的方法
Hayashi等人[2]研究了基于Hough变换的皱纹纹理和人脸图像肤色分析的年龄和性别识别，由于主要采用皱纹特征进行分析统计，加上同龄男女皱纹相差巨大，所以精度不高。Lga等人开发一个用于估计年龄和性别识别的系统[3]，采用Gabor小波提取脸部特征，用支持向量机做为分类器进行年龄估计，得到较好效果。Lanitis等人[3]提出了一种定量的年龄分类器评估方法，可以合理而准确地估计未知人脸的年龄，但其人脸库中的图像仅限于 0～30岁，很难进行整个年龄段的年龄估计。
概率模型方法是最早使用在年龄估计中的一种方法，早期进行年龄估计主要是通过一些简单的特征如纹理的数量、颅骨的形状比例、颜色信息等进行统计分析，得出这些特征与年龄之间的简单关系，仍后根据这些关系进行年龄分类。这种方法简单、计算量小，但是估计精度不高，没有什么使用价值。
2.2 年龄函数方法
Lanitis et al [5]提出了第一个真正的年龄估计算法（年龄函数法），他们的年龄估计模式是采用一个年龄函数：通过对个人不同年龄的人脸图像进行训练，从而得到一个确定的二次年龄函数。实验结果表明，这种方法对年龄估计十分有效。
胡斓，夏利民在文献[6]中提出了基于Boosting RBF神经网络得到年龄估计函数的方法，文中首先用NMF方法提取人脸特征，然后用径向基函数神经网络RBF（Radial Basis Function）逼近的方法，确定一个人脸图像特征与相应年龄之间的估计函数。樊莉静和张建明提出了一种基于局域二值模式LBP与SVM回归相结合的年龄估计方法。张建明[4]于2010年又提出了提出了一种基于优选LBP与加权SVM回归相结合的年龄估计方法。
实验表明年龄函数方法要比基于概率模型的年龄特征分类方法性能要好，主要是基于概率模型方法没有考虑年龄变化的独立特征。但是年龄函数也有其缺陷：第一，采用二次函数表示人脸随年龄变化的规律主要是凭经验，没有理论证明；第二，年龄函数没有很好的应用人脸随年龄变化的时序特征；第三，训练的年龄函数是单独的个人年龄函数，而不同人的人脸随年龄变化差异巨大；第四，待估计年龄的人脸图像的年龄函数只是通过已知年龄函数的线性组合，而不是从某个模型生成年龄函数。
2.3 子空间模式方法
子空间模式方法主要有三类：线性判别分析，非负矩阵分解算法和年龄模式子空间。线性判别分析是一种常用的子空间分析方法，它通过最大化样本类间差异，最小化样本类内差异，提取最具判别能力的低维特征，属于有监督的学习方法。高峰等人提出一种基于Gabor特征和模糊线性判别分析（模糊 LDA）相结合的人脸年龄分类方法。
Xin Geng等人先后提出了一种基于子空间的自动年龄估计方法年龄模式子空间AGES（Aging Pattern Subspace），AGES是单个人的人脸图像在时间序列上的排列。在单个年龄模式中所有的人脸图像都必须是一个人的，所以一般的年龄模式都是不完整的。
子模式空间方法比年龄函数方法性能要好，它的优点表现为：它很好的应用了人脸随年龄变化的时序特征；有相应的理论基础；可以构建完整的年龄估计模型用于人脸年龄估计。但该方法的缺点是计算量大，很难应用于实际。
3 结束语
人脸年龄估计是人脸识别领域的一个新的研究方向，近年来已经成为一个研究热点。由于发展时间不长，所有存在很多问题需要解决，首先是需要建立比较完整的人脸年龄估计图像数据库，其次是寻找好的预处理方法和年龄特征提取方法。并且人脸年龄估计技术的发展在推动社会发展方面起着重要作用，并对其他技术有一定的促进作用。在今后的工作中，我们要努力需找图像预处理方法、年龄特征提取方法和分类模型用以提高年龄估计的精度。
参考文献
[1] H.K.Young，V.L.Niels， “Age Classification from Facial Images，”Proceedings of IEEE Conf.on Computer Vision and Pattern Recognition. Seattle， Washington，U. S.A，1994：762-767
[2] J.Hayashi，“Age and Gender Estimation Based on Wrinkle Texture and Color of Facial Images，” Proceedings of the 16th International Conference. 2002：405-408
[3] Lanitisa， Taylorc，Cootesytf，“Toward automatic simulation of aging effects on face images”IEEE Trans on Pattern Analysis and Ma chine Intelligence， 2002，24 （4）： 442-445
[4] Jian-Ming Zhang，Fang Fang，Li Chen，Feng Qing-Yang， Xiao Liu，“Age estimati on based on selected local binary and weighted support vector machine，”Application Research of Computers，Vol.27，No.1 ，Jan.2010
Abstract:There are three stages about the development of video monitoring system, simulative video surveillance system, digital video monitoring system and digital control system, and the intelligent video surveillance system is the future and hope of video monitoring system. Intelligent video analysis technology is the key technology of intelligent video surveillance, the core of changing passive surveillance into active identification.
关键词:视频监控系统,智能视频分析系统,智能视频分析技术
Key words:video monitoring system; intelligent video analysis system; intelligent video analysis technology
中图分类号:TP27 文献标识码:A文章编号:1006-4311(2010)17-0097-02
0引言
俗话说“百闻不如一见”,视觉信息在人类活动所涉及的信息中占据的比重最大,而且由于其空间和结构特性使其不能为任何其他信息所替代。智能视频监控(IVS,Intelligent Video surveillance)技术源于计算机视觉(CV,Computer Vision)技术,作为人工智能(AI,Artificial Intelligent)研究的一个分支,是一项新兴的安防技术,有着广阔的发展前景。智能视频监控技术是指利用计算机视觉的方法,在不需要人为干预的情况下,通过对视频序列进行实时自动分析,实现对目标的定位、识别和跟踪,并在此基础上进行行为分析,以达到完成日常管理和对异常情况预警的目的。基本的智能视频监控系统主要由视频数据采集、视频数据编码、视频数据传输以及视频数据分析处理和异常行为报警等部分组成。进入21世纪以来,国际反恐斗争的形势日趋严峻,智能视频监控作为安防系统的重要组成部分,广泛应用于各种公共场所和大型活动之中。我国的智能视频监控技术也在“平安城市”项目、奥运安防和上海世博会安防等各行业安防项目的强劲刺激和拉动下,进入了蓬勃发展阶段。
1智能视频监控的发展历程及研究现状
近三十年来,视频监控系统的发展经历了模拟视频监控系统、数字视频监控系统、全数字化监控系统(网络摄像机和视频服务器)三个阶段的演变,得到了巨大的发展。
1.1 模拟视频监控系统早期的视频监控是以摄像机、监视器(电视机)组成的纯模拟的视频监控系统,称为闭路监视系统。随后出现了视频切换设备,闭路监视系统加入多路视频切换、摄像机云台/镜头控制和报警联动等数字控制功能,实现了数字控制的模拟视频监控系统,称为第一代视频监控系统。
1.2 数字视频监控系统20世纪90年代中期,以DVR(Digital Video Recorder)为代表的第二代视频监控系统出现在视频监控市场上,大大提高了用户对录像信息的处理能力。DVR使用户可以将模拟的视频信号进行数字化并存储在硬盘而不是盒式录像带上。用户还可以通过DVR控制摄像机的启闭,从而实现移动侦测功能,对于报警事件以及事前/事后报警信息的搜索也变得十分简单。
1.3 网络视频监控系统进入21世纪以后,随着网络带宽、计算机处理能力和存储器容量的迅速提高,以及各种实用视频信息处理技术的出现,视频监控进入了全数字化的网络时代,称为第三代视频监控系统,即全数字视频监控系统或网络数字视频监控系统。然而由于作为监控者的人类自身生理上的弱点和视频监控设备在功能和性能上的局限性,使得各类视频监控系统均不同程度存在精确度差、报警不及时、误报和漏报等现象,以至系统的安全性和实用性得不到保障。因此,能够每天连续24小时实时智能监视,并能够自动分析摄像机捕捉的图像数据,当异常发生时又能向保卫人员准确及时地发出警报的智能视频监控系统应运而生,这样即可以有效预防犯罪发生,同时也减少了雇佣大批监视人员所需要的人力、财力和物力的投入。随着计算机视觉技术的不断发展和计算机处理能力的迅速提高,智能视频监控系统以其快速从海量视频信息中自动分析和抽取关键信息的优势,迅速占领国内外安防市场。
2智能视频监控系统的关键技术及优势
所谓智能视频监控,就是指采用智能视频分析算法,利用计算机视觉技术对视野范围内的目标进行行为的分析和内容提取,当发现符合某种规则的行为(如越界、游荡、滞留等)发生时,自动发出提示信号,采取特定对应措施(如声光报警、移动监测并记录)或通知监控人员进行人工干预等。作为智能视频监控的关键技术,智能视频分析技术可分为动态视频目标检测定位、动态视频目标跟踪、动态视频目标分类识别、行为理解与描述、异常事件分析等部分。
动态视频目标检测技术是智能视频分析的基础,主要是指通过监控画面识别目标区域的图像变化,从监控场景中将目标提取出来。主要方法是背景减除法、时间差分法、光流法、特征检测法等。动态视频目标跟踪是指结合物体的外表和运动特性,实现对不同形状、颜色、不同背景的目标进行识别的技术。常用的方法有基于运动估计的跟踪、基于特征的跟踪、基于主动轮廓的跟踪等。动态视频目标分类识别包含目标的识别、目标行为模式的分析、目标的状态分析等。行为理解与描述是最具挑战的研究方向,因为观察人的最终目标就是分析和理解人的个人行为、人与人之间及人与其它目标的交互行为等。近年来,利用机器学习工具构建人行为的统计模型方面有了一定的进展,但特征选择和机器学习仍然是行为理解的难点。主要方法是状态空间法和模板匹配方法。异常事件分析报警则是智能视频监控的主要目的,是视频监控智能化的必然要求。智能视频监控系统较于以往的视频监控系统有很大的优势,它在很大程度上弥补了普通智能视频监控系统的缺陷,变被动监控为主动识别。智能视频监控系统的优势很明显,如全天候可靠的视频监控,减少了人为因素造成的误报、漏报,将监控人员从"目不转睛"和主观的分析判断模式中解放出来。通过智能视频分析模块对监控画面的自动分析,实现对异常事件的主动编码、报警和保存。提高报警精度和响应速度,前端设备集成强大的数字图像处理功能,并运行高级的智能视频分析算法,使用户可以更加精确的定义安全威胁的特征,识别可疑活动,在安全威胁发生之前提示监控人员提前做好准备,并根据实际情况驱动预案生成和执行。智能视频监控还可以有效的扩展视频资源的用途,将视频资源应用到非安全领域中,如大型活动的人数统计、重要人物身份识别等。
3智能视频监控系统的应用及发展方向
智能视频监控系统的应用主要分为两大类:安全相关类应用和非安全相关类应用。安全相关类应用主要是在安防系统中。伴随重大政治、经济、体育活动的增加,恐怖袭击的频繁发生,市场上对此类应用的需求不断增长。主要包括:高级视频移动侦测(Advanced VMD)、物体追踪(Motion Tracking)、人脸识别(Facial Detection)、车辆识别(Vehicle Identification)、非法滞留(ObjectPersistence)等。目前,智能视频监控系统已经在高端的安防市场有了多年应用,如在机场、监狱、军事基地和其他大型基础设施中。以机场为例,它的周界太过分散,监控人员无法完全监控到所有周界。这时,智能化的监控系统就可以充分展示它的才能了,它能够自动探测在某些特定场所和时间内进入或离开某一区域的可疑物体。除了安全相关类应用之外,智能视频监控系统还可以应用到非安全相关类应用当中。这些应用主要面向服务和零售行业,可以看作管理和服务的辅助工具,有效提高服务水平和营业额。这类应用主要有:人数统计(People Counting)、人群控制(Flow Control)、注意力控制(Attention Control)和交通流量控制(Traffic Flow)等。例如一些宾馆或商场大堂的监控录像可以通过人数统计功能,计算客流量和销售情况;通过人脸识别等功能加强对VIP客户的服务,智能视频监控系统自动识别VIP客户的特征,并通过客服人员及时做好服务工作,有效提高工作效率和工作质量。
目前,大部分智能视频监控系统的核心算法仍然掌握在欧美等先进国家,并迅速形成了相对成熟的产品应用于安防系统中,如美国的Vidient、ObjectVideo,以色列的Mate,日本的NICE等。据IMS Research调查显示,世界范围内IVS(Intelligent Video System)的市场占有率为35%~36%,其中美国的OV(Object Video)就占有了9%左右。在国内,智能视频监控也得到了长足的发展,如中国电信“全球眼”、中国网通“宽世界”、中国铁通“智控眼”等品牌,大多面向行业用户开展,市场收入不菲,竞争越来越激烈。2008年奥运会和2010年上海世博会更是使智能视频监控系统得到了广泛的应用和发展。
4结束语
综上所述,智能化是视频监控发展的必然趋势,智能视频监控系统正受到越来越多的关注,需求量也在不断增加。虽然,目前仍存在许多问题,如:图像质量问题、安全检查问题等。但随着智能视频分析技术的不断发展,各种硬件费用的降低和通信运营商的投资发展,智能视频监控系统将得到更广泛的应用和发展。现在,它已完成了2008奥运安防的重大使命,也将为2010的"平安世博"保驾护航。
参考文献:
[1]郭瑞霞, 吴运新,宋跃辉.智能跟踪视频监视系统研究[J].电视技术, 2006,(2):74-77.
