运动目标检测与跟踪算法的研究
2021-11-17
来源:爱go旅游网
第37卷第1期 河北联合大学学报(自然科学版) Vo1.37 NO.1 20 1 5年1月 Journal of Hebei United University(Natural Science Edition) Jan.2015 文章编号:2095—2716(2015)01~0065~06 运动目标检测与跟踪算法的研究 刘晓悦,孟妍 (河北联合大学信息学院,河北唐山063009) 关键词:运动目标;检测与跟踪;Mean Shift算法 摘 要:运动目标检测与跟踪的算法一直以来是计算机视觉领域中的核心课题,也是智能视频 监控中的关键技术。它主要是包含了图像处理、模式识别、人工智能等领域内的成果。着重研 究运动目标检测与跟踪的算法l_1 ,并通过编程实现方法的有效性。在运动检测方面,主要应 用的算法包括背景差分法、帧间差分法以及光流法,指出了这些算法的优缺点以及适用范围。 在运动目标跟踪方面,主要研究了特征匹配跟踪算法中的Mean Shift算法口 。 中图分类号:TN911.73文献标识码:A 0引言 运动目标跟踪隶属于运动图像序列,它是计算机视觉领域热点研究方向之一。动态图像即视频,主要指 一组图像在时问轴上的有序排列,是二维图像在一维时间轴上构成的图像序列。运动目标跟踪的基本任务 就是从包含有运动目标的图像序列中检测、识别和跟踪运动目标,达到理解、预测出运动目标的行为目的,从 而完成计算机视觉中更高层次的任务。一个视频监控系统可以分为四个功能单元_6],分别为:目标检测、目 标跟踪、目标分类以及目标行为识别。目前很多行业都应用运动目标的检测,如自动装配线中检测零件的质 量,并对零件分类;现代战争中对导弹等军事目标进行实时检测与识别,提高对未来指挥系统的性能;环境保 护中可以实现对水质的监测和防护作用。运动目标检测、跟踪作为视频监控的主要研究内容,其不但具有重 要的实际意义,而且对计算机视觉的其他领域有着重要的推动作用。本文针对于运动目标的检测与跟踪主 要是研究了几大算法,其中在运动目标的检测方面主要分析了背景差分法、帧间差分法以及光流法,并且分 析了它们在目标检测方面的优缺点。运动目标跟踪方面主要应用的方法为Mean Shift算法。 1运动目标检测算法 运动目标检测就是把感兴趣的运动目标点同背景或者不感兴趣的目标区分开的方法。最常用的方法 有:背景差分法、帧间差分法、光流法等。差分图像算法就是将视频不同帧的图像进行灰度化处理,再将处理 好的两帧图像相减,得到二值图像来进行目标检测的算法。一般有两种途径实现差分图像算法:一种是当前 图像与背景图像之间进行差分也叫做静态背景下的目标检测,另一种是相隔左时间的俩帧图像之间进行差 分也叫帧差法目标检测。两种方法之间各有优劣,静态背景法计算量小响应速度快但它不适应灰度变化较 大的检测环境也就是光照条件变化明显的环境,但大多数检测环境条件相对稳定所以背景差法的应用也很 广泛;帧差法一计算量稍复杂但是响应速度也能满足要求,而且由于夕的时间间隔取的非常小所以不存在静 态背景法对环境的灰度值的苛刻要求,应用也非常广泛。 1.1背景差分法[1 得到背景图像的方法共有两种,一种是在己知背景另一种是统计背景法。已知背景法顾名思义是在进 收稿日期 :2014—05—26 66 河北联合大学学报(自然科学版) 第37卷 行差分运算前就己知要处理视频的背景;统计背景是在未知视频背景的情况下,通过对连续几帧的图像进行 灰度化处理,再将这些灰度图像相叠加,通过中值滤波的方法得到的图像便可作为背景图像。背景差分法的 计算方法是将有运动目标的图像同背景图像做减法,通过形态学滤波等方式,对得到的二值图像去噪获取运 动目标的轮廓。方法的难点在于对图像进行灰度化处理的时一候要克服噪声的影响,在进行差分得到二值 图像的时候要设定好阈值,阈值过大将导致运动目标不能区分;阈值过小将导致降低检测的精度。基本思 想就是:第一通过背景建模得到背景模型;第二将采集到的视频序列中的每一帧图像与相同背景图像行差分 运算;第三,得到的差分图像经过二值化处理得到。如果差分图像中的某一像素点大于阈值,那么就认为是 运动目标的像素,否则认为是背景像素。其中公式l_1。 如下所示 D (z, )一I-厂 (z,Y)一b (z, )l R ( ,y)---(1) Iu 6ackground 1 forPgr。“ D k , >丁] z, )≤Ti (2) 背景差分法的原理图可以如图表示: 视 .1 撇援婊 I 颥 腰 妞访r——一1 l点, ● 慷 序 厂1 。 广1置伍帕 舞I 五,,l一,I 卜一 图1背景差分法腺理图 背景差分法是目标检测领域内一种常用的方法。它是用两幅图像相减,而且是当前帧图像与背景图像 相减。这种算法的优点是原理相对简单,容易编程实现,反应速度较快,能满足基本的检测要求。但是所采 集到的背景图像会因为时间的推移,受到外界天气或者光线等因素的干扰,因此可能会出现很多伪目标点从 而降低目标检测的准确性。这种差分法的关键是静态背景的提取,可以要求跟踪的视频提供真实的背景或 者通过学习方法构建虚拟的背景。 1.2帧间差分法 帧间差分法是运动目标检测中应用得较多的一种方法。其最基本的原理是将视频序列中的连续两帧图 像_厂 (z, )和厂 一 (z, )进行相减,然后进行图像平滑去噪得到差分图像D (z,Y),如式 D女( , )一l-厂 (z,3J)~f女一 (z, )I (3) 再判断差分图像中每个象素点的值,当差分图像中一个象素点的值D ( ,Y)小于某一预先设定的阈值 T的时候,则认为此象素是背景象素,反之就认为这个象素是目标象素。这样,就可以根据象素值的变化来 确定目标R (z,Y)。如公式 R (z,v)一Io 6ackgroun 1 foregr。“ d D (z,3, >T1 D k(x,y ) ̄T ● j (4) 其中原理图为 碰镬 像 翻 序 臀hI E'l 西 。1 。 壤Hr]jL仉帕 列 | |l—1. 图2帧间差分法原理图 这种算法的优点是原理简单,程序设计难度低,容易编程实现,但是帧与帧的间隔时间比较短的时候,对 第1期 刘晓悦,等:运动目标检测与跟踪算法的研究 67 背景的运动和亮度的变化有一定的抑制作用。这种算法把较短时间间隔的部分图像检测出来,容易出现“空 洞”和“重影”的现象,因此会造成检测目标不准确,甚至会对运动慢的目标检测不出来。 1.3光流法 光流法也是一种很经典的运动目标检测算法。光流概念是由Gibson在1950年首次提出[2 ,它在计算 机视觉、三维运动分析中有很重要的作用。当人眼观察运动物体时,外界的景象在人眼的视网膜上产生一系 列连续变化的图像,这一系列连续变化的信息不断“流过”视网膜,好像一种光的“流”,故称之为“光流”。光 流场是由Horn和Sehunck 20]于1981年首次提出,创造性地将二维速度场与灰度相联系,引人光流约束 方程,以灰度梯度基本不变或者亮度恒定的约束假设为基础的目标检测方法。人们基于不同的理论提出多 种光流计算方法,算法性能各有特点,但基本思想保持一致。光流法的基本思想是:对图像中的像素点都需 要赋予一个速度矢量,这样便形成了一个图像光流场;在运动图像的某一特定时刻,像素点投影到三维物体 上的点;然后根据各个像素点的速度矢量特征来动态的分析图像,如果光流矢量在整个图像区域是连续变化 的,那么表明图像中不存在运动目标;如果运动目标所形成的速度矢量不同于邻域背景速度矢量,而且可以 检测出运动目标的具体位置和相关运动参数,那么就表明目标相对与图像背景是运动的。基于光流法的运 动目标检测是建立在光流方程的基础之上的,它的处理结果将完全依靠光流场计算的精确度。基于光流不 但可以涵盖运动目标的信息,而且还包含场景三维结构以及目标运动的相关信息,所以这种方法可以省去预 先知道图像的任何信息,不仅可以应用于静止背景和动态背景下的目标检测,而且可以直接应用于运动目标 的跟踪。总的来说,光流算法不仅能够得到运动目标的位置信息,而且能得到速度信息,在计算出各帧光流 场的情况下,能实现对运动目标速度和位置的跟踪,但是该算法计算量大,需要特殊的硬件的支持,而且对噪 声比较敏感,在跟踪中的遮挡问题也是较难解决。因此,我们经常采用背景差分法以及帧间差分法来实现实 时的检测。 2运动目标跟踪算法 运动目标的跟踪算法是智能视频监控系统的关键技术。视频运动目标的跟踪不仅可以提供目标的运动 状态和轨迹,也可以为分析运动、场景的理解、检测突发事件或者行为理解提供可靠地数据来源。与此同时, 运动目标的跟踪对目标检测和背景模型更新提供了反馈的作用。 2.1 基于Mean Shift的目标跟踪算法[1印 基于Mean Shift的目标跟踪算法是隶属于特征匹配跟踪算法。它是将一个点通过迭代计算移动到周 围点的平均值处的算法,它在移动数据点的过程中,展现了数据中隐含的概率密度分布。因而,它可以应用 于聚类、模式搜寻、概率密度估计以及跟踪等方面。 2.1.1 Mean Shift原理[ ~。] 假设C是一个包含有N个数据点的集合,那么每一个数据点z 属于D维的欧式空间X。如果令z ( , )代表着核函数,它表征数据点 z 在均值点估计计算中的权值。在集合C中,核函数在各个数据点的 样本均值m可以由以下的公式得到 一 ㈤ 我们称差值 (z)一 为Mean Shift向量。接下来,a2被计算得到的 (z)代替,持续迭代,直到值优 ( )一z时中止。其中,点序列z、 (z)、 ( (z))、被称为X的轨迹。 从上面的算法描述中可以看出,核函数的选取对于Mean Shift算法的收敛性和快速性均有重要影响。 核函数的一般形式可以表述为: (z)一z( z l I) (6) 其中z(Il z l l) 需要满足一定的性质: 68 河北联合大学学报(自然科学版) 第37卷 首先 (ff X I )f 其次 (』i J )f 再者 (1i l )f 需要是非负的函数,即 (1 lz ) ≥O; 需要是非增函数,即假如 < ,则 (z)≥ ( ); 需要是分段连续的函数,且满足』 (-z)dx<C×3。 在Mean Shift算法中,比较常用的核函数分为三种:单位均匀核函数(平顶核函数)、单位高斯核函数以 及具有最小平方差的Epanechnikov核函数。分别为: 单位均匀核函数: 一 ) ㈩ (8) 单位高斯核函数: (z):e一 I iEpanechnikov核函数: (z)一}【专cd ( +2)( 一ll z l!)ll 【l< 1 o j (9) 其中C 是单位d维空间球体的体积。 2.1.2 Mean Shift与目标跟踪 Mean shift[19 用于目标跟踪的思路分为以下三步:第一,跟踪目标的模型需要采用颜色概率密度来表 示;第二用颜色密度匹配来对目标进行跟踪;第三使用Mean Shift算法来预估颜色概率密度以及目标位置。 按照这样的思路,算法的第一步就是对跟踪目标进行表述,建立目标的颜色概率密度模型: 令 表示中心位于0点的模型像素点位置,然后通过离散的m维颜色直方图来表示目标颜色分布。 假设模型大小经过规范化处理,那么核半径,一一1。颜色“在模型中的概率可由下面公式得到: q 一C∑ : (i 1z } )I (6(z )一 ) 其中b(z )表示在 点处的颜色集合,C是规规化常数即: (10) C一[∑ 一 z(1 l述: l )]-。 l(11) 核函数z(z)通过数据点到区域质心的距离大小来确定该点的权值。那么下一步对搜索区域进行表 令 表示以y为中心的搜索区域的像素点的位置,颜色 在搜索区域中的概率户可以表示为: P ( )=C ∑ (fI JI。) (6( )--U) (12) 最后,通过颜色概率密度匹配来确定跟踪目标的位置,匹配需要使用Bhattaeharyya系数』D: 10(10( ),q)一∑ uk;1 ̄/l0 ( )q 得到使得p取得极大值的 ,此时y即为跟踪目标的位置。 那么基于Mean Shift的运动跟踪目标的实现步骤为 (13) 计算数值.0越大,表明目标与搜索区域的颜色概率就越接近。对运动图像中的搜索区域进行上述处理, 在上述算法的过程中,得到新位置中的是包含于一个初始化的区域中的点,该区域大小与有关。时,令 的目的在于更新跟踪目标的位置。与此同时最后一步为控制算法的循环,如果计算得到的目标位置与上次 的位置非常接近,那么便可以终止算法。 2.1.3 Mean Shift算法的优缺点 Mean Shift算法可以快速的处理简单的视频跟踪,因为每次的迭代计算仅需要处理搜索区域内的像素 点。虽然Mean Shift算法在某些简单情况下能够获得较为想的跟踪效果,但是实际应用中,目标颜色的单 一性以及目标和背景环境颜色区别明显这些假设一般是不成立的,因而会限制它的应用。因此我们有必要 对该算法进行改进,需要充分利用它的快速性,但与此同时需要增强该算法的鲁棒性。 第1期 刘晓悦,等:运动目标检测与跟踪算法的研究 69 3结束语 本文主要阐述了视频运动目标的检测与跟踪的算法,在目标检测方面介绍的三种算法背景差分法,帧间 差分法,光流法各有各的特点,平常主要是应用前两种。在运动目标跟踪方面主要就是应用了Mean Shift 算法,通过分析它的优缺点,在以后的应用中应扬长避短,运用它的快速性增强它的鲁棒性。 图3基于Mean Shift跟踪算法实现步骤 参考文献: [1] Wu Qiying,Li Cuihua Novel method for moving maritime objects detection.2007,43(14):213—216. ●[2] A.W:Smith,M.K Teal,E Voles.The statistical characterization of the sea for the segmentation of maritime imagesI C].Conference on Vid— eo/Image Processing and Muhimelia Communications,2003,489—494. [3] Claudio M.Prifitera,Lawrence W.Stark,Algorithms for Defining Visual Regions—of-Interest:Comparison with Eye Fixations.IEEE Trans— actions On Patern Analysis and Machine Intelligence,2000.22(9):970—982. 李智勇.沈振康,杨为平等.动态图像分析[M].北京:国防工业出版社,2011. 任明武,曹雨龙,杨静宇等.复杂条件下的船舶目标检测的图像预处理[J].计算机工程,2000(1O):68—70. 程淑红.动态图像目标跟踪算法研究[D].秦皇岛:燕山大学,电气工程学院,2011. 周颢.复杂背景下的运动目标分割和识别的关键技术研究[D].上海:上海交通大学,2004. 王劲松.序列图像运动检测研究及不变矩方法在船只识别中的应用[D].合肥:中国科技大学,2002. H.Schneiderman.A Statistical Approach to 3D Object Detection Applied to Faces and Cars EJ].2000. 王琨.基于视频的运动船只识别与跟踪技术研究I-D].厦门大学,2009. Jaesik Choi.Realtime On—Road Vehicle Detection with optical Flows and Haar—like feature detector[R].A final report of a course CS543 (Computer Vision,prof.Li Fei—Fci).2006. [12] 李弼成,彭天强等.智能图像处理技术[M].北京:电子工业出版社,2004.07. 70 河北联合大学学报(自然科学版) 第37卷 [13]彭艳芳.视频运动目标检测与跟踪算法研究[D].武汉理工大学,2010.05. [14]张广超.动态图像的自动跟踪和识别技术研究[D].太原:中北大学,2008. [153王江涛.基于视频的目标检测、跟踪及其行为识别研究[D].模式识别与智能系统.2007. E163岑银.智能视频监控中运动目标跟踪技术研究[D].成都:西南交通大学,2010.05. [17]沈庭芝,方子文等.数字图像处理及模式识别[D].北京理工大学出版社,2012. [18]付永会,张风超,张宪民.一种改进的基于颜色直方图的实时目标跟踪算法[J].数据采集与处理,2001,09(16):309—314 [193张东亚.结合改进的SIFT特征匹配方法的运动跟踪算法[D].上海:上海交通大学,2010.05. E2o]裴巧娜.基于光流场法的运动目标检测与跟踪技术[D].北京:北方工业大学,2009. The Research on Detection and Tracking Algorithms of Motion Objects LIU Xiao—yue,MENG Yan (College of Information Engineering,Hebei United University,Tangshan Hebei 063009,China) Key words:motion obj ects;detection and tracking;Mean Shift Abstract:The detection and tracking algorithm of motion obj ects is one of hotspots in the field of computer vision.It’S also the key intelligent technology of video surveillance system.It con— cerns the research results of many fields such as image processing,pattern recognition and artificial intelli— gence,and SO on.This thesis is mainly done some researches on the detection and tracking algorithm of video motion obi eets.In terms of motion obj ects detection,three common approaches in this field of mo— tion obj ect detecting are analyzed including background subtraction,temporal differencing and optical flow. Then their relative merits and main application range are pointed out.In the motion obj ects tracking as— pects,focuses on introducing the Mean Shift tracking algorithm,which belongs on tracking algorithm based on feature matching.