红外图像目标检测技术的研究

筇一帝红外成像心踪的从蛐土¨识温度目前一般限制在１１５０．１２００Ｋ，相应的尾喷口处的排气温度在非加力状态下一般在８５０．９００Ｋ左右。如果经过涡轮后的燃气进一步作加力燃烧，则喷口山的排气温度可达１８００．２０００Ｋ［３１。在波长五＜５，ｕｒｎ的辐射范围内，飞行马赫数Ａ如＜２时Ｉ｛Ｉ机的蒙皮的辐射不起重要作用，但是当Ｍａ，２时。飞机紫皮承受相当程度的气动加热，几乎在所有的红外波段内都有很强的辐射。但是，即使Ｍａ＜２时，在８—１４ｐｍ的￡ｌ：外波段内，飞机蒙皮的红外辐射在整个飞机红外辐射中占有极为重要的比重。２．４背景辐射背景辐射是一个红外系统必然会接受到的辐射，背景辐射在探测器上形成的辐照度有时会比目标形成的辐照度高好几个数量级，而且变化复杂，因而了解背景辐射的特点，对提高红外图像目标检测的性能具有十分重要的意义。典型的背景有天空、地面和海洋等。晴空条件下，天空辐射主要由两部分组成：大气分子及气溶胶粒子对太阳光的散射和大气分子自身的辐射。实验和理论计算表明，对阳光的散射和大气分子的辐射在光谱分布上是有差别的。对阳光的散射主要分却在波长小于３，ｕｒｎ的短在晴空条件下，散射形成的天空亮度具有如下特点：●在散射区（旯＜３ｐｍ），光谱曲线并不足一条理想化的黑体ＩⅡＩ线，而是具有由水汽等的强吸收带造成的波带状结构。这导致红外图像上的散利造成的背景像素灰度的降低。·散射的亮度随观测的仰角而变化，因为和水平面构成的仰角增加时，光线路径缩短，教射阳光的大气分子数也随之减少，从而造成散射的亮度－６．波范围内；而大气辐射由于大气本身温度较低（有效温度在２００．３００Ｋ内），因而在小于４／ｔｍ的波长范围内辐射量很小。天空辐射可以认为是上述两利ｓ辐射的叠加，这种辐射在３．４／ｏｎ波段内出现极小值，在３，ｕｒｎ以下的短波部分以散射为主，而在４／ｔｍ以上的波段范围内以大气辐射为主。第一章红外Ｊ戍像州踪的ＪＩｉ；础ｌＩＪ识减少。·散射亮度随阳光的商低角而变化。一般术【』Ｉ＝，太｜ｊ｜１奇低角火时，敞剁兜度大１３】。·散射受大气温度的影响很小。大气辐射受气象条件的影响很大。在晴朗的天气条ｆｔ：下，大气温度对大气辐射亮度有着明显的影响。可以把睛窄大气辐射粗略的看成黑体辐射，因而温度也就成了决定性的因素。在有云的情况下，形成云团的水汽一般来醯对红外辐射灶很好的吸收体。具有一定厚度的云团，对红外线的吸收率很高。对低空多云的天空的测量表明【３１’此种辐射可以近似地用相当于环境温度正负几度的黑体辐射水表示，但也可能在５－８朋范围内有某种·波带状结构。由于本课题主要是研究天空背景下的红外目标如飞机、导弹等的检测的ｎＵ题，因此地面和海面背景的辐射特点在此处不做过细的讨沦。如需要了解这方ｉｉｆＩｉ的知识，可以参考相应的文献１３，４ｌ。２．５小结本章针对红外成像跟踪的几个基本问题进行了介绍；成像光学模型、成像亮度模型、目标和背景的红外辐射特点。通过上面的分析介绍，我们可以对以天空为背景的红外图像的特征作出一些概括。·目标像素由较为明亮的发动机、喷¨、尾焰和相对较暗的目标轮廓组成·有云区域的红外图像变得暗淡，无云。ＥＬＮ朗的区域｝ｂ于大气散射的作用，成为红岁｝图像的亮的区域，甚至超过目标的亮度。●背景像素的灰度构成红外图像的基调。一方面由于背景辐射可以近似地看成温度变化范围较小的黑体辐射，另一方面，山于背景辐射的景物尺寸、分布的关系，导致红外图像的另一个重要的特点：背景成像面积大，边缘模糊，次度梯度非常小，整幅图像的纹理信息很少。·对一个特定的红外成像系统，图像狄度主要取决于景物的辐射量。可以认为在短的时间问隔内，景物的辐射特性不会做太大的改变。从而导致同一景物在相继较短的时问内成像像元灰度的变化很小。筇．带妇外成像＊Ｕ踪的Ｊ－Ｉ础㈨识图２．３是一幅典型的天空为背景的红外图像。图Ｉｆｌ有一个飞机目标，从图·Ｉ·可以明显地看到飞机的发动机喷１３和尾焰的亮点。暗区域是有云区域，而明亮的区域主要是由大气散射所造成的。图２．３以天空为背景的红外图像．８－塑兰！！堡堡苎塑塑堡一一一——第三章目标运动的描述日标在空间作三维运动，跟踪装置则根据目标的年日对运动信息去不断的跟踪曰标。成像跟踪装置是把目标的相对运动信息变换成图象特征后而工作的。在本章，我将介绍在图像空间中的目标运动的描述。３．１目标平移时，像点的二维坐标运动设目标的空间的三维坐标为（Ｘ，Ｙ＇ｚ），ＸＹ平面与图像平面平行，图像平瓶与系统焦平面重合。图像平面二维坐标为（ｘ，ｙ），原点为Ｆ。系统焦距为ｆ。Ｐ１（Ｘ１，Ｙ１，Ｚ１）‘ＹＰ（ＸＪＹ，ｚ）一～～～二＝二、、～～．、、，．。－／ｘｆＦ／乏／．ｐ（ｘ，Ｙ：＿－一蠢ｘ１，ｙｌ。１『ｙ图３．１空间目标在图像平面上的位置目标点Ｐ（ｘ，Ｙｚ）对应的像点为ｐ（ｘ，ｙ），从图３．１可以看出二者的坐标之洲有下列关系：喜：尝：姜ＸＹｚ（３—１）在ｋ和ｋ＋ｌ两个相邻时刻，目标点Ｐ的位置移动量为：以＋ｌ＝以＋Ａ，ＹＩＫ＋，＝Ｋ＋ＳＹ｝（３－２）乙＋ｌ＝ＺＩ＋△ｚＪ相应的像点的移动量为潍羔捌∞，，ｙｋ＋ｌ＝ｙｋ＋△∥ｌ箱－审Ｈ标运动的描述山以上三式可以导出Ａｘ＝ｘｋ＋ｌ－Ｘｋ＝—ｆＡｉＸ矿－ｘｋＡＺＡＹ：Ｙｋ，Ｉ－－ｙ。＝糌（３—４）目标作平动和转动时，像点的二维坐标运动目标在空间的任意运动可以描述围绕某一穿过坐标原点的轴的转动和三维［誊‘］＝Ｒ［萎：］＋（薹］ｃｓ—ｓ，＿２＋（１一‘２）ｅｏｓＯ＾吒（１－ｃｏｓ０）一ｒ３ｓｉｎ８ｒ，ｒ３０一ｃｏｓ０）＋ｒ２ｓｉｎＯＲ＝ｒｊｒ２０－ｃｏｓａ）＋ｒ３ｓｉｎＯｃ＋（１一ｒ］）ｃｏｓＯｒ２ｒ３（１一ｃｏｓ０）－ｒｌｓｉｎＯ（３—６），Ｉ巧（１一ｃｏｓＯ）一ｒ２ｓｉｎＯｒ２ｒ３（１－ｃｏｓＯ）＋ｒ１ｓｉｎ０芬＋（１一ｒｆ）ｃｏｓＯＲ＝（；：秽一ｊ；≥］ｃ。一，，△Ｚ’：丝｛ＡＸ’：—ＡＸ—ＡＺ△ｌ，。：坚（３—８）△Ｚ三：三△Ｚ假设△Ｚ≠Ｏ３．２上式中，Ｒ为三维转动矩阵Ｂ１，式中，ｒｌ、ｒ２、ｒ３为目标转动轴的方向余弦，０角为ｋ、ｋ＋ｌ两帧之间的转动角。第：幸口标运础的描述则可以推导出像点的移动量表达式为Ａｘ＝（ｆｒ３Ｙｋ—ｆｌｒ２一ｒｚｘｊ＋ｒｌｘｋｙｋ碡嗄ｋ＋ｆ＆Ｘ一心ｌｘｋ—ｒｌｙｋ？蛇ｋ七露ｋ七？ｆ△。：二！二丛叠±』！垒±丛：罂±丝孥ｉ±丝！：壁！ｉ一（ｒ２ｘｋ—ｆｌＹｋ）ＯＺｋ七，ｚｋ＋ｆ（３—９）第¨章¨标枪测披术艄介第四章目标检测技术简介根据目标在图像上所占像素的多少，目前红外图像目标检测有两个十分热门的攻关课题：红外点目标检测和面目标检测。当目标距离传感器非常遥远时，ｆｆ标在像平面上仅呈现为一个亮点，因此被称为红外点目标检测。目标与传感器逐渐接近时，目标在图像平面上的像也逐渐增大。当目标在红外图像上的像增大为斑块状时的目标检测就称为面目标检测。本章主要介绍面目标检测技术。对面目标的检测也就是对红外图像的分割问题。虽然许多研究人员已经提｝ｌ｛了许多具有一定针对性的行之有效的方法，但目前对红外图像目标检测仍无统一·的理论框架，也没有一种具有强鲁棒性、普适性的红外图像目标检测方法问世【７Ｉ，也不存在一个判断检测是否成功的客观标准。传统的红外图像目标检测方法可分为基于统计的检测方法、基于灰度直方图的检测方法（闽值法）、基于边缘检测的目标检测方法。最近也有人提日ｊ基于模型的方法和基于运动的方法。此外，各文献中的检测方法并４；是绝对的，多数文献中往往结合多种方法来解决目标检测的问题。４．１基于统计的目标检测方法从统计学出发的图像分割方法把图像中各个像素点的扶度看做具有一定概率分和的随机变量，观察到的图像是对实际物体做了某种变换并加入噪声的结果：Ｇ＝矿∞（Ｆ）扣Ｎ（４—１）式中Ｆ表示实际景物，Ｈ表示涂污（ｂｌｕｒ），≯表示非线性变换，Ｎ表示噪声，ｏ表示ＪｊＨ．ｚ．噪声的方式，可以是加性噪声、乘性噪声等。由上式可见，从Ｆ得到Ｇ是唯一的，但反过来从Ｇ得到Ｆ却是典型的没有唯一解的结构不良问题。因而从观察到的图像中恢复实际物体或Ｊ下确分割观察到的图像，从统计学的角度看就是要找出最有可能即最大概率的该图像的物体组合来。从Ｂａｙｅｓ定理的角度看，第叫章ｔＪ标检测技术简介ｉ＇Ｊｃ足要求…』Ｃ有最火厉验概率的分们Ｊ。以上＝“ｆ，川ｌ≤ｆ≤Ｎｌ，ｌ≤Ｊ≤Ｎ２｝来表示一个ＮｌＸＮ２的图像网格，以Ｘ２｛ｘｕ）表示一个离散取值的随机场。随机标量ｘ．，可取图像狄度值集合Ｇ中的一个，以ｘｉｊ表示ＸⅡ的一个特定值。定义一个图像中的邻域系统叮＝｛吼Ｉ（ｆ，，）∈Ｌ｝满足条件：对任意两个像素点Ｘ，Ｙ，若ＸＥＹ。，则Ｙ∈ｘ。，如通常所晓的删邻域、八邻域等。用Ｃ表示一个基于卵的像素点小集合，其中的任何两个像素点都棚互属于另一个的邻域，用ｃ表示Ｃ中的元素，即Ｃ中的一个像素点。有了上述定义后，可以定义统计方法－十Ｊ最常用到的马尔科夫随机场（ＭＲＦ）：ｐ（ｘ。＝ｘ，，Ｉｘ。，＝坼，，（女，，）≠（ｆ，，）ｐ沁，＝＿ＩＸ，。＝％，ｊ（４—２）该随机场中的变量符合下式所示的Ｇｉｂｂｓ分布：Ｐ（Ｘ＝ｘ）＝专Ｐ。“”，Ｚ＝∑ｕ（ｘ）（４—３）厶ＪＥ“上式中，Ｕ（ｘ）是能量函数。使用ＭＲＦ模型进行图像分割的问题包括：邻域系统叩的定义，能量函数的选择及其参数的估计，最小化能量函数从而获得最大后验概率的策略。其它的基于统计的方法有：标号法、混合分柿法等。标号法将图像与分割成的几个物体个各以一个不同的标号来表示，对图像中的每个像素，用一定的方法赋之以这些标号中的某一个。标号相同的像素就组成该标号所代表的物体。混合分布法把图像中每一个像素灰度值看作是几个概率分４ｔｉ（通常是高斯分仃）按一定比例的叠加，通过优化基于最大后验概率的目标函数来估计这几个概率分布的文献［１０】介绍了基于标号法的同时进行运动估计和图像分割方法。文献［１３，１４］介绍了基于马尔科夫随机场的标号法。统计法易受到背景噪声以及背景条件（如图像对比度等）的影响，从而难以保参数和叠加的系数。证良好的检测效果。另外，统计方法的计算过于复杂，也是其难以在实时系统中获得应用的一个重要原因。第心章Ｈ杯检测投术简介４．２基于灰度直方图的检测方法基于灰度直方图的检测方法也就是闽值法，基本思想足简·尊的刚一个或儿个阈值将图像的灰度直方图分成儿个类，并认为狄度值在同一个扶度类的像素属于同一个物体。这也是研究的较多、应用范围较广的一个目标检测方法。闽值法的关键是阙值的选择问题。文献【８】提出Ｎ，ｒｒＪ评价函数的阈值选择算法。基于最大熵原则选择闽值是最重要的闽值选择方法之一，最近也有人提Ⅱ｛基于最大相关性原则的阈值选择方法¨７Ｊ，基本思想足定义一个最大相关性原则以取代最大熵原则。更多的闽值选择方法可以参考相关的文献Ｉ“，１５，”朋，增】。阈值法的缺点是仅仅参考了图像的灰度信息，而忽略了图像中的空浏信息，对于图像中不存在明显的次度差异或各物体的灰度值范围有较大重叠的图像分割问题难以得到准确的结果。同时，如第二章所述，红外图像中目标和背景的灰度变化非常复杂，目标和背景都可能含有从最暗到最亮的像素，而且日标本身的亮像素和暗像素灰度相差非常大，这导致了阂值法在红外图像目标检测中难以取得较好的结果。因此实际应用中通常是将几种算法结合起来。下面介绍一个将直方图检测方法和统汁思想结台起来的实例１２ＡｏＪ。系统采用波门跟踪。Ｅｌ标检测时，首先将跟踪窗口（波门）划分为三个区域：背景区ＢＲ、尾焰区ＰＲ和目标区ＴＲ，如图４．１所示。图４．１跟踪窗口中有背景点、尾焰点及目标点。对某一帧图像ｋ，设背景区、尾焰区和目标区的并假定：（１）背景区中只有背景点；（２）尾焰区中有背景点及尾焰点：（３）目标区归一化直方图分别为＾产（ｘ）、＾∥（ｘ）和联”（石），并定义：＂，蚺ｌＪｔｌ带埘标检测控术简介ＰＲＩｌ一的７ｆ景点数“尸尺中的总点数。ＴＲｑｌ的背景点数’豫中的总点数（４—４）豫中的尾焰点数７豫中的总点数根据前面的假设，可以得到如下的关系ｈｆｆ（ｘ）＝硭（ｚ），ｌ∥（ｘ）＝口硭（ｘ）＋（１一口）蹦’（ｚ）（４—５）向：”（ｘ）＝∥而？（ｘ）＋ｙ＾：（ｘ）＋（１一∥一旯）矗：…；ｎ糍ｐ＝ｍｉｎ硒ｈｆｆ丽（ｘ）（４—６）一；ｎ糍在统计分析中，应考虑背景对直方图的影响。线性估值器为Ｈ（ｋ／ｋ）＝ＷＯＨ（ｋ／ｋ—１）＋（１一ｗ）‰（ｘ）（４—７）线性预测器为：Ｈ（ｋ＋１／ｋ）＝２Ｈ（ｋ／ｋ）一Ｈ（ｋ—ｌ／ｋ—１）（４－８）上两式中，Ｈ（∞）表示用第ｊ帧的采样密度函数ｈｊ（ｘ）（即上述的直方图）得到第最后，利用Ｂａｙｅｓ分类器，将（４．７）、（４．８）两式得到的背景、尾焰和目标的直式（４—５）中，彬（ｘ），《’（ｘ），联（ｘ）分别为背景、尾焰、目标的归一化直方图。口、∥、，的满意估值为：ｉ帧的密度函数的学习估值；Ｗ为加权系数，表示背景对密度函数学习估值的影响。当ｗ＝Ｏ时，没有学习效果，表示背景无影响，预测器用测试的直方图。当背景变化较快时，采用较小的Ｗ值；当背景相对稳定是，可以增大Ｗ值。方图估值（醪Ｏ），彬（ｚ），彤０））进行分类，从而确定像素ｘ的归属（背景、尾焰、目标）。分类器为：第叫章Ｉ，杯枪测技术阳介当Ⅳ？（ｘ）＞Ⅳ：（工），Ｗ（ｘ）＞Ⅳ？（ｘ）ｉｔ４，ｘ为背景像素当Ｈ？（ｘ）＜Ｈ：（ｘ），Ⅳ？‘（ｚ）＞Ⅳ：’（ｘ）时，ｘ为Ｈ标像素（４—９）当Ⅳ？（ｘ）＞Ⅳ？（ｘ），Ⅳ？（ｘ）＞Ⅳ：。（ｘ）时，ｘ为尾焰像素４．３基于边缘检测和基于模型的目标检测方法边缘检测方法可以况是人１ｉ＇Ｎｆ究得最多的方法…１，几乎每一本关于图像处理的教科书上都有介绍。该方法的基本思想是利用边界区域具有较高的梯度值的性质找出边界，进一步找出目标从而实现对目标的检测。一般来讲，判断边缘点的依据是图像一阶导数的极值和二阶导数的过零点。根据检测边缘所采用的方式的不同，边缘检测方法大致包括以下几类：基于局部图像函数的方法、图像滤波、多尺度／多分辨率方法、基于反应－扩散方程的方法和基于边界曲线拟合的方法等。基于模型的红外图像目标检测方法是近几年发展起来的一种目标检测方法。传统的目标检测只用红外图像的灰度信息或只用图像的边缘信息，这样有人提Ｕ：新的想法：除使用图像的原始狄度值外，再使用一些额外的信息，是否能提高目标检测的性能？这些额外的信息可以是比较底层的信息如边沿，也可以是比较高层的信．ｅＡｒＮ纹理、时域特征等【２’Ｉ。基于模型的检测方法正是在这一思想的指导下提出来的一种红外图像目标检测方法。这种方法要求先要对红外图像建模，然后在模型域进行目标检测的工作。文献『２１，１９，２０］介绍了一个基于灰度和梯度的针对前视红外图像（ＦＬＩＲ）的模型。考虑一个简单的情形：设图像有Ｎ个像素，分别属于元类或无类，对应于亮目标和暗背景。通过松弛迭代使得某一像素属于两个类别的概率分别的趋向于０和ｌ，从而实现像素的划分。详细的基于模型的检测方法可参考文献［２１，２２］。第五章罐卜生动运曲协讨的红外恻象Ｉ－１标榆铡第五章基于主动运动估计的红外图像目标检测第四章介绍的红外图像目标检测方法，都有一个共同的特点：都是基于单帧图像处理的技术——或者使用图像的灰度信息，或者使用边缘信息，或者使刚商层的特征信息（如文献【７］介绍的基于模型的检测方法使用了Ｇａｂｏｒ特征ｉ．ｑ量）。在实际的红外成像跟踪系统中，数掘源是红外图像的时间序列。红外图像序列ｒ卜Ｉ包含着丰富的运动信息：背景物体的运动、目标的运动、成像传感器的运动以及搭载成像传感器的平台（如飞机或导弹）的运动。基于运动估计的检测方法『Ｆ是对红外图像序列中的运动信息建模，并用一定的估计标准估ｉ．ｔ＇，ｉｌ运动参数，从而在运动域进行目标检测的工作。关于基于运动估计的目标检测方法在第六章详细的介绍。主动运动估计时我针对红外成像跟踪系统的特点而提出的一个新的ｅ．１：ｔｓｌ－图像目标检测方法的设想。像素灰度值的变化并不能给出确定陔像素的二维运动向量的充分条件，这就是所谓序列图像运动估计中的病态或欠条件（ｉｌｌ—ｐｏｓｅｄＯｒｉ１１．ｃｏｎｄｉｔｉｏｎｅｄ）．ｘ难题１２３１。解决病态问题的主要方法是通过先验知识来增加限制条件。关于详细的病态问题的解决方法可以参考文献［２４】。另一方面，如图１．１所示，红外成像跟踪系统中，信号从成像传感器到伺服机构，都是单向流动的。我们注意到误差信号处理器驱动的伺服机构的动作，对系统来讲是完全可知的。如果在目标检测阶段引用这一知以，将有助于解决运动ｆｉＤｉ，Ｉ坤的病态问题，并可以减少运动估计过程中的计算量，提高运动估计的准确度。主动运动估计正是在这一思想的指导下提出的一个设想。５．１系统介绍与第一章介绍的红外成像跟踪系统相比，新的红外成像跟踪系统主要的不同点是增加了两条如图５．１中粗的虚线箭头所示的信号传输线路。一般来讲，平台和成像传感器之问有相对运动，因此完全定义成像传感器的运动需要知道平台的运动参数和成像传感器相刘。ｌ王台的运动参数。前者可以通过划·系统进行自身运动轨迹建模ＩⅢ得到，后者，，Ｊ。以从洪差信号处理器向伺服机构抛供的信息中，获手导。－一－一ｐ一一－一一一一一一一－一一＿●＿…一一●一１塑蔓堡些！：：！：生堡塑笪｝！塑塾竺鬯墨！竖！塑一１图像处理系统图５．１改进的成像跟踪系统５．２传感器运动分析传感器被安置在平台上，共有三种情况：平台静止、传感器绑定在平台上并随着平台运动和传感器在随着平台运动的基础上还有棚对平台的运动。由于运动具有叠加性，在分析是可以只考虑传感器的运动。下面用在第二章介绍的摄像机成像模型来分析传感器的运动。图５．２摄像机运动示意图ａ．平动ｂ．转动三维空间中的运动有平动（ｔｒａｎｓｌａｔｉｏｎ）和转动（ｒｏｔａｔｉｏｎ）。对成像系统而苦，还有一类特殊的运动：系统焦距的变化，我称这种运动为放缩（ｚｏｏｍｉｎｇ），指焦距增大或减小时，同一个物体在焦平面上的像也会相应地增大或减小。其中平移运动可以分解为水平方向。ｈ的平动（ｔｒａｃｋｉｎｇ）、垂直方向的平动第五章壮十土动运动估Ｈ的宝ｊ＿外瑚象目标榆测（ｂｏｏｍｉｎｇ）、沿光轴方向的｜ｊｉ『进或后退的运动（ｄｏｌｌｉｎｇ）三种。转动可以分解为绕ｍ直坐标轴ｏｙ而在水５严面上ＸＯＺ的转动（ｐａｎｎｉｎｇ）、绕ｏｘ轴而在ｙｏｚＪｔ嘶上的转动（ｔｉｌｔｉｎｇ）和绕光轴ｏｚ的旋转（ｍｌｌｉｎｇ）三种。如图５．２所示。放缩运动包括放大（ｚｏｏｍｉｎｇｉｎ）、缩小（ｚｏｏｍｉｎｇｏｕｔ）喇ｌ俨５１。５．３传感器运动对红外图像的影响本节根据在第二章介绍的成像光学模型，来讨沦传感器运动对红外图像的影响。和第三章描述的运动景物在静止的像平面上的运动规律相反，本节主要讲述传感器（摄像机）运动时静止物体在像平面上的运动舰律。从式（２—２）可知，影响像素亮度的因素除一些系统性能的参数之外，最主要的就是物体的辐射强度了。在较短的时问内（如连续两帧图像），物体的温度等辐射特性不会做太大的变化，从而可以认为，在一定的时间内，同一物体的像的亮度是相同的。这是所有的对图像序列进行运动估计的最基本的假设。５．３．１平动考虑到如图３．１和图２．１所示的成像光学模型。假设图３．１中，摄像机的平移量为（Ａａ－，ＡＹ，ａｚ），即坐标原点０平移到了（ＡＸ，ＡＹ，ＡＺ）。则对于静ｌＪ：的景物点来讲，相当于景物点Ｐ从（Ⅳ，ｙ，Ｚ）平动到了（Ⅳ一削，Ｊ，一△Ｊ，，Ｚ—ＡＺ）点。根据式（３—１），新的像点的坐标为ｚ—Ａｚ、‘ｙ。＝矗（Ｙ－ＡＹ）ｘ‘＝南（ｘ一从）（５—１）实际的系统中，摄像机的运动量是非常小的，即ｌ等｛＜＜ｌ，从而式（５－１）可以简化为下式：第五案躺‘Ｊ二ｊ＝动运动估汁的红外｜耋Ｉ缘Ｈ标榆测ｘ’＝善ｘ十号（半一硝一警ｘ）（５一１）ｙ’＝ｚｆ＿＿ｙ＋ｚｆ。（ＡＹｚＡＺＡＹＡｚＺｙ）从而可以得到像点的运动量为缸：』．ｆ坐墨一鲥一ＡｚⅣ１ＺＩＺＺＪ（５—２）妙＝甜ＡＹｚＡＺＡＹＡｚＺ·ｙ］一般来讲，传感器的平动距离非常小。并且，由于红外成像传感器的视场都比较窄晦２６１，有ＩｘＩ，ｆＹＩ＜＜Ｈ。因此，式（５—２）所示的像点的运动向量的Ｉ幅度二｛Ｅ常小，可以忽略不计，或者可以进一步近似为：缸Ｉｌ吖＋（５—２）缈＝叫‘＜趟一ｘ吖一ｙ＋心一ｚ越一ｚ、●／、●／５．３．２摄像机焦距的变化设焦距出ｆ变为厂‘＝厂＋矽，同一静止景物的像的移动量为：．缸：ｘ蟠Ｚ。（５—３）缈＝差Ｖ即像点的位移量为心１ＩＸＩｌ≈●Ｘ（５—３）妙＝Ⅳ～，矿一厂ｙ＝七●ｙ从上式可以看出，放缩运动（摄像机焦距的变化）在图像上的影响是：以图像中心为坐标原点，各像素沿径向以相同的放大序数进行放大或缩小。笙曼翌些！．！：塑鉴些堡！生塑丝竺型塾旦丛塑型Ｌ————————————一５．３．３转动前面介绍过，转动共分为三种情况。对于Ｒｏｌｌｉｎｇ运动，由于光轴没有变动，因此比较简单。设摄像机绕光轴按右旋方向旋转了角０，则像点在像平而一Ｉ二绕光轴左旋了角０，从而可以得到耨像点（ｘ。，ｙ’）和原像点（ｘ，ｙ）的关系为（ｙｘ＇．／Ｊ（Ｌ—ｃｏ。；ｓ。Ｏ口。ｓ。ｉｎ。Ｏ护／ＶＬｙｘ］ｃｓ—ａ）时于Ｐａｎｎｉｎｇ和Ｔｉｌｔｉｎｇ运动，情况比较复杂。首先要确定坐标系的旋转方式，假设光轴ＯＺ沿大弧旋转到球坐标（１，妒，护）处的ＯＺ’，如图５．３所示。二ｚ．ｅＬ。露。０如，一：Ｘ、、、．ｙ＇图５．３摄像杌坐标轴的旋转即整个坐标轴绕图中的ｘｏｙ平面上的直线Ｌ旋转角度０，直线Ｌ是亚Ｉ面ＺＯＺ的过原点的垂线。则可以推导出坐标系ｏｘｙｚ和ＯＸ—ＹＺ’之ＩｈＪＩ约转换关系为Ｘ＝（ｃｏｓＯｃｏｓ２６ｐ＋ｓｉｎ２妒ｋ‘＋（ｃｏｓｇ，ｓｉｎ‘ｏｃｏｓ０－ｃｏｓｃｐｓｉｎｔｏ）Ｙ‘＋ｓｉｎ曰ｃｏｓ妒ｚ‘Ｙ＝ｃｏｓ妒ｓｉｎｄｐｃｏｓａ．ｃｏｓ·ａｓｉｎ妒）ｘ’＋（ｃｏｓ口ｓｉｎ２妒＋ＣＯｓ２妒）Ｙ‘＋ｓｉｎＯｓｉｎ妒ｚ’（５—５）Ｚ＝－ｌｅｏｓ妒ｌｓｉｎ（Ｏ）Ｘ’ｑｓｉｍｐｌｓｉｎＯＹ’＋ｃｏｓ０Ｚ‘在实际的跟踪系统中，通常转角臼很小，例如对一个４５。／秒，ｌｆＩ！；ｉ率５０／秒的系统，两Ｉ帧之阳Ｊ的转角０为０．０１５７ｒａｄ。因此ｓｉｎＯ“０，ｃｏｓ＃ｚｌ，从而可以推导出像点的运动向量为：妙＝％嚣掣△。：堕！！坚：翌堕坐型ｘｆｃｏｓ伊ｐ＋ｙｌｓｉｎ々ｏＪＯ—ｆ（５—６）图５．４是式（５—６）的运动矢量场，其中成像系统的参数取自荷兰的舰载红外热第五帝牡十上曲运动估汁的红外Ｉ芏｜象Ｈ标榆测成像仪ＵＡ９０５３１６１。该仪的基本参数为视场４２ｘ４３ｎｕ诅ｄ，焦距ｆ＝３００ｍｍ，截歌蚪离为３０ｋｍ。并假设光轴的旋转角０＝ｌ度，方向角＝３０度。／／，，／／，，，／／／，／／／，／／／／／／／／／／／，／／／／／／／一，。／／／／／／／／／／，／／／／／／／／／／／／／／／，／／／／／／／／／／，／／／，／／，／，，／，，，，，，／／，，一一一一／／／／／／／／／／／／／／／／／／／／／／／，／／／，／／／／／，’／／／／／／／／／／／／／／／／／／／／，，．—／／／／／／／／／／，。／／／／／／／／／／／／／，一一／／／，一／／／／，，／，／，／／／／，／／，，／／／／／／／／，／／／／／／，／／／，／／／／／／／／，／／／／一／一／／／，一／／，／／，／，／／／／／／，／／／／／／／／，／／／，７／／／／／／，，／／／／／／／／／／／／／一一／／，，／，，／，／一／，／．ｅ－－＂／／，，／，一／／／／／／，／一一／／／／／，／，／／／／／／，／／／／／／／／／／／／／／／／／／／，／／／，／／／／／／／／／／／／／／一一ｆ，，／，／／／／／，／／，一ｆ，／图５．４摄像机旋转时像素的位移向量从上图可以看到，像素基本上以相同的大小、方向作整体性的移动。０决定△。：。２』竺坚！ｌ璺！竺ｉ±竺竺Ｉｆ驴堑蛔学业剑（５～７）Ａｘ＿－０ｆｃｏｓ｛ｏＩ（５—７）Ａｙ＝·０ｆｓｉｎ（ｏＪ本节所用到的公式都是采用数学工具软件Ｍａｐｌｅ７．０进行推导的。关于推导目标检测目标检测的基本思想是：检测器接收到误差处理器的结果和平台运动参数移动的幅度，而妒决定移动的方向。从而式（５—６）可以进～步简化为下式式（５—７）。是式（５—７）的主要部分。的过程，请参考附件一的源程序。５．４后，结合运动估计的方法，估计出背景像素运动速度的大小和方向，从而将图像上的背景像素消去，实现１７１标检测的目的。第五带拈一ｆ二生动运动估汁的红外心裂日标榆测实现这一目标检测思想，需要得到驱动机构和、Ｆ台控制系统的参数，从ｉ『Ｉｊ确的获得传感器的运动参数。主动运动估计的另一个应用是：刈于定点的红外监视系统，在设计足可以友谊的让传感器进行特定的运动，从而人为地造成主动运动。笫六帝祭十运动的红外幽像埘杯榆删第六章基于运动的红外图像目标检测第五章介绍了用主动运动估ｔ，ｌ‘米检测红外图像Ｈ标的设怨。在本章，我将介绍一般的运动估计的方法、基于运动估计的目标检测技术以及我在这方面的研究工作。６．１图像的金字塔结构表达图像信息的数据结构是成功地进行图像处理的关键。好的数据结构能够降低图像处理的计算量，提高处理的效率。为了降低计算复杂度，许多学者采用基予图像金字塔数据结构的处理方法１２９，３０］。图像金字塔由原始图像通过一组低通／带通滤波器滤波所得到的一组图像组成，分别表达了不同空间分辨率时的原始图像。目前，学者们已经提ⅡＩ了众多的图像盒字塔结构。常见的有线性会字塔如高斯金字塔、拉普拉斯金字塔等和非线性会字塔如数学形态学金字塔等【２７，２８，２９，３１，３２］。６．１．１高斯金字塔本小节以高斯金字塔为例介绍金字塔结构的基本思想。设原始图像ｆ０为Ｍ×Ｎ的灰度图像，狄度范围为０一Ｋ—ｌ。原始图像为余字塔的最低层或第０层。金字塔的第Ｌ层包含图像ｆＬ。，图层ｆＬ的狄度值是图层ｆＬ．１层经过低通滤波后的图像。通常这种滤波在一个适当大小的窗口内进行，例如５×５的窗口。窗口尺寸并不是最关键的问题，并且５×５的窗口以较低的计算量提供了足够的滤波性能‘２＂。因此生成高斯金字塔的递推关系为：２２ＡＣｉ，／）＝∑∑ｗ（ｍ，ｎ）以一．（２ｉ＋ｍ，２ｊ＋ｎ）（６一１）笙查垦垫±堡垫塑垫：盐型堡垡丛丝型——式（６．１）ｒＩｆ，ｗ（ｍ，ｎ）为窗函数。从Ｌ式ｉ叮以看“｛，第Ｌ层图像大小是第Ｌ—ｌ层的１４。窗函数的选取是个关键问题。一种方法足假定窗函数Ｗ是可分离的，即ｗ（ｍ，＂）＝伽（州）谛（ｎ）文献【２７］认为协（脚）须满足下列三个条件：２（６—２）∑谛（掰）＝１¨，；一２（６—３）（６—４）（６—５）协（ｍ）＝谛（一埘），ｍ＝０，１，２访（０）＋２谛（２）＝２谛（１）满足上述三个条件的一组解是：孵１）＝如）＝百１，蚌２）＝呻）＝百１一言以。）（６－６）谛（０）＝０．４时的高斯金字塔如图６．１所示。图６．１高斯金与￡塔从＾至右依次为原始附像和金字塔的２ｉｌ越、第一从，ｍ：ｕ６．１．２ＭＡＸ金字塔上述高斯金字塔的一个缺点是导致边缘模糊【２８】。同时，生成高斯金字塔的计算量还足比较大的。为此，本研究提出一种新的、非常简单而又十分有效的红外图像金字塔结构。首先考察一下红外图像的成像特点。在敏感波长范围内，红外传感器对接收到的辐射能量积分并转换为电信号，作为该像元的图像坎度值保存下来。也就是说红外图像记录的是信号的能量。设像元为的正方形，考虑如图６．２（ａ）所示的图像，在ｌ／４空间分辨率下，图像缩小为图６．２（ｂ），有狄度关系：，＝，１＋，２＋ｊ３＋１４（６—７）上式导致图像的模糊化，在降低空间分辨率的同时牺牲了较多的图像细节。我们笫六章皋十运动的红外ｌ芏Ｉ像Ｈ标检测希望低分辨率图像尽可能多的保存原图像的特征。田１１●１２口图６．２ｌ／４分辨率图考虑到红外传感器的特点和成像条件，通常红外图像具有如下特点：以天空或海面为背景，背景简单，目标较小，图像纹理十分少，属于典型的２Ｄ图像。●目标边缘模糊，对比度较小，出于与空气磨擦的作用，目标温度较高，因而目标比背景亮。·目标的发动机及排气口部分温度最高，构成目标的最亮点。因此，亮度是红外图像的一个重要特征。（６—７）式中，１１、１２、１３、１４的最大值构成Ｉ的主要部分，当用来代表Ｉ时，在低分辨率条件下仍然能够反映一部分原图像的细节信息。从而我们得到ＭＡＸ金字塔滤波器：，Ｌ“（ｔｙ）＝ｍａｘ｛／Ｌ（２ｘ一１，２ｙ一１），，ｊ（２ｘ—ｌ，２ｙ），Ｉｔ．（２工，２ｙ一１），Ｉｆ．（２ｘ，２ｙ）｝（６－８）ＩＬ＋ｌ是第Ｌ＋Ｉ层低分辨率图像的狄度，ＩＬ是第Ｌ层图像的灰度。从（６｛）式可以看出，ＭＡＸ金字塔生成过程中，每像素最多只需要三次整数比较运算。这在实时处理中容易用逻辑电路来实现。对于其它的金字塔例如前面介绍的高斯会字塔，采用５×５的窗门函数，生成一个低分辨率的图像的像素需要２５次乘加运算（实际为２５次乘法和２４次加法，考虑到用ＤＳＰ实现，需要２５次乘加运算１。图６，３是图６，２中的原始图像的余字塔渍潞结渠．图６．３ＭＡＸ金字塔从茧至右依次为原嫜圈像和盒宇塔ｌｌ≈第一．启、第二堪、第蔓培芏ｆ；六章堆十运动的±Ｌ外陶像川标榆测６．２运动模型６．２．１图像运动模型简介第五章已经介绍了图像运动估计中的最基本的假、发——狄度保持假设，在～定的时Ｉ＇ｎＪ内同一景物的像的狄度相同，并分析了该假设的合理性。实际上，这一假设可以由下式表示：＾（ｘ，ｙ）＝Ｉｋ＋，ｂ十Ｕ★（ｘ，ｙ），Ｙ＋Ｖ々（ｘ，ｙ）Ｊ（６—９）上式表示第ｋ时刻像素（ｘ，ｙ）运动到第ｋ＋ｔ时刻的像素ｂ＋％（ｘ，Ｊ，），ｙ＋ｖ女（ｒ，ｙ）），其中（ｕｋ（ｘ，ｙ），Ｖｋ（Ｘ，ｙ））表示像素（ｘ，ｙ）第ｋ时刻的运动向量。图像运动模型也就是描述运动向量（ｕｋ（ｘ，ｙ），Ｖｋ（ｘ，ｙ））的数学模型，运动估计也就是在一定的数学模型的基础上对（ｕｋ（ｘ，ｙ），ｖ“ｘ，ｙ））进行估计。常见的运动模型有几种：平移运动模型。这种模型认为图像上的每一个像素以相同的速度运动，也即整幅图像以某一速度作了一个平移。描述这种运动的运动向量为（，ｕ％ｋ。（ｘ，，ｙ，）』／＝（：］，Ｖｃｘ，ｙ，ｃｓ一，。，仿射运动模型。这种模型认为图像上的运动并不仅仅是旋转和平移，而足两幅图片之间的线性仿射变换。即：（Ｚ矧＝（：棚＋（：］心ｍ投影变换模型。这种模型描述三维刚体运动在二维平面上的投影，这利·模型口·＋０２Ｘ＋ａｙ，ｌｌ１＋口＾ｘ＋ｂ４ｙ叱叱＠＠，力力、、●●●／ｂｌ＋ｂ２ｘ＋ｂ３ｙ一［；）（６—１２）１＋ａａｘ十ｂ４ｙ此外还有一些更为复杂的运动模型，例如二次多项式模翌－Ｊ．（ｑｕａｄｒａｔｉｃ）、采样有８个运动参数。其运动向量为：模型＿（ｓａｍｐｌｅｄ）、多项式模（ｐｏｌｙｎｏｍｉａｌ）、双线性模（ｂｉｌｉｎｅａｒ）矛ｆｌ伪投影模型（ｐｓｅｕｄｏ－ｐｅｒｓｐｅｃｔｉｖｅ）等１３３，３４１。筇六章捧卡运础的红外斟像¨标枪测上述模型的一个主要差别是模型的参数数目不同。参数越多，描述的自山度就相应的越大，描述的也就越精确。但是，参数数目的增加，会导致参数估计的计算量成倍地增加，并且山于图像可利用信息少，参数（６ｉｉｔｌ‘有进入病态的风险。６．２．２运动平台下红外图像运动的模型运动平台上的红外成像系统摄得的红外图像序列，包含了三种运动信息：目标运动、背景物体的运动和平台的运动。目标的运动独立于背景和平台的运动，因而被称为独立运动目标（Ｉ～ｔＯｓ）。在中远距离，红外图像中的目标很小，背景像素占图像的绝大部分。对于运动平台下红外图像序列可以描述为：静止的背景在运动的成像传感器上的成像占图像的绝对部分，同时又有面积较小的独立运动目标的成像。根据第五章第三节的论述，平台的运动有三种类型：平移运动，放缩运动（成像焦距的变化）和旋转运动。这三种运动对红外图像的影响已在５．３节进行了详细的论述。其中值得注意的几点是：●式（５—２）。描述的传感器的平移运动，实际对红外图像的影响非常小，可以忽略不计。因为大部分运动平台，如飞机或导弹，在摄取连续两帧或数帧图像的时间内平移运动的距离都比较小。举例来说，设红外摄像的帧率为５０帧每秒，以３马赫飞行的导弹，在连续５帧时间内飞行的距离为１０２米，而背景景物的物点可以视为无穷远，或者认为在传感器的极限探测距离处。·式（５—３）’描述的放缩运动，是一个需要重点考虑的因素。运动量正比于焦距的变化量和像点的坐标。从而导致像的放大或缩小。●式（５—４）描述的Ｒｏｌｌｉｎｇ（翻滚）运动，在实际中是有可能发生的。例如飞机在某些机动动作下有绕飞机纵轴的转动，导弹在某些情况下也会出现这种运动。２Ｄ图像来讲，远处低速运动的背景物体，投射到像平面上的运动幅度非常小，在短时内可以近似认为是静止的。从而平台运动构成红外运动图像的主要运动。笫六帝娃十运动的红外Ｉ警Ｉ像目标检测·～般的转动，准确地描述在附件一程序中有描述。式（５～７）足精确度比较高的近似，这是一个标准的二次多项式运动模型。实际情况ｔｈ红外成像系统的视场非常小，落在式（５—７）的线性区域，如图５．４所示。式（５—７）。是这种运动的一个好的描述。综合上面的论述，可以得到这样的结论：描述红外成像跟踪系统中红外图像序列的运动时，仿射运动模型是一个比较理想的选择。即：（鞘：捌＋（；）（６－１２）图像Ｉ的点（ｘ，Ｙ）运动到，。中的（ｘ’，Ｙ’）的运动方程为：Ｐ１：（月十Ｅ）．『ｚ］＋ｒ（６—１３）Ｌｙ。ＪＬＪ，ｊ上式中Ｒ为（６．１２）中的旋转矩阵，ＴＮ（６—１２）中的平移向量，Ｅ为二阶单位矩阵。实际应用中，通常将Ｒ和Ｅ合并，即：阱协丁（６—１３）６．３运动估计方法在介绍运动估汁方法之前，有必要先介绍一下运动估计的估计标准，也就是最优化运动参数时的目标函数。估计标准也是图像处理中的一大难题，迄今为止，还没有一个统一的运动估６．３．１估计标准计的估计标准出现。这主要是因为运动本身不能直接在图像上观测到，能观测到的是运动的结果，而运动只能通过间接的手段如灰度的变化来测量。运动模型也仅仅是图像运动的一个理想化的描述。筇六带拈～卜运动的红外｝刳像｝ｊ标枪测考虑到灰度保持假设（式６－９），一个简译的刻画ｆｌｌｉ计误差的方法足ｊｌｊＤＦＤ（ｄｉｓｐｌａｃｅｄｆｒａｍｅｄｉｆｆｅｒｅｎｃｅ）描述运动估计的误差。Ｂ¨（ｘ，ｙ）＝ｌｋ（ｘ，Ｙ）一，㈨（ｘ，ｙ）（６—１４），“，（ｘ，Ｙ）＝，。ｘ＋ｕ女．，（ｘ，，），Ｙ＋Ｖ★，，（ｘ，ｙ）Ｊ上式中，ｊ。是对图像Ｉｋ进行运动补偿后ｋ＋ｔ时刻的预测图像。ｔ表示运动估汁的时间间隔。如果（ｘ，ｙ）的取值范围是整个图像，则称为ＤＦＤ，如果（ｘ，ｙ）的取值限定在～个图像块内，则称为ＤＢＤ（ｄｉｓｐｌａｃｅｄｂｌｏｃｋｄｉｆｆｅｒｅｎｃｅ），如果限定在图像区域内，则称为ＤＲＤ（ｄｉｓｐｌａｃｅｄｒｅｇｉｏｎｄｉｆｆｅｒｅｎｃｅ）。最常见的估计标准是采用ＬＤ范数作运动估计的最优化函数。Ｌ２范数以其方便的数学处理在理论分析中得到比较多的应用：ＪＩ（ｄ）＝∑Ｅ２（ｘ，ｙ）（６－１５）（ｘ，¨但是Ｌ２范数遇上孤立的峰值误差时（ｏｕｔｌｉｅｒ），会变得不十分可靠。因此在实际应用（如视频编码）中用得比较多的是鲁棒性能较好的Ｌｌ范数：Ｊ：（ｄ）＝∑ＩＥ（ｘ，ｙ）Ｉ（６—１６）“．，）上式与ＪＩ相比，除了鲁棒性能较好外，还有一个好处，那就是计算量比ＪＩ要少得多。其它的估计标准还有中值方差误差、Ｌｏｒｅｎｔｚｉａｎ函数。此外，频域估计标准主要用于频域的运动估计，Ｂａｙｅｓ条件概率标准、正则化（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）方法也是对于２Ｄ运动估计方法而占，常见的主要有以下五大类【３４】：·点对应（ｐｏｉｎｔ－ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）方法、相位（ｐｈａｓｅ—ｃｏｒｒｅｌａｔｉｏｎ）相关方法、区域匹配法（ｒｅｇｉｏｎ－ｍａｔｃｈｉｎｇ，包括块匹配法ｂｌｏｃｋ．ｍａｔｃｈｉｎｇ）。·频域方法，主要是指Ｆｏｕｒｉｅｒ变换，也有其它的如离散小波变换１３６ｌ。●光流法（ｏｐｔｉｃａｌｆｌｏｗｍｅｔｈｏｄｓ）。●迭代法（ｒｅｃｕｒｓｉｖｅｍｅｔｈｏｄｓ）。用得比较多的估计标准１３３，３５１。６．３．２运动估计方法简述第六章齄ｊ二运动的红外幽像Ｈ标检测●统计方法（ｓｔｏｃｈａｓｔｉｃｍｅｔｈｏｄｓ）。每种运动估计方法根据其实现的细节的吖：同，又分为汁多小类。关于这些运动估计方法的洋细介绍，可以参阅相关的综述和应用文章１２３，３３，３４，３５，３６，３７，３８１。６．３．３仿射运动参数的估计如式（６．１１）所定义，仿射运动模型有６个独立的参数，分别是四个与旋转运动有关的参数和两个与平移运动有关的参数。如何准确高效地估计这六个参数，学者们提出了许多不同的方法。文献［３９１介绍了一种基于多分辨率的频域估计方法。根据（６—１３）。，可以得到仿射运动模型狄度方程：Ｌ＋，（ｘ）＝＾忸。（ｘ—ｒ））（６—１７）式中的ｘ是图像坐标向量，对上式进行傅里叶变换，得到：Ｉｋ＋ｔ（ｗ）＝［Ｒｉｌｅ一７ｗ…ｒＩｋ（Ｒｍ”ｗ、（６－１８）上式中…表示行列式，Ｔｒａｎｓ表示向量或矩阵的转置操作，ｗ表示频域坐标向量。式（６．１８）是频域法估计仿射运动模型参数的基本关系式。具体的算法较为复杂，可以参考文献１３９，４１，４２］。此外，ＳａｍｉｒＳｈａｌｔａｆ等人用ＥＭ（ｅｘｐｅｅｔａｔｉｏｎｍａｘｉｍｉｚａｔｉｏｎ）技术的来估计仿射Ｓｔｅｒｈｌ等人利用高斯一牛顿法（Ｇａｕｓｓ．Ｎｅｗｔｏｎ）本研究在Ａｌｅｘａｎｄｅｒ等人‘３０１的基础上，推导了基本关系式（６．１７）对各个参数本研究采用鲁棒性较好的绝对值误差标准：Ｊ（Ｒ，ｒ３＝列ｕｘ）一ｔ。（刊Ｊ＝∑ｋ＋。（功一Ｌ陋一（ｘ－乃】（６—１９）Ｊ是Ｒ、Ｔ的函数。从而运动估计的过程就是求解如下极小化的最优过程：运动模型的模型参数ｆ３７ｌ。Ａｌｅｘａｎｄｅｒ来估计仿射运动模型的参数１３０１。的偏导数，并在此基础上进行模型参数的最优化工作。进而本研究对仿射运动模型参数估计方法进行了一些创新。第六章壮十运动的红外ｌ警｜像｜１标榆测（五，于）＝ａｒｇｍｉｎＪ（Ｒ，７１）（６—２０）ＲＩ可以求得Ｊ对ｒｌｌ的偏导数为：券＝一水帆船Ｈ（Ｒ－Ｉ（ｘ－Ｔ）））·型ｄｔｔ·砒Ｏｕ，｝２卢Ｒ一１（Ｘ—Ｔ）（６—２１）Ｏｕ：一Ｒ—ｌｏ＿ＬＲＲ一１Ｏｒ，．Ｏｒ，．上式中，ｓｇｎ（．）为符号函数，旦冬盟是Ｉｋ的差分图像，可以用如图６．４所示口“的Ｓｏｂｅｌ算子滤波得到‘３０１。同理可以得到Ｊ对ｒ１２、ｒ２Ｉ、ｒ２２、ｔｌ、ｔ２的偏导数，从而求得Ｊ的梯度函数。一１０１—１—２—１－２０２０００—１Ｏｌ１２１ｄｘ方向ｄ妨向图５．４Ｓｏｂｅｌ差分算子在估计过程中，需要计算由图像Ｉｋ得到图像Ｉｋ十ｌ的预测值五＋。。这在得到一组运动参数的估计值后，以一定的方法计算这个预测值。我称这个过程为图像的预测重建，这实际上是一个考虑运动补偿的图像重建过程。本研究采用双线性插值的方法进行图像重建。如图６．５所示，定义ＬＩ＝Ｘ—ｉ，ｖ＝ｙ－ｊ，则ｉ（ｘ，Ｊ，）＝“ｌ—ｕ）ｉ（ｉ，ｊ）＋ｕｌ（ｉ＋１，力Ｘｌ—ｖ）＋“１一ｕ）１（ｉ，ｊ＋１）＋ｕｌ（ｉ＋ｌ，，＋１）ｈ（６—２２）Ｉ“，Ｊｔｌ）·ｌｃｌｒｌ，Ｊｔｉ）●●－－－一－·－一一．Ｉ《ｘＪｙ．Ｊ●，●ｌ札曲１Ｉｔｌ¨·订图６．５图像重建令ｆ（ｘ）＝Ｊ（Ｒ，丁）第六章蚺十运动ｆ｝匀红外蚓像ｌＪ｝，ｊ、榆测Ｘ＝（，ＩＩ，＿２，ｒ２ｔ，ｒ２２，ｔＩ，ｆ２）１ｍ，＝（斋，老，鲁，薏，善岳ｊ采用适当的优化过程，可以得到ｍｉｎ０）意义上Ｒ、Ｔ的最优化估汁１４３１。阁６．６是用一维搜索法【４３１得到的一个实验结果。将在本章的稍后部分进一步刘‘孩实验进行介绍。６．３．４金字塔结构在运动估计中的作用在运动估计中引进金字塔结构的一个主要目的是降低计算量，因为运动估计是一个从粗糙到精确的循环过程。如果这个过程完全在原始图像中进行，庞火的计算量将是不可接受的。而且完全没有必要都在原始图像上进行处理。因为从金字塔结构的底层到顶层，图像的空问分辨率逐渐降低，在高层进行运动估讣的计算量比在底层的要少得多。首先在金字塔的最顶层进行运动估计，之后逐渐向底层即空问分辨率高的方向过渡。从第Ｌ＋Ｉ层过渡到第Ｌ层时，平动运动参数Ｔ要扩大为原来的两倍，旋转运动参数保持不变。在金字塔层间移动过程中，运动参数的估计精度不断提高。由于估计结果是一个渐进过程，所以可以限定每一层的循环次数ｆ３０ｊ。采用金字塔结构进行运动估计还有几个优点：避免将图像中高空间频率部分误认为较大的运动部分，并降低对峰值误差（ｏｕｔｌｉｅｒ）的敏感程度。６．４目标检测及实验结果运动参数估计完成后，可以计算残留图像：，。＝Ｉ＾。一丘。ｆ（６—２３）残留图像Ｉ”ｓ中，每个独立运动的目标都以Ｅｌ标对的形式出现：一个属于第ｋ＋ｎ时刻该目标的图像，另一个为第ｋ时刻该目标的图像。通过检索Ｉｋ＋ｎ既可判第六章基于运动的红外图像目标检测断出目标在第ｋ＊ｎ时刻的位置，并且目标对中两个目标的距离代表了在ｎ×ｆ时间内目标运动的图像距离“表示帧问时问问隔）。由于平台运动已经得到补偿，该距离完全由目标运动所引起。Ｉ。中还有一定的噪声，通过选取适当的闽值，可以抑制大部分的假目标。同时，这种噪声的去除，主要在下一级——像素聚类以及跟踪过程——中进行。在我们的实验中，取ｎ＝ｌ，会字塔结构为四层（Ｌｏ为原始图像）。图６．６是我们的实验结果。ａ为第一帧图像，ｂ为第二帧，Ｃ为检测结果。如上所述，ａ和ｂ中分别有一个目标，则ｃ中出现两个目标，其中一个与ｂ中的目标相对应，表示当前目标的位置，另一个是补偿了平台运动的影响后，前一帧图像目标的位置。图６．６实验结果６．５一种新的仿射运动参数的估计方法无论是我所采用的一维搜索法，还是Ａｌｅｘａｎｄｅｒ等人‘３０１的高斯．牛顿法，还是文献［４３］介绍的其它的最优化方法，都存在一个问题，那就是计算量都比较大，难以在实时系统中应用。这促使我根据红外成像跟踪的特点，从根本上对仿射运动参数的估计方法进行创新式的尝试。将表达仿射运动模型的式ｆ６—１３）。改写成如下形式：ｌｋ（ｘ，ｙ）＝，＾＋。（ｘ＋（１ｌ－１）ｘ＋ｒ１２ｙ＋ｔ『，ｙ＋ｒ２Ｉｘ＋（ｒ２２一１）ｙ＋／２）（６—２４）根据我在第五章的论述，可以认为上式中的运动量是较小的，如果在金字塔的高层，运动幅度就更小。因此，如果假设图像灰度一阶可导或分块一阶可导，则在一阶近似下，可以将上式改写为：Ｊ。（ｘ，ｙ）＝，。＋。（ｘ，ｙ）＋“‘．一１）ｘ＋‘：ｙ＋，．）掣＋（ｒ２ｊｘ＋（ｒ２２－１砂ｔ：）毪警（６－２５）令：△‘（ｘ，ｙ）＝１Ｉ（ｘ，Ｙ）一，＾。（ｚ，ｙ）笙查皇些主堡尘塑！！：丛塑堡旦竖堕型型垃！兰！塑：ｖＯｘ丝苎：塑：ｖＯｙ７则式ｆ６．２５）可以改写为：Ａ／ｋ（ｘ，ｙ）＝ＧＶ，，ｙＶ，，ｘＶ，，ｙＶ，，Ｖ。，Ｖ，）‘％吃吃＾‘一Ｘ—Ｙ（６—２５）式（６—２５）。所定义的是一组关于Ｒ、Ｔ的超定方程组。通过求解该方程组可以得到Ｒ、Ｔ的估计值。－３５．第七章红外蚓像点甘怀的榆测技术第七章红外图像点目标的检测技术长期以来，运动平台下远距离红外图像序列中的目标检测一直是个难题。刚难在于，远距离红外图像中的目标通常只有几个像素，对比度很低，经常处于强烈的云层背景干扰之中，图像的信噪比非常低。而且，即使背景景物不动，由于平台自身的运动，所得到的红外图像也总是处于变化之中。本研究在前人的研究基础之上，给出一个快速的基于数学形态学方法的解决方案。该方案的特点是检测速度快，能用硬件电路来实现。７．１数学形态学基础用于描述数学形态学的语言是集合论。数学形态学最初是建立在集合论基础上的代数系统，它提出了一套独特的变换和概念用于描述图像的基本特征。形态运算的效果和质量取决于所选取的结构元素和形态变换。以下先给出数学形态学的两个基本定义；平移和反射。定义１：Ａ【ｙ】称为集合Ａ以向量ｙ的平移，当且仅当Ａ［ｙ】满足以下关系：彳【ｙ】＝｛ａ＋ｙｌａ∈Ａｊ定义２：ｊ称为Ａ关于原点的反射，当且仅当Ａ满足叠＝００ｋｅＡ｝在上述定义的基础上，可以定义数学形态学的两个基本运算：腐蚀和膨胀。设ｘ表示图像，Ｂ表示结构元素，则腐蚀和膨胀定义为：定义３：结构元素Ｂ对图像ｘ的腐蚀定义为ｘｏｂ＝ＮＸｔｂ】＾Ｂ定义４：结构元素Ｂ对图像ｘ的膨胀定义为Ｘ￥Ｂ＝ＵＢ【ｘ】Ｊ∈Ⅳ对二值图像而吉，上述定义中的交和并运算和普通的集合论中的交、并是一样的。而对于灰度图像，上述交、并运算分别为对灰度值的取小和取大运算。出腐蚀和膨胀运算可以组合出～系列的形态学组合运算，其中比较重要的有开运算、闭运算，分别定义如下：第七章红外蚓像点日标的检测拙术定义５；开运算定义为Ｘ。Ｂ＝ｂｏ西ＪｏＢ定义６：闭运算定义为Ｘ·Ｂ＝（ｘｏ豆｜ｅＢ从对图像运算的效果来看，丌运算有抹掉图像上与结构元素的形态不相吻合的凸的（相对较亮的）结构的能力，而同时保留那媳相吻合的凸结构ｉ闭运算则会填充那些图像上与结构元素形态不相吻合的凹的（相对较暗的）结构，同时保留那些相吻合的凹结构。此处仅仅给出了一个数学形态学的基本概念，关于数学形念学的详细信息可以参考文献［４４１。７．２基于数学形态学的点目标检测算法对红外图像中点目标检测任务来讲，需要检Ｎｄ，而亮的目标点。即目标点比周围的背景像素亮，因此可以认为目标点为红外图像的“凸”结构。快速检测算法的基本思想是采用形念学丌运算“抹”去图像ｒＩＪ的“凸”结构，从而得到背景图像的估计。原始图像减去背景图像得到只包含目标的图像。即：，俐＝，一，ｏ曰（７—１）从上式可以看出，结构元素Ｂ描述了目标的结构，并影响着检测算法的速度。适当的结构元素可以在性能和速度上取得较好的平衡。考虑到点目标很小，我们使用了四种结构元素，如图７．１所示。皿目０口Ｂ２Ｂ３图７．１常见结构元素在表７．１中，我们统计了１０帧开运算图像，。Ｂｉ（滓ｌ，２，３，４）与原始图像（Ｉ）的峰值信噪比（ＰＳＮＲ）。图７．２是采用上述结构元素的实验结果。笙：！主丝丛型堡生！堑塑堕垫查一——图７．２、检湖０结果ａ为打外嘲像，ｂ、ｃ、ｄ、ｅ为Ｉｒｅｓ，＋¨Ｊ避ｆ内结构元求山ＢＩ、Ｂ２，Ｂ３、Ｂ４表７．Ｉ、，。Ｂ，对图像Ｉ的ＰＳＮＲ（ｄＢ）图像１２３４５６７８９１０Ｂ１３９．３２６４３９．３２６４３９．６５８０３９．９７４０３９．３０８３３９．８８０６４０．１０８５３９．４７６４４０．０８００４０．３６８９Ｂ２３８．１９７９３８．１９７９３８．９４２４３８．８１１６３８．４６１０３８．８５９６３８．９０４３３８．２５４２３８．７３８７３８．８３８６Ｂ３３６．３６７４３６．３６７４３６．７８７Ｉ３６．８７４４３６．５２００３６．８４２９３７．０２０６３６．５５８３３６．８６００３７．１０６７Ｂ４３５．４７５６３５．４７５６３６．０７１７３６．１４７５３５．５５６９３６．１２０５３６．２１３４３５．５６７２３６．０７４３３６．３１８５根据表７．１，对同一幅图像来讲，采用Ｂｌ结构元素时，。Ｂ，的峰值信噪比最大。从图７．２（图中以白色方框标志目标位置）来看，四种结构元素（Ｂｌ、Ｂ２、Ｂ３、Ｂ４）的滤波效果相同。从而我们认为，从计算复杂性和滤波性能方面看，Ｂｌ是最佳的结构元素。对滤波后的图像Ｉ。。取适当的阙值，也，－ＩＰＡ按一定的方法取自适应阈值１４８１。在我们的实验中，红外图像以天空为背景，２８８ｘ３５２像素，图像信噪比（定义为图像灰度平均值与图像灰度均方差之比）近似为３．０。实验表明，该算法能有效的检测出红外图像中的点目标，并具有非常快的检测速度。图７．３是上述算法的软件实现。图中左边的显示窗口显示的是原始的红外图像，右边窗口显示的是检测结果，处理时问表示算法的执行时间，在ＩｎｔｅｌＰｅｎｔｉｕｍＩＶ１．３ＧＨｚ的计算机上的执．３８．第七章±［外幽像点目标的检测技术行时问≤０，０１秒。图７．３红外图像点目标检测软件界面７．３实时红外图像点目标检测系统的设计传统的检测／足艮踪系统采用基于ＤＳＰ芯片的处理系统，一个原因是检测／跟踪算法需要用到较复杂的数学计算。从上文的介绍可知，我们的检测算法主要山比较器和减法器组成，计算十分简单，用ＤＳＰ：苍片反而不能充分发挥ＤＳＰ的汁算能力。另一方面，实际的成像跟踪系统的工作频率不会太高，如４ＭＨｚ的像素率。而ＤＳＰ的频率比较高，这样在高速器件和低速的前级设备之间需要接入一个缓冲器。这既增加了系统的复杂性，也导致了不必要的延时。针对第七章介绍的快速算法，我设计了一个实现陔算法的时序电路。陔电路用ＶＨＤＬ语言编写，并在ＸｉｌｉｎｘＷｅｂＰＡＣＫ４．１丌发环境下编译通过。图７．４是用ＭｏｄｅｌＳｉｍ５．５ｂ软件进行的ＰｏｓｔＭａｐ（针对ＸＣ２Ｓ３０．５ＣＳｌ４４Ｃ芯片）模拟结果。算法初始化后，在每一个时钟到达时读入一个像素值，从初始化后第六个周笙．！童丝丛型堡生！堡竺堡型些查期丌始，检测结果出现在输出端口上。可见陔算法实现了流水线式操作，每像素的处理时间为一个时钟周期，并且输出相对输入的延时为五个时移Ｉ啁期。一图７．４电路的ＰｏｓｔＭａｐ模拟点目标检测系统仅仅是红外成像跟踪系统中的一个子系统，它通过一个预定义的接口与系统的其他设备相连。图７．５是基于该检测算法的红外图像点目标检测系统的方框图。采用一片ＦＰＧＡ芯片实现检测算法，为系统的主芯片。围绕ＦＰＧＡ的，有一些外围芯片。图奄．＿ｆ点目标检测系统框图图中最左边的是检测系统与系统的其它设备的接口。山于接口采用的是ＴＴＬ第七章ｌＬ外｝笙｜像点Ｕ标的榆测坎术电平，而ＦＰＧＡ系统使用的是３．３ｖ的电源，因此需要一个电源管理部件将接Ｉ－Ｊ所提供的５ｖ电源转换为３．３Ｖ的电源。设置一组跳线，ｌ：关的目的是：可以预先设置红外图像的尺寸，以增加使用过程中的灵活性。主芯片ＦＰＧＡ采用Ｘｉｌｉｎｘ公司的Ｓｐａｒｔａｎｌｌ系列ＦＰＧＡ中的ＸＣ２Ｓ３０—５ＣＳｌ４４Ｃ芯片。该芯片采用ＢＧＡ封装，有１４４个管脚，其中最大Ｉ／Ｏ管脚数为９２，可舀己置逻辑单元（ＣｏｎｆｉｇｕｒａｂｌｅＬｏｇｉｃＢｌｏｃｋ，ＣＬＢ）为２１６个。注意到图７．５中，５ＶＴ１、Ｌ的接口和３．３Ｖ的ＦＰＧＡ芯片之问没有电平转换器件，而是直接连接。这是因为ＳｐａｒｔａｎＩＩ系列的Ｉ／Ｏ是兼容５ＶＴＴＬ电平的（５．Ｖ０ｌｌＴｏｌｅｒａｎｔＩ／Ｏｓ）。另一块与ＦＰＧＡ相连的芯片是一片ＸＣｌ８Ｖ００系列的ＰＲＯＭ，用来给ＦＰＧＡ提供配置信息。该芯片为现场可编程（Ｉｎ—ｓｙｓｔｅｍＰｒｏｇｒａｍｍａｂｌｅ）芯片，通过一个ＪＴＡＧ接１３（ＩＥＥＥＳｔｄ．１１４９．１）与计算机相连，从而实现对ＰＲＯＭ的编程。箱八章绌语第八章结语精确制导武器中最重要的部分是制导系统，红外成像跟踪足现代精确制导的主流发展方向。本文对红外成像跟踪中的目标检测技术进行了一些探讨和研究。总结全文，笔者的主要工作和贡献在于以下几个方面：（１）基于运动的红外图像目标检测技术是近几年研究的一个热门课题。本文比较详细地分析了运动平台下的红外图像中运动信息，并对其建立起相应的数学模型。在此基础之上，本文提出一种新的红外图像目标检测思路：基于主动运动估计的目标检测方法。目前，目标检测界～个普遍的看法，也是目标检测技术发展的潮流方向，是目标检测过程应当和目标跟踪过程结合起来。可以称之为“寓检测于跟踪”或“有反馈的检测”等，意思是：检测器要充分利用跟踪器的结果，以调整某些参数或对某些区域重点关注。主动运动估计正是基于这一看法的目标检测方法（第五章内容）。（２）表达图像信息的数据结构是成功地进行图像处理的关键。好的数据结构能够降低图像处理的计算量，提高处理的效率。为了降低计算复杂度，笔者在仿射运动估计中引入了图像的金字塔结构，并使用笔者提出的金字塔——ＭＡｘ金字塔——结构。这部分内容的介绍在第６．１节。（３）在第五章建立的运动模型的基础之上，本文采用仿射运动模型来刻画运动平台下的红外图像中的运动。对于仿射运动参数的估计问题，本文提出了一个新的能够快速处理的解决方案。这是第六章后面章节的内容。（４）点目标检测是红外成像跟踪中具有挑战性的一个领域。在本文中，笔者提出了一个基于数学形态学的点目标检测算法，并用ＶＨＤＬ语吉设计了该算法的硬件电路。在此基础上，笔者设计了一个基于该算法的红外图像点目标检测系统。这是本文第七章的主要内容。最后，有两个问题需要做一个特别的说明：检测算法性能的评价和图像噪声（１、检测算法的性能的评价也是一个十分困难的问题。迄今为止，还没有一的处理问题。第八章结语个统一的、客观的评价目标检测性能的方法或标计ｔ。…般来讲，评价目标检测算法的性能的方法有两种。一种足采用一组典型的红外图像序列，对其执行检测算法，从算法执行的结果中看检测的效果。这是一个主观的评价方法，本研究就是这样做的，包括图７．２在内的软件演示表明检测算法的取得了良好的效果，并受到合作单位的好评。另一科·方法是建立一个数学模型，通过计算虚检概率和漏检概率来对检测算法的性能进行客观的评价。文献［５２１在这方面做出了一些尝试。（２）实际图像的一个理论模型如式（４一１）所示，许多学者在图像处理中，都引入了嗓声的概念，在处理ｌ；ｉ『先对图像滤波去除噪声。典型的噪声模型是高斯加性噪声。而在本文的检测算法中，并没有这样做。这源于笔者个人的一个观念：噪声模型应当由成像系统根据自身的物理特性而对所获得的数据进行预处理时考虑，在后期的图像处理的任何阶段引入噪声的概念都是主观的做法，并不能保证符合实际情况。红外图像中存在噪声是必然的。但是式（４一１）并不能够指出到底足何种噪声，以何种方式加入到图像中。即便给出一幅红外图像，也不可能明确的知道哪一个像素或哪一个区域是噪声或受到噪声的多大程度上的影响。相反，对图像的滤波会导致图像信息量的丢失。因此笔者认为在后期的图像处理中引入对噪声的处理是得不偿失的。也不可能先得到一幅理想的无噪图像再对其进行分割处理。红外图像目标检测是一门工程性非常强的学科。虽然本文做出了一些有成效的工作，但远远没有达到完善的程度。展望未来，我认为红外图像目标检测应在以下几个方面有所突破：（１）系统整合。检测系统不是孤立的，它与整个制导系统乃至运载平台构成一个有机的体系。未来的红外图像目标检测技术应在这一大的体系内实现信息的共享和整合。（２）算法硬件化。实时性是红外图像目标检测中的一个非常关键的问题。利用现代高速发展的集成电路技术，用电路来实现目标检测酸法，是解决实时性问题的好的途径。参考文献参考文献１．纪红，红外技术基础与应用，科学出版社，１９７９年４月第１版。２．杨宜禾，周维真，成像跟踪技术导论，西安电子科技大学出版社，１９９２年４月。３．徐南荣，卞南华，红外辐射与制导，国防工业出版社，１９９７年６月。４．张鸣平，张敬贤，李玉月＋，夜视系统，北京理工大学出版社，１９９３年１０月。５．王义玉，红外探测器，兵器工业出版社，１９９３年８月。６．谭显裕，红外目标图像识别跟踪研究及其军用前景，光电子技术，１９９７年９月，Ｐ．１９２．２００．７．卢福刚，雷万云，赵荣春，复杂背景下红外图像目标自动检测，弹箭与制导学报，１９９８．１Ｅ１８－２４８．徐碧，傅承毓，电视跟踪系统中的实时视频图像分割技术，光电工程，１９９９年６月，第２６卷第３期，Ｐ．８一１２９．章毓晋编著，图像工程上册——图像处理和分析，清华大学出版社，１９９９年３月ｌＯ．Ａ．Ｌ．Ｇｉｌｂｅｒｔ，ｅｔａ１．，ＡＲｅａｌ—ＴｉｍｅＶｉｄｅｏＴｒａｃｋｉｎｇＳｙｓｔｅｍ，ＩＥＥＥＴｒａｎｓ．Ｖ０１．ＰＡＭＩ一２，Ｎｏ．１，Ｊａｎ．１９８０１１．罗稀平，田捷，诸葛婴，王靖，戴汝为，图像分割方法综述，模式识别与人工智能，１９９９年９月，第１２卷，第３期，Ｅ３００—３１２１２．ＭｉｃｈａｅｌＭ．Ｃｈａｎｇ，Ａ．ＭｕｒａｔＴｅｋａｌｐ，ＩｂｒａｈｉｍＳｅｚａｎ，ＳｉｍｕｌｔａｎｅｏｕｓＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎａｎｄＳｅｇｍｅｎｔａｔｉｏｎ，ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎ，Ｖｏｌｕｍｅ：６Ｉｓｓｕｅ：９，Ｓｅｐｔ．１９９７Ｐａｇｅ（ｓ）：１３２６—１３３３１３．ＰａｐｉｎＣ．：ＢｏｕｔｈｅｍｙＰ’；ＲｏｃｈａｒｄＱＤｅｔｅｃｔｉｏｎｏｆｌｏｗｃｌｏｕｄｓｉｎＭｅｔｅｏｓａｔＩＲｎｉｇｈｔ－ｔｉｍｅｉｍａｇｅｓｂａｓｅｄｏｎａｃｏｎｔｅｘｔｕａｌｓｐａｔｉｏ－ｔｅｍｐｏｒａｌｌａｂｅｌｉｎｇａｐｐｒｏａｃｈＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，１９９８．ＩＣＩＰ９８．Ｐｒｏｃｅｅｄｉｎｇｓ．１９９８ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ，Ｖｏｌｕｍｅ：３．１９９８Ｐａｇｅ（ｓ）：５６１—５６５ｖ０１．３１４．Ｐａｐｉｎ，Ｃ．；Ｂｏｕｔｈｅｍｙ，Ｐ；Ｒｏｃｈａｒｄ，ＧＵｎｓｕｐｅｒｖｉｓｅｄＳｅｇｍｅｎｔａｔｉｏｎｏｆｌｏｗＣｌｏｕｄｓ