為研究夜間追尾事故中本車智能防撞預警方法，本文提出了一種基于毫米波雷達和機器視覺的前方車輛檢測方法。利用多傳感器融合數據，檢測前方車輛的距離、速度等。建立傳感器之間轉換關系，轉換雷達目標的世界坐標到圖像坐標。

在圖像上形成感興趣區(qū)域，利用圖像處理方法減少干擾點，運用Dempster-Shafer（D-S）證據理論，融合特征信息，得到總的信任度值檢驗感興趣區(qū)域內的車輛。實驗采集多段夜間道路行車視頻數據，統計實現尾燈識別的幀數，與主觀判斷進行比較。結果表明：該方法能夠實現對夜間前方車輛的檢測和定位。

道路交通事故中由追尾相撞導致的事故占很大比例，而夜間交通事故尤為嚴重，約占交通事故總數的40%。夜間車輛檢測技術已成為智能車輛安全輔助駕駛系統的重要組成部分，用于準確地識別夜間前方車輛，為駕駛員及時提供前方車輛信息及路況，降低夜間交通事故的發(fā)生[1]。

夜間由于光線強度不夠，大部分白天的車輛特征信息已經不可用，因此用于白天的車輛檢測算法基本失效。車輛尾燈是夜間車輛的明顯特征，目前，對于夜間前方車輛檢測識別的研究主要是利用單目視覺傳感器，獲取車輛前方的視覺感知信息，基于圖像信息提取尾燈特征進行前方車輛識別。

劉尊洋等人結合車輛尾燈的顏色與亮度檢測尾燈[2]；吳海濤等人對前車燈對配對進行車輛的跟蹤[3]；唐佳林等人采用幀差法提取感興趣區(qū)域[4]；王孝蘭選擇基于模糊理論的分割方法對圖像進行分割，提取車牌、尾燈的特征[5]；祁秋紅等人通過色調（hue）-飽和度（saturation）-明度（value）的顏色模型（HSV）對尾燈的顏色信息進行分割，辨出車輛位置[6]；周俊杰采用基于R通道直方圖的紅（red）-綠（green）-藍（blue）彩色（RGB）空間自適應閾值分割圖像，自適應效果不是很理想[7]。

機器視覺是一種用于車輛檢測的有效傳感器，但其有一定的局限性，因此有文獻提出綜合考慮激光雷達和機器視覺的信息，進行前方目標車輛檢測[8-9]。雖然激光雷達和機器視覺在一定程度可以互補，但激光雷達對天氣、燈光、障礙物表面光滑度等干擾非常敏感，不適合復雜道路環(huán)境。

由于毫米波雷達不易受外界干擾而且測量的距離精度高，可以準確獲得前方車輛的速度、角度等深度信息。因此，本文提出利用毫米波雷達和機器視覺進行多傳感器數據融合，通過先驗知識篩選毫米波雷達探測到的障礙物數據，融合雷達數據和圖像信息初步確立動態(tài)感興趣區(qū)域（RegionofInterest，ROI），在縮小的范圍內基于視覺傳感器提取表征車輛的特征，運用D-S證據理論（Dempster-ShaferEvidentialTheory）融合信息，減少了計算量和主觀閾值對檢測精確度的影響，提高了執(zhí)行速度和車輛定位的準確性。

1.夜間車輛檢測算法實現

整個過程分為假設產生（HypothesisGeneration，HG）和假設檢驗（HypothesisVerifcation，HV）兩部分：

假設產生過程利用雷達獲取候選目標的的距離、角度、速度等信息，進而得到候選目標的世界坐標，逆用攝像機標定原理得到世界坐標與圖像像素坐標的轉換關系，初步確定候選目標在圖像上的區(qū)域，即感興趣區(qū)域ROI；

假設驗證過程是通過改進的自適應閾值確定方法（大津法，OTSU法）進行圖像分割處理，進而利用圖像處理方法、先驗知識和D-S證據理論對感興趣區(qū)域檢測是否存在車輛特征。

圖1夜間前方車輛檢測方法流程圖

算法流程圖如圖1所示。

2.假設產生（HG）

2.1雷達數據處理及初選目標的確定

毫米波雷達接收到的是十六進制數據，根據雷達協議解算數據，并提取可以用于車輛檢測的有效信息包括：前方車輛相對于本車的角度、距離、速度、反射強度。在實際測量中，毫米波雷達獲取的信號有一部分是空目標信號、無效目標信號、靜止目標信號，首先要去除這3種目標信號的干擾。

根據國家規(guī)定車道寬度設置橫向寬度閾值，進行目標與自車的同車道判斷，保留行駛方向距離閾值和相對速度閾值內的目標，對篩選出的前方目標由近及遠的原則重新排序，使用同車道近距離原則初選有效目標，如表1所示。

表1初選有效目標信號

表1中：ID表示雷達檢測得到的目標信號的標準幀號；α、R、Δv分別為本車與目標信號的相對角度、相對距離、相對速度（?v=v1-v0，v1為目標速度，v0為本車速度）；p從目標返回信號的強度，即反射率。

長距離的毫米波雷達掃描范圍是1~175m，中距離是1~60m。距離小于1m時雷達就不能識別物體。以避免車輛行駛過程中與前方車輛發(fā)生追尾碰撞為出發(fā)點，在有效目標選擇過程中最關注的是與本車位于同一車道的前方最近車輛。當Δv＜0，有出現追尾事故的可能。因此，把雷達掃描近距離1~60m內、離本車最近且Δv＜0的車輛作為初選目標。

2.2雷達數據和機器視覺的融合

雷達和機器視覺是不同坐標系的傳感器，因此要實現雷達和機器視覺的空間融合，必須建立兩傳感器所在坐標系的轉換模型，即雷達坐標與圖像像素坐標之間的轉換。雷達坐標系與圖像像素坐標系之間有著密切的聯系[10]，按照右手系原則建立坐標系，由式(1)-(2)確定坐標系之間的空間位置關系。

將世界坐標系中的點(XW,YW,ZW)變換到圖像像素坐標(u,v)，轉換公式為：

式中：(XW,YW,ZW,1)^T是點的世界坐標，與其對應的攝像機齊次坐標是(XC,YC,ZC,1)^T，dx與dy分別表示每個像素在橫、縱軸上的物理單位下的大小，f是攝像機的焦距，s'表示因攝像機成像平面坐標軸相互不正交引出的傾斜因子（SkewFactor），R代表旋轉矩陣（為一個3×3的正交單位矩陣），t代表平移向量，I是元素全為1的對角矩陣，O=(0,0,0)^T。

毫米波雷達獲取的前方障礙物信息是在極坐標下的二維信息，將障礙物P的極坐標下的二維信息轉換到直角坐標系中，雷達坐標系的X0O0Z0平面與世界坐標系的XOZ平面平行，兩平面之間的距離為Y0，通過雷達可以得到前方車輛中心點投影到雷達掃射平面內的點P相對雷達的距離R和角度α，確定點P在世界坐標系下的坐標，轉換關系如下：

由雷達獲得前方車輛形心點的輸入，綜合以上建立雷達坐標系和圖像像素坐標系之間的相對關系，即可獲得前方車輛在像素平面的投影，基于車輛的常用外形（寬高比）投影在像素平面上，建立可以根據距離變化的動態(tài)感興趣區(qū)域，縮小在圖像上的搜索時間，減少計算量。通過統計發(fā)現一般車輛的寬高比在0.7~2.0范圍內，常見轎車、運動型多功能車（SportUtilityVehicle，SUV）、面包車、商用車輛等車型的寬高比在0.7~1.3范圍內[11]，為了避免后續(xù)尾燈檢測時會遺漏尾燈目標，本文選取常見幾種車型的最大寬高比W/H=1.3。

動態(tài)感興趣區(qū)域的確定如下：

式中：(x_lt,y_lt)，(x_rb,y_rb)分別為動態(tài)感興趣矩形區(qū)域的左上角點和右下角點的像素坐標，(x,y)為車輛形心點的像素坐標。

圖2雷達掃描圖

圖3雷達目標在圖像上的的ROI

雷達掃描圖如圖2所示。雷達坐標系中的目標經坐標轉換關系在圖像上形成的感興趣區(qū)域如圖3中的(a)列所示。動態(tài)感興趣區(qū)域的大小會隨目標的距離發(fā)生變化，以更適合的尺寸截取感興趣區(qū)域圖像進行下一步檢測驗證，縮小了檢測范圍，從而減少計算量提高檢測實時性。獲取的感興趣區(qū)域圖像如圖3b列所示。

3.假設驗證（HV）

3.1圖像分割

前方車輛尾燈對的灰度級與路面及背景的灰度級有明顯區(qū)別，采用閾值分割的方法可以快速準確地將尾燈對分割出來。

本文采用改進的OTSU算法分割圖像，凸顯出表征車輛特征的尾燈部分。改進的OTSU算法是以傳統OTSU為基礎，從最小灰度值到最大灰度值遍歷，當灰度T使得方差σ^2=w_0*w_1*(μ_0-μ_1)^2最大時，再次利用傳統OTSU對圖像中大于T的部分從灰度T到最大灰度值遍歷，得到閾值T0使大于灰度值T的部分的方差最大，提取閾值T0，用T0對感興趣區(qū)域圖像進行二值化分割，目標灰度為1，背景灰度為0。

圖4分割后圖像

分割后的圖像如圖4所示。

3.2?基于圖像形態(tài)學及先驗知識的圖像處理

由于噪聲的影響，圖像在閾值化后所得到的邊界往往是很不平滑的，物體區(qū)域具有一些噪聲孔，背景區(qū)域上散布著一些小的噪聲物體，對分割后的圖像進行圖像形態(tài)學開閉運算處理，用來消除小物體、在纖細點處分離物體、平滑較大物體的邊界，同時并不明顯改變其面積。腐蝕操作會去掉物體的邊緣點，細小物體所有的點都會被認為是邊緣點，因此會整個被刪去。再做膨脹時，留下來的大物體會變回原來的大小，而被刪除的小物體則永遠消失了。膨脹操作會使物體的邊界向外擴張，如果物體內部存在小空洞的話，經過膨脹操作這些洞將被補上，因而不再是邊界了。再進行腐蝕操作時，外部邊界將變回原來的樣子，而這些內部空洞則永遠消失了[12]。開運算和閉運算的運算規(guī)則如下：

通過對采集到的不同距離的253張像素為768×576的圖片進行處理后統計，車輛明亮塊的面積最小不低于10，最大不超于300，同一車輛的左右尾燈亮塊之間的水平距離不小于20大于300。同時，文獻[13]提出0~100m的距離范圍內，在不同距離采集到的圖像上的車輛尾燈亮塊面積不小于10，因此先通過亮斑的面積閾值和水平距離閾值去除感興趣區(qū)域部分的一些干擾亮斑。

圖5基于圖像形態(tài)學和先驗知識處理后的圖像

本文通過采用圖像形態(tài)學和先驗知識處理后的圖像如圖5所示。

3.3D-S證據理論融合特征信息

對處理后的感興趣區(qū)域部分的圖像進行連通區(qū)域標記，提取圖像上可以表征車輛的特征，包括：連通區(qū)域面積比、垂直方向重疊率，運用D-S證據理論，融合車輛的特征信息得到總的信任度值。

定義1：設辨識框架U中的元素滿足不相容條件，命題A對基本概率賦值函數p賦值p(A)是集合2^U到[0,1]的映射，滿足如下條件：

本文定義辨識框架為U={true,false}，記連通區(qū)域面積比R_A、垂直方向重疊率為R_O，辨識框架下的2個命題分別為A_1、A_2，其相應的證據概率函數為p_1、p_2，兩連通區(qū)域面積比接近1的時候，連通區(qū)域屬于同一車輛的概率比較大，垂直方向重疊率越接近1，兩連通區(qū)域在同一水平的概率越大，因此兩個命題的基本概率函數值由下式確定：

采用D-S組合規(guī)則，對相容命題所對應的概率分配值進行融合，從而得到這些相容命題的交集命題所對應的概率分配值。假設p_1和p_22個基本概率函數的焦元分別為B_1,?,B_k與C_1,?,C_k，運用正交和規(guī)則p(A)=p_1⊕p_2得到2個證據體的組合輸出為：

p(A)即是p_1和p_2的綜合概率賦值。

圖6運用D-S證據理論融合信息檢測出的車輛尾燈

最終設立信任度閾值驗證車輛如圖6所示。

圖7不同尾燈檢測圖

圖8不同干擾狀態(tài)檢測出的車輛尾燈

不同尾燈檢測結果見圖7；不同干擾狀態(tài)檢測出的車輛尾燈檢測結果見圖8。

通過對不同車型試驗，本方法的視覺驗證可以實現對不同大小、形狀的尾燈的驗證；在實際行車時，會出現前相鄰車輛開啟轉向燈、前后車輛距離過近造成前相鄰車輛的尾部會出現大面積反光、攝像機晃動的情況，這幾種干擾狀態(tài)下視覺驗證也可以實現對尾燈的驗證。

4.試驗結果

圖9夜間前方車輛識別

試驗的硬件運行環(huán)境為Intel奔騰E6500CPU，軟件環(huán)境包括WindowsXP系統，VC++6.0集成開發(fā)環(huán)境和OpenCv開源計算機視覺庫[14]。采集夜間道路上行駛車輛的視頻數據，利用搭建的毫米波雷達與視覺系統進行識別與判斷。車輛檢測的實驗結果如表2所示。夜間環(huán)境條件下的前方車輛識別效果如圖9所示。

表2車輛檢測的實驗結果

經統計部分視頻數據并與人員主觀判斷比較，其中包含車輛圖像共1170幀，識別出車輛尾燈的圖像共1060幀，準確率達90.6%。因此，本文方法在夜間環(huán)境下具有較好的檢測效果；車輛所處環(huán)境的光照條件較差，存在路燈、地面反光等干擾光源，且路燈與車燈相似，但檢測系統仍可以準確識別車輛尾燈，標記出車燈位置。

5.結論

試驗表明通過雷達可以確定前方車輛的距離、速度等信息，并形成感興趣區(qū)域。在感興趣區(qū)域內采用基于機器視覺的圖像信息驗證車輛，這不僅可以減少外界環(huán)境的干擾，還可以縮小檢驗范圍，減少計算量。

試驗結果表明：研究使用的毫米波雷達和機器視覺融合的方法可以有效識別夜間前方車輛。該方法對于不同形狀的車輛尾燈具有很好的識別效果。由于車尾燈重疊或遮擋會發(fā)生驗證失誤，這是下一步研究的重點。