依托點(diǎn)云的“障礙物識(shí)別”方法

　　其實(shí)激光雷達(dá)給出的是三維點(diǎn)云——也就是一堆帶坐標(biāo)(通常為x,y,z，有時(shí)帶強(qiáng)度/intensity、回波數(shù)/echo等額外通道)的離散點(diǎn)。每個(gè)點(diǎn)代表從傳感器到某個(gè)表面反射回來(lái)的激光脈沖的測(cè)距結(jié)果。點(diǎn)云最大優(yōu)點(diǎn)在于可以直接、精確地測(cè)得三維幾何信息，利于判斷物體的形狀與距離，但它并不是整齊的像素網(wǎng)格，而是稀疏、不規(guī)則、受視角和距離影響顯著的點(diǎn)集。

　　使用點(diǎn)云進(jìn)行“障礙物識(shí)別”其實(shí)可以分成幾個(gè)階段，即預(yù)處理(濾噪、裁剪、下采樣等)、地面/背景分離、點(diǎn)云分割與聚類、為每個(gè)聚類擬合包圍框并分類、后處理與跟蹤等。有很多技術(shù)方案是使用經(jīng)典幾何/統(tǒng)計(jì)方法做快速分割和聚類，再把得到的候選體送入學(xué)習(xí)器做分類;近年來(lái)端到端學(xué)習(xí)的3D點(diǎn)云目標(biāo)檢測(cè)也越來(lái)越主流。

　　預(yù)處理作為障礙物識(shí)別的第一步，看似只是對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行基本處理，但其實(shí)非常重要。激光雷達(dá)的一次掃描會(huì)包含噪聲點(diǎn)(由反射弱或多路徑造成)、不感興趣區(qū)域(例如車頂、側(cè)邊遠(yuǎn)處的建筑)以及測(cè)距分布極不均勻的情況(近處點(diǎn)密、遠(yuǎn)處點(diǎn)稀)。常見(jiàn)的預(yù)處理工作包括用盒體/視野裁剪(把z、x、y范圍限制到我們關(guān)心的區(qū)域)，用統(tǒng)計(jì)離群點(diǎn)移除(例如統(tǒng)計(jì)每點(diǎn)距離鄰居的平均距離，剔除顯著異常值)，以及體素網(wǎng)格(voxel grid)或均勻下采樣來(lái)降低點(diǎn)數(shù)、保證處理速率。下采樣一定要避免過(guò)度，過(guò)度下采樣會(huì)讓遠(yuǎn)處或小目標(biāo)消失，尤其是在高速場(chǎng)景下遠(yuǎn)距目標(biāo)本來(lái)就只有少點(diǎn)，因此要根據(jù)傳感器點(diǎn)密度與后端算法的需求調(diào)整體素大小或采用分層下采樣策略(近距高密度、遠(yuǎn)距低密度)。這一階段往往決定了系統(tǒng)能否在實(shí)時(shí)約束下保持較高的檢測(cè)召回。

　　地面分離是道路簡(jiǎn)而言之就是把“地面/路面”點(diǎn)剔除，有利于突出真正的障礙物(車輛、行人、立柱等)。常用的方法有基于模型擬合的RANSAC平面擬合、基于柵格/高度圖的地面提取、以及按掃描線(laser ring)做逐環(huán)地面分類。RANSAC優(yōu)點(diǎn)是概念簡(jiǎn)單且對(duì)噪聲有魯棒性，但在復(fù)雜路面(坡度、路基起伏、障礙物覆蓋)或點(diǎn)云稀疏時(shí)容易失敗，需要調(diào)整內(nèi)點(diǎn)閾值與迭代次數(shù);基于高度圖的方法更適合移動(dòng)平臺(tái)，把點(diǎn)云投影到水平柵格上，統(tǒng)計(jì)每格的最低點(diǎn)并應(yīng)用地形濾波(例如形態(tài)學(xué)濾波或坡度閾值)，對(duì)非平坦路面更友好，但需要選好柵格分辨率以平衡細(xì)節(jié)和噪聲。

　　把地面點(diǎn)去掉后，下一步是把剩余點(diǎn)按“連通性”或“密度”分成若干個(gè)簇(cluster)，每個(gè)簇通常對(duì)應(yīng)一個(gè)物體候選體。常用歐氏距離聚類(Euclidean Cluster Extraction)或密度基聚類算法(DBSCAN)來(lái)完成這一操作。歐氏距離聚類即對(duì)每個(gè)點(diǎn)找一定半徑內(nèi)的“鄰居”，把相互可達(dá)的一組點(diǎn)歸為一類;這個(gè)方法速度快、實(shí)現(xiàn)簡(jiǎn)單，是PCL中的標(biāo)準(zhǔn)實(shí)現(xiàn)，但對(duì)參數(shù)(鄰域半徑與簇的最小點(diǎn)數(shù))敏感，且在目標(biāo)近距離相互接觸或在高密度背景中容易把多個(gè)物體合并。DBSCAN更能處理非球形簇和噪聲，但計(jì)算量通常更大些且參數(shù)選擇也不容易自動(dòng)化。工程上常會(huì)結(jié)合基于掃描線的分割(對(duì)激光雷達(dá)的每個(gè)水平環(huán)做斷點(diǎn)檢測(cè)，適合車道場(chǎng)景)與歐氏距離聚類，以兼顧速度與分離能力。PCL在這方面有成熟模塊可直接調(diào)用。

　　對(duì)每個(gè)聚類，需要擬合一個(gè)三維包圍框并做分類。包圍框可以是軸對(duì)齊的(AABB)，也可以是朝向框(oriented bounding box)，后者在車道場(chǎng)景下更實(shí)用，因?yàn)檐囕v通常朝某一方向排列。用最小二乘法或PCA(主成分分析)可以快速估計(jì)簇的主方向并生成朝向框。傳統(tǒng)方法會(huì)為每個(gè)簇提取如尺寸、點(diǎn)密度、形狀直方圖(例如基于表面法線的特征)、高度分布等若干幾何特征，然后用簡(jiǎn)單分類器(SVM、隨機(jī)森林)判斷是車、人、還是其它障礙物。這樣的方案在樣本較少、計(jì)算資源受限時(shí)仍然有優(yōu)勢(shì)，且對(duì)解釋性好(你能看到每個(gè)特征為什么分錯(cuò))。不過(guò)，手工設(shè)計(jì)特征往往難以覆蓋如遮擋、變形或車內(nèi)空隙反射導(dǎo)致的點(diǎn)云斷裂等復(fù)雜的現(xiàn)實(shí)變化。

　　技術(shù)難點(diǎn)及解決方案

　　近幾年深度學(xué)習(xí)直接作用于點(diǎn)云的技術(shù)迅猛發(fā)展，帶來(lái)了更高的準(zhǔn)確率與更少的手工工程量，但也引入了對(duì)標(biāo)注數(shù)據(jù)與算力的高需求。點(diǎn)云深度方法大致分為三類體系，即點(diǎn)級(jí)方法(point-based)、體素方法(voxel-based)和柱/鳥(niǎo)瞰融合方法(pillar/BEV)。PointNet是點(diǎn)級(jí)方法的開(kāi)山作，它直接接受原始點(diǎn)集作為輸入，通過(guò)對(duì)點(diǎn)做共享MLP(即對(duì)每點(diǎn)同樣的多層感知器)然后做全局池化來(lái)獲得不受點(diǎn)排列影響的全局描述，這使得網(wǎng)絡(luò)能直接處理不規(guī)則點(diǎn)集并完成分類/分割任務(wù)。PointNet的思想后來(lái)被擴(kuò)展為PointNet++以處理局部結(jié)構(gòu)，成為點(diǎn)云處理的重要基石。

　　但是在自動(dòng)駕駛場(chǎng)景的“實(shí)時(shí)檢測(cè)”任務(wù)上，把原始點(diǎn)云直接送進(jìn)點(diǎn)級(jí)網(wǎng)絡(luò)在計(jì)算上不夠高效，因此有方案提出把點(diǎn)云先轉(zhuǎn)為規(guī)則張量的做法。VoxelNet把點(diǎn)云分成體素(3D voxel)，在每個(gè)體素內(nèi)部用一個(gè)小網(wǎng)絡(luò)(VFE)把點(diǎn)集合編碼成固定維表示，再把體素化的特征用卷積網(wǎng)絡(luò)去做檢測(cè);這種方法兼顧了點(diǎn)的細(xì)節(jié)與網(wǎng)絡(luò)的并行計(jì)算。SECOND在VoxelNet的基礎(chǔ)上引入了稀疏卷積(sparse convolution)，大幅加速了稀疏體素的卷積計(jì)算，使得體素方法在速度與精度之間達(dá)到更好平衡。PointPillars則提出先把點(diǎn)云投影到豎直的“柱”(pillar)上，生成二維柵格上的每格特征圖，然后用常規(guī)的二維卷積做后續(xù)處理，這種設(shè)計(jì)把三維問(wèn)題變成了二維卷積問(wèn)題，極大提高了速度且在基準(zhǔn)上表現(xiàn)良好，成為了廣泛采用的折中方案。上述這些端到端深度檢測(cè)方法在公開(kāi)基準(zhǔn)(例如KITTI)上推動(dòng)了性能的顯著提升，但也帶來(lái)了對(duì)大量帶標(biāo)注點(diǎn)云的依賴以及對(duì)推理算力的要求。

　　模型訓(xùn)練與部署帶來(lái)的一系列工程問(wèn)題同樣需要解決。首先是數(shù)據(jù)標(biāo)注與數(shù)據(jù)增廣，點(diǎn)云標(biāo)注成本高(需要對(duì)3D包圍框進(jìn)行精確標(biāo)注)，而且不同激光雷達(dá)型號(hào)的點(diǎn)密度、視場(chǎng)不同，訓(xùn)練的模型在不同傳感器或場(chǎng)景間遷移性差。因此常用的做法包括仿真數(shù)據(jù)增強(qiáng)、把點(diǎn)云投影到BEV(鳥(niǎo)瞰)或結(jié)合相機(jī)圖像做多模態(tài)訓(xùn)練，以及對(duì)訓(xùn)練樣本做尺度/旋轉(zhuǎn)/點(diǎn)丟棄等仿真噪聲增強(qiáng)。其次是類不平衡問(wèn)題，道路場(chǎng)景中車輛遠(yuǎn)多于行人或騎行者，訓(xùn)練時(shí)容易偏向多數(shù)類，需要用采樣、損失加權(quán)或在線難例挖掘(hardnegativemining)來(lái)緩解。再有就是實(shí)時(shí)性問(wèn)題，在車規(guī)級(jí)平臺(tái)上，算力受限時(shí)必須在模型精度與延遲間做折中，常見(jiàn)策略是先用輕量級(jí)的點(diǎn)云前處理快速生成高召回候選，再用較重的二次分類器精判，或者把檢測(cè)模型做蒸餾、量化以降低延遲。

　　環(huán)境與天氣條件對(duì)激光雷達(dá)影響也要認(rèn)真對(duì)待。雨、雪、霧會(huì)降低回波強(qiáng)度并引入虛假散斑，導(dǎo)致點(diǎn)云噪聲增多與遠(yuǎn)距目標(biāo)丟失。激光雷達(dá)也會(huì)受到表面材料(高反射或吸光材料)與玻璃的影響，造成點(diǎn)云孔洞或反射假點(diǎn)。在這些情況下，簡(jiǎn)單的幾何閾值往往不再可靠，使用多時(shí)刻融合(temporal smoothing)、運(yùn)動(dòng)補(bǔ)償(因?yàn)樾D(zhuǎn)式激光雷達(dá)在掃描期間平臺(tái)可能已移動(dòng)，需做去畸變)、以及與相機(jī)/毫米波雷達(dá)的傳感器級(jí)融合變得必要。運(yùn)動(dòng)補(bǔ)償通常依賴IMU/里程計(jì)信息，將點(diǎn)云從逐點(diǎn)時(shí)間戳還原到同一參考時(shí)刻，減少由于車輛運(yùn)動(dòng)帶來(lái)的形變，這在高速行駛或旋轉(zhuǎn)掃描器(VLP/Velodyne)場(chǎng)景下尤其重要。

　　在檢測(cè)以外，跟蹤(tracking)是保障系統(tǒng)穩(wěn)定感知的關(guān)鍵環(huán)節(jié)，把逐幀檢測(cè)到的包圍框做數(shù)據(jù)關(guān)聯(lián)，維持目標(biāo)ID與軌跡，用卡爾曼濾波(標(biāo)準(zhǔn)卡爾曼、擴(kuò)展卡爾曼或無(wú)跡卡爾曼)、匈牙利算法做幀間匹配，或使用基于軌跡的ReID特征做關(guān)聯(lián)，都能顯著降低錯(cuò)檢/漏檢帶來(lái)的瞬時(shí)決策風(fēng)險(xiǎn)。對(duì)速度估計(jì)和軌跡預(yù)測(cè)的精度將直接影響規(guī)劃與決策模塊，因而有方案中會(huì)把跟蹤作為檢測(cè)后必要且輕量的模塊來(lái)部署。

　　那如何評(píng)估檢測(cè)效果?

　　常見(jiàn)指標(biāo)有基于交并比(IoU)計(jì)算的平均精度(mAP)、不同距離下的召回率與誤報(bào)率、以及延遲(從點(diǎn)云到檢測(cè)結(jié)果的時(shí)間)。公認(rèn)的公開(kāi)基準(zhǔn)如KITTI提供了標(biāo)準(zhǔn)化的測(cè)試集與評(píng)價(jià)方法，很多算法都以KITTI上的3D檢測(cè)成績(jī)作為對(duì)比參考，但要注意KITTI的采樣和標(biāo)注有其偏向(比如以車輛為主、場(chǎng)景集中在城市道路)，在其它場(chǎng)景(高架、高速、鄉(xiāng)村)模型表現(xiàn)會(huì)有所不同，因此工程驗(yàn)證要覆蓋目標(biāo)部署環(huán)境。

　　在工程實(shí)踐中，有些組合策略往往更穩(wěn)妥，如先用快速的經(jīng)典方法做高召回候選(比如基于體素柵格+Euclidean clustering得到一批候選簇)，再把這些候選與相機(jī)的二維檢測(cè)或深度模型的分類頭做融合判斷;或者在計(jì)算資源允許時(shí)直接部署端到端的深度檢測(cè)模型(例如PointPillars、SECOND)，并配合輕量級(jí)后處理(非極大值抑制NMS、跟蹤)以保證穩(wěn)定輸出。若項(xiàng)目面向量產(chǎn)或車規(guī)級(jí)應(yīng)用，還需要考慮模型的壓縮、定點(diǎn)化，以及在不同硬件(CPU、GPU、DSP、NPU)上的推理性能測(cè)試。

　　再來(lái)說(shuō)一說(shuō)細(xì)節(jié)與容易出錯(cuò)的地方，第一，地面分離閾值與柵格分辨率是兩個(gè)最常被調(diào)壞的參數(shù)，若設(shè)置不當(dāng)會(huì)把低矮障礙誤判為地面或把地面碎點(diǎn)誤判為障礙;第二，聚類半徑和最小簇大小直接決定了是否能分清相鄰車輛或保留行人這樣的小目標(biāo);第三，點(diǎn)云的畸變補(bǔ)償若忽視，會(huì)在轉(zhuǎn)彎或不均速行駛時(shí)導(dǎo)致連續(xù)幀匹配失敗;第四，強(qiáng)度(intensity)通道往往被低估，實(shí)際上對(duì)區(qū)分玻璃/反光物體與真實(shí)實(shí)體非常有用，應(yīng)在特征或網(wǎng)絡(luò)輸入中加以利用;第五，遠(yuǎn)距離目標(biāo)常常只有極少點(diǎn)，深度學(xué)習(xí)模型容易忽視，這時(shí)需要在訓(xùn)練時(shí)做專門的難例增強(qiáng)或在感知系統(tǒng)層面上把遠(yuǎn)近分成不同的處理通道以提高遠(yuǎn)距召回。

　　如果你在團(tuán)隊(duì)內(nèi)做點(diǎn)云檢測(cè)，需要盡可能構(gòu)建多樣化的標(biāo)注集，覆蓋不同傳感器、不同視距、晝夜、雨雪等天氣，并利用半自動(dòng)標(biāo)注工具(例如基于軌跡傳播的批量標(biāo)注)來(lái)減低人工成本。數(shù)據(jù)增強(qiáng)也非常重要，隨機(jī)旋轉(zhuǎn)(繞豎軸)、尺度變換、隨機(jī)刪除點(diǎn)(模擬點(diǎn)丟失)、以及把labeled objects插入不同場(chǎng)景(拼接增強(qiáng))都是常用技巧，能顯著提升模型的魯棒性。

　　再談深度學(xué)習(xí)的一些工程取舍，點(diǎn)級(jí)網(wǎng)絡(luò)(PointNet/PointNet++)對(duì)小目標(biāo)與細(xì)節(jié)敏感，但在大范圍場(chǎng)景上計(jì)算成本高;體素/稀疏卷積方法在速度上更易優(yōu)化(稀疏卷積可以在稀疏體素上高效運(yùn)算)，且更容易與現(xiàn)有的卷積加速庫(kù)對(duì)接;pillar/BEV方法在速度和工程化上最容易落地，因?yàn)锽EV表示可以直接利用二維卷積網(wǎng)絡(luò)的成熟生態(tài)并與相機(jī)BEV或高清地圖數(shù)據(jù)對(duì)齊。實(shí)際產(chǎn)品中常把這些方法做成多級(jí)架構(gòu)，即輕量級(jí)快速檢測(cè)作為預(yù)判，嚴(yán)格檢測(cè)作為確認(rèn)，跟蹤模塊串聯(lián)保證輸出穩(wěn)定。

　　未來(lái)發(fā)展方向

　　未來(lái)，有幾個(gè)方向值得關(guān)注。傳感器融合會(huì)越來(lái)越普遍，相機(jī)能提供豐富的語(yǔ)義信息和顏色，對(duì)識(shí)別類別很有幫助;毫米波雷達(dá)對(duì)惡劣天氣更穩(wěn)健，能彌補(bǔ)激光雷達(dá)在雨雪的不足。在模型相關(guān)的技術(shù)中，半監(jiān)督學(xué)習(xí)、弱監(jiān)督和仿真數(shù)據(jù)(合成點(diǎn)云)將緩解標(biāo)注瓶頸;同時(shí)，Transformer與大模型思路正在向點(diǎn)云領(lǐng)域擴(kuò)展，嘗試用更通用的表示去整合多模態(tài)信息。工程上則會(huì)更多地把魯棒性(對(duì)天氣、對(duì)傳感器變化的穩(wěn)定性)作為首要考量，而不僅僅是單一基準(zhǔn)分?jǐn)?shù)。

　　最后給出一段落式的實(shí)踐建議，如果你正在起步做點(diǎn)云障礙物識(shí)別，建議先實(shí)現(xiàn)一個(gè)穩(wěn)定的經(jīng)典流水線，即點(diǎn)云去噪→地面分離(柵格或RANSAC)→歐氏距離聚類→幾何特征分類→跟蹤。用這套流程你可以在很短時(shí)間內(nèi)得到穩(wěn)定可用的檢測(cè)結(jié)果，便于和規(guī)劃/控制聯(lián)調(diào)。同時(shí)并行開(kāi)展基于PointPillars或VoxelNet的深度模型開(kāi)發(fā)，把深度模型當(dāng)成第二階提升手段;在數(shù)據(jù)方面優(yōu)先建設(shè)多場(chǎng)景標(biāo)注集并做強(qiáng)數(shù)據(jù)增強(qiáng)策略;在部署時(shí)重視延遲測(cè)試與模型壓縮(量化、蒸餾)。對(duì)于復(fù)雜環(huán)境(隧道、雪天、高速)盡量引入多傳感器融合和時(shí)間域信息以提升魯棒性。