本文介紹激光雷達(dá)和相機(jī)融合的兩種方法：

前融合：融合原始數(shù)據(jù)（點(diǎn)云和像素/目標(biāo)框）。

后融合：融合目標(biāo)框。

1. 前融合

前融合一般指融合原始數(shù)據(jù)，最容易、最普遍的方式是將點(diǎn)云投影到圖像。然后檢查點(diǎn)云是否屬于圖像中檢測(cè)的2D目標(biāo)框。流程如下：

1.1 點(diǎn)云投影

三步：

將3D激光雷達(dá)點(diǎn)轉(zhuǎn)換為齊次坐標(biāo)

將點(diǎn)云變換到圖像坐標(biāo)系（LiDAR-Camera外參）

透視投影到圖像平面 （相機(jī)內(nèi)參）

1.2 圖像目標(biāo)檢測(cè)

一般使用YOLO系列算法。可以參考：https://www.thinkautonomous.ai/blog/?p=introduction-to-yolov4-research-review

1.3 ROI匹配

ROI （Region Of Interest）匹配即融合目標(biāo)邊界框內(nèi)的數(shù)據(jù)。這一步的輸出：

對(duì)于每個(gè)2D邊界框，圖像檢測(cè)提供類別。

對(duì)于每個(gè)LiDAR投影點(diǎn)，我們有準(zhǔn)確的距離。

因此，融合目標(biāo)語義類別和空間位置就完善了。這一步的重點(diǎn)是如何融合目標(biāo)邊界框內(nèi)的投影點(diǎn)，作為目標(biāo)位置：求平均，中值，中心點(diǎn)，最近點(diǎn)？

另外，圖像目標(biāo)框往往比真實(shí)目標(biāo)大一些，目標(biāo)邊界框內(nèi)投影點(diǎn)云可能不屬于真實(shí)目標(biāo)（比如可能屬于背景，或附近目標(biāo)）。針對(duì)這個(gè)問題，采用圖像分割，可以更準(zhǔn)確地匹配投影點(diǎn)和像素。

下圖箭頭處顯示了投影點(diǎn)在目標(biāo)框內(nèi)，但不屬于目標(biāo)框?qū)?yīng)的車輛，而是前方車輛的點(diǎn)云。

2. 后融合

后融合是融合各個(gè)傳感器獨(dú)立的檢測(cè)結(jié)果，有兩種融合思路：

2D融合：圖像2D檢測(cè)，點(diǎn)云3D檢測(cè)投影到圖像生成的2D檢測(cè)。如下圖：

3D融合：圖像3D檢測(cè)，點(diǎn)云3D檢測(cè)。流程如下：

下文詳細(xì)介紹下3D融合的思路。

2.1 點(diǎn)云3D目標(biāo)檢測(cè)

傳統(tǒng)方法：聚類，L-shape fitting等

深度學(xué)習(xí)方法：centerpoint等

2.2 圖像3D目標(biāo)檢測(cè)

單目3D目標(biāo)檢測(cè)，需要知道投影參數(shù)（相機(jī)內(nèi)參，標(biāo)定外參），并使用深度學(xué)習(xí)。知道目標(biāo)的真實(shí)大小和朝向也有助于得到目標(biāo)的準(zhǔn)確邊界框。

分享一篇單目3D檢測(cè)論文：https://arxiv.org/pdf/1612.00496.pdf

2.3 IOU匹配

IOU即Intersection Over Union， 描述兩個(gè)邊界框的重合程度。

2.3.1 空域上的IOU匹配

匹配就是看圖像3D邊界框和點(diǎn)云3D邊界框是否重合（用IOU衡量），重合度高則是同一個(gè)目標(biāo)。3D Iou--Net (2020)中的示例圖像：

因此，我們可以在空域上將不同傳感器的檢測(cè)目標(biāo)進(jìn)行關(guān)聯(lián)。

這個(gè)過程在9 Types of Sensor Fusion Algorithms（https://www.thinkautonomous.ai/blog/?p=9-types-of-sensor-fusion-algorithms）中，被定義為中級(jí)（middle-level）傳感器融合。中級(jí)傳感器融合和高級(jí)傳感器融合的區(qū)別是，高級(jí)傳感器融合包括跟蹤。

而為了時(shí)間跟蹤，則需要時(shí)域上的數(shù)據(jù)關(guān)聯(lián)。

2.3.2 時(shí)域上的IOU匹配

目標(biāo)跟蹤一般用卡爾曼濾波和匈牙利算法來關(guān)聯(lián)時(shí)域上的目標(biāo)，從而跨幀跟蹤目標(biāo)，甚至預(yù)測(cè)目標(biāo)位置。

跟蹤3D邊界框位置時(shí)，一般用IOU作為度量進(jìn)行數(shù)據(jù)關(guān)聯(lián)。當(dāng)然也可以使用深度卷積特征來確保目標(biāo)一致。我們稱該過程為SORT (Simple Online Realtime Tracking), 或Deep SORT，如果使用深度卷積特征。

時(shí)域上IOU匹配的原理與空域上類似：如果第一幀和第二幀的邊界框重合，則說明兩個(gè)目標(biāo)是相同的。

既然我們可以在空域和時(shí)域上跟蹤目標(biāo)，那么也可以利用類似方法進(jìn)行高級(jí)的傳感器融合。

2.4 后融合總結(jié)

融合檢測(cè)目標(biāo)是中級(jí)的融合，需要空域上的IOU匹配；融合跟蹤軌跡是高級(jí)的融合，需要時(shí)域上的IOU匹配（匹配度量），卡爾曼濾波（狀態(tài)估計(jì)），匈牙利算法（數(shù)據(jù)關(guān)聯(lián)）。

審核編輯 ：李倩