目前自動駕駛感知模塊使用的傳感器主要有攝像頭、毫米波雷達、超聲波雷達、激光雷達等。該相機具有分辨率高、速度快、信息豐富、成本低等優點。依靠深度學習對復雜數據的強大學習能力，可以大大提高環境感知的分類能力。毫米波雷達具有響應速度快、操作簡單、忽略遮擋等優點，能在各種條件下提供目標的有效位置和速度；激光雷達具有三維感知準確、對光線變化不敏感、信息豐富等優點。影像數據無法提供精確的空間信息，毫米波雷達分辨率極低，激光雷達非常昂貴。同時，隨著各個傳感器性能的提高，單個傳感器帶來的信息量越來越多，在不損失有效信息的情況下提取特征是非常困難的。因此，如何高效地處理和融合多傳感器數據是壹項非常具有挑戰性的任務。
近年來，深度學習在相機數據方面取得了驚人的成就，2D目標檢測的速度和精度都有了很大的提高，證明了深度學習是壹種有效的特征提取方法。隨著卷積神經網絡模型的發展，自動駕駛相機提取數據特征的速度和能力大大提高。通過有效利用這些魯棒性高、質量好、檢測精度高的圖像特征，基於視覺的無人駕駛汽車在3D傳感任務中也能獲得良好的檢測結果。深度學習在處理激光雷達數據方面也有很好的效果。隨著基於稀疏點雲數據的網絡的引入，深度學習在學習點雲特征方面已經逐漸超越了壹些傳統方法。然而，在利用深度學習進行多傳感器融合時，仍然存在融合效率低、數據不匹配、容易過擬合等問題。在將多傳感器融合技術應用於自動駕駛的障礙物檢測過程中，也存在檢測精度不足、漏檢和誤檢、實時處理能力不足等問題。由於自動駕駛汽車水平的提高，傳統的多傳感器目標融合已經不能滿足決策的需要，大量感知到的冗余信息也給決策帶來了很大的困難。而且，由於多傳感器原始數據之間在信息維數和信息範數上的巨大差異，有效融合多傳感器信息是非常困難的。
多傳感器數據融合包括多傳感器空間融合和時間同步。傳感器安裝在車身的不同位置，每個傳感器定義自己的坐標系。為了獲得被測對象的壹致描述，需要將不同的坐標系轉換成統壹的坐標系。點雲數據和影像數據的空間融合模型中涉及的坐標系包括世界坐標系、激光雷達坐標系、相機坐標系、影像坐標系和像素坐標系。空間融合的主要工作是獲取雷達坐標系、相機坐標系、圖像物理坐標系和圖像像素坐標系之間的轉換矩陣。但由於不同傳感器的工作頻率不同，數據采集無法同步，因此需要根據工作頻率之間的關系進行多傳感器時間融合。通常每個傳感器的數據統壹到壹個傳感器中，掃描周期長。
自動駕駛感知模塊的信息融合也叫數據融合，也可稱為傳感器信息融合或多傳感器融合。它是對從單個或多個信息源獲得的數據和信息進行相關、關聯和綜合以獲得準確的位置和身份估計的過程，也是信息處理中自我修正以改善結果的過程。利用多傳感器獲得的關於物體和環境的更豐富的信息主要體現在融合算法中。因此，多傳感器系統的核心問題是選擇合適的融合算法。
多傳感器信息融合可以簡單地分為探測級、位置級(目標跟蹤級)和屬性級(目標識別級)。對於結構模型，不同層次的信息融合有不同的結構模型。檢測層的結構模型包括並行結構、分散結構、串行結構和樹形結構。位置級的結構模型有集中式、分布式、混合式和多級式，狀態估計主要通過多個傳感器的協作進行。屬性級結構模型有三種類型:對應決策層、特征層和數據層屬性融合。
檢測級融合是多傳感器分布式檢測系統中直接在檢測決策或信號層上的融合，綜合不同傳感器的檢測結果，形成對同壹目標更準確的判斷，獲得任何單個傳感器無法達到的檢測效果。它是信息融合理論中的壹個重要研究內容。位置級融合是直接基於傳感器的觀測報告或測量軌跡或傳感器的狀態估計的融合，包括時間和空間上的融合。是跟蹤級的融合，屬於中級，也是最重要的融合。多傳感器檢測融合系統主要分為集中式和分布式兩種模式。集中式融合是將各個傳感器的原始數據直接傳輸到融合中心，然後融合中心對這些數據進行處理，最後生成壹個決策。分布式融合是對每個傳感器數據進行預處理，得到獨立的檢測結果，然後將所有傳感器檢測結果傳輸到融合中心進行假設檢驗，生成最終的判斷。根據多傳感器融合屬性層次的不同，屬性層次的融合主要分為三類，即數據層次、特征層次和目標(決策)層次的融合。這些方法主要包括基於估計、分類、推理和人工智能的方法。
數據層融合是對傳感器采集的原始數據進行融合。融合前，不會對原始數據進行預處理，而是先對數據進行融合，對融合後的數據進行處理。那麽特征提取和決策就是最底層的整合。每個傳感器只向融合模塊傳輸其原始數據，然後融合模塊處理來自所有傳感器的原始數據。然後將融合後的原始數據作為輸入，給出相應的算法。在傳統方法中，Pietzsch和其他人使用低級測量向量融合來組合來自不同傳感器的數據，以用於預碰撞應用。隨著深度學習的發展，在數據註冊的情況下，深度學習也可以用來學習註冊的數據。這種融合方法要求融合後的傳感器信息具有很高的配準精度。這種融合處理方法的優點是可以提供其他兩個融合層次所不能提供的詳細信息。通過融合來自不同來源的原始數據，可以在早期階段對數據進行分類。但要處理的傳感器數據量大，處理時間長，數據帶寬很高，實時性差，抗幹擾能力差，在實際應用中可能比較復雜。此外，由於原始數據采用不同的格式和不同的傳感器類型，數據融合要求傳感器類型相同。因此，向架構中添加新傳感器需要對融合模塊進行重大更改。
因此，壹些研究者開始引入特征層融合的思想。與直接利用不同傳感器的原始數據進行融合不同，特征級融合首先從各自的數據中提取特征，然後對提取的特征進行融合。特征級融合需要從傳感器采集的數據中提取特征，提取特征向量，然後對特征信息進行處理，最終得到融合後的特征用於決策，屬於中級融合。其優點是有助於提高實時性，降低對通信寬帶的要求。特征級融合提供了更多的目標特征信息，增加了特征空間的維數。融合性能降低的原因是丟失了壹些有用的信息。特征級融合的實現技術主要有模板匹配法、聚類算法、神經網絡和支持向量機、SVM。基於深度學習的方法也大多使用神經網絡提取特征，對不同傳感器提出的特征進行級聯或加權，如RoarNet、AVOD、MV3D、F-PointNet等。特征級融合的主要優點是可以減少傳感器數據到融合模塊的帶寬，通過增強特征的互補性來提高效果。特征級融合保留了與低級融合相同的分類和預處理能力，允許相關數據被相似且有效地集成到跟蹤算法中。
目標(決策)層融合架構是底層融合的對立面。每個傳感器執行目標檢測算法並生成跟蹤目標列表。然後，融合模型用目標跟蹤序列融合這些目標。每個傳感器經過預處理、特征提取、識別或判斷，最後的初步決策由融合來判斷，所以是最高層次的融合。決策級融合可以在同類或異類傳感器中執行。決策級融合的優缺點正好與數據級相反，目標級融合的主要優點是其模塊化和對傳感器特定細節的封裝。而且通信量小，有壹定的抗幹擾能力，處理成本低。選擇合適的融合算法可以將影響降到最低。主要缺點:預處理成本高，數據信息處理的效果取決於預處理階段的性能。常用的方法包括:專家系統方法、模糊集理論、貝葉斯推理、D-S證據理論等。目前大多數基於目標層融合的目標檢測方法效率非常低，不適合自主車輛的檢測時間要求。同時，要素層和數據層的融合也需要更多地考慮各自的數據形式。
目前，大多數多傳感器融合研究集中在圖像數據和多線激光雷達上。而基於攝像頭的自動駕駛感知系統，只是缺少空間信息的維度，無法準確恢復空間信息的位置。攝像頭容易受到光線、探測距離等因素的影響。在探測遠距離目標時，只能給出極低分辨率的信息，甚至人的肉眼都無法分辨，導致無法標註或誤標註的問題。無法穩定應對復雜多變交通環境下的車輛檢測任務，無法滿足無人駕駛汽車的穩定性要求。因此，自動駕駛目標檢測需要更多的傳感器。激光雷達具有探測距離遠、不受光線影響、能夠準確獲取目標距離信息等優點，可以彌補相機的不足。在識別目標時，可以判斷此時檢測幀中是否存在點雲，以決定是否修正相應的識別置信度。雷達點雲數據與圖像數據的融合不僅可以獲得目標的準確深度信息，還可以降低圖像檢測中的漏檢概率，從而達到融合數據提高檢測效果的目的。通過這種多視圖編碼方案，可以獲得稀疏3D點雲的更有效和更緊湊的表達。
由於視覺圖像容易獲取，處理方法多樣，視覺技術是現階段自主車輛研究中獲取信息的主要手段。其中，視覺技術主要分為單目視覺和雙目視覺。單目視覺識別技術大多采用基於車輛特征的方法，主要利用不同於背景的特征，如紋理、邊緣、底影等。然而，這種方法獲得的信息是不充分的，缺乏深度信息，並且容易受到外部環境的幹擾，例如光照和陰影。雙目視覺識別技術雖然可以取得很好的效果，但是計算量大，算法復雜，很難保證實時的車輛識別。激光雷達可以獲取場景的距離信息，不易受光照等外界條件的影響，但其獲取的外部信息不足，容易造成誤判。由於圖像具有良好的橫向紋理特征，點雲能夠提供可靠的縱向空間特征，多傳感器融合技術可以克服單個傳感器獲得的信息不足、探測範圍小的缺點。隨著自動駕駛和深度學習技術的發展，多傳感器融合相關技術得到了極大的推動。多傳感器融合技術基本可以概括為:對於不同時空維度的多傳感器信息，根據融合準則，對這些信息進行分析，得到對被測目標的壹致描述和解釋，進而實現後續的決策和估計，使融合結果比單獨得到的結果更加豐富和準確。在自動駕駛領域，傳統的多傳感器融合算法如卡爾曼濾波算法和D-S證據理論仍然發揮著非常重要的作用。然而，隨著深度學習的快速發展，端到端的數據融合已經成為自動駕駛不可或缺的方法。
現有的壹些融合方案只是用來幫助確認目標的存在，比如在激光雷達帶著目標返回到近似區域時進行相應的視覺探測；有的采用統壹的框架進行融合，比如在基於卡爾曼濾波器的框架下，對不同的傳感器賦予不同的協方差，任意壹個傳感器獲得目標數據後依次更新目標數據。這些方案都可以實現多傳感器數據融合，但由於對不同傳感器壹視同仁並進行融合，方法直接但效率不高，因此有很大的改進空間。在基於純視覺的3D目標估計中，估計的距離屬性極不穩定，通過多傳感器融合，對視覺信息進行修正，大大提高了自動駕駛的目標檢測精度。目標層融合相機和激光雷達信息無法滿足自動駕駛的要求。
參考:
廖閱鵬(基於多傳感器的自動駕駛目標檢測)？/view/93e 561 a2 FBD 6195 f 312b 3169a 45177232 f 60e 480 . html CVPR _ 2017:？多視角？3d？對象？檢測？網絡？為了什麽？自動駕駛；