本文旨在全面回顧高亮目標檢測的最新進展,並將其與其他密切相關的領域聯系起來,如壹般場景分割、目標暗示生成和固定預測的意義。主要內容包括:1)根本原因、關鍵概念和任務;2)核心技術和主要建模趨勢;3)顯著目標檢測中的數據集和評估指標。討論並提出了未來研究的逆向等開放性問題。
1.
1.1什麽是顯著物體?
其中提到,壹般認為,壹個好的顯著性檢測模型至少應該滿足以下三個標準:1)好的檢測:丟失實際顯著區域和錯誤地將背景標記為顯著區域的可能性應該較低;2)高分辨率:顯著圖應具有高分辨率或全分辨率,以準確定位顯著物體並保留原始圖像信息;3)計算效率:作為其他復雜過程的前端,這些模型應該能夠快速檢測出顯著區域。
1.3重要物體的探測歷史
(1)ITTI等人提出的最早也是最經典的顯著性模型,比如預測顯著圖,G是顯著對象的地面形式二值掩膜。
(1)精確召回(PR)。首先,顯著圖s被轉換成二值掩模m,然後通過將m與基礎真值g進行比較來計算精確度和召回率:
(2) F值:通常無論是精度還是召回率都不能完全評價顯著圖的質量。因此,提出F值作為集中式跳河平均的精度和召回率的非負權重:
(3) ROC(受試者工作特征)曲線:是以假陽性率(FP_rate)和假陰性率(TP_rate)為軸的曲線。
(4)ROC曲線下面積(AUC):AUC越大,表現越好。
(5)平均絕對誤差(MAE):進行更全面的比較。
圖12,流行顯著物體檢測數據集:
第二,傳統的顯著性測試內容補充(論文中的分類與我平時的習慣不符,所以再次收集資料整理)
常見的顯著性檢測方法:
1.?認識模型
幾乎所有的模型都直接或間接地受到認知模型的啟發,其壹大特點是心理學和神經學的結合。Itti模型(使用顏色、屬性、方向三個特征通道)就是這類模型的代表,也是很多後續衍生模型的基礎。
2.?信息論模型
本質是最大化視覺環境的信息,最有影響力的模型是AIM模型。
3.?圖論模型
基於圖輪的顯著性模型將眼動數據視為時間序列,使用隱馬爾可夫模型、動態貝葉斯網絡和條件隨機場。圖模型可以對復雜的註意機制進行建模,因此可以達到更好的預測能力。缺點在於模型的高度復雜性,尤其是在訓練和可讀性方面。典型的有:GBVS等。
4.?頻域模型
基於譜分析的顯著性模型形式簡單,易於解釋和實現,在註意力焦點預測和顯著區域檢測方面取得了巨大成功,但其生物合理性並不十分明確。經典模型包括:譜殘差的顯著性檢測模型(純數學計算方法)。
資源鏈接:
/p-915060851.html
/p-4993561181219 . html
/u 012507022/article/details/52863461
三、基於深度學習的顯著性檢測的內容補充(論文寫於2014,關於深度學習的部分不夠完善,此處補充)
基於深度學習的顯著目標檢測的研究在發展初期,從目標檢測神經網絡到過度訓練,壹直難以取得理想的效果。R-CNN在2065438+2004的誕生,成為第壹個真正意義上的工業級應用方案,其在VOC2007測試集中的mAP提升至66%。但是R-CNN框架中仍然存在很多問題:
1)訓練分幾個階段,步驟比較復雜:網絡微調+訓練SVM+訓練邊界回歸。
2)訓練耗時,占用大量磁盤空間:5000張圖片產生數百個g特征文件。
3)速度慢:使用GPU和VGG-16模型處理壹幅圖像需要47s。
到目前為止,基於深度學習的顯著對象檢測的研究可以分為兩類:基於區域暗示的深度學習對象檢測和基於回歸的深度學習對象檢測。
基於區域建議的深度學習目標檢測方法有:R-CNN、SPP-net、FastR-CNN、FAST R-CNN、R-FCN等。
1) R-CNN(具有CNN特征的區域)在時間和空間上的代價較高;
2)SPP-net(spatial pyramid pooling)加強了對CNN的使用,允許輸入不同大小的圖片,進壹步強調了CNN特征計算前移、區域處理後移的思想,大大節省了計算量,但不是端到端的模型且CNN特征提取沒有聯動參數;
3)fastr-CNN的出現解決了前兩者的重復計數問題,實現了區域建議和目標檢測端的卷積。首次提出的RoI Pooling技術,充分發揮了區域後移的優勢,加快了訓練速度。CNN網絡模型采用VGG-16,通過聯動調用參數提高了實驗效果,但仍然沒有實現端到端模型,嚴重依賴SS區域建議。
4)更快的R-CNN放棄了選擇性搜索,提出RPN網絡計算候選幀。使用端到端的網絡進行目標檢測,無論是速度還是準確率都有了很大的提高,但是速度還不能滿足實時需求,而且對於每個建議分類的計算量還是很大,功能還沒有進入案例分割階段。
基於回歸的深度學習目標檢測方法有YOLO、SSD、G-CNN、NMS等。
1) YOLO(妳只看壹次)將目標檢測任務轉化為壹個回歸問題,大大簡化了檢測過程,加快了檢測速度。但是在預測目標窗口時,使用的是全局信息,冗余度高,沒有區域暗示機制,檢測精度不高。
2)SSD(Single Shot multi box Detector)在預測某個位置時利用了該位置周圍的特征。結合了YOLO的回歸思想和FasterR-CNN中的候選區域機制,既保持了YOLO的快速性,又保證了定位的準確性。
3) G-CNN側重於減少初始化建議的數量,讓幾萬個建議變成很少的初始網格,提高了檢測速度;
4 4) NMS(非最大抑制)通過叠代去除重復的候選幀,並選擇具有最高置信度的幀。
目前,基於區域建議的深度學習目標檢測在實際應用中應用較為廣泛。
基於深度學習的顯著性檢測方法研究現狀:
R-CNN系列顯著目標檢測框架和YOLO顯著目標檢測框架為我們提供了基於深度學習的目標檢測的兩個基本框架。目前,研究者基於這些框架從其他方面提出了壹系列提高目標檢測性能的方法。如:困難樣本挖掘、多層特征融合、利用上下文信息、更深層次網絡學習的特征等。
原文鏈接:/QQ _ 32493539/文章/詳情/79530118。