與有人機相比，無人機更小、更輕、更便宜，更適合執行危險任務。搭載視覺傳感器的小型無人機是反恐、交通監控、救災和戰場監控的理想平臺。全景圖像拼接、運動目標檢測和跟蹤是完成這些任務的關鍵技術。由於平臺的運動，除了前景物體外，背景也在運動，因此背景的運動補償是無人機航拍視頻分析處理中必不可少的壹步。背景運動補償模塊接收後，對視頻幀進行配準，生成相應的配準圖像，這些圖像可以拼接在壹起生成全景圖，以把握整體信息。此外，通過幀差法檢測運動目標，通過跟蹤模塊跟蹤感興趣的目標。本文首先提取相鄰幀的Harris特征，然後引入基於離群點剔除和魯棒特征匹配的a-估計量，再用MDLT方法尋找幀的單應性。根據單應性，對幀進行配準，並對平臺的自運動進行補償，全景圖由壹系列幀拼接而成。最後通過5幀相減完成運動目標檢測，並采用基於相關濾波的視覺跟蹤算法跟蹤感興趣的目標。
圖像配準是利用匹配策略找到兩幅圖像中對應特征點的正確位置，然後得到兩幅圖像之間的單應性進行配準。本文的圖像配準算法包括幾個部分:Harris特征點的提取和描述，魯棒特征匹配的-估計器，以及估計單應性的MDLT方法。首先，從兩幅圖像中提取特征點並對其進行描述以獲得匹配點，然後去除離群點，並對特征進行穩健的匹配估計。最後，利用MDLT方法估計滿足圖像不同部分的單應性，得到精確的投影模型參數來配準圖像幀。
對於要匹配的圖像對，我們執行Harris和其他特征匹配方法來確定n個初始匹配對應關系:
其中是匹配特征點的二維坐標，如果是內點，滿足以下關系:
變換可用於通過匹配內點來估計最小二乘；
但是，這些點可能有異常值，應將其移除以正確估計變換。目前的方法通常使用兩步策略或假設和驗證技術(如RANSAC)來解決問題，總是非常耗時，甚至無法得到合理的結果。
壹種基於穩健性的特征匹配方法——估計器直接估計初始對應與離群點的變換。為了自動將殘差向量分為離群值集和內部值集，經典的最小二乘損失函數對離群值很敏感。Norm適合解決這個問題，但由於觀測值中包含噪聲，所以不可靠。通常，範數適應於最近的凸松弛正則化進行權衡。該估計器對於特征匹配更加穩健和有效。損失函數是
哪裏是範數的算子。
將通過對初始特征點應用全局變換來移除異常值。
對於低空航拍視頻，幀與幀之間的視圖並不是因為旋轉而完全不同，也不是完全平面的場景。使用基本的單應性失真將不可避免地導致錯位或視差。Julio Zaragoza提出的APAP(As-Projective-As-impossible)圖像拼接方法假設圖像的細節滿足不同的單應性，通過使用位置相關的單應性來扭曲每個像素。采用MDLT加權單應性估計方法可以減輕錯位和視差的影響。
直接線性變換(DLT)是從壹組噪聲點匹配估計單應性的基本方法。在將單應矩陣向量化成向量之後，只有兩條線是線性獨立的，因此為第壹點計算的LHS矩陣的前兩行是匹配的。對於矩陣a的所有垂直堆棧。
那麽優化的目標是
僅使用壹個單應性來重建整幅圖像的變形。
通過從加權問題估計單應性來改進MDLT方法，
權重賦予更接近的點匹配更高的重要性。
為了防止估算中的數值問題，他們使用0到1之間的小值來抵消權重。
不需要計算每個像素的單應性。因此，我們將圖像均勻劃分為多個單元格的網格，取每個單元格的中心為。
航拍視頻幀全景拼接後，可以得到大範圍場景的靜態圖像，把握整體信息。
首先，我們利用單應性對要拼接的兩幀圖像進行扭曲，將像素映射到全景圖中的位置，依次拼接幀，然後將兩個扭曲的圖像進行融合，避免接縫線附近出現正差異。通常相鄰幀的重疊率，在實際應用中，我們根據移動速度選擇壹定時間間隔的幀進行拼接，可以降低計算復雜度。對於早期的拼接圖像，我們只選擇最後壹幀而不是整個拼接圖像來提取特征點，也是為了計算速度。
對於對齊的幀，采用改進的5幀差分法檢測運動目標。傳統的三幀差分法可以檢測出物體的基本輪廓，但輪廓總是不連續的，物體的重疊部分很難檢測出來。根據幀差法的理論，通過多幀差進行信息融合，可以提取出更完整的運動物體。5幀差分方法可以部分克服3幀差分方法的缺點。對於相鄰的五幀，我們先用中值濾波去除椒鹽噪聲，然後分別對中間壹幀和其他四幀進行差分運算。結果如下:
對差分結果進行濾波後，引入Otsu動態閾值分割方法獲得二值圖像，然後用and運算抑制物體的重疊。
然後我們使用OR操作來避免物體輪廓上的孔洞。
二值圖像也可能有噪聲和孔洞，這可能導致錯誤的對象邊界框。最後利用形態學腐蝕和膨脹來覆蓋運動物體區域，去除噪聲和填補孔洞，從而獲得物體的位置和尺度。
移動物體檢測步驟將檢測多個物體區域。我們只選取壹個感興趣的目標，利用基於相關濾波的長時視覺跟蹤算法對選取的目標進行跟蹤，獲得目標的位置和尺度。實時對象。跟蹤器由在檢測操作中檢測到的邊界框初始化。
基於相關濾波的長時視覺跟蹤算法在核相關濾波跟蹤器框架下整合了方向梯度直方圖、顏色命名和強度，創建了魯棒的物體外觀模型。在後續幀中，可以通過分別最大化平移濾波器和比例濾波器的相關分數來估計對象的新位置和比例，並且可以通過新位置和比例來更新濾波器。同時，實時檢測跟蹤狀態，當跟蹤失敗時，使用在線CUR濾波器重新檢測目標。該算法對長時間視覺跟蹤的復雜場景具有魯棒性。跟蹤流程圖如圖1所示。
實驗中的數據集選自DARPA提出的身份視頻驗證(VIVID)公開* * *數據集中的航拍視頻數據。這些數據集包括紋理較少和紋理較好的視頻背景。我們選擇了兩個典型的視頻egtest01和egtest05進行實驗。分辨率為640x480，幀率為30fps。實驗在MATLAB R2016a中，在Intel Core i5-7300HQ，2.5GHz CPU，8GB RAM的計算機上進行。
首先從待配準的兩幀圖像中提取Harris特征，利用描述子的歐氏距離進行粗匹配，然後利用估計方法去除離群點。最終的匹配結果如圖2所示。
從圖2中可以看出，無論是在紋理較少還是紋理較好的背景場景中，特征點分布均勻且主要集中在背景中，有助於獲得準確的配準結果。
根據匹配的特征點，利用MDLT方法得到兩幀變換，然後對圖像進行變形，將參考圖像和變形圖像進行拼接融合。最後，將這些幀依次拼接在壹起，得到如圖3所示的全景圖。
幀配準後，我們用5幀差分法得到差分結果，然後去除細小的方形噪聲，做形態學運算得到物體區域，最後得到運動物體位置和尺度區域的邊界框，如圖4所示。
跟蹤算法可以更新對象的比例，當丟失的對象被完全遮擋或看不見時，可以重新檢測丟失的對象。圖5示出了不同幀中的跟蹤結果。
基於小型無人機平臺，我們開發了壹些關鍵的空中偵察圖像處理算法。該算法包括配準視頻幀，使用幀差來檢測運動物體，將幀拼接成全景圖，並跟蹤檢測到的物體之壹。實驗結果表明，該方法能夠在紋理較少的背景和紋理較好的背景下進行復雜場景的配準、拼接、檢測和跟蹤。