在視頻跟蹤過程中，根據使用的攝像機數量，目標跟蹤方法可以分為單攝像機跟蹤方法和多攝像機跟蹤方法。由於單個攝像機的視場有限，大範圍場景下的目標跟蹤需要多攝像機系統。基於多攝像機的跟蹤方法有助於解決遮擋問題、場景混亂和環境光照突變情況下的目標跟蹤問題。
(2)相機是靜止的，也是運動的。
在實際的目標跟蹤系統中，攝像機可以固定在某個位置不變，也可以是移動的不固定的。比如，對於大多數視頻監控系統來說，就是在攝像機靜止的情況下，對特定感興趣區域的目標進行識別和跟蹤；在視覺導航等應用系統中，攝像頭經常隨著無人車、無人機等載體移動。
(3)單目標跟蹤和多目標跟蹤
根據跟蹤目標的數量，跟蹤算法可以分為單目標跟蹤和多目標跟蹤。與單目標跟蹤相比，多目標跟蹤更加復雜和困難。多目標跟蹤問題需要考慮視頻序列中多個獨立目標的位置和大小。多目標外觀的變化、不同的運動模式、動態光照的影響、多目標的相互遮擋、合並和分離都是多目標跟蹤中的難點。
(4)剛體跟蹤和非剛體跟蹤
根據被跟蹤目標的結構特性，被跟蹤目標可分為剛體和非剛體。所謂剛體，是指具有不易變形的剛性結構的物體，如車輛等目標；非剛體通常是指形狀容易變形的物體，如布面、衣服面等。對剛體目標的跟蹤已經有了廣泛而深入的研究，但對剛體目標的跟蹤卻沒有。由於物體的形變和自遮擋，將基於剛性物體的跟蹤算法直接應用於非剛性物體的跟蹤壹直是壹個非常困難和具有挑戰性的任務。
(5)可見光和紅外圖像的目標跟蹤
根據傳感器成像類型的不同，目標跟蹤也可以分為基於可見光圖像的跟蹤和基於紅外圖像的跟蹤。目標的紅外圖像不同於目標的可見光圖像。它不是人眼能看到的可見圖像，而是目標表面溫度分布的圖像。紅外圖像屬於被動成像，不需要各種光源照射，全天時工作，安全隱蔽，使用方便；與可見光相比，紅外光的波長要長得多，透煙性更好，可以在夜間工作。可見光圖像具有光譜信息豐富、分辨率高、動態範圍大等優點，但在夜間和低能見度下成像效果較差。
常用的目標跟蹤算法有幾種:基於目標運動特征的跟蹤算法，如幀差法、光流跟蹤法；基於視頻序列相關性的目標跟蹤算法，如基於模板的相關跟蹤算法和基於特征點的相關跟蹤算法；基於目標特征參數的跟蹤算法，如基於輪廓的跟蹤算法和基於特征點的跟蹤算法。此外，許多研究者將小波、人工智能、神經網絡等相關知識應用到目標跟蹤領域，並取得了良好的效果。這些算法各有優缺點，應根據應用情況進行選擇。