基於區域的跟蹤算法的基本思想是:以目標初始區域的圖像塊為目標模板，將目標模板與候選圖像中所有可能的位置進行匹配，匹配度最高的位置即為目標的位置。最常用的相關匹配標準是平方和(SSD)。
首先，基於區域的跟蹤算法使用的目標模板是固定的，如Lucas等人提出的Lucas-Kanade方法，利用灰度圖像的空間梯度信息尋找最佳匹配區域，確定目標位置。之後，更多的學者針對基於區域方法的缺點進行了不同的改進，如:Jepson等人[18]提出的基於紋理特征的自適應目標外觀模型，可以更好地解決目標遮擋問題，在跟蹤過程中使用在線em算法更新目標模型；Comaniciu等人[19]提出了壹種基於核函數概率密度估計的視頻目標跟蹤算法。該方法使用核直方圖表示目標，通過Bhattacharya系數計算目標模板與候選區域的相似度，通過MeanShift算法快速定位目標位置。
基於區域的目標跟蹤算法利用了目標的全局信息，如灰度信息和紋理特征，因此具有較高的可靠性。即使目標輕微變形，也不會影響跟蹤效果。但當目標被嚴重遮擋時，容易造成跟蹤失敗。
(2)基於特征的跟蹤方法
基於特征的目標跟蹤算法通常使用目標的壹些顯著特征來表示目標，通過特征匹配來跟蹤圖像序列中的目標。這種算法沒有考慮目標的整體特征，所以當目標被部分遮擋時，仍然可以利用另壹部分可見特征來完成跟蹤任務，但是這種算法不能有效處理完全遮擋和重疊的問題。
基於特征的跟蹤方法通常包括兩個過程:特征提取和特征匹配:
a)特征提取
特征提取是指從目標所在的圖像區域提取合適的描述性特征。這些特征不僅要能區分目標和背景，而且要對目標的縮放、目標形狀的變化和目標的遮擋具有魯棒性。常用的目標特征包括顏色特征、灰度特征、紋理特征、輪廓、光流特征、角點特征等。D.G. Lowe's sift(尺度不變特征變換)算法[20]是圖像特征中的壹種有效方法，對旋轉、尺度縮放、亮度變化具有不變性，對視角變化、仿射變換、噪聲也具有壹定的穩定性。
b)特征匹配
特征匹配是以壹定的方式計算和度量候選區域與目標區域的相似度，根據相似度確定目標位置，實現目標跟蹤。在計算機視覺領域，常用的相似性度量標準有加權距離、Bhattacharyya系數、歐氏距離、Hausdorff距離等。其中最常用的是Bhattacharyya系數和歐氏距離。
Tissainayagam等人提出了壹種基於點特征的目標跟蹤算法[21]。該算法首先在多個尺度空間中找到局部曲率最大的角點作為關鍵點，然後使用提出的MHT-IMM算法跟蹤這些關鍵點。這種跟蹤算法適用於幾何形狀簡單的目標，但對於難以提取穩定角點的復雜目標，跟蹤效果較差。
朱等人[22]提出的基於邊緣特征的目標跟蹤算法，首先將參考圖像劃分為若幹子區域，取每個子區域邊緣點的平均值作為目標的特征點，然後采用類似光流的方法進行特征點匹配，從而實現目標跟蹤。
(3)基於輪廓的跟蹤方法。
基於輪廓的目標跟蹤方法需要指定目標輪廓在第壹幀視頻中的位置，然後通過微分方程遞歸求解，直到輪廓收斂到能量函數的局部極小值，其中能量函數通常與圖像特征和輪廓平滑度有關。與基於區域的跟蹤方法相比，基於輪廓的跟蹤方法具有更低的計算復雜度，並且對目標的部分遮擋具有魯棒性。然而，這種方法需要在跟蹤開始時初始化目標輪廓，因此對初始位置敏感，跟蹤精度僅限於輪廓級。
Kass等人[23]在1987中提出的主動輪廓模型(Snake)通過圖像力、內力和外部約束力三種力的相互作用來控制輪廓的運動。內力主要約束輪廓的局部光滑度，像力將曲線推向圖像邊緣，外力可以由用戶指定，主要是將輪廓移動到所需的局部最小值。
Paragios等人[24]提出了壹種使用水平集方法表示目標輪廓的目標檢測和跟蹤算法。該方法首先利用幀差法獲得目標邊緣，然後利用概率邊緣檢測算子獲得目標的運動邊緣，通過將目標輪廓演化為目標的運動邊緣來實現目標跟蹤。
(4)基於模型的跟蹤方法[25]
在實際應用中，我們經常需要跟蹤壹些我們事先知道的特定目標。因此，基於模型的跟蹤方法首先根據其先驗知識離線建立目標的3D或2D幾何模型，然後通過待選區域的模型與目標模型的匹配來實現目標跟蹤。在跟蹤過程中，根據場景中圖像的特點，確定運動目標的尺寸參數、姿態參數和運動參數。
蜀王等人提出了壹種基於超像素的跟蹤方法[26]，在超像素的基礎上建立目標的外觀模板，然後通過計算目標和背景的置信度圖來確定目標的位置。在此過程中，該方法通過分割和顏色聚類不斷防止目標的模板漂移。
(5)基於檢測的跟蹤算法
基於檢測的跟蹤算法越來越流行。壹般來說，基於檢測的跟蹤算法都是使用壹點學習的方法來生成針對特定目標的檢測器，即只使用第壹幀中人工標記的樣本信息來訓練檢測器。這種算法將跟蹤問題簡化為壹個簡單的分離背景和目標的分類問題，因此這種算法是快速有效的。為了適應目標外觀的變化，這類算法通常采用在線學習進行自我更新，即檢測器根據自身的跟蹤結果進行更新。