(1)特征分析:該子系統負責對需要入庫的媒體進行分割或分段，識別所需對象或內容的關鍵點，從而有針對性地提取目標的特征。特征識別可以由用戶輸入或系統定義。
(2)特征提取對用戶提供的或系統標記的媒體對象進行特征提取。特征提取需要知識處理模塊的輔助，這直接關系到標準化的知識定義。
(3)數據庫包括多媒體數據庫和特征數據庫，分別存儲多媒體數據和對應的特征數據，它們之間有壹定的對應關系。特征數據庫包含用戶輸入的、經過預處理自動提取的特征數據，搜索引擎組織與媒體類型匹配的索引，達到快速搜索的目的。
(4)查詢界面，即人機界面，友好的人機界面是檢索系統不可缺少的。在基於內容的檢索中，由於特征不直觀，需要為用戶提供可視化的輸入手段，同時在用戶界面中提供查詢結果的瀏覽功能，即向用戶提供初步查詢結果的返回。系統會根據用戶選擇的排序標準(如顏色、旋律、節拍等)對結果進行排序。)並根據相似度返回給用戶。
(5)搜索引擎，其將提取的特征值與特征庫中的值進行比較，以獲得相似度。不同的媒體有不同的相似性算法，也稱為相似性度量函數。檢索引擎使用相似性度量函數集進行比較，從而確定最接近特征庫值的多媒體數據。
(6)索引過濾在大規模多媒體數據檢索過程中，為了提高檢索效率，檢索引擎在進行匹配之前，往往采用索引過濾的方法提取高維特征進行匹配。