數據預處理的方法有:數據清理、?數據集成?、數據規約和數據變換。
1、數據清洗
數據清洗是通過填補缺失值,平滑或刪除離群點,糾正數據的不壹致來達到清洗的目的。簡單來說,就是把數據裏面哪些缺胳膊腿的數據、有問題的數據給處理掉。總的來講,數據清洗是壹項繁重的任務,需要根據數據的準確性、完整性、壹致性、時效性、可信性和解釋性來考察數據,從而得到標準的、幹凈的、連續的數據。
(1)缺失值處理
實際獲取信息和數據的過程中,會存在各類的原因導致數據丟失和空缺。針對這些缺失值,會基於變量的分布特性和變量的重要性采用不同的方法。若變量的缺失率較高(大於80%),覆蓋率較低,且重要性較低,可以直接將變量刪除,這種方法被稱為刪除變量。
若缺失率較低(小於95%)且重要性較低,則根據數據分布的情況用基本統計量填充(最大值、最小值、均值、中位數、眾數)進行填充,這種方法被稱為缺失值填充。對於缺失的數據,壹般根據缺失率來決定“刪”還是“補”。
(2)離群點處理
離群點(異常值)是數據分布的常態,處於特定分布區域或範圍之外的數據通常被定義為異常或噪聲。我們常用的方法是刪除離群點。
(3)不壹致數據處理
實際數據生產過程中,由於壹些人為因素或者其他原因,記錄的數據可能存在不壹致的情況,需要對這些不壹致數據在分析前進行清理。例如,數據輸入時的錯誤可通過和原始記錄對比進行更正,知識工程工具也可以用來檢測違反規則的數據。
2、數據集成
隨著大數據的出現,我們的數據源越來越多,數據分析任務多半涉及將多個數據源數據進行合並。數據集成是指將多個數據源中的數據結合、進行壹致存放的數據存儲,這些源可能包括多個數據庫或數據文件。在數據集成的過程中,會遇到壹些問題,比如表述不壹致,數據冗余等,針對不同的問題,下面簡單介紹壹下該如何處理。
(1)實體識別問題
在匹配來自多個不同信息源的現實世界實體時,如果兩個不同數據庫中的不同字段名指向同壹實體,數據分析者或計算機需要把兩個字段名改為壹致,避免模式集成時產生的錯誤。
(2)冗余問題
冗余是在數據集成中常見的壹個問題,如果壹個屬性能由另壹個或另壹組屬性“導出”,則此屬性可能是冗余的。
(3)數據值的沖突和處理
不同數據源,在統壹合並時,需要保持規範化,如果遇到有重復的,要去重。