工具:ETL
在數據倉庫的背景下，ETL基本上是數據收集的代表，包括數據提取、轉換和加載。在轉換過程中，需要根據具體的交易場景對數據進行管理，比如非法數據的監控和過濾、格式轉換和數據標準化、數據替換、保證數據完整性等。
2、實時采集:
工具:水槽/卡夫卡；
實時采集主要用於考慮流處理的事務場景，例如記錄數據源的各種操作活動，如網絡監控的流量處理、金融應用的股票核算、web服務器記錄的用戶訪問行為等。在流處理場景下，數據采集會成為Kafka的客戶，就像大壩壹樣攔截來自上遊的連續數據，然後根據事務場景做相應的處理(比如去重、去噪、中心記賬等。)，然後將其寫入相應的數據存儲器。
3.互聯網收藏:
工具:爬蟲、DPI等。
Scribe是由臉書開發的數據(日誌)收集系統。又稱網絡蜘蛛、網絡機器人，是按照壹定規則從萬維網上自動抓取信息的程序或腳本，它支持圖片、音頻、視頻等文件或附件的收集。
除了網絡中包含的內容之外，還可以使用帶寬處理技術(如DPI或DFI)來處理網絡流量的收集。
4.其他數據收集方法
對於客戶數據、財務數據等對企業生產經營數據保密要求較高的數據，可以通過與數據技術服務提供商合作，使用特定的系統接口等相關方式進行數據采集。比如八度雲會計的數字化企業BDSaaS，在數據采集技術、BI數據分析、數據安全保密等方面做得很好。
關於大數據收集方法的分類，青田邊肖將在這裏與您分享。如果妳對大數據工程有濃厚的興趣，希望這篇文章能幫到妳。如果想了解更多關於數據分析師和大數據工程師的技能和資料，可以點擊本站其他文章進行學習。