完整的數據平臺建設方案,會涉及以下3個方面:
邏輯架構、應用架構、物理架構,
這些其實壹個廠商就可以全部完成。下面我說說這數據平臺建設方案的3方面具體是什麽。
壹、邏輯架構數據源層:
所有數據的源頭。 來源於多個業務系統。 數據格式不統壹,尚待清洗。操作數據存儲(ODS)層:
介於業務系統與數據倉庫間的隔離層, 通常在該層中完成ETL的大部分工作。 用於存放從業務系統直接抽取出來的數據。 通過分步匯總,逐步得到數據倉庫所需分析數據。 ETL中的大部分工作在ODS層完成。數據倉庫層:
面向各業務主題的、集成的、穩定的、時變的數據。 通常是匯總的、可冗余的數據。 主要用於查詢。數據***享層:
該層通過各類技術手段(如:WebService、WebAPI、ESB等)將數據倉庫中的規範數據向外部***享。 通過數據***享層,實現數據倉庫、各業務系統間的聯動。 數據倉庫的規範數據對於完善業務系統功能有重大推動作用。數據分析層:
單個主題更加集中。 從各維度視角觀察度量數據。 技術上通常采用各種技術手段(如:列存儲)提高查詢性能。二、物理架構此為舉例參考
三、應用架構圖中展示的,其實就是永洪科技他們幫我們梳理出來的數據平臺建設方案的架構,而且他們對於我所在的行業也有很深的理解,幫助我們梳理了業務指標,從前期數據平臺體系的建設,到後期具體業務場景下業務指標的梳理,都為我們提供了良好的支持。
以上數據平臺的建設體系,希望能對題主有所幫助。