壹、大數據平臺大數據平臺的整體架構可以由以下幾部分組成:
如圖所示,從下到上有幾個環節:
1.業務應用:其實是指數據采集。妳如何收集數據?在網上收集數據相對簡單,可以通過網頁和app收集數據。比如現在很多銀行都有自己的app,更深層次的可以收集用戶行為數據,可以劃分很多維度,詳細分析。但對於線下行業,數據采集需要借助各種業務系統來完成。
二、數據集成:實際上指的是ETL,即用戶從數據源中提取所需數據,清洗數據,最後根據預先定義的數據倉庫模型將數據加載到數據倉庫中。這裏的Kettle只是ETL中的壹個。
三、數據存儲:指數據倉庫的構建,可簡單分為業務數據層(DW)、指標層、維度層、匯總層(DWA)。
4.數據* * *共享層:提供數據倉庫和業務系統之間的數據* * *共享服務。Web Service和Web API代表了數據之間的壹種連接方式,還有壹些其他的連接方式可以根據妳自己的情況來確定。
第五,數據分析層:分析函數比較好理解,就是各種數學函數,比如均值的K分析,聚類,RMF模型等等。
列存儲允許磁盤上的每壹頁只存儲壹列值,而不是壹整行值。所以壓縮算法會更高效。此外,這可以減少磁盤的I/O並提高緩存利用率,因此磁盤存儲將得到更有效的利用。
分布式計算可以把壹個需要大量計算能力的問題分成很多小的部分,然後把這些部分交給很多臺計算機同時處理,再把這些計算結果綜合起來得到最終的結果。
結合這兩種技術,可以大大提高分析的效率。
永紅MPP目前在這兩方面可以說是最好的。
六、數據呈現:結果以什麽形式呈現,其實就是數據可視化。這裏推薦敏捷BI。與傳統BI不同的是,它可以通過簡單的拖拽生成報表,學習成本低。在國內敏捷BI中,個人用戶推薦Tableau,像銀行這樣的企業級需求推薦永紅BI。
七、數據訪問:這個比較簡單,看妳怎麽看待這些數據。圖中的例子是因為B/S架構,最終的可視化結果是通過瀏覽器訪問的。
二、如何搭建銀行數據分析系統?搭建數據平臺可能是壹個項目化的工作,需要壹段時間才能完成,但搭建數據分析系統任重道遠。但如果有人能在做產品的同時,和妳分享金融行業類似的數據應用經驗,幫妳搭建數據分析系統,那才是真正的“良藥”。
下面分享壹個永紅科技幫助某大型銀行搭建數據服務平臺的案例。
根據客戶在銀行辦理業務的行為路徑,可以有幾個主題,不同的主題有相應的場景和指標。
1.壹個顧客
客戶主題:壹個寬泛的表格,由客戶屬性(客戶號、客戶類別)、指標(總資產、持有產品、交易筆數、交易金額、RFM)、簽約(渠道簽約、業務簽約)組成。
2.做了筆交易
交易主體:交易金融屬性、業務類別、支付渠道的寬泛表格。
3.用哪個賬號?
賬戶主題:賬戶屬性的寬泛表格(客戶、開戶日期、分行、產品、利率和成本)。
4.通過什麽渠道?
頻道主題:
渠道屬性、維度和配額形成了壹個寬表。
5.涉及什麽業務&;產品
產品主題:產品屬性、維度和指標的寬泛表格。
三、案例鑒於篇幅問題,可以在這裏參考這篇文章:
華夏銀行:大數據技術服務業務需求,實現銷售快速增長。