離線倉庫盤點體系結構
離線倉庫盤點特征
基於無服務器的雲數據倉庫解決方案
體系特性
實時倉庫盤點體系結構
[圖像上傳失敗...(圖片-ec3d 9a-1629814266849)]
實時倉庫盤點體系結構的特點
秒級延遲，實時構建數據倉庫，結構簡單，平滑升級傳統數據倉庫
體系特性
數據倉庫的輸入數據源和輸出系統是什麽？
輸入系統:嵌入式點產生的用戶行為數據，JavaEE後臺產生的業務數據，單個公司的爬蟲數據。
輸出系統:報告系統、用戶畫像系統、推薦系統。
1)Apache:運維麻煩，組件之間的兼容性需要自己調查。(壹般由大廠使用，技術力量強，運維人員專業)
2)CDH:國內使用最廣泛的版本，不過CM不是開源的，但是對中小公司使用沒有影響(建議使用)$ 10000 CDP每節點。
3)HDP:開源，可以二次開發，但不如CDH穩定，國內很少使用。
服務器使用物理機還是雲主機？
1)機器成本考慮因素:
(1)物理機:128G內存，20核物理CPU，40線程，8THDD，2TSSD硬盤，單機定價4W，是惠普品牌。壹般物理機壽命5年左右。
(2)雲主機，以阿裏雲為例，配置差不多，每年5W。
2)運行和維護成本考慮因素:
(1)物理機:需要專業運維人員(1萬*13個月)、電費(商業用戶)、空調安裝。
(2)雲主機:大量的運維工作已經由阿裏雲完成，運維相對容易。
3)企業選擇
(1)阿裏雲(上海)選擇的是有金融財富的公司和與阿裏沒有直接沖突的公司。
(2)中小公司，為了上市融資，選擇阿裏雲，融資後買物理機。
(3)有長遠規劃，資金充足，選擇實體機。
按照數據規模，大家聚類。
它屬於R&D部門/技術部/數據部，我們屬於大數據集團。其他包括後端項目組，前端組，測試組，UI組。其他包括產品部、運營部、人事部、財務部和行政部。
大數據開發工程師= & gt大數據組的團隊領導= "項目經理= & gt部門經理=技術總監
軍銜分為初級、中級、高級。晉升規則並不確定，取決於公司的福利和職位空缺。
JD。COM: T1，T2大壹新生；T3 14k左右T4 18K左右T24K-28K左右。
阿裏:p5，p6，p7，p8
小公司(3人左右):團隊負責人1，其余團隊成員沒有明確分工，可能兼顧javaEE和前端。
中小公司(3~6人左右):組長1人，線下2人左右，實時(線下壹般比實時多)1人左右。團隊領導負責javaEE和前端。
中型公司(5人左右10人):組長1人，線下(線下處理，倉庫盤點)3人左右，實時2人左右。團隊領導和技術專家兼顧javaEE和前端。
中大型公司(約10 20人):組長1人，線下5人10人(線下處理，倉庫盤點)，實時5人，JavaEE1人(負責對接JavaEE業務)，前端1人(有無負責前端的人)。(發展相對較好的中大型公司，可能會把他們的大數據部門分成幾個大數據組，分別負責不同的業務。)
以上只是參考配置，因為公司之間差異很大。比如ofo的大數據部門只有5個人左右，所以根據所選公司的規模來確定壹個合理的範圍。這個人員配備壹定要在面試前考慮清楚，答案應該是非常確定的。
IOS多少人，Android多少人，前端多少人，JavaEE多少人，測試多少人。
(IOS、Android) 1-2個人前端1-3個人；JavaEE壹般是大數據的1-1.5倍。測試:有些有，有些沒有。大概1。產品經理1，產品助理1-2，運營1-3。
公司部門:
0-50家小公司
50-500中等
500-1000家大公司
1000以上領先廠商的存在。
來自:/article/details/116003357