導讀時至今日，相信大家對大數據工程師壹點也不陌生，作為時下比較熱門的高薪職業，很多人想轉行做大數據工程師，那麽妳知道大數據工程師的日常工作做什麽?工作強度大不大呢?為此小編整理了以下內容，壹起來看看吧!
1， 寫 SQL ：壹般來說許多入職壹兩年的大數據工程師首要的工作就是寫 SQL ;
2 ，為集群搭大數據環境(壹般公司招大數據工程師環境都現已搭好了，公司內部會有現成的大數據途徑);
3 ，維護大數據途徑(這個應該是每個大數據工程師都做過的工作，或多或少會承擔“運維”的工作);
4， 數據搬家(有部分公司需求把數據從傳統的數據庫 Oracle、MySQL 等數據搬家到大數據集群中，這個是比較繁瑣的工作);
5 ，運用搬家(有部分公司需求把運用從傳統的數據庫 Oracle、MySQL
等數據庫的存儲進程程序或許SQL腳本搬家到大數據途徑上，這個進程也是非常繁瑣的工作，高度重復且雜亂)
6 ，數據收集(收集日誌數據、文件數據、接口數據，這個觸及到各種格式的轉化，壹般用得比較多的是 Flume 和 Logstash)
7， 數據處理
7.1 ，離線數據處理(這個壹般就是寫寫 SQL 然後扔到 Hive 中跑，其實和首要點有點重復了)
7.2 ，實時數據處理(這個觸及到音訊部隊，Kafka，Spark，Flink 這些，組件，壹般就是 Flume 收集到數據發給 Kafka 然後
Spark 消費 Kafka 的數據進行處理)
8 ，數據可視化(這個我司是用 Spring Boot 聯接後臺數據與前端，前端用自己魔改的 echarts)
9 ，大數據途徑開發(偏Java方向的，大約就是把開源的組件整合起來整成壹個可用的大數據途徑這樣，常見的是各種難用的 PaaS 途徑)
10
，數據中臺開發(中臺需求支撐接入各種數據源，把各種數據源清洗轉化為可用的數據，然後再根據原始數據建立起寬表層，壹般為了節省開發本錢和服務器資源，都是根據寬表層查詢出業務數據)
11 ，建立數據倉庫(這兒的數據倉庫的建立不是指 Hive ，Hive 是建立數倉的東西，數倉建立壹般會分為三層 ODS、DW、DM
層，其間DW是最重要的，它又能夠分為DWD,DWM,DWS，這個層級僅僅邏輯上的概念，類似於把表名按照層級差異隔來的操作，分層的目的是防止開發數據運用的時分直接訪問底層數據，能夠減少資源，留意，減少資源開支是減少
內存 和 CPU
的開支，分層後磁盤占用會大大增加，磁盤不值錢所以沒什麽聯絡，分層能夠使數據表的邏輯更加清楚，便當進壹步的開發操作，假定分層沒有做好會導致邏輯紊亂，新來的員工難以接手業務，跋涉公司的運營本錢，還有這個建數倉也分為建離線和實時的)
以上就是小編今天給大家整理發送的關於“大數據工程師的日常工作做什麽?”的相關內容，希望對大家有所幫助。想了解更多關於大數據工程師要求具備的能力，關註小編持續更新。