有人會問,不規範就可以開始嗎?當然,在壹些臨時性的短期項目中,為了快速見效,盡快看到效果,也沒有必要強制執行規範,影響了效率。但從個人職業素養來看,即使項目不規範,也應該有壹些既定的好習慣,比如縮進、換行、空行、註釋等。......
網上搜索,可以找到很多相關文章,但是碎片化嚴重。本文試對幾種倉庫的規範進行說明,使大家不僅能了解幾種倉庫規範的目的、內容和邊界,還能介紹相關規範在企業中是如何執行的。
歡迎大家結合自己公司的實際情況,構建和完善自己的盤點倉標準體系。然後我們可以多交流,共同進步。
俗話說,沒有規則就沒有方圓,沒有規範就壹塌糊塗。個人認為,規範是為了解決集團運營中的效率和協調問題,是最終交付質量的有力保障。
工作中遇到過類似的問題嗎?
由於以上問題,倉庫團隊的整體開發效率、產出質量、工作幸福感、維護成本越來越差。隨著人員的流動,往往是那些努力工作,對公司忠誠的員工。
相信做過數據開發的人,或多或少都會有上面提到的壹些煩惱。我覺得問題的根源通常在於規範的缺失或者說規範的執行不到位。人們為了按時滿足業務方的需求,有時會走壹些捷徑,這是可以理解的,但欠下的技術債應該盡快還上,組織不應該苛責員工。鍋要由領導來下。領導重視大家,大家就會重視。領導不重視,不都是放任自流嗎?
數據倉庫是我們數據工程師的無形產品。數據規範是數據倉庫系統建設的“語言”,是數據使用的指令者和翻譯者,是數據質量的保駕護航者。為了數據系統的長期健康發展,倉庫盤點的管理應該從人治逐步向制度化、規範化、工具化的道路轉變。
從0到1,從無到有,這個環節要有壹個領導者或架構師,充分考慮公司的實際情況,參考行業標準或既定規範,進行全面統壹的制定。
也可以將規範拆分,交給各個部分的核心開發人員,由領導或架構師統壹集成。比如我們之前的團隊,模型設計師負責模型設計規範,ETL工程師負責ETL開發規範,BI開發人員制定前端開發規範,部署上線規範直接采用現有項目。
壹般來說,初稿要盡量保證規範的完整性和各部分之間的兼容性。
初稿完成後,難免有欠考慮。這時候最好有壹個領導牽頭,組織壹些核心成員(人數不要太多,三五個就行)。人太多容易導致混亂,決策困難,沒人出主意,導致領導集中討論。)進壹步完善細節,糾正初稿的不足。
很多人* * *有完美的規格,理論上不會有大問題。
最終確定後,規範就可以全面推廣了,可以分發給所有團隊成員。
為了保證規範的實施,除了通過以上兩點引起全員的重視,還需要組織、制度、流程上的各種保障。
在這壹點上,妳看到問題了嗎?
規範的執行和監督,如前所述,更多的取決於制度的進程和相關人的自覺,制度的進程取決於人。這將帶來以下問題:
有條件的話最好能推出相應的工具加強監管。
比如我們有指標體系元數據,根庫元數據,建表元數據,ETL過程元數據等等。
那麽,是否可以開發壹些報表或者其他頁面,輔助人們通過UI進行檢查,或者通過檢查元數據進行監督(比如註釋是否為空,根庫中是否存在字段或者表名的根,索引系統中是否存在表或者頁面使用的指標,數據族中是否存在閉環或者孤立的節點)。
哈哈,說了這麽多,學過數據治理的讀者會覺得熟悉嗎?這些都需要從建幾個倉庫開始考慮,最好的管理在於防病。
發布稿總體上應該沒什麽問題,但細節可能考慮不周。當陳述階段和實施階段出現問題時,應根據實際情況調整規範。只有經過實踐檢驗,他們才能更加完美。相信經過壹段時間的不斷實踐,規範會成為組織文化的壹部分,從而降低溝通成本,提高開發效率,保證交付質量,從而實現團隊和個人的雙贏。
為了讓大家了解倉庫規範的全貌,我們花了很大力氣整理了上面的分類。歡迎大家推廣應用。既然只是壹家之言,如果妳有不同意見,更好的方案或者有什麽可以補充的,請加我微信,我們壹起學習。
在這裏,我將盤點規範分為四類:設計規範、流程規範、質量管理規範和安全規範。
(這將在下壹章——ETL中詳細介紹)
(這將在下壹章-應用中詳細介紹)
從設計規範、流程規範、質量控制和數據安全四個方面詳細闡述了幾個倉庫的規範。它應該涵蓋倉庫規範的所有方面。如有遺漏或更好的分類方法,歡迎加我微信了解詳情。
本文寫作的初衷是為了找到壹個合理的分類方法,將數據規格窮盡列出,讓大家了解全貌。但在實際落地實踐中,可能用不了那麽多。沒有最好的,只有最合適的。妳需要結合真實場景選擇需要落地的子集。
在我經歷過的幾家公司和很多項目中,沒有壹個項目完全使用了以上所有規範。互聯網大數據公司使用的規範更少,側重點也不同於之前的傳統倉庫項目。大數據公司可能更註重數據安全、工具等。由於互聯網基因,並且對數據質量和數據模型要求不高。而傳統的數據倉庫對數據建模和數據質量要求很高(我有個同事被甲方財務主管扣了壹塊錢,查了壹整天的數據~)。內網環境的數據安全提到的不多。另外可能是因為做項目的原因。工具化不太重視,管理基本靠人,元數據基本靠文檔。
系統的設計是壹個指標體系
如何構建數據倉庫
數據倉庫的維度建模
OneData建設的探索之路——SaaS收銀運營多個倉庫的建設
One ID中的核心技術ID-Mapping是如何實現的?
網易雲音樂數據服務之路
網易雲音樂數據倉庫維度建模實踐-模型設計