本月,阿裏雲在北京舉辦了 “2022 年阿裏雲數據存儲生態發布會”,偶數 科技 作為目前國內雲原生數據倉庫技術領域的開拓者受邀參加了本次大會。
偶數 科技 首席架構師陶征霖作為演講嘉賓,在會上與行技術仁***同回顧了分析型數據庫的演進歷程,以及目前偶數 科技 在 湖倉壹體 方面的前沿理念和實踐。
對此,陶征霖在會上重點介紹了湖倉壹體 ANCHOR 六大特性: 實時 T+0、壹份數據、超高並發、數據壹致性、雲原生、多類型數據支持 。通過 OushuDB 最新版本和架構的加持,偶數湖倉壹體方案將在雲設施上幫助客戶發揮數據價值。
為什麽“湖”+“倉”的分體模式不是最佳選擇
隨著近年來Hadoop 大數據平臺建設逐步推廣,企業開始嘗試將 Hadoop 用於壹些非核心場景,但 Hadoop 性能和並發支持有限,而且事務支持弱,交付、運維成本高,無法替代核心數倉,基本只能作為“數據湖”。為了滿足用戶在性能、事務等方面的要求,很多企業開始考慮數據湖和數據倉庫互補的方式。在構建數據湖的同時,也使用MPP,湖倉各自獨立部署,數據通過ETL的方式打通。
這就是業內常說的 Hadoop+MPP 的"湖倉分體"模式。
盡管這種模式能夠讓湖和倉有很好的技術特性互補,但同時它也會產生經常讓企業感到困惑的嚴重問題,包括:
這些常見的狀況更讓從業者頭疼不已。要解決這些問題,必須實現數據和查詢層面形成壹體化架構,徹底擺脫大數據平臺遇到的這些瓶頸,這樣可以大大降低 IT 運維成本和數據管理的技術門檻。
OushuDB存算分離的湖倉壹體模式有何不同
那麽,基於OushuDB存算分離的湖倉壹體模式與Hadoop+MPP 的"湖倉分體"模式有何不同呢?
偶數 科技 研發的全球最快的新壹代分析型數據庫引擎OushuDB創新性的采用了存算分離的雲原生架構。作為壹個嶄新的數據平臺架構,存算分離架構可以保證存儲和計算可以獨立的彈性擴展和伸縮。
而傳統 MPP 和 Hadoop 都不適應這樣的要求:
另外,為了同時滿足實時流處理、實時按需分析和離線分析需求,偶數 科技 獨創性的 探索 出了Omega全實時數據處理架構,相比於傳統的Kappa架構、Lambda架構優勢明顯。
可以說,OushuDB基本解決了"湖倉分體"的技術瓶頸,技術優勢相當顯眼:
湖倉選型,ANCHOR先行
偶數 科技 認為,要真正的解決業務的痛點,選擇企業適合的湖倉產品,我們可以按照前面提到的ANCHOR 標準來選型。ANCHOR 的6個首字母分別代表六大特性:
行業的認可與偶數的持續突破創新
自偶數 科技 誕生以來,偶數 科技 的產品和解決方案也已在非銀金融、電信、政府、能源、制造和互聯網等行業中被廣泛的部署和應用,幫助多個行業中的企業小步快跑,進行數智化轉型。同時,作為在數據庫領域的領先創業,其商業模式的可行性與成長性也得到了資本的認可,連續獲得了國內頂級投資機構紅杉中國、騰訊、紅點中國與金山雲的四輪投資。
在大數據的常見客戶行業中,銀行業是對應用的自主可控、高可用、高可靠性的要求最高的領域之壹,偶數 科技 解決方案在銀行業的落地正是其技術實力和對用戶痛點理解力的明證。早在2020年,偶數 科技 就與建設銀行成立了高性能大數據聯合實驗室,***同 探索 湖倉壹體化的實施路徑。經過持續的技術探討與應用驗證,二者合作開發的基於雲原生數據庫技術的全實時湖倉壹體方案,采用了壹套技術棧、統壹存儲進行湖倉雙重能力建設,已具備極速性能、彈性伸縮、計算資源按需分配、全量數據單壹存儲、無須頻繁導數、混合負載等相關能力,能夠充分建設銀行及其客戶的實時應用場景,幫助建行提升了實時需求響應性能、增強了系統彈性,同時節約運維成本。
近期,偶數 科技 正式入選國家級專精特新(專業化、精細化、特色化、新穎化)“小巨人”企業名單。作為助力國家突破關鍵技術領域“卡脖子”難題的初創企業,偶數 科技 在數據庫國產化、技術自主安全上的努力正在被逐步驗證、得到國家層面的肯定。
隨著未來物聯網、工業互聯網的逐步建立,大數據領域將面臨越來越廣的數據來源、越來越大的數據量、越來越多的非結構化數據、越來越豐富的應用場景和越來越復雜的技術棧,大數據處理和分析的難度將進壹步提升。從上世紀60年代的數據庫,到數據倉庫、數據湖,到現在的湖倉壹體,新產品總是在性能、功能上去解決以前從業者在業務上的痛點,我們可以說湖倉壹體是數據庫發展到雲原生時代的必然產物。
通過虛擬計算集群技術在數十萬節點的超大規模集群上實現高並發,保障事務支持,提供實時能力,壹份數據再無數據孤島,新壹代湖倉壹體架構將是未來的發展趨勢。偶數 科技 作為湖倉壹體化領域的領導者,也將持續優化技術,為用戶帶來更高性能、更穩健的解決方案,支撐更多行業用戶將數據轉化為生產力。