簡單來說,用永紅科技的技術,有四個方面,實際上代表了壹些通用的大數據底層技術:
Z-Suite具有高性能大數據分析能力。它完全放棄縱向擴展,完全支持橫向擴展Z-Suite主要通過以下核心技術支持PB級大數據:
數據庫內計算
Z-Suite支持各種常用匯總和幾乎所有專業統計功能。得益於跨粒度計算技術,Z-Suite數據分析引擎會找到最優的計算方案,然後把所有昂貴且昂貴的計算搬到存儲數據的地方進行直接計算,我們稱之為數據庫內計算。這項技術大大減少了數據移動,減輕了通信負擔,並確保了高性能的數據分析。
並行計算(MPP計算)
Z-Suite是壹個基於MPP架構的商業智能平臺。它可以將計算分布到多個計算節點,然後在指定節點匯總輸出計算結果。Z-Suite可以充分利用各種計算和存儲資源,無論是服務器還是普通PC,她對網絡條件沒有嚴格要求。Z-Suite作為橫向擴展的大數據平臺,可以充分發揮各節點的計算能力,輕松實現針對TB/PB數據分析的秒級響應。
基於列的存儲
z系列存儲在列中。基於列存儲的數據集市不讀取無關數據,可以減少讀寫開銷,提高I/O效率,從而大大提高查詢性能。另外,列存儲可以更好地壓縮數據,壹般壓縮比在5 -10倍之間,使數據占用空間減少到傳統存儲的1/5到1/10。好的數據壓縮技術節省了存儲設備和內存的成本,但大大提高了計算性能。
記憶計算
得益於列存儲技術和並行計算技術,Z-Suite可以極大地壓縮數據,同時利用多個節點的計算能力和內存容量。壹般來說,內存訪問速度比磁盤訪問速度快幾百倍甚至幾千倍。通過內存計算,CPU直接從內存而不是磁盤中讀取數據並計算數據。內存計算是傳統數據處理方法的加速,是實現大數據分析的關鍵應用技術。