隨著全球各大 科技 巨頭的競相加入,開源軟件技術已經活躍在各個信息技術領域當中。其中,大數據生態成為開源技術的直接受益者。開源技術適用於龐雜的數據管理系統,帶來敏捷、高效、可擴展以及可自控的管理能力,並幫助企業降低IT建設及維護成本。2018年雙11當天,阿裏雲原生數據庫PolarDB輕松應對了0點0分0秒瞬時提升122倍的數據洪峰。Netflix也采用自研開源架構Metacat將海量數據集合成壹個“單壹”的數據倉庫,大幅提升管理能效。
當前,我國有越來越多的企業、人才加入到開源社區,貢獻力也“後來居上”,***同推進開源項目、開源生態的繁榮和可持續發展。
大數據生態成為開源技術重大“受益者”
近年來,在互聯網服務、多媒體以及科學研究等多個領域,都可見到大數據的身影。在大數據時代,不斷增長的數據量、快速處理數據的需求以及數據類型、結構和來源的多樣性給數據庫敏捷、高效、可擴展性以及個性化管理帶來了全新挑戰。
開源技術賦能了大數據生態的高質量發展。賽迪智庫信息化和軟件服務業所博士蒲松濤表示,經過了數十年的發展,開源軟件和開源工具已經應用到了大數據產業發展的各個環節,基於開源軟件,企業可以快速構建大數據應用平臺,提供豐富的大數據開發和應用工具。
當前,幾乎各種規模的企業都在使用開源軟件和工具做大數據處理和基於數據的預測分析。開源界也湧現出了Hadoop、OpenStack、OpenShift、Mapreduce、docker等引領行業技術創新方向的重量級開源項目。
華泰人壽基於OpenShift架構打造易於管理的新IT系統,以提升企業競爭力,實現業務數字化轉型。在基礎設施上,引入紅帽OpenShift容器雲解決方案和紅帽Ceph分布式存儲。通過將保險業務上docker雲,實現華泰人壽業務的彈性伸縮和快速上線,加速其互聯網保險項目快速落地。
美國知名在線影片租賃提供商Netflix也采用了大數據發現服務的開源框架Metacat。由於Netflix的數據倉庫由許多大型的數據集組成,為了確保數據平臺能夠橫跨這些數據集成為壹個“單壹”的數據倉庫,Netflix開發的元數據服務Metacat,能讓數據的發生、發現、處理和管理變得更加快捷高效、處理精度大幅提升;同時還可兼容Spark、Presto、Pig和Hive架構。Netflix軟件架構師Ajoy Majumdar指出,開放開源是身為技術公司的競爭戰略,既能夠將自己的解決方案建立為行業標準和最佳實踐,又能建立Netflix的技術品牌,還能從***享生態中獲得反饋輸入並受益。
事實上,推動大數據應用高質量發展的主流開源平臺還有很多,例如Spark、Shark、Bagel等。蒲松濤表示,這些開源平臺大幅降低應用門檻,有效幫助企業實現工業級應用,進而帶動各行業大規模部署。此外,大數據還湧現出了壹批開源支線平臺。其中,Storm完全擺脫了經典的MapReduce架構,重新設計了壹個適用於流式計算的架構,以數據流為驅動觸發計算,計算時效性高,適應有向無環圖計算拓撲的設計,計算方式較為靈活,在業界得到了壹定的部署應用。
開源社區供需“雙贏”中國力量已崛起
開源社區的建立為推動開源軟件發展、構建行業競爭優勢做出突出貢獻,隊伍的壯大需要每壹位使用者持續不斷的貢獻智慧,以實現真正的“***贏”。開源的發展歷程中,極客、大公司、商業顛覆者輪番登場,開源技術的訴求也從商業驅動向生態驅動發展。中國工程院院士廖湘科指出,開源是軟件創新技術的主要來源,是生態抓手,而非贏利的切入點。
開源軟件的“***享和貢獻”機制吸引了眾多開發者的參與,給了每壹位開發者“顛覆 遊戲 規則”的權利。有了這種生態的加持,信息技術將被快速推進,各個參與者將持續獲利。對此,李飛飛表示,開源生態的受益者是開源技術的需求側和供給側雙方。從供給側角度來看,參與的人越多,思維碰撞而引發的叠代演進就會越快;從需求側角度來看,各個企業不僅可以免除被閉源系統“技術綁定”,還可以在開源社區實現數據庫技術遷移,企業還可針對企業技術特征進行數據庫的個性定制化,實現大量的應用和代碼的改造且系統間互相兼容。
中國開源軟件推進聯盟副 主席 兼秘書長劉澎在PostgreSQL .CN 2019上表示,當前國內越來越多的企業為開源做出重要貢獻,我國的開源實力已經崛起。以華為、阿裏等為代表的開源軟件開發者已經逐漸與亞馬遜、微軟站到了同壹高度,實現了從“使用者”到“引領者”的身份轉變。
目前,中國企業在Linux基金會中有1個白金會員(華為),1個金牌會員(阿裏雲)和數十家銀牌會員(包括騰訊、中國移動、聯想等)。華為在多個開源社區貢獻排名前列。中國工程院院士倪光南認為,華為是開源軟件的優秀開發代表,通過引進、消化,實現創新發展,進而貢獻給整個開源社區。
阿裏雲也成為 遊戲 規則的重要改變者和全球雲數據庫領跑者之壹。2018年,阿裏雲數據庫成功進入Gartner數據庫魔力象限,這是該榜單首次出現中國公司。近日,Gartner發布的全球雲數據庫市場份額榜單中,阿裏雲位居第三,超越了Oracle、IBM和谷歌。5月21日,阿裏雲提供傳統數據庫壹鍵遷移上雲能力,可以幫助企業將線下的MySQL、PostgreSQL和Oracle等數據庫輕松上雲,最快數小時內遷移完成。李飛飛表示,阿裏雲自研的PolarDB雲原生數據庫的分布式存儲架構具有壹寫多度、計算與存儲分離等優勢,幫助淘寶交易平臺應對了雙11當天瞬時提升122倍的數據洪峰。
此外,國內還有包括百度、浪潮、瀚高等在內的眾多企業積極參與並貢獻到開源社區當中。人工智能、自動駕駛等新興信息技術也成為開源項目的重要應用領域。