首先簡單看壹下雲計算和大數據的概念。
1)雲計算:雲計算本質上是壹種計算資源集中並充分享用的效用計算模式,其中集中是為了對計算資源進行集約化管理,分布式便於擴展計算能力。集中分發針對的是雲服務商,全享針對的是用戶。在雲計算中,雖然每個雲用戶都有壹臺超級計算機,但本質上,這些用戶是完全* * *。
2)在之前的博文中,有關於大數據的討論。簡單來說,大數據的特點就是數據量大(雖然很多人把大數據定義在T級以上,其實我覺得這是有問題的。大數據其實應該是壹個相對的概念,是相對於目前的存儲技術和計算能力而言的)。數據應用需求大,計算量大。數據量大是最基本的。大需求實際上包括需求的數量性、多樣性和實時性。計算量大是因為數據量大,需求大,算法復雜(檢索,推薦,模式識別)造成的。大數據的這種特性使得我們很難找到壹種通用的處理模式來解決大數據面臨的問題。只能根據不同的需求采取不同的處理方式,這也是大數據處理難的癥結所在。傳統的數據庫和最近出現的NoSQL數據庫在大數據的存儲和處理上都有很大的局限性,因此分布式計算在大數據處理中很受歡迎。雖然Hadoop提供了壹套相對完整的處理模式,但是相比大數據面臨的應用需求的多樣性,能夠處理的問題域也非常有限。
數據庫和數據倉庫的概念,妳可以谷歌壹下。接下來,我們來看看它們之間的關系:
1)數據庫和數據倉庫都是數據存儲的方式。大數據處理更多的是需求(問題),雲計算是需求(問題)的綜合解決方案。
2)由於雲計算本身的特點,天生就面臨著大數據處理(存儲、計算等)的問題。),因為雲計算的基礎架構模式是C/S模式,其中S相對集中,C分布廣泛。所有用戶的數據和大部分計算都在S端完成(數據量大,計算量大),用戶天然多樣(地域、文化、需求、個性化等)。),所以需求(包括計算)非常大。
3)雲計算當然會涉及到數據存儲技術,但是雲計算的數據庫技術要看具體情況來分析:
a)對於IaaS來說,數據庫技術不是必須的,也不是必須的功能;
b)對於PaaS,數據庫功能應該是必備功能。
c)對於SaaS,數據庫技術(包括傳統的關系數據庫和NoSQL數據庫)將不可避免地被使用。
對於數據倉庫技術來說,對於雲計算來說不是必須的,但是因為雲數據的信息價值很大,類似於壹個金礦,我覺得雲服務商是不可能放下心來從這些金礦中提煉黃金的。
4)大數據面臨的第壹個問題是大數據的存儲。壹般綜合使用各種存儲技術(文件存儲和數據庫存儲)。當然,妳完全靠文件存儲或者數據庫存儲來解決是沒有問題的。類似於雲計算,數據倉庫技術不是必須的,但是對於結構化數據的淘金非常有用。當然,沒有數據倉庫技術也可以,比如Hadoop模式。
在雲計算和大數據處理中,最基礎的技術其實是分布式計算技術。用於構建分布式計算、多線程、同步、遠程調用(RPC、RMI等。),流程管理和通信是它的基本技術點。分布式計算編程是壹門綜合性的應用編程,不僅需要基本的技術點,還需要壹定的組織管理知識。
目前,無論是雲計算還是大數據處理,都沒有形成統壹的標準和定義。希望我的回復對妳有幫助。