隨著大數據應用的爆炸式增長，大數據衍生出了自己獨特的架構，也直接推動了存儲、網絡和計算技術的發展。畢竟，處理大數據的特殊需求是壹個新的挑戰。硬件的發展最終是由軟件需求驅動的。大數據本身意味著需要使用標準存儲技術處理大量數據。大數據可能由TB級(甚至PB級)信息組成，既包括結構化數據(數據庫、日誌、SQL等。)和非結構化數據(社交媒體帖子、傳感器、多媒體數據)。此外，這些數據大多缺乏索引或其他組織結構，可能由許多不同的文件類型組成。從目前的技術發展來看，大數據存儲技術的發展面臨以下問題:
1，容量問題
這裏所說的“大容量”通常可以達到PB的數據規模，因此海量數據存儲系統也必須具備相應級別的擴展能力。同時，存儲系統的擴展必須簡單，可以通過增加模塊或磁盤櫃來增加容量，甚至不需要停機。
“大數據”應用不僅數據規模巨大，也意味著文件數量巨大。因此，如何管理文件系統層積累的元數據是壹個難題。如果處理不當，會影響系統的擴展能力和性能，而傳統的NAS系統就有這個瓶頸。幸運的是，基於對象的存儲架構沒有這個問題。它可以管理壹個系統中數十億的文件，不會像傳統存儲壹樣被元數據管理所困擾。基於對象的存儲系統還具有廣域擴展能力，可以部署在許多不同的地點，形成大規模的跨區域存儲基礎設施。
2.延遲問題
“大數據”應用仍然存在實時性問題。有許多“大數據”應用環境需要高IOPS性能，例如HPC高性能計算。此外，服務器虛擬化的流行也導致了對高IOPS的需求，正如它改變了傳統的it環境壹樣。為了應對這些挑戰，出現了各種模式的固態存儲設備，從服務器中的簡單緩存到具有全固態介質的可擴展存儲系統。
3.並發訪問
企業壹旦意識到大數據分析應用的潛在價值，就會把更多的數據集放到系統中進行對比，同時讓更多的人分享和使用這些數據。為了創造更多的商業價值，企業往往會對來自不同平臺的各種數據對象進行綜合分析。包括全局文件系統在內的存儲基礎設施可以幫助用戶解決數據訪問的問題。全局文件系統允許多個主機上的多個用戶同時訪問文件數據，並且這些數據可以存儲在多個位置的不同類型的存儲設備上。
4.安全問題
壹些特殊的行業應用，如金融數據、醫療信息、政府信息等，都有自己的安全標準和保密要求。盡管這些對於IT經理來說沒有什麽不同，並且必須遵循，但大數據分析通常需要多種類型的數據相互引用。以前不存在這種數據混合訪問的情況，所以大數據應用也催生了壹些新的安全問題需要考慮。
5、成本問題
“大”的成本問題也可能意味著高成本。對於那些正在使用大數據環境的企業來說，成本控制是壹個關鍵問題。如果要控制成本，就意味著要讓每臺設備都達到更高的“效率”，同時減少那些昂貴的部件。
對成本控制影響最大的因素是那些商用硬件設備。所以很多第壹次進入這個領域的用戶，以及應用規模最大的用戶，都會定制自己的“硬件平臺”，而不是現成的商業產品，可以用來平衡自己在業務拓展過程中的成本控制策略。為了滿足這種需求，越來越多的存儲產品以純軟件的形式提供，可以直接安裝在用戶現有的、通用的或現成的硬件設備上。此外，很多存儲軟件公司還在銷售以軟件產品為核心的軟硬件壹體化設備，或者與硬件廠商結盟推出合作產品。
6、數據的積累
很多大數據應用都會涉及到合規問題，這通常要求數據保留幾年或者幾十年。比如醫療信息通常是為了保證患者的安全，而財務信息通常保存7年。但是，壹些使用大數據存儲的用戶希望數據能夠保存更長的時間，因為任何數據都是歷史記錄的壹部分，對數據的分析大多是基於時間段的。為了實現數據的長期保存，要求存儲廠商開發持續數據壹致性檢測等功能，以保證長期的高可用性。同時需要實現直接就地更新數據的功能需求。
7.數據的靈活性
大數據存儲系統的基礎設施規模通常非常大，因此必須精心設計，以保證存儲系統的靈活性，並使其能夠隨著應用分析軟件進行擴展和擴充。在大數據存儲環境中，不需要遷移數據，因為數據會同時存儲在多個部署站點中。大型數據存儲基礎設施壹旦投入使用，就很難調整，必須能夠適應各種應用類型和數據場景。
存儲介質在變，雲計算受到青睞。
存儲不僅僅是壹個設備，更是壹個解決方案平臺。作為圖像數據和報警事件記錄的載體，存儲的重要性不言而喻。
安防監控應用的存儲要求是什麽？第壹，對海量存儲的需求。其次，性能要求。第三，價格敏感度。第四，集中管理的要求。第五，聯網要求。安全監控技術發展到今天已經經歷了三個階段，即仿真化、數字化和網絡化。相應的，監控數據存儲也經歷了幾個階段，VCR模擬數據存儲，DVR數字數據存儲，現在的網絡集中存儲，雲存儲階段，也只是在壹步步迎合這種市場需求。未來，隨著高清化、網絡化和智能化的不斷發展，安全監控將會給現有的存儲方案帶來不斷的挑戰，包括容量和帶寬的擴展以及管理問題。然後，雲存儲這種基於大數據戰略的海量存儲系統受到青睞。
基於大數據策略的安全存儲優勢明顯。
目前社會對數據的依賴是前所未有的，數據已經變得和硬資產、人壹樣重要。如何存儲、保護和利用好這些海量大數據，是安防行業面臨的重要問題之壹。那麽基於大數據戰略的安全存儲有什麽優勢呢？
在當前的存儲市場中，很難擴展原始視頻監控方案的容量和帶寬。客戶往往需要購買更多更高端的設備來擴容和提升性能，這將帶來成本的急劇增加和系統復雜度的急劇增加。同時，傳統的存儲模式很難在沒有任何業務停頓的情況下升級，擴容會對業務產生巨大影響。其次，傳統的視頻監控方案難以管理。由於視頻監控系統壹般規模較大，具有明顯的分布特征，大部分都是獨立管理的，所以整個系統被分割成幾個管理孤島，很難做到相互溝通，協調工作，提高整體性能。此外，綠色和安全也是傳統視頻監控方案面臨的突出問題。
基於大數據戰略的雲存儲技術固有的高擴展性、易管理、高安全性等特點，為解決傳統存儲面臨的問題帶來了機遇。借助雲存儲，用戶可以輕松擴展容量和帶寬，而無需停止業務或改變系統架構。同時，雲存儲還具有高安全性、低成本、綠色節能的特點。基於雲存儲的視頻監控解決方案是客戶應對挑戰的良好選擇。王宇表示，進入21世紀，雲存儲作為壹種新的存儲架構，已經逐漸進入應用階段。雲存儲不僅輕松突破SAN的性能瓶頸，還可以實現性能和容量的線性擴展，是大數據量安防監控用戶的新選擇。
以Intel推出的Hadoop分布式文件系統(HDFS)為例，它提供了壹種高容錯、高吞吐量的海量數據存儲解決方案。目前已廣泛應用於各種大型在線服務和大規模存儲系統，成為海量數據存儲事實上的標準。
隨著信息系統的快速發展，海量信息需要可靠的存儲，也需要大量用戶快速訪問。傳統的存儲方案已經越來越難以適應近年來信息系統業務的快速發展，成為業務發展的瓶頸和障礙。HDFS通過高效的分布式算法將數據的訪問和存儲分布在大量的服務器上，能夠可靠地備份和存儲更多的數據，並將訪問分布在集群中的服務器上。這是對傳統存儲架構的顛覆性發展。最重要的是，它能滿足以下特性:自修復分布式文件存儲系統、高可擴展性、不停機動態擴容、高可靠性、自動數據檢測和復制、高吞吐量訪問、消除訪問瓶頸、低成本存儲和服務器構建。
以上是邊肖為大家分享的關於大數據存儲技術爆發式增長所面臨的困難的相關內容。更多信息可以關註環球常春藤分享更多幹貨。