驅動大數(shù)據(jù)增長的主要因素包括移動設備和社交網絡的大幅度增長、以往紙質文件的數(shù)字化以及科研數(shù)據(jù)的增長。“他們的存檔文件正在高速增長，因為他們并不清楚哪些需要保存，哪些不需要保存，”Peglar說道。

各個產業(yè)的公司都在為大數(shù)據(jù)分析投入大量資金。其中一個產業(yè)為對病人數(shù)據(jù)進行分析診療的醫(yī)療產業(yè)。Peglar說，在金融服務產業(yè)，對數(shù)據(jù)進行定性分析也頗受關注。在這方面，分析的是雜亂無章的股票交易數(shù)據(jù)。大數(shù)據(jù)分析在制造和設計業(yè)的應用也有所增長，但增長最快的市場還是對用戶行為數(shù)據(jù)進行分析以獲得市場情報信息的社會媒體和電子商務產業(yè)。

Hadoop——處理大數(shù)據(jù)的寵兒

在眾多的大數(shù)據(jù)分析平臺當中，最為人所知的是ApacheHadoop平臺。這是一個用于分布式計算的開源軟件框架。Hadoop源于Google的MapReduce軟件框架以及Google使用的專有文件系統(tǒng)“Google文件系統(tǒng)”。Hadoop項目的參與者包括雅虎、LinkedIn、Facebook、Twitter、加州大學伯克利分校、Last.fm等。

大數(shù)據(jù)分析需求的增長主要受雜亂無章的數(shù)據(jù)的驅動，這正是Hadoop所擅長處理的數(shù)據(jù)。“這是對傳統(tǒng)結構化數(shù)據(jù)庫的補充，”Peglar說道。“結構化數(shù)據(jù)在增長，但是雜亂無章的數(shù)據(jù)的增長率要快得多。”

除非能部署一個由Isilon、Teradata或Oracle等公司提供的大數(shù)據(jù)應用，否則公司很有可能將類似Hadoop的分析平臺的計算基礎設施部署在商用硬件上。451集團的資深分析師RachelChalmers稱，“Hadoop對其運行的基礎設施平臺做出了某些假設。”

由于Hadoop基于Google的MapReduce，因此設想它將運行在類似Google的同質商用基礎設施之上。此外，它還了解哪些CPU將用于服務器硬盤存儲，”Chalmers解釋道。

沒有處理大數(shù)據(jù)的通用平臺

部署哪種類型的分析系統(tǒng)將取決于客戶的特定需求。數(shù)據(jù)分析領域的主要公司Teradata的產品營銷總監(jiān)JimDietz稱，某些客戶對處理速度的需求高于對處理數(shù)量的需求。在這種情況下，他們會購買一個超高性能的應用。而對于那些希望存儲并分析數(shù)千用戶行為數(shù)據(jù)的客戶，他們則需要可存儲各種海量數(shù)據(jù)，并具有高處理性能的解決方案。

對于專業(yè)存儲廠商來說，“我們與大數(shù)據(jù)廠商更多的是合作，不是競爭，因為產品架構不一樣。硬盤廠商將硬盤提供給專業(yè)存儲廠家，專業(yè)存儲廠家再將多顆硬盤整合到一起提供給IT存儲廠商，IT存儲廠商的任務是將這些基礎存儲介質整合成一個應用系統(tǒng)給上端大量的數(shù)據(jù)來做存儲、交換、分析和保護。

此外，公司所部署的解決方案設計還必須具有足夠的靈活性，以應對未來的強勁增長需求。

大數(shù)據(jù)意味著高密度

Peglar說，可能影響數(shù)據(jù)中心管理者大數(shù)據(jù)(尤其是雜亂無章的大數(shù)據(jù))基礎設施部署的首要因素是存儲。這些存儲陣列的面積和電力需求取決于它們對能源及對可用存儲空間的使用效率。

計劃實施大數(shù)據(jù)分析

“例如，IT工作人員需要到各業(yè)務部門進行咨詢，看看這些業(yè)務部門是否有部署大數(shù)據(jù)應用程序，如Hadoop的需求，結果是沒有任何部門對其感興趣。”科爾特說。“如果沒有具體的業(yè)務需求或應用程序，那么其就變成了僅僅只是一種單純的技術。”

科爾特說，那些推出了大數(shù)據(jù)分析的企業(yè)，往往是在金融服務和醫(yī)療保健領域，在這些領域，大量的數(shù)據(jù)可以被用于歸結揭示趨勢和最佳做法。

TheInfoPro公司每年進行一次熱門技術指數(shù)調查，詢問數(shù)百名IT專業(yè)人士關于他們的技術計劃相關問題。該公司最新調查活動是在2011年8月至今年四月期間進行的。

不足為奇的是，受訪者再次選擇服務器虛擬化技術作為企業(yè)能力增長的主要驅動力，與光纖通道SAN是企業(yè)數(shù)據(jù)存儲的主要目標。67%的受訪者表示，他們將80%到100%的生產服務器連接到光纖通道SAN。

驅動器容量的增長

然而，去年，隨著SAS、固態(tài)硬盤(SSD)和SATA驅動器逐漸占據(jù)企業(yè)占主導地位，使得光纖通道硬盤驅動器市場大受打擊。

如果問問這些企業(yè)在2011年購買了什么新的磁盤存儲設備，48%的受訪者表示購買了光纖通道驅動器，31%的表示SATA驅動器，19%的為SAS，2%的為SSD固態(tài)硬盤驅動器。但是，當被問及這些企業(yè)今年采購增長最多的設備，41%的受訪者表示他們購買了SAS驅動器，35%的為SSD固態(tài)硬盤驅動器;23%的為SATA驅動器;11%的表示為光纖通道。

2011年企業(yè)購買的驅動器類型

在調查中發(fā)現(xiàn)，規(guī)劃部署SSD技術的企業(yè)數(shù)量從去年的7%躍升至今年的37%。

“這是一個非常大的飛躍，畢竟這些企業(yè)在之前并沒有計劃使用SSD固態(tài)硬盤。這一比例從42%下降到23%。”庫爾特說。

混合陣列和SSD固態(tài)硬盤

大多數(shù)企業(yè)數(shù)據(jù)中心使用SSD固態(tài)硬盤與旋轉盤的混合陣列，而新建的數(shù)據(jù)中心很多采用全固態(tài)陣列和服務器SSD固態(tài)硬盤。EMC作為固態(tài)混合陣列第一的供應商，遠遠超過競爭對手。緊隨EMC之后的是由NetApp、日立數(shù)據(jù)系統(tǒng)(日立)、IBM公司、惠普、甲骨文和戴爾。

哪些供應商的產品正在使用混合陣列固態(tài)硬盤?

當被問及哪些供應商提供固態(tài)存儲服務器，F(xiàn)usion-io則高居榜首，其次是IBM、惠普、甲骨文、戴爾和希捷。EMC為列第九，落后于NetApp。

調查顯示，排名前列的固態(tài)供應商分別為：Fusion-io公司、PureStorage公司、NimbusData、NimbleStorage公司、GridironSystems公司和Kove。Kove公司除了生產所有DRAM設備之外，該公司同時還出售接口閃存卡和all-flash陣列或用具。

供應商固態(tài)服務器首選是Fusion-io，其次是IBM公司、惠普、甲骨文和戴爾。希捷位列第六。

當被問及他們是否會實施all-flash陣列，7%的受訪者表示他們已經在使用該技術，而86%的受訪者表示目前沒有實施的計劃。另外，有4%的受訪者表示他們計劃購買all-flash陣列，但應該是在之后的半年到18個月的時間內。2%的受訪者表示他們18個月之后實施該計劃。

馬特?沃特爾斯，是三菱電力系統(tǒng)美洲分公司的企業(yè)基礎設施的建筑師，并未參與TheInfoPro公司的調查。但他表示，他所在的企業(yè)在去年十二月安裝了來自NimbusStorage公司的all-flash陣列，以解決他們企業(yè)的SAP環(huán)境的I/O放緩問題。

沃特爾斯最初試圖把第二組處理器放入他所有的SAP服務器中，升級內存達到其最大容量，但問題依然存在。他最后回到TB尺寸的SAP數(shù)據(jù)庫和主存儲裝載數(shù)據(jù)縮小了性能問題，這在當時是采用的一個惠普的EVA陣列。增加SSD到EVA的成本比購買all-flash陣列更昂貴，沃特爾斯說。

Nimbus公司的陣列支持2TB的存儲容量，成本約40000美元，他說。

Nimbus公司性能優(yōu)越的快閃存儲陣列，不僅消除了數(shù)據(jù)庫的瓶頸，也將數(shù)據(jù)備份的時間從在EVA上的四小時削減到全新閃存陣列的15分鐘。

“到目前為止，其性能表現(xiàn)都讓我十分滿意。沒有一個單一的故障。”他說。我在上午想到一個陣列，下午就可以上線了。就這么簡單。”

沃特爾斯的環(huán)境隔離閃存存儲到一個應用程序：SAP。但是，那些參與了TheInfoPro公司調查的人發(fā)現(xiàn)，數(shù)據(jù)自動分層，或陣列中的各個驅動器類型之間遷移數(shù)據(jù)的能力，成為了最熱門的存儲技術。

自動分層將數(shù)據(jù)在高效固態(tài)硬盤之間移動，或隨著數(shù)據(jù)訪問頻率降低，從硬盤移動到大容量，低性能的磁盤。

“其中的一個基本組件為磁盤驅動器，以及所選平臺對該磁盤空間的使用效率，”Peglar說道。目前，功率密度是部署大數(shù)據(jù)分析平臺過程中計算領域的一個主要關注點;此外，磁盤陣列所消耗的電力也越來越成為關注的重點，他說道。

該關注主要源于所需存儲陣列的規(guī)模，以及這些存儲需求的增長率。Peglar發(fā)現(xiàn)，在短短幾年的時間里，某些客戶的集群從1拍字節(jié)(petabyte)增長到了5拍字節(jié)(petabyte)。

大數(shù)據(jù)計算節(jié)點部署的密度可能非常高。Peglar說，這些部署的功率密度可達到3kW或更高。這對于數(shù)據(jù)中心的管理者確定電力和制冷基礎設施的規(guī)格具有明顯意義。