大數據戰(zhàn)略、管理與生態(tài)
大數據這個話題,從西到東,從IT業(yè)內到政府官員,已經火了兩年,但還沒有完全一致的定義。目前業(yè)界一般認同Gartner的描述,即:凡是具有“3V”特性的數據集,就是大數據。其一為Volume,極大的數據量;其二為Variety,極復雜的數據類型與數據來源;其三為Velocity,極高的數據產生、傳播,以及反應速度。
組織決策者要跨越大數據時代的“數據鴻溝”,就需要具備大數據戰(zhàn)略、大數據管理和大數據生態(tài)三大能力。
大數據戰(zhàn)略:視野,觀點,價值
大數據的價值已經為電商、快消、廣告等多個行業(yè)的案例所證明,但挖掘出大數據的價值并不容易。我認為,企業(yè)決策者在制定大數據戰(zhàn)略時,需要從Vision(視野)、View(觀點)、Value(價值)這“新3V”入手。
第一點從視野講,企業(yè)CEO一定要把大數據、云計算作為企業(yè)核心戰(zhàn)略,而不能僅僅把大數據當成是企業(yè)IT管理的一個方面。要下決心投入,無論軟件方面還是硬件設施。
第二是要有企業(yè)自己的觀點,即收集和處理數據的策略。例如股市,大家很多時候面對同樣的數據,但是對數據的處理方式是不一樣的,有些人說股市下行時候投入,有些人說股市下行時候要撤出。對同樣的數據,甚至同樣的軟件,決策方式、觀點不一樣,處理結果就會大大不同,這個應該成為公司決策體系的一個核心。
第三是價值,要在確定思路后,把對數據的分析,轉化為能解決實際問題的執(zhí)行,從而實現大數據的價值。正如馬云最近所舉的例子,在淘寶上比基尼賣得最好的省份是哪兒?是內蒙古和新疆,而不是人們通常會認為的海南、廣東等沿海地區(qū)。大數據能幫助人們發(fā)現事物間隱藏的內在關聯,但并不意味著能直接帶來社會和商業(yè)價值。如果你是泳衣、防曬霜的生產商,又會制定怎樣的營銷策略呢?
大數據管理:簡易、開放、靈活
大數據戰(zhàn)略重要,但更重要的是如何執(zhí)行,也就是大數據管理問題。也可以通過三步走的方式來解決。首先是如何獲取、存儲和保護數據;其二是數據豐富,即如何清洗、發(fā)現不同數據間的數據相關性;其三是數據洞察力,即通過分析、呈現與決策工具獲得洞察力,并最終通過付諸行動,產生價值。
微軟的大數據管理平臺,有著對大數據生命周期的全方位考慮,這也是為什么我們將Hadoop等開源架構,整合到微軟的大數據平臺里,一方面是將Hadoop作為對非關系型數據處理的補充;另一方面是將Hadoop作為一個服務,整合到微軟的公有云與私有云平臺中。值得強調的是,微軟不是簡單地將Hadoop遷移到微軟的大數據平臺上,而是真正的融合,會系統(tǒng)地考慮其可用性、可靠性、安全性、部署的簡易性與靈活性,乃至對Hadoop上工具的集成與優(yōu)化。與此同時,微軟也會堅持開源的原則,將在Hadoop上做的一些研發(fā)工作回饋給社區(qū),與社區(qū)形成良性互動。
大數據生態(tài):平臺商、數據商、開發(fā)者、數據玩家
未來的大數據生態(tài),同樣會遵循最樸素的市場規(guī)則,不同角色的組織和個人,通過逐漸成熟的交換機制,各取所需——平臺商提供數據交易、數據分析的場所和基本工具。
原始數據商提供自由交易的數據集;開發(fā)者提供基于數據集的應用和服務,以及定制化的分析和呈現工具;數據玩家如同股民,在市場中尋找值得投資的數據集或者機構進行投資,獲得回報;現在人們炒房、炒股、炒黃金,將來或許人們會炒數據。
微軟已經通過WindowsAzure上的Marketplace在進行這樣的嘗試,目前主要針對的是商業(yè)用戶,已經能將第三方解決方案提供商、服務提供商、模塊提供商和最終的商業(yè)用戶通過這一虛擬市場聯結在一起,可以發(fā)起自由交易。在這個基礎上,我們又延伸出一個數據集市,讓數據集的擁有者可以把數據發(fā)布到集市上,提供很多很細致的數據集,小到電影院座位和路況,大到國家宏觀經濟發(fā)展數據。這就能讓開發(fā)者可以通過微軟的一些簡單易用的API或者工具,把這些數據整合到自己的環(huán)境里,開發(fā)新的應用。
這樣的大數據生態(tài)顯然是健康、可持續(xù)的。對微軟、亞馬遜、谷歌、VMware這樣的平臺商而言,專心做好底層云計算基礎架構和大數據服務平臺;對淘寶、中國移動、政府各部委這樣的數據商來說,原本只能自己用的數據,在這個模式下可以產生更多的社會和商業(yè)價值;對Salesforce、SAP、用友、金蝶等應用開發(fā)商來說,傳統(tǒng)的、非常困難的、非常繁瑣的數據整合,現在通過這樣一個集市,可以首次實現把不同應用系統(tǒng)產生的數據整合起來,發(fā)現價值;對數據玩家來說,能夠有一個朝陽式的投資平臺可供選擇,且不那么容易被大機構操縱。
當數據公開、數據交易和大數據應用成為自然而然的習慣時,或許我們才可以說,大數據時代真的來臨了。