如果將“數據化”視為信息社會的初級階段,那麽鮮為人知的英國科學家維克托·邁爾-勛伯格(Victor Mayer-schoenberg)以其新書《大數據時代》(The Age of Big Data)首次告訴我們,人類正在進入“數據顛覆傳統”的信息社會中級階段。
在這個階段,信息無所不在,其無限膨脹的天文質量催生了“統計+分類-推理分析=決策”的計算機處理程序(有點像壹步到位刷卡消費,省去了做賬等繁瑣環節),悄然挑戰著“去粗取精、去偽存真、由表及裏、由這個到那個”的傳統認識論模式,潛移默化地影響著。
大數據點火
為了定期公布消費者價格指數CPI以監測通貨膨脹率,美國政府雇傭大量人員對全美90個城市的商店和辦公室進行電話和傳真訪問,並花費2.5億美元收集8萬種商品價格的延遲信息。然而,麻省理工學院的兩位經濟學家采用了“大數據”方案,通過壹個軟件每天在互聯網上收集50萬種商品價格的實時信息。2008年9月雷曼兄弟破產後,軟件立即發現了通脹轉為通縮的趨勢,而官方數據直到11才發現。從那以後,該軟件已經銷往70多個國家。這個案例充分體現了“大數據”顛覆傳統的力量和改變思維的智慧。
在“小數據”時代,我們追求精準,盡量避免不準確信息的誤導和誤判。然而,被傳統數據庫拒絕的95%的非結構化(非標準)數據在“大數據”時代的模糊數據庫中發揮了重要作用,因為數據越模糊、越全面,就越能有效避免誤導和誤判。
從因果性到相關性的思維轉變是“大數據”顛覆傳統認識論模式的關鍵。畢竟計算機不是人腦,計算機永遠不會理解氣候和機票價格之間的因果關系。雖然公雞打鳴和黎明沒有因果關系,但古人很少通過公雞打鳴預測不到黎明。如果數百萬份病歷顯示,橙汁和阿司匹林的特定組合對癌癥治療有效,那麽就沒有必要通過反復實驗來探究其具體的藥理機制。“蘋果之父”喬布斯主動嘗試了壹些有有效病歷但沒有臨床證明可以抗癌的療法。妳可以嘲笑喬布斯“不講科學”,但他卻因此多活了好幾年。
所謂“大數據挑戰傳統認識論”,從根本上說,其實是人類把復雜的認知過程全部“打包”給計算機,計算機懶得分析推理和驗證。只有通過統計分類對比,才可以交出“最終答案”。大數據的本質是變“少而精”為“多而全”,“因果”為“關聯”。當實地調研開始被數據收集取代,當嚴謹的實驗開始被非線性邏輯取代,當“唯壹真理”開始被多項選擇取代,“大數據”用事實向人類宣告:“知其所以然,不知其所以然”,這不僅是計算機看人腦的劣勢,也是計算機超越人腦的優勢!
大數據滲透到整個世界
不要以為“大數據”只是科幻故事,或者是政府和科學家之間的“專利”。放眼望去,“大數據”早已滲透到我們生活工作的方方面面,催生了數據超市、數據易貝、數據交友、數據交友、數據工作坊、數據課堂、數據IB等各種傳奇版本。從治安管理、交通運輸、醫療衛生、商業貿易、批發零售、公益救助到政治、軍事、經濟、金融、社會、環境、文藝、體育。
自2000年以來,UPS國際快遞公司壹直通過“大數據”測試其遍布美國的6萬輛卡車車隊,統計所有磨損零件的生命周期,變“備份攜帶”為早期更換,有效防止中途故障帶來的嚴重麻煩和巨大損失,每年節省數百萬美元。UPS也依靠“大數據”優化行駛路線(比如盡量右轉,避免左轉)。2011年,該公司的車輛少跑了4828萬公裏,節省了300萬加侖的燃油,減少了3萬公噸的碳排放。
為紐約提供電力支持的愛迪生電力公司,以“大數據”統計出106種預警信號,預測出2009年可能發生事故的井蓋,並嚴格監控。結果在十大高危井蓋中,預測準確率達到44%。
美國裏士滿警方當局憑經驗認定,槍擊事件往往導致犯罪高峰。“大數據”證明,這壹峰值往往出現在槍擊事件發生後2周左右。2006年,孟菲斯市推出了“大數據”系統,鎖定了犯罪更容易發生的地方和罪犯更容易被抓住的時間,從而使重大犯罪的發生率降低了26%。
2004年,沃爾瑪依靠“大數據”,在颶風前夕發現各類銷量增加的商品,然後在每次預測時及時設立颶風用品區,並在該區域附近放置手電筒、早餐零食和蛋撻,使“順便購買”的銷量大幅增加。
至於“大數據”的經濟價值,只需要舉幾個例子:2006年,微軟以1.1億美元收購了位於Ezioni的Farecast公司,2008年,谷歌以7億美元收購了為Farecast提供數據的ITA軟件公司。同年在冰島成立的DataMarket網站,單純依靠收集和提供聯合國、世界銀行、歐盟統計局等權威機構的免費信息來盈利,包括倒賣各種研究機構公開發布的研究數據——只要找到買家,往往願意出高價!
大數據創造大金融。
金融領域當然是“大數據”的主戰場之壹。程序化交易可能是當今“大數據”最重要的新武器。美國股市每天的交易量高達70億股,但三分之二的交易量不是由人操作,而是由基於數學模型和算法的計算機程序自動完成的。千變萬化的程序化交易,只能用海量數據來預測收益,降低風險。幾乎所有的銀行、券商、保險、期貨、QFII、投資公司都開發了自己的程序化交易工具。誰的武器更先進?最終,恐怕競爭還是比誰收集和處理數據更大。
某投資基金通過統計商場周邊停車場和路口的交通擁堵情況,預測商場的運營情況和當地的經濟形勢,進而預測相關股票價格的走勢。最後它居然在有統計數據的商場裏拿到了壹些股份。
許多對沖基金通過在社交網站Twitter上收集市場情緒等信息來預測股市的表現。倫敦和加州的兩家對沖基金利用“大數據”形成119顏文字和18864獨立指數,向眾多客戶推廣股市每壹分鐘的“動態表情”,如樂觀、憂郁、冷靜、恐慌、呆滯、恐懼、憤怒、憤慨等,從而幫助和驅動投資決策。
如今,金融機構競相招攬客戶進行理財。如果能及時收集、處理大量微博、微信、短信,自然能找到急於開戶或打算匆匆“跳槽”的投資者。
當然,如果投資者可以通過“大數據”直接決策,將“信用卡消費”擴大為“信用卡投資”,那麽《臥龍臥虎》的研究報告未來還有市場嗎?
大數據隱藏著大隱患。
和所有新生事物壹樣,大數據是壹把雙刃劍。宏觀上,“大數據”將人類虛擬化分為“數據”和不同領域的“數據”兩大陣營。正在進行的棱鏡門事件揭露了美國政府長期監控世界的“絕密”。然而,美國總統、國會和政府都承認這種監控是“自然的”和“維護國家核心利益的”。雖然社會早已建立了龐大的法律法規體系來保障個人信息的安全,但在“大數據”時代,這些體系正在成為壹條堅不可摧、可以隨意繞過的“馬奇諾防線”。
“大數據”導致個人信息被交易,個人隱私被泄露。更大的危險是“個人行為被預測”。正如作者所預言的——“這些可以預測我們可能生病、拖欠還款甚至犯罪的算法程序,會讓我們無法購買保險、無法獲得貸款,甚至在犯罪前被提前逮捕”——也許妳認為這對整個社會來說無疑是壹件好事。但如果預報系統不完善,軟硬件出錯,數據采集處理不當,臨時數據沒有經過檢驗,黑客攻擊,有人用惡意或善意的玩笑制造虛假信息...導致妳、妳的家人、妳的親友、妳的單位甚至妳的祖國受到委屈和制裁,妳還能無動於衷嗎?
微觀上,即使是出於正當目的收集的“大數據”,在“擴張發展”的過程中,仍然可能產生難以想象的副作用。例如,谷歌的街景拍攝和GPS數據為衛星定位和自動駕駛提供了關鍵支持,但同時也因為幫助歹徒方便地選擇有利目標而引起了許多國家民眾的強烈抗議。當谷歌在圖像背景上模糊了業主的房屋、花園等目標後,引起了更多小偷的註意。
無論妳是驚訝還是害怕,歡迎還是回避,關註還是忽視,理解還是拒絕,“大數據”正以加速的步伐向我們走來。只有順勢而為,趨利避害,才能不被這個充滿機遇和挑戰的新時代提前淘汰。
以上是邊肖為大家分享的關於大數據巨大影響的相關內容。更多信息可以關註全球常春藤分享更多幹貨。