比如經濟上，黃仁宇先生對宋朝經濟的分析中發現了“數目字管理”(即定量分析)的廣泛應用(可惜王安石變法有始無終)。又如軍事，“向林彪學習數據挖掘”的橋段不論真假，其背後量化分析的思想無疑有其現實基礎，而這壹基礎甚至可以回推到2000多年前，孫臏正是通過編造“十萬竈減到五萬竈再減到三萬竈”的數據、利用龐涓的量化分析習慣對其進行誘殺。
到上世紀50-60年代，磁帶取代穿孔卡片機，啟動了數據存儲的革命。磁盤驅動器隨即發明，它帶來的最大想象空間並不是容量，而是隨機讀寫的能力，這壹下子解放了數據工作者的思維模式，開始數據的非線性表達和管理。數據庫應運而生，從層次型數據庫(IBM為阿波羅登月設計的層次型數據庫迄今仍在建行使用)，到網狀數據庫，再到現在通用的關系數據庫。與數據管理同時發源的是決策支持系統(DSS)，80年代演變到商業智能(BI)和數據倉庫，開辟了數據分析——也就是為數據賦予意義——的道路。
那個時代運用數據管理和分析最厲害的是商業。第壹個數據倉庫是為寶潔做的，第壹個太字節的數據倉庫是在沃爾瑪。沃爾瑪的典型應用是兩個：壹是基於retaillink的供應鏈優化，把數據與供應商***享，指導它們的產品設計、生產、定價、配送、營銷等整個流程，同時供應商可以優化庫存、及時補貨;二是購物籃分析，也就是常說的啤酒加尿布。關於啤酒加尿布，幾乎所有的營銷書都言之鑿鑿，我告訴大家，是Teradata的壹個經理編的，人類歷史上從沒有發生過，但是，先教育市場，再收獲市場，它是有功的。
僅次於沃爾瑪的樂購(Tesco)，強在客戶關系管理(CRM)，細分客戶群，分析其行為和意圖，做精準營銷。
這些都發生在90年代。00年代時，科研產生了大量的數據，如天文觀測、粒子碰撞，數據庫大拿吉姆·格雷等提出了第四範式，是數據方法論的壹次提升。前三個範式是實驗(伽利略從斜塔往下扔)，理論(牛頓被蘋果砸出靈感，形成經典物理學定律)，模擬(粒子加速太貴，核試驗太臟，於是乎用計算代替)。第四範式是數據探索。這其實也不是新鮮的，開普勒根據前人對行星位置的觀測數據擬合出橢圓軌道，就是數據方法。但是到90年代的時候，科研數據實在太多了，數據探索成為顯學。在現今的學科裏，有壹對孿生兄弟，計算XX學和XX信息學，前者是模擬/計算範式，後者是數據範式，如計算生物學和生物信息學。有時候計算XX學包含了數據範式，如計算社會學、計算廣告學。
2008年克裏斯·安德森(長尾理論的作者)在《連線》雜誌寫了壹篇《理論的終結》，引起軒然大波。他主要的觀點是有了數據，就不要模型了，或者很難獲得具有可解釋性的模型，那麽模型所代表的理論也沒有意義了。跟大家說壹下數據、模型和理論。大家先看個粗糙的圖。
首先，我們在觀察客觀世界中采集了三個點的數據，根據這些數據，可以對客觀世界有個理論假設，用壹個簡化的模型來表示，比如說三角形。可以有更多的模型，如四邊形，五邊形。隨著觀察的深入，又采集了兩個點，這時發現三角形、四邊形的模型都是錯的，於是確定模型為五邊形，這個模型反映的世界就在那個五邊形裏，殊不知真正的時間是圓形。
大數據時代的問題是數據是如此的多、雜，已經無法用簡單、可解釋的模型來表達，這樣，數據本身成了模型，嚴格地說，數據及應用數學(尤其是統計學)取代了理論。安德森用谷歌翻譯的例子，統壹的統計學模型取代了各種語言的理論/模型(如語法)，能從英文翻譯到法文，就能從瑞典文翻譯到中文，只要有語料數據。谷歌甚至能翻譯克萊貢語(StarTrek裏編出來的語言)。安德森提出了要相關性不要因果性的問題，以後舍恩伯格(下面稱之為老舍)只是拾人牙慧了。
當然，科學界不認同《理論的終結》，認為科學家的直覺、因果性、可解釋性仍是人類獲得突破的重要因素。有了數據，機器可以發現當前知識疆域裏面隱藏的未知部分。而沒有模型，知識疆域的上限就是機器線性增長的計算力，它不能擴展到新的空間。在人類歷史上，每壹次知識疆域的跨越式拓展都是由天才和他們的理論率先吹起的號角。
2010年左右，大數據的浪潮卷起，這些爭論迅速被淹沒了。看谷歌趨勢，”bigdata”這個詞就是那個時間壹下子躥升了起來。吹鼓手有幾家，壹家是IDC，每年給EMC做digitaluniverse的報告，上升到澤字節範疇(給大家個概念，現在硬盤是太字節，1000太=1拍，阿裏、Facebook的數據是幾百拍字節，1000拍=1艾，百度是個位數艾字節，谷歌是兩位數艾字節，1000艾=1澤);壹家是麥肯錫，發布《大數據：創新、競爭和生產力的下壹個前沿》;壹家是《經濟學人》，其中的重要寫手是跟老舍同著《大數據時代》的肯尼思？庫克耶;還有壹家是Gartner，杜撰了3V(大、雜、快)，其實這3V在2001年就已經被編出來了，只不過在大數據語境裏有了全新的詮釋。
咱們國內，歡總、國棟總也是在2011年左右開始呼籲對大數據的重視。
2012年子沛的書《大數據》教育政府官員有功。老舍和庫克耶的《大數據時代》提出了三大思維，現在已經被奉為圭臬，但千萬別當作放之四海而皆準的真理了。
比如要數據全集不要采樣。現實地講，1.沒有全集數據，數據都在孤島裏;2.全集太貴，鑒於大數據信息密度低，是貧礦，投入產出比不見得好;3.宏觀分析中采樣還是有用的，蓋洛普用5000個樣本勝過幾百萬調查的做法還是有實踐意義;4.采樣要有隨機性、代表性，采訪火車上的民工得出都買到票的結論不是好采樣，現在只做固定電話采樣調查也不行了(移動電話是大頭)，在國外基於Twitter采樣也發現不完全具有代表性(老年人沒被包括);5.采樣的缺點是有百分之幾的偏差，更會丟失黑天鵝的信號，因此在全集數據存在且可分析的前提下，全量是首選。全量>好的采樣>不均勻的大量。
再說混雜性由於精確性。擁抱混雜性(這樣壹種客觀現象)的態度是不錯的，但不等於喜歡混雜性。數據清洗比以前更重要，數據失去辨識度、失去有效性，就該扔了。老舍引用谷歌PeterNovig的結論，少數高質量數據+復雜算法被大量低質量數據+簡單算法打敗，來證明這壹思維。Peter的研究是Web文本分析，確實成立。但谷歌的深度學習已經證明這個不完全對，對於信息維度豐富的語音、圖片數據，需要大量數據+復雜模型。
最後是要相關性不要因果性。對於大批量的小決策，相關性是有用的，如亞馬遜的個性化推薦;而對於小批量的大決策，因果性依然重要。就如中藥，只到達了相關性這壹步，但它沒有可解釋性，無法得出是有些樹皮和蟲殼的因導致治愈的果。西藥在發現相關性後，要做隨機對照試驗，把所有可能導致“治愈的果”的幹擾因素排除，獲得因果性和可解釋性。在商業決策上也是壹樣，相關性只是開始，它取代了拍腦袋、直覺獲得的假設，而後面驗證因果性的過程仍然重要。
把大數據的壹些分析結果落實在相關性上也是倫理的需要，動機不代表行為。預測性分析也壹樣，不然警察會預測人犯罪，保險公司會預測人生病，社會很麻煩。大數據算法極大影響了我們的生活，有時候會覺得挺悲哀的，是算法覺得了妳貸不貸得到款，谷歌每調整壹次算法，很多在線商業就會受到影響，因為被排到後面去了。
下面時間不多了，關於價值維度，我貼壹些以前講過的東西。大數據思想中很重要的壹點是決策智能化之外，還有數據本身的價值化。這壹點不贅述了，引用馬雲的話吧，“信息的出發點是我認為我比別人聰明，數據的出發點是認為別人比我聰明;信息是妳拿到數據編輯以後給別人，而數據是妳搜集數據以後交給比妳更聰明的人去處理。”大數據能做什麽？價值這個V怎麽映射到其他3V和時空象限中？我畫了個圖：
再貼上解釋。“見微”與“知著”在Volume的空間維度。小數據見微，作個人刻畫，我曾用《壹代宗師》中“見自己”形容之;大數據知著，反映自然和群體的特征和趨勢，我以“見天地、見眾生”比喻之。“著”推動“微”(如把人群細分為buckets)，又拉動“微”(如推薦相似人群的偏好給個人)。“微”與“著”又反映了時間維度，數據剛產生時個人價值最大，隨著時間decay最後退化為以集合價值為主。
“當下”和“皆明”在Velocity的時間維度。當下在時間原點，是閃念之間的實時智慧，結合過往(負軸)、預測未來(正軸)，可以皆明，即獲得perpetual智慧。《西遊記》裏形容真假孫悟空，壹個是“知天時、通變化”，壹個是“知前後、萬物皆明”，正好對應。為達到皆明，需要全量分析、預測分析和處方式分析(prescriptiveanalytics，為讓設定的未來發生，需要采取什麽樣的行動)。
“辨訛”和“曉意”在Variety的空間維度。基於大體量、多源異質的數據，辨訛過濾噪聲、查漏補缺、去偽存真。曉意達到更高境界，從非結構數據中提取語義、使機器能夠窺探人的思想境界、達到過去結構化數據分析不能達到之高度。
先看知著，對宏觀現象規律的研究早已有之，大數據的知著有兩個新特點，壹是從采樣到全量，比如央視去年“妳幸福嗎”的調查，是街頭的采樣，前不久《中國經濟生活大調查》關於幸福城市排名的結論，是基於10萬份問卷(17個問題)的采樣，而清華行為與大數據實驗室做的幸福指數(繼挺兄、我、還有多位本群群友參與)，是基於新浪微博數據的全集(托老王的福)，這些數據是人們的自然表達(而不是面對問卷時的被動應對)，同時又有上下文語境，因此更真實、也更有解釋性。北上廣不幸福，是因為空氣還是房價或教育，在微博上更容易傳播的積極情緒還是消極情緒，數據告訴妳答案。《中國經濟生活大調查》說“再小的聲音我們都聽得見”，是過頭話，采樣和傳統的統計分析方法對數據分布采用壹些簡化的模型，這些模型把異常和長尾忽略了，全量的分析可以看到黑天鵝的身影，聽到長尾的聲音。
另壹個特點是從定性到定量。計算社會學就是把定量分析應用到社會學，已經有壹批數學家、物理學家成了經濟學家、寬客，現在他們也可以選擇成為社會學家。國泰君安3I指數也是壹個例子，它通過幾十萬用戶的數據，主要是反映投資活躍程度和投資收益水平的指標，建立壹個量化模型來推知整體投資景氣度。
再看見微，我認為大數據的真正差異化優勢在微觀。自然科學是先宏觀、具體，進入到微觀和抽象，這時大數據就很重要了。我們更關註社會科學，那是先微觀、具體，再宏觀、抽象，許小年索性認為宏觀經濟學是偽科學。如果市場是個體行為的總和，我們原來看到是壹張抽象派的畫，看不懂，通過客戶細分慢慢可以形成壹張大致看得懂的現實圖景，不過是馬賽克的，再通過微分、甚至定位個人，形成高清圖。我們每壹個人現在都生活在零售商的bucket中(前面說的樂購創造了這個概念)，最簡單的是高收入、低收入這類反映背景的，再有就是反映行為和生活方式的，如“精打細算”、“右鍵點擊壹族”(使用右鍵的比較techsavvy)。反過來我們消費者也希望能夠獲得個性化的尊崇，Nobody wants to be nobody today。
了解並掌握客戶比以往任何時候都更重要。奧巴馬贏在大數據上，就是因為他知道西岸40-49歲女性的男神是喬治·克魯尼，東岸同樣年齡段女性的偶像則是莎拉·傑西卡·帕克(《欲望都市》的主角)，他還要更細分，搖擺州每壹個郡每壹個年齡段每壹個時間段在看什麽電視，搖擺州(俄亥俄)1%選民隨時間變化的投票傾向，搖擺選民在Reddit上還是Facebook上，都在其掌握之中。
對於企業來說，要從以產品為中心，轉到以客戶(買單者)甚至用戶(使用者)為中心，從關註用戶背景到關註其行為、意圖和意向，從關註交易形成轉到關註每壹個交互點/觸點，用戶是從什麽路徑發現我的產品的，決定之前又做了什麽，買了以後又有什麽反饋，是通過網頁、還是QQ、微博或是微信。
再講第三個，當下。時間是金錢，股票交易就是快魚吃慢魚，用免費股票交易軟件有幾秒的延遲，而占美國交易量60-70%的高頻程序化交易則要發現毫秒級、低至1美分的交易機會。時間又是生命，美國國家大氣與海洋管理局的超級計算機在日本311地震後9分鐘發出海嘯預警，已經太晚。時間還是機會。現在所謂的購物籃分析用的其實並不是真正的購物籃，而是結帳完的小票，真正有價值的是當顧客還拎著購物籃，在瀏覽、試用、選擇商品的時候，在每壹個觸點影響他/她的選擇。數據價值具有半衰期，最新鮮的時候個性化價值最大，漸漸退化到只有集合價值。當下的智慧是從刻舟求劍到見時知幾，原來10年壹次的人口普查就是刻舟求劍，而現在東莞壹出事百度遷徙圖就反映出來了。當然，當下並不壹定是完全準確的，其實如果沒有更多、更久的數據，匆忙對百度遷徙圖解讀是可能陷入誤區的。
第四個，皆明。時間有限，就簡單說了。就是從放馬後炮到料事如神(predictiveanalytics)，從料事如神到運籌帷幄(prescriptiveanalytics)，只知道有東風是預測分析，確定要借箭的目標、並給出處方利用草船來借，就是處方性分析。我們現在要提高響應度、降低流失率、吸引新客戶，需要處方性分析。
辨訛就是利用多源數據過濾噪聲、查漏補缺和去偽存真。20多個省市的GDP之和超過全國的GDP就是壹個例子，我們的GPS有幾十米的誤差，但與地圖數據結合就能做到精確，GPS在城市的高樓中沒有信號，可以與慣性導航結合。
曉意涉及到大數據下的機器智能，是個大問題，也不展開了。貼壹段我的文章：有人說在涉及“曉意”的領域人是無法替代的。這在前大數據時代是事實。《點球成金(Moneyball)》講的是數量化分析和預測對棒球運動的貢獻，它在大數據背景下出現了傳播的誤區：壹、它其實不是大數據，而是早已存在的數據思維和方法;二、它刻意或無意忽略了球探的作用。從讀者看來，奧克蘭競技隊的總經理比利·比恩用數量化分析取代了球探。而事實是，在運用數量化工具的同時，比恩也增加了球探的費用，軍功章裏有機器的壹半，也有人的壹半，因為球探對運動員定性指標(如競爭性、抗壓力、意誌力等)的衡量是少數結構化量化指標無法刻畫的。大數據改變了這壹切。人的數字足跡的無意識記錄，以及機器學習(尤其是深度學習)曉意能力的增強，可能逐漸改變機器的劣勢。今年我們看到基於大數據的情感分析、價值觀分析和個人刻畫，當這些應用於人力資源，已經或多或少體現了球探承擔的。