0201.大數據時代的前瞻

/*

謹以此章,迴應評論區裡那位叫做凜冽的讀者。

我也不能說服誰,畢竟第一個版本就是這一章類似的情況,通篇的技術介紹和前瞻讓人讀起來枯燥乏味。

然後寫多了就是本章這個情況,而現在有說我文青的,也有讀者凜冽說我一沾既過的,甚至還有人說我沒有見過女人,有一半都是寫女人的。

我能怎麼辦?

我也很絕望啊。

唯有寫下去,把埋藏的東西一點一點拉出來。

立場這個東西,沒有水落石出的時候,永遠都是針對露出的那一部分的。

我也只是一葉扁舟。

*/

{時間:2003年3月4日}

{地點:加州-帕洛阿爾託}

7天時間拿下300w用戶增長,這樣的數據在於【MySpace】絕對是爆發式的增長。當然,這與詹妮弗【紅人計劃】所積累的紅人資源有相當大的關係。

只不過,一次性輸送給【MySapce】後,剩下的推廣工作就只能靠着用戶們在體驗過【MySpace】的社交屬性後,慢慢去做口口相傳了。而陳士駿和薩克斯兩人,也終於可以從夜店裡脫身開來,真正投身到【MySpace】的線上推廣當中。

至於【MySpace】和【紅人計劃】如何談推廣佣金,這件事就交給詹妮弗去定了。

一方面詹妮弗勢必要接觸到商業上的談判,而薩克斯、陳士駿肯定會考慮到給自己人一個溫和的談判空間。結Bing果無論如何,都不是【紅人計劃】現在需要關注的。

SNS的爆發期還沒有到,【紅人計劃】目前仍舊在醞釀期。這個時期的紅人資源積累,要放手給詹妮弗去嘗試。這樣在未來SNS爆發期到來之際,【Bing生態圈】才能在沒有自己關注的情況下正常運轉下去。

而另一方面,寧子默也必須要去做重要的事情。

他要霍夫曼幫忙找的人,已經有消息了。

……

3月4日一大早,按照約定時間到達山景城領贏總部的寧子默,一進門就對霍夫曼笑着說:“我沒有想到你竟然這麼快就找到了。”

“你都說讓我在斯坦福幫你找了,這麼熟悉的範圍對我這位斯坦福畢業的知名學生還不是易如反掌的事?”霍夫曼笑着說。

寧子默讓霍夫曼幫忙找的人,和從德國法蘭克福【Bing】總部傳來的消息有關。

路奇的搜索引擎團隊已經取得不小的進展,目前數據爬蟲已經開發完畢,並且已經開始爬取和收集數據。

但搜索算法的效率上,路奇一直不是很滿意,於是他郵件裡的這份擔憂不得不讓寧子默潛藏的挖角計劃提前浮出水面。

前世裡如果寧子默對倍寶公司是景仰之情,那麼對於峰語這家公司就帶着敬佩。

這家以搜索引擎起家的公司本着“不作惡的”的理念,在前世的那個世界裡一度霸佔着“改變世界企業榜單的Top 10”以內位置數年時間。

所以對於峰語,寧子默也曾像研究倍寶公司一樣研究過它的歷史。

那時候寧子默就留意到一個許多人未曾怎麼關注過的小公司-Kaltix。

雖然Kaltix公司在峰語的發展史上沒有怎麼暴露過名字,但就是Kaltix公司的三個人。三位斯坦福的學生,他們開發了Kaltix,並利用了一套專有算法來加速峰語PageRank算法的基礎計算,並根據個人的興趣而不是峰語開發的共識方法對搜索結果進行排序。

這一套算法包含三個技術:二次外推,BlockRank和自適應PageRank,它們共同組成了Kaltix的基礎。

就是這一套和公司名一樣的技術,使得峰語搜索引擎速度提高了5倍。實際上在網絡有限的資料中,Kaltix說提供的技術,比2003年峰語使用的算法速度快近1000倍。

這些算法是在前世的2003年5月22日,在匈牙利的布達佩斯舉辦的第十二屆國際萬維網大會和格蘭.傑(Glen Jeh)?”

霍夫曼準確地叫出三人的名字並笑臉相迎,讓一臉青澀的年輕人們頓時輕鬆不少。

“Boss,這三位是Kaltix的創始人,賽普·坎穆瓦( Sep Kamvar),塔爾·哈維立瓦拉(Taher Haveliwala)和格蘭·傑(Glen Jeh)。”

霍夫曼對自己的稱呼,讓寧子默內心的白眼翻到天際。

無非是自己要約談的是幾個小年輕,而自己不像霍夫曼那般“成熟穩重”。所以他特意用了這種方式加重自己身份的方式,來讓年輕的Kaltix的三位年輕創始人更重視他。

“這位是我們的CEO兼首席產品架構師,寧,”霍夫曼向三人介紹到,“同時,他就是前倍寶最年輕的COO先生。也是帶領我們倍寶走向上市和出售。”

儘管萬分不習慣霍夫曼喊自己Boss,但寧子默還是感激的衝他笑了笑。

走過去與三人分別握手,然後帶着三人隨意地坐在沙發上,“三位要喝點什麼?”

“三杯咖啡,謝謝。”

“好的,三杯咖啡。Boss你還是老樣子?”

“嗯。”

霍夫曼這一番做派給足了寧子默架子,但也給這幾位年輕人一些壓力。他們哪能想到,面前這位比他們還年輕的東方人竟然比他們的前輩學長更有分量。

以至於霍夫曼出去後,三人的表現甚至有些拘謹。

寧子默只能先隨意聊着,等到霍夫曼送來咖啡後,場面才歡緩和了一些。

望着三人,寧子默拍了拍霍夫曼的胳膊笑着說,“霍夫曼和你們開一個小玩笑,其實我們現在是領贏的聯合創始人,並不存在什麼上下級關係。咱們年齡相仿不必要太過客氣,所以你們喊我寧就好了。”

“好的,寧”

寧子默放低姿態,霍夫曼也毫不在意地笑了笑。輕鬆的環境讓氣氛緩和不少,三人這時明顯放鬆下來。

叫做賽普的年輕人先一步開口,“寧,霍夫曼是我們的學長,前幾天他碰巧找到我們,說你對我們的項目感興趣準備投資,但我們沒有想到你有這麼年輕。”

“我也沒有想到Kaltix的創始人是和我年齡相仿的三個年輕人,我以爲像我這樣的天才只有少數幾個,可結果今天就見到三個。”

彼此相似的恭維像極了“大人”的方式,幾個人頓時心照不宣的笑了起來,氣氛更加融洽起來。

乘着這個熱乎勁,寧子默放下咖啡道,“既然大家都是年輕人,我就長話短說。但是說起來這話呢,又有些長了,這確實挺矛盾點額。”

寧子默平日裡還是蠻喜歡搞笑的,只是年級略長一些的人一般都配合不來,倒是年輕人比較多的場合讓寧子默不由地也用上笑話開場。

Kaltix三人組聞言笑了笑,紛紛向寧子默示意繼續。於是再端起咖啡杯的寧子默就像打開話匣子一樣,拿着帶路奇去見過的理查德·賓先生扯起了大旗。

“去年我在迷茫的時候,有幸認識了以爲叫做理查德·賓的老人。那是以爲傳奇老者,在他過往的歲月裡。他從一個普通的啤酒花商人,轉而師從理查德·施特勞斯學習音樂,最後又在戰後轉攻醫學心臟病領域。

……理查德·賓先生的的故事幾乎跨越一整個世紀的所有年份。我徵得他的同意後,想要在他的祖國德國開始創立我們的產品,並用他的名字爲我們的搜索引擎命名。我想在他有生之年能作出一些成績,讓他看到我沒有埋沒他對我們的這份信任。”

寧子默向Kaltix三人組添油加醋的將理查德·賓先生的故事講了一番,一些偷樑換柱的東西也被他悄然加了進去。

這兩年時間的歷練,寧子默也逐漸學會如何去講故事。只要不違背原則的情況下,爲那些加入團隊的未來拍檔們去講理想、講未來、講情懷幾乎是必不可少的部分。

畫餅聽起來很虛無,但它在某些時刻卻有着大用處。如果這個方法可以吸納到高端人才,寧子默並不介意腹黑一些。

而且這條拐帶大拿的路,寧子默決定一直走到黑了!

“哇,酷~~~~~”

Kaltix三人組在寧子默鋪開那位傳奇老者的故事時,就聽得很入神。

無論是他推崇自己的啤酒花,

還是和老師理查德·施特勞斯的不和,

還有最後他在心臟病領域的各種突破,

這些故事都讓Kaltix三人組眼中閃耀着一種叫做崇拜的東西。

頓了頓,寧子默才補充道,“這款搜索引擎叫做Bing,如今它已經被開發完成,並使用爬蟲對網絡信息進行爬取。但是目前,我們的【Bing】團隊在搜索算法上碰到了問題。以至於我在搜索引擎的大數據劃時代計劃,碰到了阻礙。”

“而這些阻礙,”將手指從自己轉向Kaltix三人,寧子默鄭重道,“就是我託霍夫曼找到你們這些搜索專家的主要原因。”

“大數據劃時代計劃?”賽普疑惑地沉吟着,末了他擡起頭向寧子默問到,“聽起來是一個很龐大的工程。”

“是的,是一個很龐大的工程。因爲目前對於不瞭解搜索價值的人而言,搜索引擎只是給人們帶來結果的窗口。但真正去討論搜索引擎的價值,最能體現他價值的地方一定是大數據劃時代的搜索引擎時代。

想一想,曾經我們在進行數據分析與統計時僅僅侷限於數據庫,在數據庫中對數據表進行統計分析。並且受數據量和計算能力的限制,我們只能對最重要的數據進行統計和分析。

搜索引擎跳出了這個限制,它可以成爲存儲着全世界幾乎所有可訪問的網頁,數目可能超過萬億規模,全部存儲起來大約需要數萬塊磁盤的大型數據庫。

雖然這件事看起來峰語已經在做了,但峰語對於未來的規劃,並沒有我想象中那麼清晰。

因爲再往下發展下去,我想讓Bing可以把科技、文化、知識、資訊、新聞對應的文字、圖片、視頻等林林總總的東西進行統一存儲管理,形成整個人類的大型數據庫。

它記錄人類文明過往的所有資料,爲向未來的發展提供各種各樣的支撐條件。把它打造成爲人類的諾亞方舟那樣,去造福全人類。

我可以簡單舉幾個階段性的例子,例如大數據的某一個先期階段-大數據應用的數據倉庫時代。

而Bing可以跳出數據庫的概念去進行SQL操作,實現數據統計與分析。也就是說,人們將在Bing上用更低廉的價格獲得比以往多得多的數據存儲與計算能力。

我們可以把運行日誌、應用採集數據、數據庫數據放到一起進行計算分析,獲得以前無法得到的數據結果,而企業的數據倉庫也隨之呈指數級膨脹。

你們想想,在數據倉庫時代只要有數據幾乎就一定要進行統計分析。如果數據規模比較大,我們就會想到要用大數據技術。而技術的發展同時又促進了技術應用,這也爲接下來大數據應用走進數據挖掘時代埋下伏筆。

而在大數據應用的數據挖掘時代必定凌駕於大數據應用的數據倉庫時代基礎之上。舉個例子,很早以前商家就通過數據發現,買尿不溼的人通常也會買啤酒,於是精明的商家就把這兩樣商品放在一起,以促進銷售。

啤酒和尿不溼的關係,你們可以有各種解讀,但是如果不是通過數據挖掘,可能打破腦袋也想不出它們之間會有關係。

在商業環境中,如何解讀這種關係並不重要,重要的是它們之間只要存在關聯,就可以進行關聯分析,最終目的是讓用戶儘可能看到想購買的商品。

除了商品和商品有關係,還可以利用人和人之間的關係推薦商品。如果兩個人購買的商品有很多都是類似甚至相同的,不管這兩個人天南海北相隔多遠,他們一定有某種關係。

比如可能有差不多的教育背景、經濟收入、興趣愛好。根據這種關係,可以進行關聯推薦,讓他們看到自己感興趣的商品。

除了商品銷售,數據挖掘還可以用於人際關係挖掘。六度分隔理論認爲世界上兩個互不認識的人,只需要很少的中間人就能把他們聯繫起來。這個理論在米國的實驗結果是,通過六步就能聯繫上兩個不認識的米國人。

未來像我們的【領贏】甚至【MySpace】,各種各樣的社交軟件記錄着我們的好友關係,通過關係圖譜挖掘,幾乎可以把世界上所有的人際關係網都描繪出來。

現代生活幾乎離不開互聯網,各種各樣的應用無時不刻不在收集數據,這些數據在後臺的大數據集羣中一刻不停地在被進行各種分析與挖掘。

當然我們也可以舉個高大上的例子,來說說理查德·賓這位傳奇相關的行業-醫療。

例如人類目前難以攻克的白血病和紅斑狼瘡,我們可以通過對病人的生活習慣、生長環境、DNA、病情發展等信息的收集,將數據採集聚集在一起,把小特殊病理變成可供參考的大數據。

而後透過不斷的數據挖掘,去分析這些病例的因由。那麼科研人員對於這些不治之症,將擁有更多可參考性的依據,把原本很小的可能變成大概率可以突破的可能。

或許是讓患有這些病情的人有了被治癒的可能,或許是讓基因裡包含潛在基因缺陷的胚胎在孕育的過程中避免來到人世後的痛苦。

這些分析和挖掘帶給我們的是美好還是恐懼,完全要依賴大數據從業人員的努力。但是可以肯定不管最後結果如何,這個進程只會加速不會停止,而你我只能投入其中。

但無論如何這件事值得去做,甚至爲了提高效率,我們可以將一些繁瑣規律的工作交給人工智能去做,這又會讓大數據時代發展到大數據應用的機器學習時代。

像剛剛的例子裡,數據中蘊藏着規律,這個規律是所有數據都遵循的。過去發生的事情遵循這個規律,將來要發生的事情也遵循這個規律。一旦找到了這個規律,對於正在發生的事情,就可以按照這個規律進行預測。

在過去,我們受數據採集、存儲、計算能力的限制,只能通過抽樣的方式獲取小部分數據,無法得到完整的、全局的、細節的規律。而未來有了大數據,就可以把全部的歷史數據都收集起來,統計其規律,進而預測正在發生的事情。

這就是機器學習。

例如,我再舉個例子,把歷史上人類圍棋對弈的棋譜數據都存儲起來,針對每一種盤面記錄何種落子可以得到更高的贏面。得到這個統計規律以後,就可以利用這個規律和人下棋。

每一步都計算落在何處將得到更大的贏面,於是我們就得到了一個會下棋的機器人,說不定哪一天這個機器人就會以幾年的時間學習上千年的棋局後,通過共性和局部戰略的學習,通過分析人類落子的意圖分析以壓倒性優勢下贏了人類的頂尖棋手。”

也不管身邊目瞪狗呆的四人,寧子默喝了口咖啡潤了潤喉嚨,藉着繼續說到:

“在我講完剛剛這些事例的時候,相信你們對於我腦中的搜索引擎已經有了一個更遠期的看法。沒錯,它很龐大,它不止是一個可以向人們提供搜索結果的窗口,而是一個大數據時代的窗口。

Bing要做的事情就是要把人類文明從誕生到發展至今說保留的所有信息都進行存儲,讓它成爲一個龐大的數據庫,讓它爲各行各業的人們提供可供查證的大量數據,讓人類在行進的過程中少犯錯誤、少點痛苦。

但亦或許,那也只是我的癡心妄想。因爲人性的貪婪,會讓我們及時擁有這麼先進的科技,仍舊避免不了那麼多問題的存在。

但科技並沒有錯,完全要看我們應用的方法,以及我們這些從業者是否能擁有一把衡量公正的尺子。

我做不了那麼多去衡量公正的事情,但我的有生之年,只想讓科技更進一步,讓我身邊的團隊爲了人類文明去出一份力。

至於未來那個大時代到來後會成爲什麼樣,我相信就算我老了,也依舊有無數有識之士能作出比我還傑出的事情。

讓人類在前行的路上,依舊走着一條正確的路。”

0020.前世之殤,今生野望0455.iPhone零正式發售0313.谷歌和寧子默的麻煩0102.還有嫌賺錢多的人?0153.張妙瑩眼中的寧子默0490.默默籌備上市的必應0424. 聞所未聞的產品發佈會(下)0119.考慮考慮呀0088.弱爆了的陳士駿0226.蝴蝶效應帶來的大場面(上)0453.意外出現的保羅·沃爾夫0422.聞所未聞的產品發佈會(上)0241.伊隆·馬斯克來訪0236.讓雙方都樂開花的談判0067.驚雷滾滾0257.一記溫暖擁抱0090.智能設備的未來0402.不務正業的比亞迪0035.大灰狼,小白兔0222.鍍金計劃浮出水面0138.從北極圈邁入Bing生態圈0209.老闆和大當家的區別0003.哪裡不對?0425.昭告天下的移動互聯網大會0156.光腳的不怕穿鞋的0355.帝企鵝年度財報-2004版(上)0453.意外出現的保羅·沃爾夫0425.昭告天下的移動互聯網大會0085.對位峰語,降維打擊0202.再一次挖角峰語-Kaltix歸心0500.你們不是他的對手0438.去國際市場搶食!0297.不一樣的“我們”0189.小豬佩奇和熊貓映畫0277. 孩兒們,俺老孫回來了0505.亮劍(3)-未來在等着你0179.紅人計劃鏈接的夢想0046.美女鄰居0506.亮劍(4)- 必應上市前最後一步0183.一頓飯的驚喜和安排0134.Skrpe引起的轟動(下)0465.與FGW的碰面0504.再會傳奇0447.我愛你,就足夠了。0432.宿命的對手和下一手準備0355.帝企鵝年度財報-2004版(上)0005.意外結果定前路0188.富有的豬,窮酸的人0457.惠特曼和喬布斯的反應0274.Bing完全體即將上線0071.倍寶人,江湖再見。0006.宏圖霸業三部曲-籌劃(1)0361.反擊的決心和口袋及準備0175.Gmail推廣不能走Skrpe的路線0422.聞所未聞的產品發佈會(上)0385.蔡文勝接到橄欖枝0230.好高騖遠還是能力使然0453.意外出現的保羅·沃爾夫0205.抵抗世俗的心思0423.聞所未聞的產品發佈會(中)0248.收購變合作0204.“不正經”的夢想0199.【紅人計劃】助力【MySpace】推廣(上)0213.志向0251.一個必要堅持0397.然後,中國人也能做自己的屏幕0223.爲什麼要拍下巴菲特午餐0451.老公,我想去螞蟻森林種樹0237.DSIDatotech在哪0157.某年某月某日的一次偶遇0063.陰雲下的驚喜,驚喜下的算計0436.沉思、反轉0433.社交生態新項目牽出的問題0097.憂國憂民的中年人0368.多的是你不知道的事0502.亮劍(2)-社交牌面第二彈0005.意外結果定前路0163.林長信的“劫難”0505.亮劍(3)-未來在等着你0028.春風得意馬蹄疾0274.Bing完全體即將上線0483.中國電競的春天0476.意外加入的對手0275.夥計們,剩下的就靠你們了0070.希望我們合作愉快0003.哪裡不對?0162.林長信的反擊0381.創客計劃的蝴蝶效應0295.不,這可是個大圖謀0309.埋頭10年,與敵人擡頭相見0506.亮劍(4)- 必應上市前最後一步0312.給谷歌準備的嘆息之牆0048.另闢蹊徑的天才0487.老大,你當年下了多大一盤棋?0179.紅人計劃鏈接的夢想0083.意外的舉薦0338.G胖的拒絕0114.蟄伏的猙獰巨獸0049.天才的廣告方式!0252.一羣小人窺探
0020.前世之殤,今生野望0455.iPhone零正式發售0313.谷歌和寧子默的麻煩0102.還有嫌賺錢多的人?0153.張妙瑩眼中的寧子默0490.默默籌備上市的必應0424. 聞所未聞的產品發佈會(下)0119.考慮考慮呀0088.弱爆了的陳士駿0226.蝴蝶效應帶來的大場面(上)0453.意外出現的保羅·沃爾夫0422.聞所未聞的產品發佈會(上)0241.伊隆·馬斯克來訪0236.讓雙方都樂開花的談判0067.驚雷滾滾0257.一記溫暖擁抱0090.智能設備的未來0402.不務正業的比亞迪0035.大灰狼,小白兔0222.鍍金計劃浮出水面0138.從北極圈邁入Bing生態圈0209.老闆和大當家的區別0003.哪裡不對?0425.昭告天下的移動互聯網大會0156.光腳的不怕穿鞋的0355.帝企鵝年度財報-2004版(上)0453.意外出現的保羅·沃爾夫0425.昭告天下的移動互聯網大會0085.對位峰語,降維打擊0202.再一次挖角峰語-Kaltix歸心0500.你們不是他的對手0438.去國際市場搶食!0297.不一樣的“我們”0189.小豬佩奇和熊貓映畫0277. 孩兒們,俺老孫回來了0505.亮劍(3)-未來在等着你0179.紅人計劃鏈接的夢想0046.美女鄰居0506.亮劍(4)- 必應上市前最後一步0183.一頓飯的驚喜和安排0134.Skrpe引起的轟動(下)0465.與FGW的碰面0504.再會傳奇0447.我愛你,就足夠了。0432.宿命的對手和下一手準備0355.帝企鵝年度財報-2004版(上)0005.意外結果定前路0188.富有的豬,窮酸的人0457.惠特曼和喬布斯的反應0274.Bing完全體即將上線0071.倍寶人,江湖再見。0006.宏圖霸業三部曲-籌劃(1)0361.反擊的決心和口袋及準備0175.Gmail推廣不能走Skrpe的路線0422.聞所未聞的產品發佈會(上)0385.蔡文勝接到橄欖枝0230.好高騖遠還是能力使然0453.意外出現的保羅·沃爾夫0205.抵抗世俗的心思0423.聞所未聞的產品發佈會(中)0248.收購變合作0204.“不正經”的夢想0199.【紅人計劃】助力【MySpace】推廣(上)0213.志向0251.一個必要堅持0397.然後,中國人也能做自己的屏幕0223.爲什麼要拍下巴菲特午餐0451.老公,我想去螞蟻森林種樹0237.DSIDatotech在哪0157.某年某月某日的一次偶遇0063.陰雲下的驚喜,驚喜下的算計0436.沉思、反轉0433.社交生態新項目牽出的問題0097.憂國憂民的中年人0368.多的是你不知道的事0502.亮劍(2)-社交牌面第二彈0005.意外結果定前路0163.林長信的“劫難”0505.亮劍(3)-未來在等着你0028.春風得意馬蹄疾0274.Bing完全體即將上線0483.中國電競的春天0476.意外加入的對手0275.夥計們,剩下的就靠你們了0070.希望我們合作愉快0003.哪裡不對?0162.林長信的反擊0381.創客計劃的蝴蝶效應0295.不,這可是個大圖謀0309.埋頭10年,與敵人擡頭相見0506.亮劍(4)- 必應上市前最後一步0312.給谷歌準備的嘆息之牆0048.另闢蹊徑的天才0487.老大,你當年下了多大一盤棋?0179.紅人計劃鏈接的夢想0083.意外的舉薦0338.G胖的拒絕0114.蟄伏的猙獰巨獸0049.天才的廣告方式!0252.一羣小人窺探