故事背景：

?

????? 本人有幸,經(jīng)老友( 現(xiàn)為x知名快遞公司技術(shù)總監(jiān) ) 推薦進(jìn)入中國前三大民營快遞公司之一工作，在此非常感謝他,在此也非常感謝我在第一家公司幫助我進(jìn)步的兄弟(我在時(shí)的項(xiàng)目經(jīng)理，現(xiàn)為 x? 知名自動(dòng)識(shí)別行業(yè)企業(yè)部門高級(jí)經(jīng)理)。

下面介紹6年后和6年前的兩個(gè)單表大數(shù)據(jù)故事。

?

(1) 6年后 單表大數(shù)據(jù) 之故事（一）

????? 來之前老友告之現(xiàn)在核心運(yùn)營系統(tǒng) Oracle數(shù)據(jù)庫中單表數(shù)據(jù)半年過10億了，使用傳統(tǒng)T-Sql不論如何優(yōu)化，查詢客戶信息速度也提升不上去。

需要使用企業(yè)級(jí)搜索引擎(Solr)來解決本部門其余兩大輔助業(yè)務(wù)系統(tǒng)去查詢客戶信息。如果我過去的話，先把這塊帶肉的骨頭啃了。

當(dāng)時(shí)一聽很開心,不就10億數(shù)據(jù)嗎?不就單表嗎?6年前就遇到過。還是使用成熟企業(yè)級(jí)的開源軟件(Solr),這有何難啊，老友說項(xiàng)目開發(fā)周期大概2個(gè)月，最長盡量不要超過3個(gè)半月，我自信滿滿的說沒問題。

?

(2) 6年前 單表大數(shù)據(jù) 之故事（二）

????? 還記得大概5年半前的一個(gè)項(xiàng)目，確切的說現(xiàn)在應(yīng)該是成熟產(chǎn)品了。上次聽那兄弟（當(dāng)時(shí)為項(xiàng)目經(jīng)理，現(xiàn)在已經(jīng)為該公司的系統(tǒng)集成部的部門經(jīng)理）說：該系統(tǒng)全國大概已經(jīng)400多家企業(yè)級(jí)用戶了，不乏跨國大企業(yè)用戶。當(dāng)時(shí)遇見的那個(gè)問題應(yīng)該是今天這個(gè)問題的縮微版了,那是也是個(gè)單表數(shù)據(jù)每天100w的量，SqlServer2005下。

???? 當(dāng)時(shí)的情景是這樣的：筆者當(dāng)時(shí)正在山西一家企業(yè)做軟件項(xiàng)目的實(shí)施，突然接到上?？偛抗倦娫?，讓趕緊處理完就奔赴河南一家企業(yè)處理系統(tǒng)癱瘓的問題。當(dāng)時(shí)也沒多想，實(shí)施完了就趕緊買張去河南焦作的汽車票。還沒下車，就不斷接到客戶公司老總的電話，詢問車已經(jīng)到何地了。已經(jīng)備好了車，老總帶著專職司機(jī)奔著高速收費(fèi)站那邊等著我了(那一刻，我才深深知道自己的價(jià)值,才覺著自己對(duì)于這個(gè)社會(huì)還是可以做些貢獻(xiàn)的。)。

???? 客戶公司老總也沒多說，就簡(jiǎn)單告知系統(tǒng)癱瘓了，整個(gè)生產(chǎn)車間的已經(jīng)不能正常運(yùn)轉(zhuǎn)了，停了一個(gè)星期了。大量的藥品都堆在生產(chǎn)車間中了。一路上，我們飛奔，路上我簡(jiǎn)單的吃了口燴面，然后我們就直奔廠區(qū)的生產(chǎn)車間。

??? 去了以后發(fā)現(xiàn)有個(gè)單表數(shù)據(jù)量已經(jīng)堆積幾千萬（具體的記不清楚了），當(dāng)時(shí)看完就懵了。堆積了這么多數(shù)據(jù)量，系統(tǒng)查詢?cè)趺磿?huì)不慢呢,生產(chǎn)不停下來那才怪呢?當(dāng)時(shí)客戶方老總以為抓住了我問題馬上就能解決，我在他們車間里待多久就陪多久，每天還點(diǎn)了不少好菜。中間我有打電話求助過總部項(xiàng)目經(jīng)理，在客戶現(xiàn)場(chǎng)Google，百度了N篇解決方案的稿子，索引刪了重建，CPU升級(jí)到4核，內(nèi)存單條8g，又升級(jí)到16g，系統(tǒng)在重啟的那幾十分鐘，速度飛快，但是過不了多久，系統(tǒng)又現(xiàn)之前的死相。前前后后總共折騰了3天2夜，期間睡眠時(shí)間嚴(yán)重不足，終于在第三天的下午，我也崩潰了。

??? 緊接著我就給總部老板打電話，向他報(bào)告了這邊的慘狀，以及我所遇見的困境，讓他趕緊派項(xiàng)目經(jīng)理過去。那時(shí)我的項(xiàng)目經(jīng)理采取了一套救急的方案：

(i) 將該上傳到國家機(jī)構(gòu)的數(shù)據(jù)全部上傳。

(ii) 將現(xiàn)有的生產(chǎn)任務(wù)結(jié)束，并上傳相應(yīng)的數(shù)據(jù)到國家機(jī)構(gòu)。

(iii) 重新創(chuàng)建新的生產(chǎn)庫，將未生產(chǎn)的未使用的原生產(chǎn)庫數(shù)據(jù)全部導(dǎo)入新生產(chǎn)庫,并重建索引。

(iv) 將原來的生產(chǎn)庫全部分離備份。

前前后后我們又花去了2天一夜，掐指一算這前后已經(jīng)讓客戶公司停產(chǎn)了2個(gè)周。

那時(shí)才知道一個(gè)好的企業(yè)級(jí)應(yīng)用的產(chǎn)品的系統(tǒng)架構(gòu)是有多么重要。

這忙完后我在賓館睡了10多個(gè)小時(shí)才緩過氣來。

?

這就是我這幾年職業(yè)生涯中遇見的兩組大數(shù)據(jù)案例。欲知后事如何且聽下回分解。

下回預(yù)告：

1. 6年前，我和我的項(xiàng)目經(jīng)理回到上?？偛亢髮?duì)系統(tǒng)改進(jìn)解決方案。

2. 6年后，我遇見比當(dāng)年更為龐大的數(shù)據(jù)，我的解決方案。

3. 對(duì)于產(chǎn)品級(jí)別系統(tǒng)和企業(yè)內(nèi)部系統(tǒng)我大數(shù)據(jù)方案心得。

4. 大數(shù)據(jù)應(yīng)用我們還有哪些殺手锏。

?

?

?

?

?

?