經濟新潮社EcoTrend官方部落格

徵得IMHO, 黑貘來說 同意, 轉貼這篇好文. 全文從Big Data實作的困難處談起, 談到要成為一個資料工程師所需要學習的28堂課.

全文在此.

雖然說 Big Data (大數據) 是一個很夯的話題, 但就像一個笑話:

Big Data is like teenage sex:Everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it so everyone else claims they are doing it too.

雖然說就大部份而言, 這笑話是真的, 只是誇張了點, 因為 Big Data 目前遇到的問題還是相當的多, 就像是前幾天有一個朋友問我, 為甚麼電子商務網站都宣稱想做或要做資料探勘或大數據, 但為甚麼沒人去做呢? 我回答了幾個問題點:
 

1. 沒有真正了解資料價值的專案負責人: 大部份的專案負責人或產品經理, 都是從業務, 商品, 行銷出身, 對他們而言無論是在學校的學習, 執行的經驗, 進修的內容都沒有相關的知識, 在沒有對這種背景知識有足夠了解的人, 如何去產生與企劃, 既使大部份都是別人在做的, 但若沒有概念是不行的.
2. 要有人對做出來的業績與成果去承擔: 而若是沒有行銷與業務或產品去推, 那由資訊的人去推或許是合理的, 但最大的問題是資訊在電子商務是屬於後勤人員, 本身是不扛業績的, 而這種專案做出來會排擠其他的 Quota, 在沒有人須要的情形下最後只好無疾而終.
3. 外包的成本太高, 但內部的人又沒經驗: 上面兩個問題若是遇到有心的老版就不是問題, 但真的要開始做時面臨到到底要 In-House 還是 Out-Sourcing, 雖然內部做是外部的三分之一到五分之一, 且對 BI (企業智慧) 比較能夠切中目標, 但人才與經驗是個很大的問題, 所以不是大好就是徒勞無功.
4. 比 Big Data / Data Mining 更重要的事還很多: 大部份的電子商務公司最大的問題是資源不足, 而大家可以看 "九項如何建立有效商品推薦系統, 所須要知道的進程導引與架構指南" 這邊就可以知道能做的還很多, 在人力與資源不足的情形下被放棄或延後是合理的.

換句話說, 念完這 27 個科目, 你就應該很有自信去面對任何資料的挑戰了, 接下來就是面對真實資料的戰場 (第 28 堂) 了: 實作.