這篇是談痞客邦做大數據應用的訪談, 蠻有意思, 存參, 供有興趣的朋友參考..

從8億篇部落文大數據煉金，更要靠AI打造一條龍服務

Fred 豢養的雲中象

2015 台灣 Big Data 市場五大趨勢預測

http://fredbigdata.blogspot.tw/2014/12/2015-big-data.html

徵得IMHO, 黑貘來說 同意, 轉貼這篇好文. 全文從Big Data實作的困難處談起, 談到要成為一個資料工程師所需要學習的28堂課.

全文在此.

雖然說 Big Data (大數據) 是一個很夯的話題, 但就像一個笑話:

Big Data is like teenage sex:Everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it so everyone else claims they are doing it too.

雖然說就大部份而言, 這笑話是真的, 只是誇張了點, 因為 Big Data 目前遇到的問題還是相當的多, 就像是前幾天有一個朋友問我, 為甚麼電子商務網站都宣稱想做或要做資料探勘或大數據, 但為甚麼沒人去做呢? 我回答了幾個問題點:
 

1. 沒有真正了解資料價值的專案負責人: 大部份的專案負責人或產品經理, 都是從業務, 商品, 行銷出身, 對他們而言無論是在學校的學習, 執行的經驗, 進修的內容都沒有相關的知識, 在沒有對這種背景知識有足夠了解的人, 如何去產生與企劃, 既使大部份都是別人在做的, 但若沒有概念是不行的.
2. 要有人對做出來的業績與成果去承擔: 而若是沒有行銷與業務或產品去推, 那由資訊的人去推或許是合理的, 但最大的問題是資訊在電子商務是屬於後勤人員, 本身是不扛業績的, 而這種專案做出來會排擠其他的 Quota, 在沒有人須要的情形下最後只好無疾而終.
3. 外包的成本太高, 但內部的人又沒經驗: 上面兩個問題若是遇到有心的老版就不是問題, 但真的要開始做時面臨到到底要 In-House 還是 Out-Sourcing, 雖然內部做是外部的三分之一到五分之一, 且對 BI (企業智慧) 比較能夠切中目標, 但人才與經驗是個很大的問題, 所以不是大好就是徒勞無功.
4. 比 Big Data / Data Mining 更重要的事還很多: 大部份的電子商務公司最大的問題是資源不足, 而大家可以看 "九項如何建立有效商品推薦系統, 所須要知道的進程導引與架構指南" 這邊就可以知道能做的還很多, 在人力與資源不足的情形下被放棄或延後是合理的.

科技報橘的這篇文章很不錯, 談資料科學家的三種能力: 統計學, 對該領域的理解(使用者行為分析), 程式設計能力......值得一看.

http://techorange.com/2013/12/30/interview-with-data-scientist/

《Big Data大數據的獲利模式》前言

 文／城田真琴

  　　「谷歌（Google）、亞馬遜（Amazon）、臉書（Facebook）、推特（Twitter）。這些席捲當今網路業界的企業，有著共通的成功要素。而這個成功要素是什麼呢？」

　　若拋出這樣的問題，也許有人的回答是「嶄新的商業模式」，也許有人指出原因在於「創辦人的出類拔萃」。

　　不過，本書所要強調的，則是「資料分析」。說到資料分析，可能會讓人覺得「什麼嘛，不過是如此而已啊！」，聽起來似乎沒什麼了不起。

　　一開頭所舉出的幾家網路公司每天儲存與分析的是數量龐大的資料，也就是本書的主題──巨量資料（Big Data）。

《Big Data大數據的獲利模式》導讀

創造「偶然的幸運」（serendipity，機緣），正是巨量資料技術不斷前進的動力

文／陳志仁

 　　接到本書導讀的邀稿時，剛好是我跟一家國內大型服務公司探討他們公司海外發展議題之後的下午。

　　這讓我想到，從2004年加入野村總研以來，轉眼已經過了九年。常有企業主在面對全球新的議題與挑戰時，諮詢我們的看法；而我們的顧問專家群，難免也會私下討論不同國家的企業主對於新事物的接受態度。

　　過去，我們總是以為台灣企業主很少願意從邏輯思考的角度，看清所謂新事物的全貌，凡事好像只想要得到「引進這件新事物的時機是否已經成熟？」的答案，卻沒有深入思考「如何親自將新事物引進企業，做為企業超越自我的契機？」。

 《Big Data大數據的獲利模式》推薦序 

當巨量資料與社會脈絡交集  

文／徐子涵（Schee） 

　　近一年來，巨量資料的詞彙屢次出現在不同的媒體，似乎是一股海嘯襲來的態勢。在2013年的今日，除了網絡節點高速增長之外，你手中的行動運算裝置，也是資料廢氣（data exhaust，意指無法再次利用的資料）的大宗來源。

　　在PC產業的景氣低迷之際，不只資訊業界引頸期盼，連產業大老們深入了解Big Data之後，也興奮地呼喊著時髦用語「Eureka!」（我找到了！），藉此表達他們心中如同發現新大陸般的欣喜。（編按：阿基米德泡在浴缸時，突然領會「物體所受的浮力等於排開的水重量」時，欣喜地跳出浴缸裸身跑到街上大喊：「Eureka!」）

　　事實上，我們不可能再回到直立人（Homo erectus）的演化初期，力行資料節食（information diet）。因為在那個年頭，資料和社會脈絡的躉集，不只相當離散，更是無法捕捉聚合。

　　但是在今日，資料可說是唾手可得。不過，這些資料終究必須回到為人所用的範疇，而我們在消費資料的過程，則構成了多樣的社會、經濟行為的面貌。就跟當初內燃機的興起促成了工業革命一般的令人興奮，在兩、三百年的發展之後，人類的富裕程度普遍提高，也留下了更多有待共同智慧解決的問題。

　　然而，對於大多數人來說，別說是巨量資料，連微量資料（small data）都還不知如何捕捉，也可能毫無所知。

分析現狀還不夠，預測未來更重要！

與其相信一個人的直覺，不如相信數千萬人的資料——

從圖解、案例，到策略與實戰，一本書，徹底解讀大數據！

Facebook、Google、Amazon，

以及GREE、瑞可利（Recruit）等知名企業都在用的資料淘金術！

懂得找出資料的價值、萃取可用的資訊，就能將大數據轉化為商業智慧（BI）；

嗅出趨勢、解決問題、創造商機，進而創造「偶然的幸運」（serendipity），