《Big Data大數據的獲利模式》前言
文／城田真琴
「谷歌（Google）、亞馬遜（Amazon）、臉書（Facebook）、推特（Twitter）。這些席捲當今網路業界的企業，有著共通的成功要素。而這個成功要素是什麼呢？」
若拋出這樣的問題，也許有人的回答是「嶄新的商業模式」，也許有人指出原因在於「創辦人的出類拔萃」。
不過，本書所要強調的，則是「資料分析」。說到資料分析，可能會讓人覺得「什麼嘛，不過是如此而已啊！」，聽起來似乎沒什麼了不起。
一開頭所舉出的幾家網路公司每天儲存與分析的是數量龐大的資料，也就是本書的主題──巨量資料（Big Data）。
善於運用巨量資料而獲取豐厚利益的開山祖師，則非谷歌莫屬。為了據稱一個月900億筆之多的網路搜尋，谷歌每月處理600 PB（petabyte）之多的資料量。其分析對象，可以說是谷歌各種服務的用戶所產生之所有數據資料。
比方說，在谷歌的搜尋欄以關鍵字搜尋，輸入「雲端」時，就自動出現「雲端 免費」、「雲端 意思」、「雲端 服務」等追加搜尋的候選詞彙清單，這乃是透過對龐大的用戶輸入記錄進行分析，使候選詞彙的建議功能得以實現。此外，原本打算以日文的片假名輸入「クラウド（cloud，雲端）」這個關鍵詞，卻打成日文拼音的「kuraudo」（cloud的日文發音）時，也會出現像「クラウド（雲端）」、「クラウドサービス（cloud service，雲端服務）」這樣經過修正的候選詞彙。這個「輸入修正功能」（也就是「您是不是要查……」功能），與候選詞彙的建議功能是相同的機制。
「買了這項產品的人也買了……」──打造出這個世界最知名產品推薦系統的，便是亞馬遜。亞馬遜對消費紀錄或瀏覽紀錄等關於用戶的龐大行為紀錄資料進行分析，在對照了行為紀錄相仿之其他用戶的消費紀錄後，向顧客推薦適當的產品。以這樣的資料分析為主軸之網路服務設計成功奏效，亞馬遜也因此成長至年營收（2011年度）約480億美元的龐大企業。
擁有一億名活躍用戶的推特，平均一天產生2億5000萬則的推文（2011年10月所發表的數字）。每一則140字推文的資料量為200B（byte），這些推文一天的流量便相當於48 GB（gigabyte）。綜觀整個推特的生態圈，一天則產生出多達8 TB（terabyte）的資料。
2012年2月申請股票首次公開發行（IPO， Initial Public Offering）的臉書，擁有8億4500萬人的月活躍用戶、4億8300萬人的日活躍用戶（2012年7月本書日文版出版時的資料）之驚人用戶數，也是全球最大用戶自行創造內容（content）的網站。
臉書的用戶們在一個月內總計花了約7000億小時在臉書的服務上，平均每個用戶一個月創造90則新聞或網誌文章等的內容，整體來看便是每個月有300億則之多的內容源源不絕地出現。據了解，臉書保留的資料有30 PB以上。
臉書所推出之「你可能認識的人……」功能，那幾乎令人毛骨悚然的高準確度，這正是細密地分析這些龐大資料的結果。
分析龐大的資料並設法獲得有價值之洞見與見解，便稱為「巨量資料」。不光是目前的IT產業，就連IT產業以外的各大報紙與電視新聞節目，也對巨量資料進行大篇幅的特別報導，發展備受矚目。
對IT相當熟悉的人，可能會在此提出這樣的疑問：
「藉由分析大量的資料來提升業績表現，並不限於這些新興的網路公司吧？對銷售與庫存等交易資料進行分析，並導出可提昇企業本身競爭優勢之見解，在過去便有所謂的『商業智慧（BI，Business Intelligence）』，為什麼非得到現在才大書特書？」
的確如此。比方說，美國主要連鎖超市業者的沃爾瑪（Wal-Mart）平均1小時處理約100萬筆的交易，並儲存約2.5 PB之多的資料於內部的資料倉儲。沃爾瑪每天對所產生出的大量資料進行分析，將產品庫存與定價優化至極限的程度。這樣的努力，著實為沃爾瑪業績提升做了相當大的貢獻。
不過，我們必須留意二個重要的差異。
一是雖同為大量資料，過去便存在之營收或庫存量等的數值資料，與谷歌、臉書等網路公司所經手的網站點擊串流（clickstream）資料或社群資料，其管理與分析手法有著相當大的差異。目前巨量資料熱潮，並非圍繞著數值資料等結構化資料打轉，而是以網站點擊串流資料、社群資料或感測器資料等傳統的關聯資料庫無法處理之尚未結構化的資料（非結構化資料）為主。
二是大量資料之管理與處理等新技術的掌控者，從沃爾瑪與花旗銀行（CitiBank）等的大企業，轉變為網路公司或社群媒體企業。臉書的30 PB與沃爾瑪的2.5 PB的差異，不光是在資料量，更包括經手資料的多樣性（網站的點擊串流、社群媒體的文字、人與人之間的聯繫等）與資料的產生頻率，從這些面向看來，傳統大企業還有許多地方必須向新興的網路公司與社群媒體企業學習。
「大企業應當將谷歌、亞馬遜、推特、臉書等消費者導向的企業做為標竿，因為這些標竿企業每天產出巨量資料並對其進行分析與管理。」
筆者在好不容易獲得機會採訪美國B2B企業時，總會聽到這樣的聲音。
實際上，Hadoop與NoSQL資料庫等目前儲存與處理巨量資料之技術，多半來自於谷歌、亞馬遜、臉書等網路公司或社群媒體企業之手。
網路世界以外的世界也會產生巨量資料。從感測器網路所產生之感測器資料，便是箇中代表。感測出各種機器的狀態，並試圖儲存與分析資料的做法，在自動販賣機管理系統、巴士或汽車的班次管理系統以及重工業用機械的監控系統等，皆已行之有年。不過，隨著技術進步與通訊成本降低，感測出所有資訊並得以廉價儲存資料的環境趨於成熟，今後巨量資料的運用可望更普及於各個產業，比方說，從配備GPS功能的智慧型手機、Suica或PASMO等交通相關IC卡（編按：類似台灣悠遊卡）等，皆可看出端倪。
今後，隨著智慧電網（Smart Grid）或智慧城市（Smart City）滲透至世界各地的趨勢日漸蓬勃，可想見感測器資料必將呈現增加的局面。而且，感測器幾乎每秒進行測量與記錄所產生之資料量，有可能很快地便超越網路上的資訊或文字等人類所產生的資料量。
此外，近來各種裝置或機器藉由通訊與網路服務結合之M2M（Machine to Machine）、物聯網（Internet of Things）的熱門關鍵詞備受矚目，也將是推動感測器資料增加的力量。
從感測器所產生之龐大資料中萃取有意義的資訊、進行分析並致力運用於商務，仍處於剛步上軌道的階段。光從這一點看來，可以說感測器資料運用就像藍海市場，蘊藏著巨大的商機。
如以上的介紹所示，像谷歌、亞馬遜等的網路公司很早便留意到一般企業所不予理會、捨棄之資料的價值，自行開發能夠廉價儲存與處理這些資料的技術，並將萃取自這些資料之有價值的資訊併入商務程序，進而發揮其競爭優勢。目前，不論是哪一個業種，仿效谷歌、亞馬遜積極進行巨量資料的分析，並透過提供新式服務與提升顧客滿意度等來提高企業競爭優勢，這種趨勢已益發顯著。
過去致力於分析數值等結構化資料而建構了競爭優勢的沃爾瑪等大企業，當然不甘於落後時代潮流，因此開始有所因應。沃爾瑪於2011年4月收購以社群媒體分析見長的新創公司Kosmix，將資料分析轉型至巨量資料的運用。沃爾瑪對從各門市附近所發出的推特推文或臉書塗鴉牆的內容進行分析，以掌握各個門市不同的需求，依此調整產品線與庫存的策略。比方說，從社群媒體的資料分析得知加州的山景城有許多居民喜歡騎單車，便因應這樣的需求調整了門市品項的種類與數量。
不光是像社群媒體或非接觸式IC卡的資料這種十年前甚至完全不存在的資料，還有過去從不曾被儲存，或者是就算儲存下來也不加以利用，而在一定期間過後便銷毀的資料中，其實也蘊藏著不為人知的「寶藏」──這便是目前企業致力於運用巨量資料的動力來源。
在美國，最近經常聽到Data is the new oil（資料是新石油）這句話。Data is the new oil意味著就像提煉過的原油能帶來莫大的經濟價值般，只要正確地對資料進行分析，就能創造相當的價值。基於這樣的想法，美國政府以「盡力將巨量資料所創造的機會發揮到淋漓盡致」為目標，於2012年3月宣布投入2億美元的巨額資金於以巨量資料的運用為目的之研究開發，顯示出舉國動員致力於巨量資料運用的明確態度。
本書盡可能以淺顯易懂的方式，介紹以巨量資料為核心競爭力之歐美、日本企業的案例，將巨量資料運用在商務上的重點與課題等，以及圍繞著巨量資料之歐美、日本的現狀與未來的展望。
第一章再一次對「巨量資料」進行定義，並說明目前巨量資料吸引眾人目光的原因。
第二章對支撐巨量資料儲存、處理與分析的技術，以及主要競爭者的動向進行解說。由於多為技術相關的內容，建議對技術不感興趣的讀者可先行跳過，如果在第三章之後遇到不懂的專有名詞時，再回頭參考本章。
第三章介紹eBay、Zynga、Centrica與卡特琳娜行銷集團（Catalina Marketing）等歐美企業運用巨量資料的案例。
第四章介紹小松（KOMATSU）、瑞可利（RECRUIT）、GREE與日本麥當勞等日本企業，藉由巨量資料的運用、大幅提升業績所下的工夫。
第五章為站在用戶企業的觀點，陳述筆者對於有關巨量資料之運用情境與運用型態的看法。
第六章說明關於將巨量資料運用於商務時無法避免的隱私權問題，在歐美、日本之指導方針與法規限制的動向。
第七章介紹公開過去不見天日的資料，以促進創新之「Open Data」活動的潮流與資料交易市場「資料市集」（Data Marketplace）。
第八章陳述隨著巨量資料時代來臨，需求急速增加之「資料科學家」（Data Scientist）的人才培育與取得等，企業今後必須做的準備。
若透過本書，能讓讀者對「巨量資料」這個企業今後必須面對的新世界有較為深入的理解，實為筆者莫大的榮幸。
留言列表
