回上層

產業面面觀

五大步驟 幫你實現Hadoop價值最大化

 

 

企業在部署Hadoop時總會遇到一些問題。例如,企業要在生產環境中使用Hadoop,但是很難找到熟悉Sqoop、Hive、Pig和MapReduce程式設計語言的開發人員。為了使大數據專案中Hadoop的價值最大化,企業需要重視一些「關鍵步驟」。

 

圖片1

你或許正在準備啟動公司一個大數據專案,但是你對Hadoop並不熟悉,並且不確定這樣的專案是否可以帶來價值。別著急,許多企業都會遇到類似的問題。在SAS公司與國際研究所攜手發佈的《企業應用Hadoop現狀》報告中,提出了可以幫助企業發揮Hadoop大數據專案最大價值的五個步驟:

 

1.識別和定義可提供競爭優勢和戰略的案例

 

首先要選擇目標。假設你想研究客戶行為,應該關注新的資料類型,而不是研究其它專案,比如企業資料倉庫;假設你想獲取使用者線上行為資訊,應該分析點擊量資料;假設你想瞭解客戶對公司品牌的看法,你需要分析社交媒體資料。

 

此外,還要確保你的Hadoop專案擁有高知名度,並提供可衡量之價值。例如銷量提升或者很快擁有回流客戶,將有助於證明你的專案項目有價值,並為未來的新專案鋪路。

 

推薦一個幫助識別和定義案例的好方法:SAS商業分析現代評估(BAMA)服務,該服務宗旨在説明擴大企業對分析的應用。BAMA是完成IT和業務單位之間對話的一個工作組,雙方可以積極合作,共同面對分析流程方面的巨大挑戰。

 

2.評估Hadoop是否適用於現有資料和分析架構

 

對於許多企業而言,商業智慧和分析專案(如資料倉儲)已經持續了幾十年。儘管Hadoop資料儲存成本可能遠遠低於資料倉儲,但是也不應該廢棄資料倉儲方面的投資,轉而讓Hadoop承擔資料倉儲的角色。雖然Hadoop是儲存感測器資料的理想選擇,但它不擅長即時處理少量資料。分析專家Tom Davenport表示,許多公司都在Hadoop集群中存儲大量新的資料類型,然後把這些資料存儲到企業資料倉儲來滿足產品應用的需求。

 

假設你已經完成審慎評估,並考慮實施分析客戶行為的Hadoop專案,那麼再來,你需要評估支援行為分析的資料儲存在哪裡。使用傳統資料倉儲儲存點擊量資料可能使成本飛漲。Hadoop可以儲存大量資料而只消耗合理的成本,但仍然需要考慮其他的儲存方式。企業想要更好地理解客戶行為,需要強大的分析以便利用儲存在Hadoop集群中的客戶點擊流量資料。

 

3.利用資料管理、資料發現和分析提供價值

 

一旦你決定了要在數量最大、移動最快的資料項目中使用Hadoop,你需要工具管理、操作和分析資料,並且保證使用的工具必須跟得上節奏。假設你將感測器資料儲存在Hadoop中,你想從資料中得到哪些資訊呢?只是擁有資料不會獲得太多資訊,但倘若你能把它與協力廠商資料產生關聯,構建基於分析的資料表,就可以獲得有價值的資訊。如果涉及機械設備,可帶來更多衍生價值,例如,分析師預測飛機可能發生的故障以便做好維修工作保證飛機的飛行,增加收入的同時也節約了成本。這種基本的收益對於專案的成功至關重要。

 

簡化你的整體時間值,將幫助你進一步瞭解Hadoop的價值。不論資料儲存在Hadoop還是其它地方,首先要確保你可以根據需求盡快地造訪並載入資料。在幾秒鐘之內查詢數十億行資料,並在Hadoop中進行操作,無需把資料轉移到單獨的分析平台。確保分析流程自上至下的高效能特性,這是Hadoop平台建置傳送價值的關鍵。

 

4.重新評估你的資料整合和資料管理需求

 

資料分析專案的結果可能用於商業戰略的決策。資料整合和管理也同樣重要,你需要瞭解資料的來源並保證資料的可靠性。資料管理可以領先技術一步實現人與程式的結合。我們應該尋找像SAS這樣的技術合作夥伴,SAS在整合IT和業務部門方面有豐富經驗,可以説明企業制定資料標準以便適用您特定的企業文化。資料管理實踐會給你帶來更大的信心,資料分析帶來的價值也是顯而易見的。

 

5.儘早評估人才技能缺口並制定弭平缺口的計畫

 

大數據仍然是相對較新的領域,有效管理專案所需的技巧少得可憐。正式環境中使用Hadoop需要有Sqoop、Hive、Pig和MapReduce等程式設計語言經驗。

 

你應該結合企業需求和戰略,確定是否需要資料科學家以便使你的大數據專案更有意義。當然,傳統的業務分析師也許就能滿足需求。例如,就像包含在SAS資料載入到Hadoop工具那樣,使用直觀的介面,使用者就可以獲取、發現、轉換、清理、整合並傳送資料,無需Sqoop、Hive或者Pig方面的專家。然而,倘若你聘請了資料科學家,應該讓他專注於建模等最擅長的領域,而非編寫MapReduce,這樣才能獲得最大的價值。最終,企業牢固掌握了所需技能,並在Hadoop專案實施之前制定計劃來彌補技能欠缺,這就是企業得到最好的結果。

 

SAS大資料分析與Hadoop

市場研究機構IDC預測到2016年,Hadoop將實現8.128億美元的銷售額-複合年增長率達到60.2%。88%的企業將其視為新的機遇。Hadoop對累積了海量資料資產的企業來說意義非凡,SAS則致力於協助這些部署大數據架構的企業,運用產業最頂尖的分析技術獲取卓越洞察。

 

回上層