回上層

產品最新知

SAS Data Loader for Hadoop 協助擁有巨量資料的客戶,更容易的操作與處理Hadoop中的資料並確保資料品質 !

整理一般性的資料相信大家都已經非常有經驗了,但整理儲存在數十台Hadoop節點內的資料? 透過SAS® Data Loader for Hadoop的Web互動式網頁介面,您不必撰寫程式碼也能輕鬆在Hadoop大數據中整理資料給分析人員使用。

 

在Hadoop的世界裡,很多的操作都需要IT人員經由Linux文字模式下的生冷指令碼去執行。一方面不容易上手,需要先學習Linux與Hadoop專屬的指令才能去操作資料,另一方面也讓業務單位的需求不容易被滿足,喪失了原先採用Hadoop架構由大數據產生新價值的美意。

 

dl_1

 

SAS Data Loader for Hadoop就是為您解決這樣的困擾而開發的最新工具。它可以提供下列優點:

 

  • 不需要特殊技巧也能處理Hadoop資料

不再需要外包了。您最了解自己的資料,而且也可以自己來處理它。透過SAS Data Loader for Hadoop,業務單位或資料科學家可以輕鬆的執行資料整合、資料品質與資料整理相關的工作,而不需要去撰寫複雜的MapReduce程式碼或尋求外部的協助。

 

  • 解放IT去處裡更技術性任務

當您團隊中的IT人員或資料科學家每天負擔的都是基礎資料管理任務,他們的更具價值的進階技術將無法充份利用。SAS® Data Loader for Hadoop可以解放IT資源去專注於讓系統更好、更快速、更強大的任務上。

 

  • 提升可擴展性與效能

當業務單位感受到SAS® Data Loader for Hadoop是如此輕鬆好用的同時,資料科學家與SAS程式人員則會喜歡上它是如何提升了速度、效率與靈活度。內建於平台中的程式碼加速機制可以將程式碼以平行(parallel)運行的方式在Hadoop叢集中被執行,以取得更快的效能。此外,您也可以直接在Hadoop中驗證資料品質(data quality),而不需要搬移您的資料。

 

  • 從Big Data中取得更多有價值的內容

當資料由外部關連性資料庫或SAS data sets載入至Hadoop變的容易時,您的Big Data 將可以更有效的發揮功用。這將提供組織更多的機會來進行進階分析,從大數據中挖掘更多有價值的內容來提升商業價值。

 

 

SAS Data Loader for Hadoop系統的功能特色如下:

 

  • Web-Based 使用者介面

透過使用最新HTML5技術的網頁介面,使用者不需另外安裝程式,直接開啟Web瀏覽器即可整理位於Hadoop中的資料。

dl_2

 

  • 在 Hadoop中查詢或聯結資料

您可以經由SAS® Data Loader for Hadoop的網頁介面中查詢(query)或連結(join)產生新表格。透過步驟式引導與智慧型下拉選單,使用者可以很輕鬆的依據需求產生新的資料,不需要在文字模式內一行行撰寫程式碼了。

dl_3

 

  • 在 Hadoop中轉置資料

很多時候我們需要將資料表格中的欄與列進行轉置(transpose)以進行後續的進階分析。

dl_4

在SAS中我們僅需要執行transport指令就可以輕鬆完成,那在Hadoop中的資料呢 ? 一樣可以透過網頁介面輕鬆完成喔 !

dl_5

 

  • 在 Hadoop中搬移資料

需要處理的資料可能來自於外部的資料庫(如SQL Server/Oracle/DB2等),需要匯入至Hadoop中與其他資料一同整併。而處理好的資料有時也需要匯出至外部資料庫或SAS LASR中給其他系統利用。透過網頁一步步的操作,僅需要指定來源資料庫與目標資料庫,就可以輕鬆完成了。

dl_6

dl_7

 

  • 在 Hadoop中清理資料與剖析資料

對於業務單位來說,資料的內容與品質是需要時常關心與了解,若資料中隱藏了不正確的值(value)、格式(format)或模式(pattern),那分析時就有可能受到這些資料的干擾而產生偏差。SAS® Data Loader for Hadoop包含了SAS資料品質(data quality)模組,讓業務單位可以直接對Hadoop中的表格與欄位進行資料摘要(profile data)與資料清理(cleanse data),而不需要另外搬移資料。

dl_8

 

  • 在 Hadoop中執行程式碼

當然,若您是資深的分析人員,喜歡撰寫SAS程式碼,這邊也提供了一個Web版的SAS程式編輯器,可以讓您充分發揮所長。

dl_9

 

 

 

總結


大數據與Hadoop等名詞每天都出現在我們眼前,但給人的印象就是進入門檻很高,需要學習非常多新技術才能開始進行。 有了SAS Data Loader for Hadoop,您不需要再擔心沒人會使用Hadoop了。容易上手、簡單操作是本產品的特色,但它作的事可是一點都不簡單。透過SAS Data Loader for Hadoop,您的Big Data 將可以更有效的發揮功用,從中挖掘更多有價值的寶貴訊息。

回上層