日本即時通訊軟體Line註冊人數今年超過4億人,在臺灣也有1,700萬人註冊,如何傳遞這些使用者每天傳送的1百億筆訊息和18億張貼圖,是開發團隊最大的挑戰。任職於Line公司開發2室,負責開發團對服務維運工作的田籠聡即將於9月初來臺,參加Hadoop臺灣使用者年度社群聚會,揭露打造Line服務背後的關鍵技術之­──Hadoop大資料運算平臺新的Lambda架構。

臺灣Hadoop社群發起人王耀聰表示,這是一個運用Hadoop平臺同時處理串流即時訊息和大資料批次分析的新架構,因為λ這個希臘字母的形狀就像是一道資料流分成兩股分支,所以以此為名,象徵了資料流進入Hadoop平臺後,複製成兩份資料流,一份進行即時分析,另一份則儲存到批次處理的平臺中。

田籠聡是今年Hadoop社群年會主要講者之一,Google雲端平臺架構師也用了田籠聡寫的開源工具,因而也向王耀聰推薦這位講者來臺分享。另一位主要講者也來自日本,是大資料服務公司Treasure Data資深軟體工程師Masahiro Nakagawa。

Treasure Data被Gartner選為大資料年度「酷」(Cool)公司,利用AWS服務來提供Hadoop串流分析和BI服務,無印良品即是用Treasure Data服務來分析430萬網站會員的瀏覽行為,來發送折價券或促銷活動,吸引這些線上顧客到店消費。Masahiro Nakagawa正是要介紹一家雲端服務供應商如何在Hadoop平臺運用傳統IT人最熟悉的SQL語法提供分析服務。

王耀聰表示,這兩位講者都會提到熱門的大資料串流分析,這也是今年全球Hadoop社群的熱門技術話題,另外因為台積電開始帶頭推廣大資料技術,今年也將興起製造業的大資料應用也將起飛,所以,他也找來亦思科技HareDB系統開發處長江孟峰介紹臺灣半導體製造業的大資料應用。

而壓軸演講則是宏碁工程師李佳修來分享如何花了半年時間取得Hadoop企業版發行公司Cloudera公司所發的資料科學家認證,這是近期才出現的新興認證,也是成為認證資料科學家的一個途徑。

Hadoop臺灣使用者社群成立邁入第6年,王耀聰表示,去年年會有4百多人參加,不只是學生或技術人,還吸引了多位高階主管如總經理級、集團資訊長或技術長來參加。今年則計畫提供500張門票。目前Hadoop年會正開放第二波報名優惠,名額只有150人。

報名網址http://www.accupass.com/go/hadoopcon2014


熱門新聞

Advertisement