2016年1月23日 星期六

大資料技術新秀Spark如何通吃批次和串流資料分析能力

沒有人料想得到,2009年在美國加州大學柏克萊分校一間實驗室為了驗證新系統的副產品,竟然在6、7年後影響了全世界大資料分析架構的設計。 AMPLab是柏克萊一間致力於大資料技術研究的實驗室,2009年時Hadoop已是大資料分析的首選平臺,但是Hadoop的MapReduce運算大量仰賴磁碟I/O,導致效能不彰。因此這間實驗室當時展開了許多Hadoop MapReduce的研究計畫,包括研究如何提高Hadoop執行效能以及運算資源分配更優化的作法。

from iThome 新聞 http://ift.tt/1Kxawnr

沒有留言:

張貼留言