過去10年來，只要一談到大資料分析，幾乎就是指Hadoop平臺，這個源自Google論文，由Yahoo和多家網路業者發揚光大的技術，幾乎成了大資料的代名詞。 直到2014年末，11月的一場資料排序競賽中，新世代爆紅大資料分析技術Spark打敗了Hadoop，只用了23分鐘，就完成100TB共計約1兆筆資料的排序，一舉改寫了由Yahoo的Hadoop團隊所創下的72分鐘世界紀錄。 令人驚訝的不只是以原來三分之一的時間達成目標，Spark也用了207臺Amazon EC2 i2.8xlarge的虛擬機器，打敗了Yahoo先前以2,100臺機器組成的Hadoop運算叢集。Spark只用了十分之一的運算節點。
from iThome 新聞 http://ift.tt/1nGOee3
沒有留言:
張貼留言