Apache Samza is a distributed stream processing framework. It uses? Apache Kafka ?for messaging, and? Apache Hadoop YARN ?to provide fault tolerance, processor isolation, security, and resource management.
Yarn是下一代的mapreduce框架，
?
重構根本的思想是將 JobTracker 兩個基本的功能分離成單獨的組件，這兩個功能是資源管理和任務調(diào)度 / 監(jiān)控。新的資源管理器全局管理全部應用程序計算資源的分配。每個應用的 ApplicationMaster 負責對應的調(diào)度和協(xié)調(diào)。一個應用程序無非是一個單獨的傳統(tǒng)的 MapReduce 任 務或者是一個 DAG( 有向無環(huán)圖 ) 任務。ResourceManager 和每一臺機器的節(jié)點管理server可以管理用戶在那臺機器上的進程并能對計算進行組織。
關于 Fault tolerance: ?Whenever a machine in the cluster fails, Samza works with YARN to transparently migrate your tasks to another machine.
Kafka的broker producer和consumer都是可分布的，事實上現(xiàn)是通過zookeeper來維護集群中這三者的信息。從而實現(xiàn)三者的交互。
版權聲明：本文博客原創(chuàng)文章。博客，未經(jīng)同意，不得轉載。
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
