網站seo優(yōu)化HDFS架構
日期 : 2020-09-19 19:01:56
HDFS架構。首先，管理網絡上多臺計算機的存儲的文件系統(tǒng)稱為分布式文件系統(tǒng)。HDFS(Hadoop分布式文件系統(tǒng)）就是其中之一，并且是專門為諸如MapReduce之類的分布式編程框架開發(fā)的文件系統(tǒng)，用于執(zhí)行大規(guī)模數據處理。HDFS使用服務器/客戶端架構，每個HDFS群集主要由兩部分組成，一個是NameNode，另一個是DataNode。“名稱”節(jié)點主要控制HDFS文件系統(tǒng)的名稱空間，并維護存儲在整個集群中的文件系統(tǒng)樹。與元數據有關的所有服務也由名稱節(jié)點進程提供，因此它們也稱為元數據節(jié)點。“名稱”節(jié)點記錄文件名和拆分文件的塊列表之間的映射關系，以及塊和實際系統(tǒng)之間的對應關系。“名稱”節(jié)點以快照的形式在本地文件系統(tǒng)中存儲映射關系，并在每次系統(tǒng)重新啟動時在本地加載映像，并獲取文件的存儲地址。在大多數情況下，名稱節(jié)點僅被動地接受來自數據節(jié)點的請求，執(zhí)行其任務并更新。數據節(jié)點是實際存儲文件的節(jié)點，通常一個物理系統(tǒng)對應一個數據節(jié)點。通常，不執(zhí)行數據節(jié)點的磁盤陣列備份，因為文件被設計為備份到多個數據節(jié)點，而不是一個數據節(jié)點上的多個文件。HDFS數據塊備份和分發(fā)策略存儲一系列數據塊，每個文件都在其中劃分。除最后一個分段數據塊外，分段成文件的所有其他數據塊大小相同。為了提高容錯能力，通常以多份副本備份數據塊，同時用戶也可以自行配置數據塊的大小和備份副本的數量?；贖DFS的應用程序可以通過配置文件更改參數，創(chuàng)建數據備份時，用戶可以指定塊備份的數量或稍后對其進行修改，但是在HDFS中，每個文件一次寫入。名稱節(jié)點會定期在每個數據節(jié)點上執(zhí)行心跳檢查和數據庫快速狀態(tài)報告，以確定哪些數據節(jié)點當前可用以及哪些數據文件已存儲。通常，如果很長時間未收到數據節(jié)點的心跳，則系統(tǒng)會使它無效并重新啟動該節(jié)點以恢復數據從而重新加入系統(tǒng)。
相關文章
精彩導讀
熱門資訊
