2011年3月10日 星期四

Hadoop Safe Mode

在開啟hadoop ,load namenode的時候,系統會先停在safe mode,使得data node在回報其資料完整性之前,data blocks不會提早做複製的動作。系統若在safe mode,則所有的blocks都是唯讀 (read only)屬性,不能做任何寫入或是修改。直到data node都做出正常回報之後,才會離開safe mode,進行data blocks的複製行為。

若hadoop因某些意外不正常啟動或是關閉,則系統會鎖在safe mode。使得你無法對HDFS做任何變更的動作。因此,如果你要離開safe mode,可下達以下指令:

hadoop dfsadmin -safemode leave

延伸閱讀:

hadoop safe mode的相關操作:

Command:hadoop dfsadmin -safemode [option]

[option]:

  • enter: 進入safe mode。

  • get: 顯示系統是否進入safe mode。

  • wait: 一直等到safe mode結束。

  • leave: 離開safe mode。


Reference:

  1. Hadoop in safe mode http://blog.johnsonlu.org/?p=711

  2. Hadoop: safe mode, word count, streamming http://mlwmlw.no-ip.org/2010/12/hadoop-safe-mode-wordcount/

沒有留言:

張貼留言