2014年5月14日星期三

Hadoop 1.x.x SecondaryNameNode 配置

FROM: hadoop secondarynamenode的两种配置方式

master1 NameNode(NN)
master2 SecondaryNameNode(2NN)
  1. hdfs-site.xml
    
            dfs.http.address
            master1:50070
    
    
    
            dfs.secondary.http.address
            master2:50070
    
    
    
            fs.checkpoint.period
            3600
    
    
    
            fs.checkpoint.size
            67108864
    
    
    
            fs.checkpoint.dir
            /hadoop/dfs/namesecondary
    
    
    2NN 向 NN 获取镜像的地址是: http://${dfs.http.address}:50070/getimage?putimage=1&port=50090&machine=0.0.0.0&token=x&newChecksum=x, dfs.http.address 的默认地址是: 0.0.0.0:50070,当 2NN 和 NN 是不同主机时,该值必须指定(${namenode-ip:50070 or namenode-hostname:50070}),否则获取镜像文件失败。

    dfs.secondary.http.address 配置 Web 查看 2NN 状态的地址。默认是 0.0.0.0:50090,当 2NN 和 NN 在不同主机时,可指定为相同的端口。

    fs.checkpoint.period 配置获取镜像的间隔时间。

    fs.checkpoint.size 配置 edits(${dfs.name.dir}/current/edits) 的大小, 当 edits size 大于该值就进行checkpoint。默认是 64M。

    fs.checkpoint.dir 配置 2NN 的目录。默认是 ${hadoop.tmp.dir}/dfs/namesecondary 。
  2. masters
    master2
    
    master2 配置文件实际上是用来指定 SecondaryNameNode。所以内容是 master2,估计大部分 Hadoop 的初学者都会被其名字所迷惑。
  3. Sync configurtion files to slave nodes.

没有评论 :

发表评论