HDFS副本设置——默认3

  • 来源:本站
  • 发布时间:2019-08-13
  • 112已阅读
您现在的位置:首页 >> 当代文学 >> 文章
简介 首先这个参数是个client参数,即nodelevel参数。 需要在每台datanode上设置。 其实默认为3个副本已经够用了,设置太多也没什么用。 一个文件,上传到hdfs

	HDFS副本设置——默认3

首先这个参数是个client参数,即nodelevel参数。

需要在每台datanode上设置。

其实默认为3个副本已经够用了,设置太多也没什么用。

一个文件,上传到hdfs上时指定的是几个副本就是几个。 以后你修改了副本数,对已经上传了的文件也不会起作用。

可以再上传文件的同时指定创建的副本数=1-put70Mlogs/2可以通过命令来更改已经上传的文件的副本数:hadoopfs-setrep-R3/查看当前hdfs的副本数hadoopfsck-locationsFSCKstartedbyhadoopfrom//atThuOct2713:24:25CST2011....................Status:HEALTHYTotalsize:4834251860BTotaldirs:21Totalfiles:20Totalblocks(validated):82()Minimallyreplicatedblocks:82(%)Over-replicatedblocks:0(%)Under-replicatedblocks:0(%)Mis-replicatedblocks:0(%)Defaultreplicationfactor:3Averageblockreplication::0Missingreplicas:0(%)Numberofdata-nodes:3Numberofracks:1FSCKendedatThuOct2713:24:25CST2011in10millisecondsThefilesystemunderpath/isHEALTHY某个文件的副本数,可以通过ls中的文件描述符看到hadoopdfs-ls-rw-r--r--3hadoopsupergroup1537481482011-10-2716:11/user/hadoop/logs/201108/impression_如果你只有3个datanode,但是你却指定副本数为4,是不会生效的,因为每个datanode上只能存放一个副本。