hadoop安装启动配置，单机模式[转]

https://blog.csdn.net/ch_samuel/article/details/80943858

https://blog.csdn.net/JReno/article/details/93207470

我使用的环境是虚拟机安装CENOS7,hadoop 3.0.0。

这些安装包下载好过后。去建一个目录来解压hadoop。

前提条件:

1、安装jdk，配置jdk（Linux下的配置自己查下资料）

2、安装ssh：yum install ssh（先查看安装没，有就不安装了）

3、安装rsync: yum install ssh (先查看安装没，有就不安装了)

前面这些准备好了过后，就开始配置hadoop：hadoop目录我就取个名字方便写HADOOP_PATH(这个就是你自己的hadoop目录)

1、先按照这个命令执行下:

 $ mkdir input
 $ cp etc/hadoop/*.xml input
 $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar grep input output 'dfs[a-z.]+'
 $ cat output/*

备注：执行完了过后，就是把一些xml文件拷贝到input目录中去了，output中呢有两个文件， 就是截图这两个。(可能不执行这些命令也没问题，我没去试，欢迎大家试试哈)。

2、修改HADOOP_PATH/etc/hadoop/core-site.xml，如图：

<property>
<name>fs.defaultFS</name>
<value>hdfs://nn01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>

备注:hadoop.tmp.dir这个目录最好自己建一个。

3、修改HADOOP_PATH/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.http-address</name>
    <value>had-node1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>had-node1:50090</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>		//一份数据存储三份
  </property>
</configuration>

备注:a.中间有个dir也自己建一个，这样重启服务后里面的数据就不会丢失。否则大意的话容易报错，一般就是那个namenode的clusterID与datanode的clusterID不一致。

b.如果关了防火墙就不用管了，没关的话就把50070加入。这个命令的话CENTOS7如下:firewall-cmd –zone=public –add-port=50070/tcp –permanent  #永久加入

4、修改HADOOP_PATH/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>had-node1</value>		//计算节点
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>		//使用的计算框架的名称
  </property>
</configuration>

5、修改HADOOP_PATH/etc/hadoop/mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

6、ssh免密登录：

 按照下面的命令执行  

$ ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
然后再执行

$ ssh localhost

看能登陆不。

7、然后格式化

再配置一下Java路径:

修改HADOOP_PATH/etc/hadoop/hadoop-env.sh(默认是注释了，放开注释把jdk安装目录写好即可)

再进行格式化

$ HADOOP_PATH/bin/hdfs namenode -format

8、格式化如果没报错的话，就执行命令:

$ HADOOP_PATH/sbin/start-all.sh，再用jps命令查看结果

如图所示，都有的话就表示启动成功了。

9、然后输入：虚拟机ip/50070去访问(最好是把虚拟机ip固定)，访问成功如下图: