hadoop安装详解(终极版)

  • 时间:
  • 来源:互联网
  • 文章标签:

hadoop安装详解

在Windows下输入cmd 回车
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
删除linux自带的jdk1.查找 rpm -qa |grep java2.删除rpm -e java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 --nodeps 删除rpm -e java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64 --nodeps
在这里插入图片描述

  1. 解压 在/usr/local/soft/下执行的tar -zxvf jdk-8u171-linux-x64.tar.gz
    pwd:查看当前目录的全路径
    在这里插入图片描述
    在这里插入图片描述
    2.配置环境变量 vim /etc/profile 在最下面添加 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
    在这里插入图片描述
    在这里插入图片描述
  2. source /etc/profile
    在这里插入图片描述
    重启完成后依次在虚拟机上执行下面命令:1.设置ip(上述步骤) 使用命令 重启网卡:service network restart

2.关闭防火墙的自动启动,使用命令:chkconfig iptables off
在这里插入图片描述

3.设置主机名与ip的映射,修改配置文件命令:vi /etc/hosts
在这里插入图片描述
4,关机

windows下主机名映射修改
在这里插入图片描述
在这里插入图片描述

下一步克隆:
在这里插入图片描述
左击—管理—克隆(克隆两台node1,和node2)一直下一步,需要注意两个地方如下图
在这里插入图片描述
在这里插入图片描述
通过克隆创建两台虚拟机 克隆是完整克隆,ip和mac都是一模一样的 IP在网络中只能有一个不能重复,所以克隆之后的会默认生成一个新的网卡 mac是一样的 主机名也是一样的克隆之后的机器需要修改三部分

  1. 修改主机名vim /etc/sysconfig/network(重启后生效)
  2. 在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    2.修改网卡vim /etc/udev/rules.d/70-persistent-net.rules 2.1文件中有两个网卡
    在这里插入图片描述
    删除第一个留第二个
    在这里插入图片描述
    2.2把第二个网卡中的eth1改为eth0,复制mac地址
    3.修改网络 vim /etc/sysconfig/network-scripts/ifcfg-eth0 3.1 用复制过来的mac地址进行替换原本的mac地址
    在这里插入图片描述
    3.2 修改ip地址
    在这里插入图片描述
    在这里插入图片描述
    4.设置ssh免密码登录(只在Master 这台主机操作) 4.1主节点执行命令ssh-keygen -t rsa 产生密钥 一直回车 执行命令
    在这里插入图片描述
    在这里插入图片描述
    4.2 实现主节点master本地免密码登录首先进入到/root 命令:cd /root再进入进入到 ./.ssh目录下命令:cd ./.ssh/
    在这里插入图片描述
    然后将公钥写入本地执行命令:cat ./id_rsa.pub >> ./authorized_keys

配置hadoop

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

用xshell上传hadoop-2.6,5版本到/usr/local/soft/目录下
到/usr/local/soft下并解压
cd /usr/local/soft
tar -zvxf hadoop-2.6.5.tar.gz

在这里插入图片描述
在这里插入图片描述
修改master中hadoop的一个配置文件 slaves
cd /usr/local/soft/hadoop-2.6.5/etc/hadoop
在这里插入图片描述
vim slaves
在这里插入图片描述删除localhoste

node1
node2
在这里插入图片描述
fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /usr/hadoop/tmp
在这里插入图片描述
在这里插入图片描述
#vi hdfs-site.xml添加 dfs.replication 1 dfs.permissions false
在这里插入图片描述
cp mapred-site.xml.template mapred-site.xml #复制一份#vi mapred-site.xml添加 mapreduce.framework.name yarn
在这里插入图片描述
#vi yarn-site.xml添加,master改为自己的主机名或IP yarn.resourcemanager.hostname master yarn.nodemanager.aux-services mapreduce_shuffle
在这里插入图片描述
vim hadoop-env.sh修改JAVA_HOME为本机实际的目录
在这里插入图片描述
vim /etc/profile做以下修改:在JAVA_HOME下增加一行export HADOOP_HOME=/usr/local/soft/hadoop-2.6.5export PATH这行后面拼接上 : H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin
在这里插入图片描述
source /etc/profile
在这里插入图片描述
1、拷贝hadoop到其他的机器上(截图拷贝命令)将修改后的hadoop复制到另外两个节点:# cd /usr/local/soft# scp -r hadoop-2.6.5 node1:/usr/local/soft/ # scp -r hadoop-2.6.5 node2:/usr/local/soft/
在这里插入图片描述
1、初始化hadoop集群(截图执行命令)在主节点上执行# hadoop namenode -format
在这里插入图片描述
start-all.sh
在这里插入图片描述
jps
在这里插入图片描述
http://master:50070
在这里插入图片描述

本文链接http://www.taodudu.cc/news/show-1782033.html