安装部署Hadoop集群
CentOS7安装Hadoop
相关软件下载
系统镜像/软件 | 下载地址 |
---|---|
CentOS-7-x86_64-DVD-2009.iso | 下载链接 |
jdk-8u202-linux-x64.tar.gz | 下载链接 |
hadoop-2.7.7.tar.gz | 下载链接 |
一、搭建集群、配置主机
1. 永久修改主机名
1 | hostnamectl set-hostname 主机名 |
2. MAC地址配置
网络适配器高级设置、随机生成MAC
3. ip地址配置^注
1 | master:192.168.1.1 |
修改网卡配置信息
1 | cd /etc/sysconfig/network-scripts/ |
1 | vim ifcfg-ens33 |
1 | [root@master ~]# |
重启网络服务
1 | systemctl restart network |
4. 主机名与IP映射^注
1 | 编辑hosts |
添加映射关系(每个主机都要配置)
1 | 192.168.1.1 master |
5. 配置SSH免密登录
此项只需在master中配置
1 | 进入用户目录 |
二、安装配置java环境
1. 安装包安装
解压到home/用户文件夹
1 | tar -zxvf jdk-8u202-linux-x64.tar.gz |
修改目录名
1 | mv jdk1.8.0_202 jdk1.8 |
2. 配置环境变量
配置用户级环境变量
这里只需要配置用户级环境变量
1 | vim .bashrc |
添加变量
1 | export JAVA_HOME=/home/sunshj/jdk1.8 |
立即生效
1 | source .bashrc |
3. 复制文件到子节点
复制jdk1.8到子节点
1 | scp -r /home/sunshj/jdk1.8 sunshj@slave1:/home/sunshj/ |
复制.bashrc到子节点
1 | scp -r .bashrc sunshj@slave1:/home/sunshj/ |
三、安装配置Hadoop
1. 安装包安装
1 | tar -zxvf hadoop-2.7.7.tar.gz |
2. 配置.bashrc环境变量
1 | export HADOOP_HOME=/home/sunshj/hadoop-2.7.7 |
3. 修改hadoop配置文件
1 | cd hadoop-2.7.7/etc/hadoop/ |
配置core-site.xml
1 | vim core-site.xml |
在configuration中添加
1 | <property> |
配置hadoop-env.sh
1 | export JAVA_HOME=/home/sunshj/jdk1.8 |
配置hdfs-site.xml
1 | vim hdfs-site.xml |
1 | <property> |
配置 mapred-site.xml
1 | cp mapred-site.xml.template mapred-site.xml |
1 | vim mapred-site.xml |
1 | <property> |
配置yarn-site.xml
1 | vim yarn-site.xml |
1 | <property> |
修改slaves
1 | vim slaves |
1 | #删除localhost |
4. 复制文件到子节点
复制hadoop到子节点
1 | scp -r /home/sunshj/hadoop-2.7.7 sunshj@slave1:/home/sunshj/ |
复制.bashrc到子节点
1 | scp -r .bashrc sunshj@slave1:/home/sunshj/ |
立即生效
1 | source .bashrc |
5. 格式化^注
关闭enforce
切换到root用户
1 | vim /etc/selinux/config |
1 | SELINUX=disabled |
退出root,格式化
1 | hdfs namenode -format |
6. 启动hadoop
请在启动前打开集群
运行全部
1 | cd /home/sunshj/hadoop-2.7.7/sbin |
1 | ./start-all.sh |
关闭全部
1 | ./stop-all.sh |
- NameNode and Datanode: http://master:50070
- mapreduce: http://master:8088/cluster
五、注意事项
!关闭hadoop
==关闭虚拟机前关闭hadoop!!!==
评论
评论插件加载失败
正在加载评论插件