暂无说说

hadoop1.x伪分布式安装

hadoop jiajun 3年前 (2015-05-25) 72次浏览 0个评论 扫描二维码

操作环境

系统:Centos7

用户:root

jdk:1.6

安装步骤:

1、设置静态 ip

vi /etc/sysconfig/network-scripts/ifcfg-enp0s8

添加:

IPADDR=192.168.56.100
NETMASK=255.255.255.0

修改:

BOOTPROTO="dhcp"
ONBOOT="yes"

为:

BOOTPROTO=static
ONBOOT=yes

重启 network

service network restart

验证:

ip addr
包含:inet 192.168.56.100/24 brd 192.168.56.255 scope global enp0s8

2、关闭防火墙

systemctl stop firewalld.service(关闭防火墙,重启启动防火墙)
systemctl disable firewalld(删除开机启动项,重启不会启动防火墙)
systemctl enable firewalld(添加开机启动项目,开机启动防火墙)
systemctl start firewalld.service(打开防火墙)


验证:

firewall-cmd --state
not running

3、修改主机名:

vi /etc/hostname
改成 hadoop

保存后重启,修改完成
验证:

hostname
hadoop

4、配置 ssh 免密码登录
执行:

ssh-keygen -t rsa

然后一路回车。
把公钥放到验证库中

cat id_rsa.pub >> authorized_keys

5、绑定 ip 跟 hostname

vi /etc/hosts
192.168.56.100 hadoop

验证:ssh hadoop,能够成功登录。

6、解压 jdk

chmod u+x jdk-6u45-linux-x64.bin
./jdk-6u45-linux-x64.bin
mv jdk1.6.0_45/ /opt
ln -s /opt/jdk1.6.0_45/ /opt/jdk

添加环境变量

vi /etc/profile

添加

export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin


刷新 profile

source /etc/profile

验证:

java -version

java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)

7、解压 hadoop

tar -zxvf hadoop-1.1.2.tar.gz -C /opt
ln -s /opt/hadoop-1.1.2/ /opt/hadoop

添加环境变量

vi /etc/profile

增加

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin


刷新/etc/profile

source /etc/profile

8、修改配置文件

hadoop-env.sh

vi /opt/hadoop/conf/hadoop-env.sh

 # export JAVA_HOME=/usr/lib/j2sdk1.5-sun

改为

export JAVA_HOME=/opt/jdk

修改:core-site.xml

vi /opt/hadoop/conf/core-site.xml


在<configuration></configuration>中添加一下内容:

<property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop:9000</value>
    <description>change your own hostname</description>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
</property>

修改:hdfs-site.xml

vi /opt/hadoop/conf/hdfs-site.xml

在<configuration></configuration>中添加一下内容:

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

修改:mapred-site.xml

vi /opt/hadoop/conf/mapred-site.xml

在<configuration></configuration>中添加以下内容:

<property>
    <name>mapred.job.tracker</name>
    <value>hadoop:9001</value>
    <description>change your own hostname</description>
</property>

9、格式话 hadoop

hadoop namenode -format

10、启动 hadoop

start-all.sh

11、验证

查看守护进程

jsp

7025 SecondaryNameNode
6815 NameNode
7099 JobTracker
7242 Jps
7202 TaskTracker
6921 DataNode

hadoop webui 接口
http://192.168.56.100:50070
http://192.168.56.100:50030

关闭 hadoop

stop-all.sh

 


mathslib , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:hadoop1.x 伪分布式安装
喜欢 (2)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址