暂无说说

RHadoop系列之hadoop伪分布安装

R jiajun 3周前 (09-26) 7次浏览 0个评论 扫描二维码

一、环境说明

linux 版本:ubuntu16.04 桌面版
hadoop 版本:hadoop2.7.2
jdk 版本:jdk1.8.0_144


二、安装过程


1、创建/soft 用于存放安装软件

sudo mkdir /soft
sudo chown hadoop:hadoop /soft


2、配置 hosts

sudo vi /etc/hosts
127.0.0.1    hadoop
127.0.0.1    localhost

注:127.0.0.1 hadoop 一定要放在 127.0.0.1 localhost 前
3、配置 ssh 免密登陆

sudo apt install ssh
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys


4、解压 jdk、hadoop

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /soft
ln -s /soft/jdk1.8.0_144/ /soft/jdk
tar -zxvf hadoop-2.7.2.tar.gz -C /soft
ln -s /soft/hadoop-2.7.2/ /soft/hadoop

5、配置环境变量

sudo vi /etc/profile

添加以下内容:

export JAVA_HOME=/soft/jdk
export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新 profile,让环境变量生效

source /etc/profile

6、配置 hadoop

cd /soft/hadoop/etc/hadoop
vi hadoop-env.sh
改: export JAVA_HOME=${JAVA_HOME}
为: export JAVA_HOME=/soft/jdk

vi core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
</property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/data</value>
    </property>
</configuration>

vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

vi yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop</value>
    </property>
</configuration>

7、格式化 hadoop

hadoop namenode –format

8、启动 hadoop

start-dfs.sh
start-yarn.sh

9、验证:

jps
13408 SecondaryNameNode
13620 ResourceManager
13144 NameNode
13721 NodeManager
13244 DataNode
13935 Jps

webui:

http://hadoop:50070
http://hadoop:8088

 


mathslib , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:RHadoop 系列之 hadoop 伪分布安装
喜欢 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址