暂无说说

pyspark之spark集群搭建

pyspark jiajun 11个月前 (12-05) 163次浏览 0个评论 扫描二维码

节点

192.168.163.100 s100  #master
192.168.163.101 s101 #slave
192.168.163.102 s102 #slave

前提

Spark 集群的安装,需要事先搭建好 Hadoop 集群环境。如果没有搭建好 Hadoop 集群环境,可参考hadoop 集群搭建进行配置。

spark 集群搭建

1、访问Spark 官方下载地址,按照下图选项进行下载(需用户自己提供 hadoop)。

2、解压 spark

tar -zxvf spark-2.4.0-bin-without-hadoop-scala-2.12.tgz -C /soft/
ln -s /soft/spark-2.4.0-bin-without-hadoop-scala-2.12/ /soft/spark

3、配置环境变量

sudo vi /etc/profile

添加以下内容

export SPARK_HOME=/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

4、Spark 配置

修改 slaves 文件

cd /soft/spark/conf/
cp slaves.template slaves

slaves 文件设置 Worker 节点。编辑 slaves 内容,把默认内容 localhost 替换成如下内容:

s101
s102

修改 spark-env.sh 文件

cp spark-env.sh.template spark-env.sh

编辑 spark-env.sh,添加如下内容:

export SPARK_DIST_CLASSPATH=$(/soft/hadoop/bin/hadoop classpath)    #对应 hadoop 的安装路径
export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop    #对应 hadoop 的安装路径
export SPARK_MASTER_IP=192.168.163.100

SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址;

修改 spark-config.sh 文件

cd /soft/spark/sbin/

编辑 spark-config.sh,设置 JAVA_HOME

export JAVA_HOME=/soft/jdk

5、分发

rsync -rl /soft/spark* hadoop@s101:/soft/
rsync -rl /soft/spark* hadoop@s102:/soft/
rsync -rl /etc/profile root@s101:/etc/
rsync -rl /etc/profile root@s102:/etc/

6、刷新环境变量

在三个节点上分别执行

source /etc/profile

启动 spark 集群

1、启动 hadoop 集群

start-dfs.sh
start-yarn.sh

注:因为 spark/sbin 下也有个 start-all.sh,所以不要用 start-all.sh 启动 hadoop 集群。

2、启动 master,在 master 节点上执行

start-master.sh

在 Master 节点上运行 jps 命令,可以看到多了个 Master 进程:

4036 DataNode
4853 Master
4902 Jps
4487 NodeManager
4202 SecondaryNameNode
3931 NameNode
4380 ResourceManager

3、启动所有 slave,在 master 节点上执行

start-slaves.sh

分别在 s101,s102 节点上运行 jps 命令,可以看到多了个 Worker 进程:

3040 Jps
2724 NodeManager
3012 Worker
2606 DataNode

4、访问 spark webui

http://192.168.163.100:8080

关闭 spark 集群

1、关闭 slave 节点

stop-slaves.sh

2、关闭 master 节点

stop-master.sh

3、关闭 hadoop 集群

stop-yarn.sh
stop-dfs.sh

 

喜欢 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址