启动 Spark 集群
启动 Hadoop 集群
start-dfs.sh
start-yarn.sh
启动 spark 集群
start-master.sh
start-slaves.sh
spark 集群管理器
（1）在 spark 集群中运行 JAR 包程序
向 sp……继续阅读 »
jiajun
3个月前 (12-09) 36浏览 0评论
1个赞
节点
192.168.163.100 s100 #master
192.168.163.101 s101 #slave
192.168.163.102 s102 #slave
前提
Spark 集群的安装，需要事先搭建好 Hadoop 集群环境。如果没有搭建好 Hadoop 集群环境，可参考h……继续阅读 »
jiajun
3个月前 (12-05) 25浏览 0评论
0个赞
节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
前提
正确搭建 hadoop 集群：参考hadoop 集群搭建
正确搭建 zookeeper 集群：参考zookeeper 集群搭建
hbase……继续阅读 »
jiajun
3个月前 (12-04) 25浏览 0评论
0个赞
一、环境说明
节点：s100~s102
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
操作系统：centos7
hadoop 版本：hadoop2.7.2
jdk 版本：1.8
二、安装过……继续阅读 »
jiajun
3个月前 (12-04) 32浏览 0评论
0个赞
节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
1、准备
提前修改好/etc/hosts 映射，提前安装好 rsync、jdk 跟 zookeeper，参考：zookeeper 集群搭建
2、安装……继续阅读 »
jiajun
3个月前 (12-03) 21浏览 0评论
0个赞
主机节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
1、修改 hosts
sudo vi /etc/hosts
192.168.163.100 s100
192.168.163.101 s101
192.1……继续阅读 »
jiajun
3个月前 (12-03) 36浏览 0评论
0个赞
昨晚做的测试，由于 win10 更新，没有保存。今天凭记忆写了一份，如果出现问题，肯定是在第二次整理的时候出错，欢迎拍砖，不要打脸。。。
1、系统环境：
centos7.0（user:group = hadoop:hadoop）
uname -a
Linux s200 3.10.0-……继续阅读 »
jiajun
3个月前 (11-28) 29浏览 0评论
5个赞
一、确保 remote 端 Python、spark 安装正确
参考：pyspark 之 pyspark2.x 环境搭建
二、remote 端安装、设置
1、安装 py4j
pip install py4j
2、添加环境变量(缺这步，貌似 pych……继续阅读 »
jiajun
3个月前 (11-27) 36浏览 0评论
0个赞
topology 开发完成后，需要提交给storm集群，才能够运行。
提交storm的常用命令
1、把 topology 项目打成 jar 包后，上传到 Storm 集群后，可以使用下面命令提交 topology
bin/storm jar jarName.jar [TopologyMai……继续阅读 »
jiajun
3个月前 (11-20) 31浏览 0评论
0个赞
本文介绍如何创建一个简单的 Storm 项目，只有一个 spout 和一个 bolt，如下图所示：
1、新建 maven 项目，并引进依赖。
<dependency>
<groupId>org.apache.storm</groupId……继续阅读 »
jiajun
3个月前 (11-20) 19浏览 0评论
0个赞
