前言
工欲善其事，必先利其器，在 Python 中进行 Spark 应用程序开发，需要一个好用的开发工具。IPython 提供了一个优秀的记事本式开发工具——Jupyter。Spark 可以与 IPython 集成，因此在调用 Python 的 Spark REPL 时，它将启动 Ju……继续阅读 »
jiajun
1周前 (10-09) 7浏览 0评论
0个赞
软件环境
操作系统：centos7
jdk：jdk-8u144
hadoop：hadoop-2.7.2
spark：spark-2.3.2-bin-hadoop2.7
python：Anaconda3-5.3.0
修改/etc/hosts 文件
sudo vi /e……继续阅读 »
jiajun
1周前 (10-09) 11浏览 0评论
0个赞
storm集群采用主从构架、主节点跟从节点之间的协调工作都是通过 ZooKeeper 集群来完成的。下面是storm集群的构架图：
Nimbus
Nimbus 是storm集群的主节点。在 nimbus 节点上存在一个叫 nimbus 的守护进程。nimbus 节点负责在不同的 work……继续阅读 »
jiajun
3周前 (09-24) 7浏览 0评论
0个赞
环境
host
s100、s101、s102
对应 ip：
192.168.163.100
192.168.163.101
192.168.163.102
操作系统：
centos7
步骤
1、关闭防火墙
systemctl stop firewalld
……继续阅读 »
jiajun
2个月前 (09-01) 51浏览 0评论
0个赞
操作环境
系统：Centos7
用户：root
jdk：1.6
安装步骤：
1、设置静态 ip
vi /etc/sysconfig/network-scripts/ifcfg-enp0s8
添加：
IPADDR=192.168.56.100
NETMASK=255.2……继续阅读 »
jiajun
3年前 (2015-05-25) 72浏览 0评论
2个赞
