暂无说说

pyspark之spark集群搭建

pyspark之spark集群搭建
节点 192.168.163.100 s100 #master 192.168.163.101 s101 #slave 192.168.163.102 s102 #slave 前提 Spark 集群的安装,需要事先搭建好 Hadoop 集群环境。如果没有搭建好 Hadoop 集群环境,可参考h……继续阅读 »

jiajun 2周前 (12-05) 12浏览 0评论 0个赞

hbase集群搭建

hbase集群搭建
节点 192.168.163.100 s100 192.168.163.101 s101 192.168.163.102 s102 前提 正确搭建 hadoop 集群:参考hadoop 集群搭建 正确搭建 zookeeper 集群:参考zookeeper 集群搭建 hbase……继续阅读 »

jiajun 2周前 (12-04) 10浏览 0评论 0个赞

hadoop集群搭建

hadoop集群搭建
一、环境说明 节点:s100~s102 192.168.163.100 s100 192.168.163.101 s101 192.168.163.102 s102 操作系统:centos7 hadoop 版本:hadoop2.7.2 jdk 版本:1.8 二、安装过……继续阅读 »

jiajun 2周前 (12-04) 15浏览 0评论 0个赞

kafka集群搭建

kafka集群搭建
节点 192.168.163.100 s100 192.168.163.101 s101 192.168.163.102 s102 1、准备 提前修改好/etc/hosts 映射,提前安装好 rsync、jdk 跟 zookeeper,参考:zookeeper 集群搭建 2、安装……继续阅读 »

jiajun 2周前 (12-03) 8浏览 0评论 0个赞

rhipe测试

rhipe测试
 昨晚做的测试,由于 win10 更新,没有保存。今天凭记忆写了一份,如果出现问题,肯定是在第二次整理的时候出错,欢迎拍砖,不要打脸。。。 1、系统环境: centos7.0(user:group = hadoop:hadoop) uname -a Linux s200 3.10.0-……继续阅读 »

jiajun 3周前 (11-28) 10浏览 0评论 3个赞

topology提交

topology提交
topology 开发完成后,需要提交给storm集群,才能够运行。 提交storm的常用命令 1、把 topology 项目打成 jar 包后,上传到 Storm 集群后,可以使用下面命令提交 topology bin/storm jar jarName.jar [TopologyMai……继续阅读 »

jiajun 4周前 (11-20) 10浏览 0评论 0个赞

topology 开发

topology 开发
本文介绍如何创建一个简单的 Storm 项目,只有一个 spout 和一个 bolt,如下图所示: 1、新建 maven 项目,并引进依赖。 <dependency> <groupId>org.apache.storm</groupId……继续阅读 »

jiajun 4周前 (11-20) 9浏览 0评论 0个赞