启动 Spark 集群
启动 Hadoop 集群
start-dfs.sh
start-yarn.sh
启动 spark 集群
start-master.sh
start-slaves.sh
spark 集群管理器
（1）在 spark 集群中运行 JAR 包程序
向 sp……继续阅读 »
jiajun
1年前 (2018-12-09) 277浏览 0评论
1个赞
节点
192.168.163.100 s100 #master
192.168.163.101 s101 #slave
192.168.163.102 s102 #slave
前提
Spark 集群的安装，需要事先搭建好 Hadoop 集群环境。如果没有搭建好 Hadoop 集群环境，可参考h……继续阅读 »
jiajun
1年前 (2018-12-05) 257浏览 0评论
0个赞
节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
前提
正确搭建 hadoop 集群：参考hadoop 集群搭建
正确搭建 zookeeper 集群：参考zookeeper 集群搭建
hbase……继续阅读 »
jiajun
1年前 (2018-12-04) 215浏览 0评论
0个赞
一、环境说明
节点：s100~s102
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
操作系统：centos7
hadoop 版本：hadoop2.7.2
jdk 版本：1.8
二、安装过……继续阅读 »
jiajun
1年前 (2018-12-04) 312浏览 0评论
0个赞
节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
1、准备
提前修改好/etc/hosts 映射，提前安装好 rsync、jdk 跟 zookeeper，参考：zookeeper 集群搭建
2、安装……继续阅读 »
jiajun
1年前 (2018-12-03) 195浏览 0评论
0个赞
主机节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
1、修改 hosts
sudo vi /etc/hosts
192.168.163.100 s100
192.168.163.101 s101
192.1……继续阅读 »
jiajun
1年前 (2018-12-03) 255浏览 0评论
0个赞
问题：
1、创建maven项目的时候，jdk 版本是 1.5 版本，而自己安装的是 1.7 或者 1.8 版本。
2、每次右键项目名-maven->update project 时候，项目 jdk 版本变了，变回 1.5 版本或者其他版本
解决办法：
解决办法一：在项目中的 pom.x……继续阅读 »
jiajun
1年前 (2018-12-02) 227浏览 0评论
0个赞
在使用maven开发项目的过程中，经常会遇到 jar 包重复加载或者 jar 包冲突的问题的，但是由于有些 jar 是由于maven的依赖加载自动加载进来的，而不是开发者自己配置的，特别是当项目中 pom 中配置的 jar 包依赖本身很多时，开发者靠自己的经验，有时很难找出是哪个 jar 的加载导致加载了多余的依赖……继续阅读 »
jiajun
1年前 (2018-12-02) 299浏览 0评论
1个赞
一、导出到默认目录 targed/dependency
从 Maven 项目中导出项目依赖的 jar 包：进入工程 pom.xml 所在的目录下，执行如下命令：
mvn dependency:copy-dependencies
或在 eclipse 中，选择项目的 pom.xml ……继续阅读 »
jiajun
1年前 (2018-12-02) 189浏览 0评论
0个赞
本地仓库是远程仓库的一个缓冲和子集，当你构建 Maven 项目的时候，首先会从本地仓库查找资源，如果没有，那么 Maven 会从远程仓库下载到你本地仓库。这样在你下次使用的时候就不需要从远程下载了。如果你所需要的 jar 包版本在本地仓库没有，而且也不存在于远程仓库，Maven 在构建的时候会报错，这种情况可能是有……继续阅读 »
jiajun
1年前 (2018-12-02) 206浏览 0评论
0个赞
