启动 Spark 集群
启动 Hadoop 集群
start-dfs.sh
start-yarn.sh
启动 spark 集群
start-master.sh
start-slaves.sh
spark 集群管理器
(1)在 spark 集群中运行 JAR 包程序
向 sp……继续阅读 »
jiajun
2年前 (2018-12-09) 612浏览 0评论
1个赞
节点
192.168.163.100 s100 #master
192.168.163.101 s101 #slave
192.168.163.102 s102 #slave
前提
Spark 集群的安装,需要事先搭建好 Hadoop 集群环境。如果没有搭建好 Hadoop 集群环境,可参考h……继续阅读 »
jiajun
2年前 (2018-12-05) 608浏览 0评论
0个赞
节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
前提
正确搭建 hadoop 集群:参考hadoop 集群搭建
正确搭建 zookeeper 集群:参考zookeeper 集群搭建
hbase……继续阅读 »
jiajun
2年前 (2018-12-04) 515浏览 0评论
0个赞
一、环境说明
节点:s100~s102
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
操作系统:centos7
hadoop 版本:hadoop2.7.2
jdk 版本:1.8
二、安装过……继续阅读 »
jiajun
2年前 (2018-12-04) 633浏览 0评论
0个赞
节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
1、准备
提前修改好/etc/hosts 映射,提前安装好 rsync、jdk 跟 zookeeper,参考:zookeeper 集群搭建
2、安装……继续阅读 »
jiajun
2年前 (2018-12-03) 526浏览 0评论
0个赞
主机节点
192.168.163.100 s100
192.168.163.101 s101
192.168.163.102 s102
1、修改 hosts
sudo vi /etc/hosts
192.168.163.100 s100
192.168.163.101 s101
192.1……继续阅读 »
jiajun
2年前 (2018-12-03) 575浏览 0评论
0个赞
问题:
1、创建maven项目的时候,jdk 版本是 1.5 版本,而自己安装的是 1.7 或者 1.8 版本。
2、每次右键项目名-maven->update project 时候,项目 jdk 版本变了,变回 1.5 版本或者其他版本
解决办法:
解决办法一:在项目中的 pom.x……继续阅读 »
jiajun
2年前 (2018-12-02) 582浏览 0评论
0个赞
在使用maven开发项目的过程中,经常会遇到 jar 包重复加载或者 jar 包冲突的问题的,但是由于有些 jar 是由于maven的依赖加载自动加载进来的,而不是开发者自己配置的,特别是当项目中 pom 中配置的 jar 包依赖本身很多时,开发者靠自己的经验,有时很难找出是哪个 jar 的加载导致加载了多余的依赖……继续阅读 »
jiajun
2年前 (2018-12-02) 701浏览 0评论
1个赞
一、导出到默认目录 targed/dependency
从 Maven 项目中导出项目依赖的 jar 包:进入工程 pom.xml 所在的目录下,执行如下命令:
mvn dependency:copy-dependencies
或在 eclipse 中,选择项目的 pom.xml ……继续阅读 »
jiajun
2年前 (2018-12-02) 514浏览 0评论
0个赞
本地仓库是远程仓库的一个缓冲和子集,当你构建 Maven 项目的时候,首先会从本地仓库查找资源,如果没有,那么 Maven 会从远程仓库下载到你本地仓库。这样在你下次使用的时候就不需要从远程下载了。如果你所需要的 jar 包版本在本地仓库没有,而且也不存在于远程仓库,Maven 在构建的时候会报错,这种情况可能是有……继续阅读 »
jiajun
2年前 (2018-12-02) 501浏览 0评论
0个赞