暂无说说

pyspark之spark集群搭建

pyspark之spark集群搭建
节点 192.168.163.100 s100 #master 192.168.163.101 s101 #slave 192.168.163.102 s102 #slave 前提 Spark 集群的安装,需要事先搭建好 Hadoop 集群环境。如果没有搭建好 Hadoop 集群环境,可参考h……继续阅读 »

jiajun 2周前 (12-05) 12浏览 0评论 0个赞

pyspark之默认使用jupyter

pyspark之默认使用jupyter
前言 工欲善其事,必先利其器,在 Python 中进行 Spark 应用程序开发,需要一个好用的开发工具。IPython 提供了一个优秀的记事本式开发工具——Jupyter。Spark 可以与 IPython 集成,因此在调用 Python 的 Spark REPL 时,它将启动 Ju……继续阅读 »

jiajun 2个月前 (10-09) 25浏览 0评论 0个赞