暂无说说

pyspark之默认使用jupyter

pyspark之默认使用jupyter
前言 工欲善其事,必先利其器,在 Python 中进行 Spark 应用程序开发,需要一个好用的开发工具。IPython 提供了一个优秀的记事本式开发工具——Jupyter。Spark 可以与 IPython 集成,因此在调用 Python 的 Spark REPL 时,它将启动 Ju……继续阅读 »

jiajun 1周前 (10-09) 7浏览 0评论 0个赞

storm组件

storm组件
storm集群采用主从构架、主节点跟从节点之间的协调工作都是通过 ZooKeeper 集群来完成的。下面是storm集群的构架图: Nimbus Nimbus 是storm集群的主节点。在 nimbus 节点上存在一个叫 nimbus 的守护进程。nimbus 节点负责在不同的 work……继续阅读 »

jiajun 3周前 (09-24) 7浏览 0评论 0个赞