暂无说说

kafka集群搭建

大数据 jiajun 11个月前 (12-03) 115次浏览 0个评论 扫描二维码

节点

192.168.163.100 s100

192.168.163.101 s101

192.168.163.102 s102

1、准备

提前修改好/etc/hosts 映射,提前安装好 rsync、jdk 跟 zookeeper,参考:zookeeper 集群搭建

2、安装 scala

解压

tar -zxvf scala-2.12.7.tgz -C /soft/
ln -s /soft/scala-2.12.7/ /soft/sc

配置环境变量

sudo vi /etc/profile

添加

export SCALA_HOME=/soft/sc
export PATH=$PATH:$SCALA_HOME/bin

3、安装kafka

解压

tar -zxvf kafka_2.11-2.1.0.tgz -C /soft/
ln -s /soft/kafka_2.11-2.1.0/ /soft/kfk

修改配置文件

cd /soft/kfk/config/
vi server.properties 

修改

log.dirs=/soft/kfk/logs
num.partitions=2
zookeeper.connect=s100:2181,s101:2181,s102:2181

4、分发

rsync -rl /soft/k* hadoop@s101:/soft/
rsync -rl /soft/k* hadoop@s102:/soft/
rsync -rl /soft/sc* hadoop@s101:/soft/
rsync -rl /soft/sc* hadoop@s102:/soft/
rsync /etc/profile root@s101:/etc/
rsync /etc/profile root@s102:/etc/

在三个节点上刷新环境变量

source /etc/profile

5、在其它两个节点上修改配置

类似于 zookeeper 的 myid

cd /soft/kfk/config/
vi server.properties 
broker.id=1    #在 s101 上修改
broker.id=2    #在 s102 上修改

6、启动 kafaka

启动 zookeeper 集群,三个节点上执行

zkServer.sh start

启动kafka集群,三个节点上执行

cd /soft/kfk
./bin/kafka-server-start.sh ./config/server.properties

成功连上 zookeeper

成功连上 zookeeper


​zkCli.sh    #打开 zookeeper 客户端
ls /

出现 brokers

通常情况下使用 nohup 启动 kafaka,使其在后台运行。

nohup ./bin/kafka-server-start.sh ./config/server.properties &

喜欢 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址