暂无说说

kafka测试节点安装

大数据 jiajun 8个月前 (03-10) 142次浏览 0个评论 扫描二维码

核心概念

下面介绍 Kafka 相关概念,以便运行下面实例的同时,更好地理解 Kafka.
1. Broker
Kafka 集群包含一个或多个服务器,这种服务器被称为 broker
2. Topic
每条发布到 Kafka 集群的消息都有一个类别,这个类别被称为 Topic。(物理上不同 Topic 的消息分开存储,逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处)
3. Partition
Partition 是物理上的概念,每个 Topic 包含一个或多个 Partition.
4. Producer
负责发布消息到 Kafka broker
5. Consumer
消息消费者,向 Kafka broker 读取消息的客户端。
6. Consumer Group
每个 Consumer 属于一个特定的 Consumer Group(可为每个 Consumer 指定 group name,若不指定 group name 则属于默认的 group)

解压

tar -zxvf kafka_2.11-0.10.2.0.tgz -C /soft
ln -s kafka_2.11-0.10.2.0/ kafka
cd /soft/kafka

启动 zookeeper

cd /soft/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka

重新打开一个终端

cd /soft/kafka
bin/kafka-server-start.sh config/server.properties

创建 topic

重新打开一个终端

cd /soft/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkatest1

 topic 是发布消息发布的 category,以单节点的配置创建了一个叫 kafkatest1 的 topic.可以用 list 列出所有创建的 topics,来查看刚才创建的主题是否存在。

cd /soft/kafka
bin/kafka-topics.sh --list --zookeeper localhost:2181

可以在结果中查看到 kafkatest1 这个 topic 存在。

生产数据

cd /soft/kafka
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatest1

并尝试输入如下信息:

hello hadoop
hello kitty
hadoop world

消费数据

再次开启新的终端或者直接按 CTRL+C 退出。然后使用 consumer 来接收数据,输入如下命令:

cd /soft/kafka
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning 

便可以看到刚才产生的三条信息。说明 kafka 安装成功。

喜欢 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址