走进Kafka

Posted on | In

KafKa的设计目标

  • 高吞吐率

    在廉价的商用机器上单机可以支持每秒100万条消息的读写

  • 消息持久化

    所有消息均被持久化到磁盘上，无消息丢失，支持消息重放

  • 完全分布式

    Producer、Broker、Consumer均支持水平扩展

  • 同时满足适应在线处理和离线批处理能力（如Hadoop，Hive）

KafKa的安装

  • 下载地址：http://kafka.apache.org/downloads.html
  • 进入到bin目录下启动zookeeper：sh zookeeper-server-start.sh ../config/zookeeper.properties
  • bin目录下启动kafka：sh kafka-server-start.sh ../config/server.properties

简单使用

  • 创建topic：sh kafka-topics.sh –zookeeper localhost:2182 –create –topic test1 –partitions 3 –replication-factor 1
  • 查看topic描述：sh kafka-topics.sh –zookeeper localhost:2182 –descripe –topic test1
  • 订阅消息：bin/kafka-console-consumer.sh –bootstrap-server 127.0.0.1:2182 –topic test1

​