mysql、canal、kafka、数据同步系列(三)kafka安装和配置

mysql、canal、kafka、数据同步系列(三)kafka安装和配置

kafka安装采用docker-compose安装

1、编写docker-compose.yml

version: '3'
services:
  kafka:
    image: wurstmeister/kafka       ## 镜像
    volumes: 
        - /etc/localtime:/etc/localtime ## 挂载位置(kafka镜像和宿主机器之间时间保持一直)
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 10.10.10.10   ## 修改:宿主机IP
      KAFKA_ZOOKEEPER_CONNECT: 10.10.10.10:2181       ## 卡夫卡运行是基于zookeeper的
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_LOG_RETENTION_HOURS: 120
      KAFKA_MESSAGE_MAX_BYTES: 10000000
      KAFKA_REPLICA_FETCH_MAX_BYTES: 10000000
      KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS: 60000
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DELETE_RETENTION_MS: 1000
  kafka-manager:  
    image: sheepkiller/kafka-manager                ## 镜像:开源的web管理kafka集群的界面
    environment:
        ZK_HOSTS: 10.10.10.10                   ## 修改:宿主机IP
    ports:  
      - "9001:9000" 

2、启动

docker-compose up -d

3、说明

1)这里顺便安装了kafka集群的管理界面

image.png
image.png

2)KAFKA_ZOOKEEPER_CONNECT可以设置zk的集群

以上就是kafka安装和配置。