[Docker] Docker에 Kafka 띄워서, 토픽 생성하고 메시지를 보내기

Docker에 Kafka를 실행시켜 토픽 생성하여 메세지를 보내고 받아볼것이다.

 

---

 

Kafka를 도커에 띄우기 위해 컴포즈 파일을 생성한다.

도커 컴포즈 파일에 해당 내용을 추가해준다.

version: '3.8'
services:
  zookeeper:
    image: wurstmeister/zookeeper:latest
    container_name: zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka:latest
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

 

아래 명령어를 실행하여 Docker Compose를 사용하여 여러 컨테이너를 정의하고 실행하자.

 

docker-compose -f docker-compose-local.yml up

 

 

필자는 운영환경을 위한 docker-compose.yml 파일과 개발 환경을 위한 docker-compse-local.yml가 있고, 현재 4개 컨테이너를 구성했고 잘 실행되었다.

 

이제 카프카 컨테이너에 접속해서 토픽을 생성하고, 컨슈머랑 프로듀서로 확인해 볼것이다.

//현재 가동중인 도커 확인
docker ps

// 도커 컨테이너 접속
docker exec -it [Container ID] /bin/bash

 

topic1이라는 이름인 토픽을 생성해보고 확인해보자

// 토픽 생성
kafka-topics.sh --create --topic topic1 --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3

// 토픽 확인
kafka-topics.sh --list --bootstrap-server localhost:9092

// 토픽 삭제
kafka-topics.sh --delete --bootstrap-server kafka:9092 --topic topic1

 

잘 생성되었다. 

 

컨슈머 생성

메세지를 받을 컨슈머를 생성하자

컨슈머를 실행시키기 위해선  도커에서 카프카 설치 경로로 가줘야 한다.

cd /opt/kafka_2.13-2.8.1/bin/
./kafka-console-consumer.sh --topic topic1 --bootstrap-server kafka:9092

 

깜빡깜빡거리면 정상 작동된 거다

 

프로듀서 실행

새 터미널을 열어 메세지를 생성해줄 프로듀서를 생성하자.

cd /opt/kafka_2.13-2.8.1/bin/ 경로에서 아래 명령어를 입력해서 프로듀서를 생성한다.

./kafka-console-producer.sh --topic topic1 --broker-list kafka:9092

 

그럼 > 가 나온다. 메세지를 입력해보자.

프로듀서 터미널

 

그리고 컨슈머를 생성한 터미널에 가보면 메세지가 잘 도착해있다!!

컨슈머 터미널

 

 

 

 

 

 

참고 

https://9hyuk9.tistory.com/92

[kafka/Docker] 도커로 카프카를 띄워보고, 토픽 생성 후 메시지를 보내보자.