Kafka 와 Zookeeper 설치하기

https://zookeeper.apache.org/ -> release -> download -> current

https://kafka.apache.org/ -> Download -> 2.11 버전 다운

적당한 곳에 압축 풀고 폴더 명을 단순하게 바꿈 ex) zookeeper-3.4.10 -> zookeeper

zookeeper 폴더에 data 폴더 만듬

conf 폴더에 zoo_sample.cfg 를 복사 붙여넣기 해서 zoo.cfg로 만듬

zoo.cfg 에 dataDir에 아까 만든 data폴더 경로를 넣음

환경변수 path에 zookeeper 폴더와 kafka 경로 넣음 ex) ZOOKEEPER_HOME : C:\Users\Admin\zookeeper, Path : %ZOOKEEPER_HOME%\bin;

kafka 폴더 안에 들어가서 logs 폴더 만들고 logs 폴더 경로 복사

conf 폴더 안에 server.properties 열고 log.dirs의 값을 해당 경로로 붙여넣음

//1 cmd 열고 zkserver 실행

rmdir /s /q %KAFKA_HOME%\logs

mkdir %KAFKA_HOME%\logs

// 2

zkserver.cmd

// 3

%KAFKA_HOME%/bin/windows/kafka-server-start.bat %KAFKA_HOME%/config/server.properties

// 4, 5, 6은 같은 CMD 에서 실행

%KAFKA_HOME%/bin/windows/kafka-topics.bat --delete --zookeeper localhost:2181 --topic sparkTest

// 5

%KAFKA_HOME%/bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic sparkTest

// 6

%KAFKA_HOME%/bin/windows/kafka-console-producer.bat --broker-list localhost:9092 --topic sparkTest

// 7

%KAFKA_HOME%/bin/windows/kafka-console-consumer.bat --zookeeper localhost:2181 --topic sparkTest