kafka7 [Kafka] org.apache.kafka.common.errors.timeoutexception: the adminclient thread has exited. call: createtopics kafka topic 생성시 다음과 같은 에러가 발생했다. 해당 문구로 오류를 찾아봐도 해답을 찾을 수 없었다. 그래서 kafka 자체가 정상적으로 등록이 된건가 확인하니 host가 localhost가 아닌 다른 public ip로 등록되어 있었다. INFO Registered broker 0 at path /brokers/ids/0 with addresses: PLAINTEXT://192.168.x.x:9092, czxid (broker epoch): 196 (kafka.zk.KafkaZkClient) 그래서 bootstrap-server를 localhost로 등록하려고 하니 찾을 수 없어서 에러가 발생했던 것이다. localhost로 등록을 해주려면 kafka의 $kafka_home/config/se.. 2024. 9. 8. Kafka topic 생성 및 조회 카프카에는 토픽이란 개념이 있다. 토픽이란 카프카에서 데이터를 구분하는 가장 기본적인 개념으로, 관계형 DB와 비교하면 테이블과 유사한 개념이라고 이해할 수 있다. 토픽에는 파티션이란게 존재하는데 최소 1개이상으로 구성이 된다. 파티션은 토픽을 구성하는데 아주 중요한 요소다. 파티션을 통해 한번에 처리하는 데이터 양을(동시 처리건수가 많다면 파티션 개수를 많이) 조절하고, 토픽 내부에서도 파티션을 통해 데이터의 종류를 나누어 처리가 가능하기 때문이다. 카프카 토픽은 kafka-topics.sh를 통해 생성이 가능하다. 명시적으로 옵션을 설정해 생성하거나, 옵션없이 생성 또한 가능하다. sh kafka-topics.sh --create --bootstrap-server ${kafka-instance-ip}.. 2024. 8. 16. Kafka 로컬 테스트 카프카 설치를 완료했다면 카프카 서버와 통신이 되는지 확인이 필요하다. 로컬에서 카프카 서버와 통신하는 방법이 있다. 하지만 통신을 위해 우선 카프카 바이너리 파일을 설치해줘야한다. curl https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgztar -xvf kafka_2.12-2.5.0.tgzcd kafka_2.12-2.5.0 해당 경로에 kafka-broker-api-versions.sh란 sh를 통해 카프카 서버와 정상적으로 연동이 되는지 확인이 가능하다. sh bin/kafka-broker-api-versions.sh --bootstrap-server ${kafka-instance-ip}:9092 해당 명령을 통해 카프카 버전과 bro.. 2024. 8. 16. Kafka & ZooKeeper 실행 주키퍼는 카프카의 클러스터 설정 리더, 컨트롤러 정보를 담고 있어 카프카 실행시 필수 애플리케이션이다. 사실 실제 운영환경에서는 최소 3대 이상의 서버로 구성해야 안전하지만 우리는 테스트를 하는게 목적이므로 1대의 서버로 구성할 것이다. 기존 카프카를 설치했던 경로로 이동하여 config/zookeeper.properties와 bin/zookeeper-server-start.sh를 통해 주키퍼 실행이 가능하다. cd binsh zookeeper-server-start.sh -daemon ../config/zookeeper.properties 주키퍼 구동이 정상적인지 확인하려면 jps 예약어를 사용하면 된다. JVM 기반 프로세스를 확인해주는 명령어다jps -vm 주키퍼 구동이 성공적이라면 카프카 브로커를.. 2024. 8. 12. 이전 1 2 다음