Kafka

Docker compose로 kafka 설치하기 Docker Compose를 사용하여 application.yml 파일을 통해 Kafka 컨테이너를 생성합니다.version: '3.8'services: zookeeper: image: zookeeper:3.9.1 platform: linux/amd64 ports: - "2181:2181" environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 kafka: image: wurstmeister/kafka:latest platform: linux/amd64 ports: - "9092:9092" environment: ..

본 글은 Apache Kafka에 대해서 공부한 지식을 정리한 글입니다. Apache kafka란❓Apache Kafka는 오픈 소스 분산 스트리밍 플랫폼으로, 대량의 데이터를 신속하고 안정적으로 처리하는 데 특화되어 있습니다. Kafka는 원래 LinkedIn에서 개발되었으며, 현재는 Apache 소프트웨어 재단의 프로젝트로 관리되고 있습니다. Kafka는 메시지 큐와 유사하지만, 주요 목적은 데이터 스트리밍과 이벤트 소싱을 통해 실시간 데이터를 처리하는 것입니다. Kafka의 주요 구성 요소메세지(Message)메시지는 Kafka를 통해 전달되는 데이터 단위입니다.메시지는 주제(Topic)에 게시되는 데이터 조각으로, 일반적으로 문자열, JSON, Avro 등 다양한 포맷을 지원합니다.메시지는 Ke..