IT/Kafka
-
-
#2. 카프카 실행 시 에러 조치IT/Kafka 2020. 7. 14. 22:57
1. 상황 - 카프카 구성 후 실행 시 아래와 같은 에러가 발생하면서 수행이 되지 않는 경우 발생 OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N Error while executing topic command : Replication factor: 3 larger than available brokers: 0. 2. 원인 - 현 테스트 환경은 AWS EC2 프리티어로 구성되어 있음 - AWS EC2..
-
#1. PUTTY를 사용해 AWS EC2 접속IT/Kafka 2020. 7. 13. 01:39
목적: putty를 이용해서 AWS 인스턴스에 접속할 수 있다. 1. 작업요약 - puttygen을 사용하여 private key를 생성 - private key를 사용하여 putty로 AWS 인스턴스에 접속 2. puttygen을 사용한 private key 생성 - 앞서 AWS 인스턴스 생성 시 발급한 키 페어를 사용하여 private key를 만든다. (키 페어 확인) 1) AWS에서 발급한 *.pem 파일 로드 - PuTTYgen > Conversions > Import key - 저장한 .pem 파일 선택 후 열기 2) private key 생성 - Actions 카테고리 내 "Save the generated key 의 "Save private key" 선택 3. private key를 사용하..
-
#0. 시작 및 환경설정IT/Kafka 2020. 7. 9. 01:07
주의) 절대로 실장님이 주문해서 등떠밀려 정리하는 블로그가 아님. :) 참고도서: 카프카, 데이터 플랫폼의 최강자 / 고승범.공용준 / 책만 1. 실습환경 구성 - virtualbox로 구성할까 하다가 AWS EC2로 구성 - 서비스 > 인스턴스 > 인스턴스 시작 단계1) AMI 선택 - Amazon Linux를 선택 (다른 버전의 리눅스 선택 가능) 단계2) 인스턴스 유형 선택 - 기본 선택되는 General pupose / t2.micro 확인 단계3) 인스턴스 구성 - 인스턴스를 여러 개 구성하고 싶다면 "인스턴스 개수"에 원하는 개수를 입력 - zookeeper 3개를 구성할 예정이므로 인스턴스 개수는 3개 입력 (default 1) 단계4) 스토리지 추가 - 크기가 기본 8GB로 설정되어 있으나..