IT/Kafka

#0. 시작 및 환경설정

_하늘여우_ 2020. 7. 9. 01:07

주의) 절대로 실장님이 주문해서 등떠밀려 정리하는 블로그가 아님. :)

참고도서: 카프카, 데이터 플랫폼의 최강자 / 고승범.공용준 / 책만

 

1. 실습환경 구성

- virtualbox로 구성할까 하다가 AWS EC2로 구성

- 서비스 > 인스턴스 > 인스턴스 시작

 

단계1) AMI 선택

- Amazon Linux를 선택 (다른 버전의 리눅스 선택 가능)

단계2) 인스턴스 유형 선택

- 기본 선택되는 General pupose / t2.micro 확인

단계3) 인스턴스 구성

- 인스턴스를 여러 개 구성하고 싶다면 "인스턴스 개수"에 원하는 개수를 입력

- zookeeper 3개를 구성할 예정이므로 인스턴스 개수는 3개 입력 (default 1)

단계4) 스토리지 추가

- 크기가 기본 8GB로 설정되어 있으나 참고로 프리티어는 30GB까지 사용 가능

단계5) 태그 추가

- skip

 

단계6) 보안 그룹 구성

- "보안 그룹 이름"은 기본 설정 값으로 사용해도 되고, 본인이 수정해도 됨

- zookeeper 테스트 시 2181, 2888, 3888 포트는 기본적으로 open되어야 하므로 본 방화벽 규칙에서 필히 입력

  (하기 포트 미등록 시 추후 zookeeper 연결이 정상적으로 수행되지 않음)

- 그 외 톰캣이나 기타 프로그램을 수행하려면 해당 포트 (ex. 8080, ..) 을 추가 필요

- 지금 아니더라도 추후 수정/추가 가능

단계7) 인스턴스 시작 검토

- 지금까지 설정한 항목 리뷰 가능하며, 수정이 필요하면 해당 단계로 이동해서 수정

- 특이사항 없으면 하단의 '시작하기' 버튼을 눌러서 키 페어 설정 진행

- putty나 기타 ssh 접속 툴을 사용하여 방금 생성한 인스턴스에 접근하기 위해서는 반드시 필요한 파일이다.

 

참고1.

만일 생성한 인스턴스 삭제를 하고 싶다면, 인스턴스 목록에서 해당 인스턴스 선택하고 [ 작업 > 인스턴스 상태 > 종료 ] 를 하면 인스턴스 상태가 running -> terminated 로 변경될 꺼임. (실제 2~4시간 뒤에 목록에서 제거됨)


2. PUTTY를 사용해 AWS EC2 접속

 

3. 필요 설치 패키지

- java

(명령어: yum -y install java-1.8.0-openjdk)

- zookeeper

zookeeper 설치파일 다운로드
압축파일 해제
심볼릭 링크 생성 및 확인

 

 

 

 

참고URL

https://blog.naver.com/ossiriand/221599081479

https://blog.naver.com/jiiw0n/221462556890

https://blog.naver.com/timeless947/221931171177

https://github.com/onlybooks/kafka/raw/master/install/zookeeper-3.4.10.tar.gz