Udemy AWS Analytics ch1-3

Udemy Data Engineering Using AWS Analytics Services 강의를 듣고 적는 정리본이다.

ch 1: Introduction to the course

-강의에 대한 기본적인 개요

ch 2: Setup Local Environment for Practice

• Jupyter lab using Docker
• Python boto3
• AWS CLI

Docker를 이용해 Jupyter-lab-minimal 이미지(?)를 다운받아서 주피터 랩을 로컬환경에 세팅했다.

도커는 컨테이너라고 생각하면 쉬운데, 각 사람들마다 개발환경(OS, 파이썬 버전, 라이브러리 버전 등)이 다르기 때문에 환경에서 오는 오류나 예외성을 배제시키기 위해 고안된 프로그램이다. 도커를 이용해 배포를 하면 환경세팅도 같이 배포가 되기 때문에 어느 컴퓨터에서 돌려도 동일한 환경세팅을 보장해준다.

Jupyter lab에서는 Notebook과 terimal을 사용할건데 각각 파이썬 코드를 쓰는 곳과 쉘커맨드를 쓰는 곳으로 나뉜다.

- notebook 안에서도 "%%sh" 라인을 추가하면 쉘커맨드를 쓸 수 있다

- boto3 파이썬 라이브러리를 통해 AWS Serivce를 파이썬을 통해 interact 할 수 있다

AWS CLI

- 파이썬 라이브러리이고 AWS 관련 서비스를 커맨드 라인에서 interact할 때 필요하다

 

ch 3: AWS Cloud9

- MS의 Visual code 처럼 AWS의 IDE(통합 개발 환경) 이다.

- Cloud9 을 세팅하게 되면 자동으로 cloud9가 깔린 EC2 인스턴스(Amazon Linux2를 사용) 또한 생성하게 된다

 

환경세팅

- Docker, 파이썬, 자바 등등 다양한 언어와 프로그램을 Cloud9과 연동된 EC2 인스턴스에서 지원함

 

세팅 방법

- AWS root 유저말고 IAM Group (ITVCloud9)을 만들어서 Admin Policy를 추가함 (해당 그룹은 Admin 권한을 얻게 됨)

- IAM User (ITVCloud9User)를 만들어서 ITVCloud9 Group 안에 추가하면 해당 IAM User는 해당 Group이 갖고 있는 권한을 갖게됨

- IAM User 개개인에게 권한을 주는 것보다 group 차원에서 권한을 갖게하고 User를 Group에 추가하는 방식이 더 효율적임.

- (신입사원이 한 명 들어오면 권한을 일일이 다 설정해주는 것보다 group에 추가하면 바로 끝나기 때문)

 

EC2 & Cloud9

- Cloud9 을 일정시간 (기본 30분) 사용하지 않으면 연동된 EC2 인스턴스는 자동으로 중지된다

- EC2에 웹서버를 열 수도 있다(포트). 하지만 EC2 인스턴스 특성상 다시 가동되면 public IP 주소가 바뀌기 때문에, AWS elastic IP를 이요해 static IP를 부여해주면 편하다 (과금 주의)

- EC2의 용량(EBS Volume)을 scale-up 할 수도 있다

- SSH 를 통해 Cloud9 EC2 연결 가능