[AWS] EC2, EBS, AMI, Autoscaling

운영체제(Operating System)

컴퓨터 시스템의 자원들을 효율적으로 관리하며, 사용자가 컴퓨터를 편리하고, 효과적으로 사용할 수 있도록 환경을 제공하는 여러 프로그램의 모임이다. 운영체제는 컴퓨터 사용자와 컴퓨터 하드웨어 간의 인터페이스로서 동작하는 시스템 소프트웨어의 일종으로, 다른 응용프로그램이 유용한 작업을 할 수 있도록 환경을 제공한다.

 

 

• 시스템 하드웨어 자원과 소프트웨어 자원을 운영 관리하는 프로그램
  • Windows, Linux, MacOs, Android
• 특권 명령(privileged instruction): 시스템 요소들과 소통할수 있는 명령 - OS만 가능
  • OS는 특권 명령때문에 하나의 하드웨어 시스템(컴퓨터)당 하나밖에 돌아갈수 없음
  • 일반 프로그램은 특권 명령이 필요없기때문에 많은 프로그램을 동시에 수행 가능
• 가상화가 나타나기 전 까지는 하나의 하드웨어 시스템은 하나의 OS만 실행이 가능했음
  • 즉 일반적인 컴퓨터처럼 직접 OS가 하드웨어에 설치된 상태(Bare-Metal)로만 운영 가능했었음

 

가상화

가상화란 가상화를 관리하는 소프트웨어(주로 Hypervisor)를 사용하여 하나의 물리적 머신에서 가상 머신(VM)을 만드는 프로세스이다. Hypervisor는 가상화 층을 구현하여 물리적 머신의 컴퓨팅 리소스로부터 가상 환경을 분리하고 가상 머신(VM)을 생성한다. VM은 물리적 머신과 동일한 역할 및 성능을 수행하지만, cpu와 메모리 및 스토리지와 같은 물리적 머신의 컴퓨팅 리소스를 사용한다. Hypervisor는 필요에 따라 각 VM에 이러한 컴퓨팅 리소스를 할당한다.

 

 

 

가상화의 역사

 

• 1세대: 완전 가상화(Fully Emulated)
  • 모든 시스템 요소가 에물레이터 안에서 돌아감
  • 즉 CPU, 하드디스크, 마더보드 등 모든 요소를 에뮬레이터로 구현하여 OS와 연동
  • 엄청나게 느림

 

• 2세대 : paravirtualization
  • Guest OS는 하이퍼바이저와 통신
  • 하이퍼바이저: OS와 하드웨어 사이에 존재하는 일종의 가상화 매니저
  • 속도의 향상
  • 몇 몇 요소의 경우 여전히 에물레이터 필요= 느림

 

• 3세대: Hardward Virtual Machine(HVM)
  • 하드웨어에서 직접 가상화를 지원
  • 직접 Guest-OS가 하드웨어와 통신 = 빠른 속도(near bare-metal)

 

가상화와 클라우드

AWS 클라우드 환경에서 리소스를 작은 단위로 빠르게 구성할 수 있는 원동력은 가상화이다. 즉 AWS에서 사용자마다 컴퓨터를 할당해주는 것이 아닌 이미 구축된 가상화 가능한 서버의 한 부분을 할당해 주는것이다. 

 

 

---

EC2 (Amazon Elastic Compute Cloud)

Amazon Elastic Compute Cloud(EC2)는 안전하고 크기 조정이 가능한 컴퓨팅 파워를 클라우드에서 제공하는 웹 서비스 이다. 개발자가 더 쉽게 웹 규모의 클라우드 컴퓨팅 작업을 할 수 있도록 설계되었다. Amazon EC2의 간단한 웹 서비스 인터페이스를 통해 간편하게 필요한 용량을 얻고 구성할 수 있다. 컴퓨팅 리소스에 대한 포괄적인 제어권을 제공하며, Amazon의 검증된 컴퓨팅 인프라에서 실행할 수 있다. 

 

쉽게 말해서

• 클라우드: 빌려쓰기
• 컴퓨팅 : 컴퓨터 기술 자원(리소스)을 개발 및 사용하는 모든 활동
• 클라우드 컴퓨팅 :  컴퓨팅 파워 빌려 쓰기
• EC2: 컴퓨팅을 빌려 쓰는 웹 서비스

이다.

 

EC2의 사용

 

• 서버를 구축할때
  • 게임서버, 웹서버, 어플리케이션 서버
• 어플리케이션을 사용하거나 호스팅할때
  • 데이터베이스
  • 머신 러닝
  • 비트코인 채굴
  • 연구용 프로그램
• 기타 다양한 목적
  • 그래픽 렌더링
  • 게임 등

 

EC2의 특성

 

• 초 단위 온디맨드 가격 모델
  • 온디맨드 모델에서는 가격이 초 단위로 결정
  • 서비스 요금을 미리 약정하거나 선입금이 필요 없음
• 빠른 구축 속도와 확장성
  • 몇 분이면 전 세계에 인스턴스 수백여대를 구축 가능
• 다양한 구성방법 지원
  • 머신러닝, 웹서버, 게임서버, 이미지처리 등 다양한 용도에 최적화된 서버 구성 가능
  • 다양한 과금 모델 사용 가능
• 여러 AWS 서비스와 연동
  • 오토스케일링, Elastic Load Balancer(ELB), CloudWatch

 

EC2의 구성 

 

• 인스턴스
  • 클라우드에서 사용하는 가상 서버로 CPU, 메모리, 그래픽카드 등 연산을 위한 하드웨어를 담당
• EBS
  • Elastic Block Storage 의 줄임말로 클라우드에서 사용하는 가상 하드디스크
• AMI
  • EC2 인스턴스를 실행하기 위한 정보를 담고 있는 이미지
• 보안 그룹
  • 가상의 방화벽
    
    

인스턴스 유형

 

• 인스턴스 유형
• 인스턴스 사이즈
• 각 인스턴스 별로 사용 목적에 따라 최적화
  • 예: 메모리 위주, CPU 위주, 그래픽 카드 위주 등등
• 타입별로 이름 부여
  • 예: t타입, m타입, inf 타입 등
• 타입 별 세대별로 숫자 부여
  • 예: m5 = m인스턴스의 5번째 세대 
• 아키텍쳐 및 사용 기술에 따라 접두사
  • t4g : t4 인스턴스 중 AWS Graviton 프로세서를 사용(g) = t4g

 

인스턴스 크기

 

• 인스턴스의 cpu갯수, 메모리 크기, 성능 등으로 사이즈 결정
• 크기가 클수록
  • 더 많은 메모리
  • 더 많은 CPU
  • 더 많은 네트워크 대역폭
  • EBS와의 통신 가능한 대역폭

 

인스턴스의 타입 읽는법

인스턴스 타입 + 세대(숫자) + 접두사.사이즈

 

EC2의 구성

서버 = 컴퓨팅(CPU/RAM) + 하드디스크 + 랜카드

 

 

EC2 생명주기

 

• 중지
  • 중지중에는 인스턴스 요금 미청구
  • 단 EBS요금, 다른 구성요소(Elastic IP등)은 청구
  • 중지 후 재시작시 퍼블릭 IP 변경
  • EBS를 사용하는 인스턴스만 중지 가능, 인스턴스 저장 인스턴스 중지 불가(인스턴스가 죽으면 같이 죽음)

• 재부팅
  •  재부팅시에는 퍼블릭 IP 변동 없음

• 최대 절전모드
  • 메모리 내용을 보존해서 재시작시 중단지점에서 시작할 수 있는 정지모드
  • 프로그램을 실행시켰을때 데이터를 하드디스크에서만 가져오는게 아니라 데이터를 읽어서 원하는 프로그램을 구성해서 메모리에 올려놓게 된다. 하지만 프로그램을 종료하면 메모리에 있는 데이터는 다 날라가게 된다. 최대절전 모드는 이 메모리에 있는 내용을 하드디스크에 저장해서 만약 프로그램을 종료하게 되더라도 다시 실행시키면 하드디스크에 있는 데이터를 메모리에 복사해서 모든 프로그램이 살아 있게 된다. 

 

---

EBS(Amazon Elastic Block Store)

AWS 클라우드의 Amazon EC2 인스턴스에 사용할 영구 블록 스토리지 볼륨을 제공한다. 각 Amazon EBS볼륨은 가용 영역 내에 자동으로 복제되어 구성요소 장애로부터 보호해주고, 고가용성 및 내구성을 제공하낟. Amazon EBS 볼륨은 워크로드 실행에 필요한 지연 시간이 짧고 일관된 성능을 제공한다. 

 

 

EBS 소개

• 일종의 가상 하드 드라이브
• EC2 인스턴스가 종료되어도 계속 유지 가능
• 인스턴스 정지 후 재기동 가능
• 하나의 EBS를 여러 EC2에 장착 가능(EBS Multi Attach)
• 루트 볼륨으로 사용시 EC2가 종료되면 같이 삭제됨
  • 단 설정을 통해 EBS만 따로 존속 가능
• EC2와 같은 가용영역에 존재 
• 총 5가지 타입을 제공
  • 범용 (General Purpose or GP3) : SSD
  • 프로비저닝 된 IOPS (Provisioned IOPS or io2) : SSD
  • 쓰루풋 최적화( Throughput Optimized HDD or st1)
  • 콜드 HDD(SC1)
  • 마그네틱 (Standard)

 

Snapshot

• 특정 시간에 EBS 상태의 저장본
  • EBS에 사진을 찍어둔 개념
• 필요시 스냅샷을 통해 특정 시간의 EBS 를 복구 가능
• S3 에 보관
  • 증분식 저장

---

AMI(Amazon Machine Image)

• 인스턴스를 시작하는 데 필요한 소프트웨어 구성(운영 체제, 애플리케이션 서버 및 애플리케이션)이 포함된 템플릿
• EC2 인스턴스를 실행하기 위해 필요한 정보를 모은 단위
  • OS, 아키텍쳐 타입(32-bit, or 64-bit), 저장공간 용량 등
• AMI를 사용하여 EC2를 복제하거나 다른 리전-> 계정으로 전달 가능
• 스냅샷을 기반으로 AMI 구성 가능

 

 

AMI 구성

• 1개 이상의 EBS 스냅샷
• 인스턴스 저장 인스턴스의 경우 루트 볼륨에 대한 템플릿
  • 예: 운영체제, 애플리케이션 서버, 애플리케이션
• 사용 권한(어떤 AWS 어카운트가 사용할 수 있는지)
• 블록 디바이스 맵핑(EC2 인스턴스를 위한 볼륨 정보 = EBS가 무슨 용량으로 몇개 붙는지)
• 총 두가지 타입
  • EBS 기반 or 인스턴스 저장 기반
• 타입에 따른 AMI의 생성방법
  • EBS: 스냅샷을 기반으로 루트 디바이스 생성
  • 인스턴스 저장: S3에 저장된 템플릿을 기반으로 생성

 

---

스케일링(Scaling)

인스턴스 혹은 컴퓨팅 파워를 늘리는 것

 

 

대표적인 스케일링 방법

• 스케일 업(Scale up)
  
  • 기존의 서버를 보다 높은 사양으로 업그레이드하는 것
    
    • 예: CPU가 1개 짜리의 1GB 메모리의 컴퓨터 자체의 성능을 16배 하는것
    • AWS의 EC2 인스턴스 사양을 micro에서 small, small에서 medium 등으로 높이는 것.
  • 성능에 비해 비용이 많이 올라감 
    
    
• 스케일 아웃(Scale out)
  • 장비를 추가해서 규모를 늘리는 것
    • 예: CPU가 1개 짜리의 1GB 메모리의 컴퓨터를 16개를 구매하는 것
  • 클라우드 서비스에서는 자원 사용량을 모니터링하여 자동으로 서버를 증설(Scale Out)하는 Auto Scaling 기능도 있다.

 

• 스케일 인(Scale In)
  • 클라우드 컴퓨팅 환경에서 스케일 인은 VM 인스턴스의 갯수를 줄이는 것이다.
  • 부하가 적어짐에 따라 이에 대응하기 위해 스케일 아웃으로 늘린 VM 인스턴스의 갯수를 줄인다.
    

 

오토 스케일링(Auto Scaling)

애플리케이션을 모니터링하고 용량을 자동으로 조정하여, 최대한 저렴한 비용으로 안정적으로 예측 가능한 성능을 유지한다. 정책에 따라서 시스템을 자동으로 늘리고 줄여주는 서비스다. 만약 갑자기 트래픽이 폭주하면 서비스에 참여하고 있던 서버들의 CPU 사용률이 점점 높아져서 CPU 점유율이 80%를 넘게되면, 미리 준비된 이미지(AMIs)를 이용해서 인스턴스를 생성하고, ELB에 연결해서 트래픽을 새로 생성한 EC2 인스턴스에 분산한다. 트래픽이 줄어들면서 CPU 사용률이 20% 아래로 떨어지면 EC2 인스턴스가 순차적으로 제거된다. 비용을 절감할 수 있다.

 

Autoscaling 목표

 

• 정확한 수의 EC2 인스턴스를 보유하도록 보장
  • 그룹의 최소 인스턴스 숫자 및 최대 인스턴스 숫자
    • 최소 숫자 이하로 내려가지 않도록 인스턴스 숫자를 유지(인스턴스 추가)
    • 최대 숫자 이상 늘어나지 않도록 인스턴스 숫자 유지(인스턴스 삭제
• 다양한 스케일링 정책 적용 가능
  • 예: CPU의 부하에 따라 인스턴스 크기를 늘리기
• 가용 영역에 인스턴스가 골고루 분산될 수 있도록 인스턴스를 분배
• 이를 통해 사용자는 예상치 못한 서비스 부하에 효과적으로 대응하고, 최대한 저렴한 비용으로 안정적이고 예측 가능한 성능을 유지 할수 있음

 

시작 구성 템플릿

AWS에서는 서버 인스턴스를 손쉽게 생성하기 위해 시작 구성 템플릿을 제공한다. 증가하는 부하를 처리하기 위해 새롭게 서버 인스턴스를 생성해야 하는 경우 시작 구성 템플릿에 따라 서버 인스턴스를 빠르게 만들어 부하를 처리한다.

 

오토스케일링 동작 원리

1. 로드밸런서의 네트워크 정보와 서버의 시스템 매트릭 값들이 모니터링된다.
2. 모니터링 결과 임계값을 벗어나는 값이 감지되면 오토스케일링 그룹으로 알림을 보낸다.
3. 오토스케일링 정책에 따라 스케일 아웃 또는 스케일 인 방식으로 서버 인스턴스 갯수를 조절한다.
4. 서버 인스턴스를 생성하는 경우 로드밸런서를 사용해 새롭게 생성된 서버 인스턴스의 상태를 확인한다.
5. 서버 인스턴스의 상태가 확인되면 서버 인스턴스를 서비스 로드밸런서에 추가한다.

 

 

 

 

 

참고

https://tecoble.techcourse.co.kr/post/2021-10-12-scale-up-scale-out/

https://opentutorials.org/course/608/3010

https://velog.io/@cabbage/%EC%98%A4%ED%86%A0%EC%8A%A4%EC%BC%80%EC%9D%BC%EB%A7%81Autoscaling