[AWS] deploy.sh log를 Crontab 스케쥴링으로 AWS S3에 저장하기

프로젝트를 진행중, CodeDeploy log 를 S3 버킷 생성후 해당 버킷에 저장해보라는 과제가 주어졌다.

쉘스크립트 + crontab을 통해 s3에 저장하는 방법을 공유해본다.

 

우선 현재 프로젝트 배포 구축 환경을 설명하자면, 

젠킨스로 CI 구축 + AWS CodeDeploy를 통해 자동 CD 환경을 구축하였다.

스프링부트에 deploy.sh 파일을 생성후 쉘 스크립트로 작성해 배포를 자동화했다. 

 

1. deploy.sh 파일 생성

#!/bin/bash
BUILD_JAR=$(ls /home/ubuntu/app/build/libs/*.jar)
JAR_NAME=$(basename $BUILD_JAR)
echo "> build : $JAR_NAME" >> /home/ubuntu/applog/applog.log

echo "> build 파일 복사" >> /home/ubuntu/applog/applog.log
DEPLOY_PATH=/home/ubuntu/
cp $BUILD_JAR $DEPLOY_PATH

echo "> 실행중인 애플리케이션 pid 확인" >> /home/ubuntu/applog/applog.log
CURRENT_PID=$(pgrep -f $JAR_NAME)

if [ -z $CURRENT_PID ]
then
  echo "> 실행중인 애플리케이션이 없으므로 종료하지 않음" >> /home/ubuntu/applog/applog.log
else
  echo "> kill -9 $CURRENT_PID" >> /home/ubuntu/applog/applog.log
  kill -9 $CURRENT_PID
  sleep 10
fi
# deploy

DEPLOY_JAR=$DEPLOY_PATH$JAR_NAME
echo "> DEPLOY_JAR 배포"    >> /home/ubuntu/applog/applog.log
nohup java -jar $DEPLOY_JAR >> /home/ubuntu/applog/applog.log 2>/home/ubuntu/applog/errlog.log &

 

필자는 배포 성공 로그를 ec2내 /home/ubuntu/applog/applog.log 파일에 저장, 실패로그는 errlog.log에 저장되게 하였다. 

쉘 스크립트 개념, 작성 방법, 코드는 아래 블로그에서 자세하게 나와있어 참고해서 공부하길 추천한다.

 

https://velog.io/@mooh2jj/쉘-스크립트란

쉘 스크립트란(+deploy.sh)

https://kim6394.tistory.com/268

[AWS] 스프링 부트 배포 스크립트 생성

 

 

2. EC2 내 log_back.sh 생성

ec2에 접속한후, log_back.sh 파일을 생성한다.

vi log_back.sh

 

해당 쉘 스크립트 파일에서 아래의 내용을 추가하여 ec2내에 있는 app_log와 err_log를 zip 파일로 만든후 s3 로 복사한후, app_log와 err_log 내용을 clear 할것이다.

 

#!/bin/bash
# 현재 날짜
DATE=$(date +"%Y%m%d")

# 새로운 파일 이름 설정
APP_LOG="applog-$DATE.zip"
ERR_LOG="errlog-$DATE.zip"

# zip -r 새로운_파일_경로 압축할_파일_경로
zip -r ~/applog/$APP_LOG ~/applog/applog.log
zip -r ~/applog/$ERR_LOG ~/applog/errlog.log

#s3 버킷으로 복사하기
#aws s3 cp 업로드할_파일_경로 s3://업로드할 버킷 이름/경로
aws s3 cp ~/applog/$APP_LOG s3://S3버킷이름/applog/$APP_LOG
aws s3 cp ~/applog/$ERR_LOG s3://S3버킷이름/errlog/$ERR_LOG

#로그 파일 클리어
clear ~/applog/applog.log
clear ~/applog/errlog.log

 

3. 크론 설정

crontab -e

크론탭을 설정할 수 있는 장소로 간다.

 

0 0 * * * bash /home/ubuntu/log_back.sh > /home/ubuntu/log_back_log.log 2>&1

해당 코드를 추가한다.

필자는 매일 오전 12시에 log_backup.sh를 실행, 해당 쉘 스크립트의 실행 결과 로그를 log_back_log.log에 정상 로그와 에러 로그 모두 저장하게 했다.

 

crontab -l

crontab 설정 확인하기

 

 

S3에 가서 잘 실행됐는지 확인해보면 

applog, errlog 모두 날짜 형식에 맞게 zip 파일로 잘 저장되었다!!

재밋엇지만 어려웟다..

휴...^^ 

끝!

 

 

 

 

 

 

 

 

참고

https://hee611.tistory.com/50

https://vanillacreamdonut.tistory.com/367

https://jojoldu.tistory.com/472

[Linux] log 파일 s3 업로드 스케줄링 설정하기 (feat. crontab)

CronTab 을 사용해 Shell Script 실행

Linux에서 crontab 실행시 명령어 찾지 못할때