[Linux] log 파일 s3 업로드 스케줄링 설정하기 (feat. crontab)

🫥 개요

동시에 백엔드, 프론트가 개발서버에 배포를 하였고, github actions에도 멀쩡히 초록색 불이 떠서 서버에도 배포가 잘된줄 알았다.

근데 아직 해결이 되지 않아 엥?하고 codedeploy를 봤더니 실패가 떠있었다!!!

EC2 접속을해서 확인해보니 서버내에 로그 파일 용량이 커서, 업로드 또는 압축이 잘 안되었던것 같았다. 

로그 파일을 주기적으로 삭제해줘야하는데, 사람이 매번 접속해서 삭제해주는건 쉽지 않아보였다.

Cronjob이 내 일을 하도록 구현해보자!

 

 

🧐Cron?

아래 내용을 보고오시면 됩니다. 

https://vanillacreamdonut.tistory.com/366

[Linux] 리눅스 명령어 - 작업 스케줄링 (cron, crontab)

 

이제 Cron이 뭔지 알고, 어떻게 S3에 올리는지만 살펴보자!

 

📍작업 순서

 

0️⃣ 사전 작업 ( 올릴 버킷을 생성 & 자격 증명 작업)

AWS S3  CLI 명령어를 이용한다.

AWS S3  CLI를 이용하면 간편하게 S3 버킷을 제어하고 S3 오브젝트에 접근할 수 있어 활용성이 높아진다.

AWS S3  CLI가 뭔데?

AWS Command Line Interface(AWS CLI)는 명령줄 셸의 명령을 사용하여 AWS 서비스와 상호 작용할 수 있는 오픈 소스 도구. 최소한의 구성으로 AWS CLI를 사용하면 터미널 프로그램에 있는 명령 프롬프트에서 브라우저 기반 AWS Management Console에서 제공하는 것과 동일한 기능을 구현하는 명령을 실행할 수 있다.

 

다른 분의 블로그를 첨부하겠다! 버킷을 생성해주고, credentials를 설정해주면된다.

 

https://inpa.tistory.com/entry/AWS-%F0%9F%93%9A-AWS-CLI-%EC%84%A4%EC%B9%98-%EC%82%AC%EC%9A%A9%EB%B2%95-%EC%89%BD%EA%B3%A0-%EB%B9%A0%EB%A5%B4%EA%B2%8C

[AWS] 📚 AWS CLI 설치 & 등록 방법 - 쉽고 빠르게 설명

 

 

1️⃣. 쉘스크립트 작성

crontab에 명령어를 바로 작성해도 되지만, 내용이 길어지리 경우 shell script를 작성해서 파일 내용안의 모든 명령어를 실행하게 할 수 있다.

vi [쉘 명령어 파일이름].sh

shell script는 .sh 확장자로 된 파일로 shell 명령어들을 모아서 만든 배치 파일이다. 쉘이 읽어서 실행해주는 파일인 것이다.

어떤 shell 로 실행시킬지 결정해주기 위해서 쉘 스크립트 맨 위에 선언해줘야한다. 나는 bash 쉘로 작성하겠다.

#!/bin/bash

# 변수 설정
DATE=`date +%Y-%m-%d%H%M%S`
LOG_FILE="/home/ec2-user/[프로젝트 경로]/[로그파일 명]"
BACKUP_FILE="$DATE.log"

#s3버킷으로 복사하기
aws s3 cp $LOG_FILE s3://[업로드할 버킷 이름/(경로)/log]/$BACKUP_FILE

#파일 삭제
rm $LOG_FILE

DATE : 오늘 날짜로 파일이름을 만들기 위해 DATE 변수를 설정해주었다.

LOG_FILE : 어떤 파일을 S3에 업로드할지 절대 경로를 작성해주었다.

BACKUP_FILE : S3에 저장할때의 파일명 & 확장자 설정

 

2️⃣. crontab에 등록

$ crontab -e

어떤 주기로 어떤 쉘스크립트를 설정해줄건지 작성해준다. 나는 매달 1일, 15일에 파일이 실행되도록 하였다.

0 0 1,15 * * /home/ec2-user/[쉘스크립트 명령어 파일명].sh

어떤 crontab 설정되어있는지 확인하기

$ crontab -l

---

Cron 오류 날 경우

Cron이 잘작동하지 않을 경우, 아래와 같이 알려준다!

잘 작동하는지 확인하려고 1분마다 파일 삭제 명령을 넣어줬더니, 시스템 자체에서 알림을 보내준다.

계속 놔두게 되면, 용량을 차지함으로 보고 바로 삭제해준다!

$ cat /dev/null > /var/spool/mail/[root|ec2-user|(사용자 계정)]