[Node.js] CI/CD 구축하기 - Github Actions, AWS Codedeploy (Prisma, yarn run build keeps running)

👨‍🦲기존 방식의 문제점

Node.js, EC2, github을 통해 서버 배포 작업을 진행하는 과정 

local 개발 -> github push -> ec2에서 pull -> build or run -> 배포 완료

 

매번 개발 후 직접 EC2 접속해서 pull 받고 build, run 해줘야하는 번거로움이 생긴다.!.!.!

그래서 배포 자동화 과정을 통해 이 과정을 쉽고 간편하게 할 수 있다. 

Git의 GithubActions와 AWS에서 제공하는 CodeDeploy를 통해 Github repository에서 작업한 code가 바로 ec에서 deploy 되도록 배포 자동화를 진행해보겠다.

---

CI/CD ?

 

CI

CI는 Continuous Integration의 약자로 지속적인 통합을 의미한다고 한다.

빌드/테스트 자동화 과정, CI를 성공적으로 구현할 경우 애플리케이션에 대한 새로운 코드 변경 사항이 발생할 때마다 Build, Test를 수동으로 하지 않아도 프로그램이 자동으로 이러한 과정들을 진행해줍니다.

CD

CD는 Continuous Delivery 또는 Continuous Deployment의 약자로 지속적인 제공, 지속적인 배포를 의미한다고 한다.

CI 과정을 거치면 Build, Test 과정을 모두 거치기 때문에, 배포 단계 전에 애플리케이션에 문제가 없는지 검증이 가능합니다. 문제가 없다는 것이 검증이 되면, 검증된 애플리케이션을 실제 프로덕션 환경으로 자동으로 배포해줍니다.

---

Github Actions을 이용한 CI 과정 진행 

1. Github 환경 변수 등록

.env 파일은 깃허브에 올리면 큰일난다 ㄷ -ㄷ 

사용할 키 값들은 깃허브에 우리만 알게끔 등록해준다.

 

깃헙의 레포 > Settings > Security > Secrets > Actions

 

프로젝트 파일 내의 .env 파일에 있는 것들을 다 옮겨줌

 

2. Github Actions workflow 생성

프로젝트 최상단에 .github/workflows/deploy.yml 파일을 생성해줍니다. 

 

deploy.yml

 

name: deploy

on:
  push:
    branches: [main]

jobs:
  build-and-deploy:
    runs-on: ubuntu-20.04

    strategy:
      matrix:
        node-version: [18.11.0]
        # See supported Node.js release schedule at https://nodejs.org/en/about/releases/

    steps:
      - name: ✅ 체크아웃 source code.
        uses: actions/checkout@v3

      - name: ⚙️ ${{ matrix.node-version }} 버전의 노드로 세팅합니다.
        uses: actions/setup-node@v3
        with:
          node-version: ${{ matrix.node-version }}

      - name: ⚙️ 환경변수를 설정합니다.
        working-directory: ./
        run: |
          pwd
          touch .env
          echo DATABASE_URL=${{ secrets.DATABASE_URL }} >> .env
          cat .env

      - name: ✨ 패키지 설치
        working-directory: ./
        run: yarn
        
      - name: ✨ 빌드 과정을 시작
        working-directory: ./
        run: yarn run build

 

branches : 어떤 브랜치에 Push, Pull Request했을때 Workflow를 Triger(실행)

runs-on : 사용할 가상 환경의 인스턴스를 지정

node-version : 사용할 node의 버전

 

아래의 오류가 나서 ubuntu - 버전을 20으로 설정함

node: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.28' not found (required by node) 에러 해결 사례

Checkout source code : Github의 repository에 올려둔 코드를 CI 서버로 내려받은 후에 특정 브랜치로 전환하는 과정.

node-version : Node를 버전에 맞게 설치

create env file : Github에 등록한 환경변수들로 .env 파일을 생성해주는 과정

build server files : yarn 명령어로 필요한 dependency들을 설치한 후에 빌드하는 과정

 

🔥완전 삽질한 부분🔥

github actions yarn run build keeps running

블로그 글 보고 따라하는데 , yarn run build 부분에서 3시간 50분까지 기다렸는데 계속 로딩만 걸렸다.. 

CI 과정을 너무 늦게 붙여서 파일들을 실행할게 많아서 벌을 주는건가 싶었는데 그게 아니였다!!!!!!!

 

package.json파일의

scripts:의 build 명령어가 tsc && node dist로 되어있었다.

node dist로 서버가 계속 켜져있어서 다음 명령어로 진행이 안되었다.

아래와 같이 명령어 바꿔주었다.

 

  "scripts": {
    "dev": "nodemon",
    "build": "tsc",
    "db:pull": "npx prisma db pull",
    "db:push": "npx prisma db push",
    "generate": "npx prisma generate",
    "pretest": "yarn generate",
    "test": "jest",
    "prepare": "husky install"
  },

3. Github Actions 확인

deploy.yml 파일을 Repository에 등록한 이후 main 브랜치에 push, pull Request하면 워크 플로우가 생성된다.

앞에 설정해준 step으로 실행이 된다~

 

---

AWS CodeDeploy 설정

1. S3 버킷 생성

 

Github Actions에서 EC2에 배포할 파일을 압축하여 S3에 저장하고, Codedeploy는 S3에 저장된 파일을 EC2로 배포한다.

배포 파일을 압축해 저장할 버킷을 생성해준다.

 

2. EC2 IAM 설정

 

EC2에서 S3와 Codedeploy를 이용할 수 있는 권한이 필요하다!

 

AWS > IAM > 액세스 관리 > 역할 > 역할 만들기

1. AWSCodeDeployFullAccess
2. AmazonS3FullAccess

역할 이름을 입력하고 역할 생성을 눌러줍니다. 

EC2 콘솔 > 인스턴스 선택 > 작업 > 보안 > IAM 역할 수정

위에서 만들었던 IAM 역할을 EC2에 적용해준다. 

 

3. CodeDeploy IAM 설정

다음은 CodeDeploy를 위한 IAM을 생성해줘야합니다.

AWS > IAM > 액세스 관리 > 역할 > 역할만들기

 

다른 AWS 서비스의 사용 사례에서 CodeDeploy를 선택 후 다음

이름만 설정해주고 역할 생성을 눌러줍니다.

---

4. CodeDeploy 애플리케이션 생성

AWS > CodeDeploy > 애플리케이션 > 애플리케이션 생성을 눌러줍니다.

 

애플리케이션 이름 설정 > EC2/온프레미스 클릭 > 애플리케이션 설정

배포 그룹 생성 

배포를 진행하기 위해서 배포그룹 설정이 필요하다.

환경 별로 배포를 진행하고 싶다면, 배포 그룹을 dev, prod 등으로 나누어 생성한다고 함

 

서비스 역할에 아까 만들어두었던 Codedeploy IAM 추가

 

- 현재위치 선택

- Amazon EC2 인스턴스 선택 - 키에 Name을 입력하고 값에 배포할 EC2 인스턴스의 이름을 적어준다. (EC2 콘솔에서 확인가능)

인스턴스가 1개 이상 표시되면 배포할 EC2가 선택된것.

나머지 설정은 그대로 두고 로드 밸런서를 비활성화 해주고 배포그룹을 생성해준다.

 

5. IAM 사용자 추가

AWS > IAM > 액세스 관리 > 사용자 > 사용자 추가

 

Github actions가 S3에 파일을 업로드하고, Codedeploy를 이용하여 배포할 수 있도록 권한을 주어야한다.

이전에는 EC2, Codedeploy에 연결한 것은 '역할', 현재는 '사용자'를 생성하는 과정

사용자 이름 설정하고 액세스 키 - 프로그래밍 방식 액세스에 체크를 한 뒤 다음을 눌러준다.

기존 정책 직접 연결 > 

ec2의 역할을 생성해준것과 마찬가지로 AWSCodeDeployFullAccess / AmazonS3FullAccess 정책 연결

 

태그 생성 > 검토 > 사용자 만들기 

 

Access Key Id, Secret Access Key가 나온다.

.csv 파일을 다운받으십시오!

 

6. Github repository에 secret 변수 추가해준다.

워크플로우에서 AWS 연동을 위해 방금 생성한 AcessKeyId, Secret Access Key를 변수로 추가합니다.

 

Repository - Settings - Secrets - Actions

Access key id, Secret access key 추가해준다.

 

7. EC2에 codedeploy-agent 설치

EC2에 nvm, npm, yarn, git, node 설치가 되어있어야한다. 

--이미 설치되어있으면 생략---

 

$ sudo apt-get install curl
$ curl -sL https://deb.nodesource.com/setup_16.x | sudo -E bash -
$ sudo apt-get install -y nodejs
$ sudo apt-get install build-essential

//nvm과 yarn 설치
$ curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.8/install.sh | bash
$ export NVM_DIR="$HOME/.nvm"
$ [ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" 
$ [ -s "$NVM_DIR/bash_completion" ] && \. "$NVM_DIR/bash_completion"
$ nvm install --lts
$ npm install -g yarn

//git 설치
$ sudo apt-get update
$ sudo apt-get install git

 

AWS Code deploy를 사용하기 위해서는 EC2에 CodeDeploy Agent를 설치해줘야한다. 

awscli 설치

 

$ sudo apt update
$ sudo apt install awscli

아까 다운로드 받았던 .csv 파일을 다시 열어 Access key Id, Secret Access Key를 입력해줍니다. 

$ sudo aws configure
AWS Access Key ID : 다운 받은 csv 파일 내에 Access Key ID
AWS Secret Access KEy : 다운 받은 csv 파일 내에 Secret Access Key
Default region name : ap-northeast-2
Default output format : json

CodeDeploy Agent 설치 파일을 다운로드 하고 install 파일에 권한 추가

$ wget https://aws-codedeploy-ap-northeast-2.s3.amazonaws.com/latest/install
$ chmod +x ./install

ruby 설치 후 CodeDeploy Agent 설치

 

$ sudo apt-get install ruby
$ sudo ./install auto
$ sudo service codedeploy-agent status # 설치 확인 & codedeploy-agent가 실행중인 것 확인

status가 위 이미지처럼 active(running)이 뜬다면 성공적으로 설치되어 동작하고 있다는 뜻~

 

인스턴스 부팅시 Codedeploy-agent가 자동으로 재시작 되도록 shell script 작성을 해주어야함

 

$ sudo vim /etc/init.d/codedeploy-startup.sh

i로 편집 모드 진입

 

#!/bin
sudo service codedeploy-agent restart

esc -> :wq 저장후 quit

 

$ sudo chmod +x /etc/init.d/codedeploy-startup.sh

8.  appsepc.yml 파일 추가

배포할 프로젝트의 루트 경로에 appspec.yml 파일을 추가한다.

appspec.yml 파일 : Codedeploy가 배포를 관리하는 애플리케이션 사양 파일

 

CodeDeploy가 EC2에 프로젝트를 옮기고 나면, EC2에서 이루어질 작업을 해당 파일에 추가하여 정의할 수 있다.

 

appsepc.yml 파일

 

version: 0.0
os: linux
files:
  - source: /
    destination: /home/ubuntu/build
    overwrite: yes

permissions:
  - object: /home/ubuntu
    pattern: '**'
    owner: ubuntu
    group: ubuntu

hooks:
  AfterInstall:
    - location: scripts/after-deploy.sh
      timeout: 300
      runas: ubuntu

destination : CodeDeploy가 EC2에 배포할 위치를 destination에 지정한다.

AfterInstall :

   - location : 프로젝트가 옮겨지고 난 후에 이루어질 작업은 scripts/after-deploy.sh에 정의합니다.

 

after-deploy.sh 파일 추가

배포할 프로젝트의 루트 경로에 scripts 폴더를 만들고 그 안에 after-deploy.sh 파일 추가

파일 안의 명령어들은 EC2에 배포가 끝난 후 실행되는 명령어들이다.

 

scripts/after-deploy.sh 

 

#!/bin/bash
REPOSITORY=/home/ubuntu/build

cd $REPOSITORY

sudo /usr/bin/yarn
sudo /usr/bin/yarn db:pull //prisma 사용했을 경우만
sudo /usr/bin/yarn generate //prisma 사용했을 경우만 - 해당명령어는 위의 scripts의 명령어임
sudo /usr/bin/pm2 start dist

9.  deploy.yml 파일 수정

 

# This workflow will do a clean install of node dependencies, cache/restore them, build the source code and run tests across different versions of node
# For more information see: https://help.github.com/actions/language-and-framework-guides/using-nodejs-with-github-actions

name: deploy

on:
  push:
    branches: [main]

jobs:
  build-and-deploy:
    runs-on: ubuntu-20.04

    strategy:
      matrix:
        node-version: [18.11.0]
        # See supported Node.js release schedule at https://nodejs.org/en/about/releases/

    steps:
      - name: ✅ 체크아웃 source code.
        uses: actions/checkout@v3

      - name: ⚙️ ${{ matrix.node-version }} 버전의 노드로 세팅합니다.
        uses: actions/setup-node@v3
        with:
          node-version: ${{ matrix.node-version }}

      - name: ⚙️ 환경변수를 설정합니다.
        working-directory: ./
        run: |
          pwd
          touch .env
          echo DATABASE_URL=${{ secrets.DATABASE_URL }} >> .env
          cat .env

      - name: ✨ 패키지 설치
        working-directory: ./
        run: yarn
        
      - name: ✨ 빌드 과정을 시작
        working-directory: ./
        run: yarn run build
        
      - name: 📦 빌드한 코드를 압축
        run: zip -r hara.zip ./dist ./scripts ./appspec.yml ./.env ./package.json ./prisma

      - name: 🌎 AWS에 접속
        uses: aws-actions/configure-aws-credentials@v1
        with:
          aws-access-key-id: ${{ secrets.AWS_ACCESS_KEY_ID }}
          aws-secret-access-key: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
          aws-region: ap-northeast-2

      - name: 🦖 S3에 압축된 서버 코드를 업로드
        run: aws s3 cp --region ap-northeast-2 ./hara.zip s3://hara-build/deploy/

      - name: 🚀 AWS codeDeploy로 배포를 시작
        run: aws deploy create-deployment
          --application-name hara-codedeploy
          --deployment-config-name CodeDeployDefault.OneAtATime
          --deployment-group-name dev
          --s3-location bucket=hara-build,bundleType=zip,key=deploy/hara.zip

- zip file : 명시한 파일, 폴더들을 hara.zip 파일로 압축

- AWS configure credentials : S3에 접근하기 위한 IAM 사용자 키 값을 등록

- upload to S3 : S3에 hara.zip 압축파일을 옮겨줌

- deploy with AWS codeDeploy : AWS CodeDeploy가 실행

- s3-location bucket=hara-build,bundleType=zip,key=deploy/hara.zip 이 곳에서 압축 파일을 풀어서 CodeDeploy와 연결된 EC2 인스턴스에 배포한다.

 

배포가 완료되면 after-deploy.sh 파일의 명령어들이 실행되면서 서버가 자동으로 재시작됨.

 

ec2서버에서 pm2 logs를 하면 실행이 또로롱 되면서 자동배포가 완료됨 ..

##추가

지금 위의 deploy.yml 파일만 생성하니, pull_request부분들은 확인이 안되었다.

BUT deploy.yml파일에

on:
     pull_request:
          branches: [main]

이 부분들을 추가해주면, pull_request가 들어온 아직 메인에 머지되지않은 파일들도 s3에 집파일로 저장되어 배포가 되는 문제가 발생함.
  

위의 부분들을 보완하고자,

pull_request 날리는 부분들도 build가 제대로 돌아가는지 확인하기 위해서 build.yml파일을 생성함.

 

build.yml

 

name: build

on:
  pull_request: 
    branches: [main]
  
jobs:
  build-check:
    runs-on: ubuntu-20.04

    strategy:
      matrix:
        node-version: [18.11.0]
        # See supported Node.js release schedule at https://nodejs.org/en/about/releases/

    steps:
      - name: ✅ 체크아웃 source code.
        uses: actions/checkout@v3

      - name: ⚙️ ${{ matrix.node-version }} 버전의 노드로 세팅합니다.
        uses: actions/setup-node@v3
        with:
          node-version: ${{ matrix.node-version }}

      - name: ⚙️ 환경변수를 설정합니다.
        working-directory: ./
        run: |
          pwd
          touch .env
          echo DATABASE_URL=${{ secrets.DATABASE_URL }} >> .env
          cat .env
      
      - name: ✨ 패키지 설치
        working-directory: ./
        run: yarn
        
      - name: ✨ 빌드 과정을 시작
        working-directory: ./
        run: yarn run build

이렇게 하면 pull_request할때 확인해주는 CI가 생성된다 :)

 

-추신

몇시간동안 삽질을 같이 해준 똑똑루피 가영이와 옆에서 계속 도와주고 혼자서 클라 부탁을 다 들어준 예린언니에게 .. 감사의 편지를 보냅니다 ..🫶

알라뷰 쪽쪽 .. 2022.01.10 

 

꼭 해보시길 바랍니다. 신세계입니다.