포시코딩

Integrate Bitbucket & Jenkins

포시 — Sat, 8 Jun 2024 18:33:50 +0900

https://medium.com/@mustafaburakaydiin/integrate-bitbucket-jenkins-58f383f70ead

Integrate Bitbucket & Jenkins

The situation we will discuss in this article is the automatic update and recompilation of your project on the server when you push changes…

medium.com

Github가 익숙하다면 아래 링크에서 연습 후 하면 이해가 빠를것이다.

https://velog.io/@doyuni/Jenkins-NAVER-Cloud-Platform-Docker로-CICD-무중단-배포-환경-구축하기-1편-khk4w6hrm0

Jenkins, NAVER Cloud Platform, Docker로 CI/CD 무중단 배포 환경 구축하기 - 1편

이번 내용은 필자가 프로젝트를 진행하면서 처음으로 DevOps를 맡으면서 꼭 공유 하겠다고 마음 먹고 작성하였다. CI/CD란? CI(Continuous Integration) 지속적인 통합을 의미한다. 이는 개발자를 위한 자

velog.io

To explain these steps more clearly, I will break them down into 9 sections and demonstrate them step by step.

Creating a Webhook on Bitbucket
Creating Bitbucket password
Creating SSH Key
Jenkins installation with Docker
Jenkins Plugins
Creating Jenkins Global Credentials
Jenkins Configuration
SSH Servers
Creating Jenkins Project

1. Creating a Webhook Bitbucket

After creating the repository, when you go to the Repository / Webhooks section, you create a webhook as follows.

Title : You can give any title (exp: jenkins-webhook)

URL : http://JenkinsServerIpAdress:jenkinsPort/bitbucket-hook/

Bitbucket Webhooks

2. Creating a Password on Bitbucket

We create a password to access the private repository. To do this, navigate to Personal Bitbucket Settings / App passwords.

Bitbucket Password

3. Creating SSH Key

We need to connect to our server where our projects will run via SSH as the root user. If you don’t know how to connect as root, you can follow the steps in this link to complete your configurations.

We are creating SSH keys.

ssh-keygen -t rsa -b 2048

We navigate to the directory where our SSH keys are generated.

cd /root/.ssh

Copy the SSH key we created into the authorized_keys file.

cat id_rsa.pub > authorized_keys

View and save your public key as shown below. We will use it when configuring the server on Jenkins.

cat id_rsa

4. Jenkins installation with Docker

Make sure Docker Engine is installed on your server, and then run this command.

docker run -p 8080:8080 -p 50000:50000 --restart=on-failure -v jenkins_home:/var/jenkins_home jenkins/jenkins:lts-jdk17

Once Jenkins starts running, you will see a password in the console. Log in with that password and complete the custom installation.

5. Jenkins Plugins

To install the required plugins for Bitbucket and server configurations, go to Dashboard/Manage Jenkins/Plugins/Available plugins/ and add the following plugins.

Bitbucket
SSH Server
SSH Plugin
SSH Credentials Plugin
SSH Build Agents Plugin
Publish Over SSH

6. Creating Jenkins Global Credentials

Navigate to Dashboard / Manage Jenkins / Credentials / System / Global credentials (unrestricted) and create credentials.

Username : Bitbucket Username
Password: In the second step, enter the password you created on Bitbucket.

Create Credentials

7. Jenkins Configuration

Go to Dashboard / Manage Jenkins / System,

Key: In the third step, write the key from the id_rsa you created.

8. SSH Servers ;

Name: ServerName.

Hostname: Server Ip Adress.

Username: SSH connection username (root).

Remote Directory: The file directory where the files in the Bitbucket Repo are copied.

Afterward, click on the Advanced option and go to the Use password authentication, or use a different key section:

Passphrase / Password: Enter the SSH connection password.

9. Creating Jenkins Project

First, we are creating a Jenkins project Dashboard / New Item / Freestyle Project

Next, click on the Git option under Source Code Management and fill it out as follows.

Source Code Management

Under the Build Triggers tab, click on the option Build when a change is bushed to Bitbucket and provide the .git extension link of your repository.

Build Triggers

In the Build Stepssection, select the option Send files or execute commands over SSHand complete your configurations.

Name: In step 8, select the name of the SSH server you created.

Source Files: To retrieve all files in the repository, use the ‘**/*’ command.

Exec Command: You can run any Bash script you want.

Attention: Don’t forget to include #!/bin/bash at the beginning to execute a Bash script.

Build Steps

After saving, when you commit and push to the designated branch, your repository will be updated on the server and will run along with the specified Bash command.

[NCP] Object Storage 접속 & CORS 관련 세팅

포시 — Fri, 17 May 2024 11:32:28 +0900

https://docs.3rdeyesys.com/docs/storage/object-storage/how-to-access-using-aws-cli/

AWS CLI 버전 2를 이용한 Object Storage 접속 방법

AWS CLI 버전 2를 설치하고 Ncloud(네이버 클라우드) Object Storage에 접속하는 방법입니다

docs.3rdeyesys.com

https://docs.3rdeyesys.com/docs/storage/object-storage/cors/setting-cors-on-bucket/

Object Storage Bucket에 CORS 설정하기

Ncloud(네이버 클라우드)의 Object Storage Bucket에 CORS를 설정하는 방법입니다

docs.3rdeyesys.com

[Mac] Python 버전 업데이트

포시 — Fri, 17 May 2024 11:05:46 +0900

https://sorbonne.tistory.com/entry/%EB%A7%A5%EB%B6%81-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%B2%84%EC%A0%84-%ED%99%95%EC%9D%B8-%EC%97%85%EB%8D%B0%EC%9D%B4%ED%8A%B8-%EC%97%85%EB%8D%B0%EC%9D%B4%ED%8A%B8-%EC%97%90%EB%9F%AC

맥북 파이썬 버전 확인 + 업데이트 + 업데이트 에러

맥북 파이썬 버전을 업데이트 해보자. 먼저, 현재 깔린 파이썬 버전을 확인하려면 1. Command + space 를 클릭해 terminal을 입력한다. 2. 아래 코드를 입력한다. python -V 3. 아래와 같이 현재 깔린 버전이

sorbonne.tistory.com

제일 깔꼼

How to Set Up Ubuntu 22.04 VM on ESXi 8

포시 — Tue, 14 May 2024 09:11:29 +0900

https://it-svr.com/esxi-ubuntu-22-04-lts-server-install/

ESXi에 Ubuntu 22.04 LTS Server 설치하기.

안녕하세요. 달소입니다. 이번글도 Ubuntu 설치글입니다 ㅎㅎ Desktop버전과 Server의 글을 따로적는이유는 설치 과정에서 몇가지 다른 부분이 있어서 입니다. ex) 파티션 설정 + 네트워크 설정 등등

it-svr.com

change static ip

https://blog.naver.com/truelifer/222228709537

Ubuntu 20.04 LTS Server wifi 설정 & 고정 IP 설정

아래 내용 추가 추가 후 적용 후 확인 referenced from https://vanilet.tistory.com/16 referenced from h...

blog.naver.com

install docker & docker-compose

https://zhfvkq.tistory.com/41

[Ubuntu] docker 및 docker-compose 설치

도커(docker) - 리눅스의 응용 프로그램들을 프로세스 격리 기술들을 사용해 컨테이너로 실행하고 관리하는 오픈 소스 프로젝트 ubuntu 접속 ssh -i [my-key].pem ubuntu@[퍼블릭IPv4주소] 1. 패키지 리스트

zhfvkq.tistory.com

위 블로그 내용 중 docker-compose는 최신 버전으로 설치하려 할 경우 제대로 설치가 안될텐데

-> 설치된 docker-compose를 vim으로 까보면 Not Found가 적혀있는 경우

아래 내용을 보면 이유와 다른 설치 방법이 나온다.

https://github.com/docker/compose/issues/8445

/usr/local/bin/docker-compose: line 1: Not: command not found · Issue #8445 · docker/compose

Hey guys, I want to use docker-compose on my raspberrypi 4 with Ubuntu 20.04.2 LTS (GNU/Linux 5.4.0-1041-raspi aarch64). I go through the official docker compose installation guide (https://docs.do...

github.com

How to Set Up Windows 11 VM on ESXi 8

포시 — Mon, 13 May 2024 16:12:13 +0900

How to install

https://youtu.be/rSLAN74-iK4?si=RY59CzMDvr6QjUsj

ISO Download

https://www.microsoft.com/ko-kr/software-download/windows11

bitbucket, jenkins

포시 — Fri, 26 Apr 2024 10:30:17 +0900

https://devbksheen.tistory.com/entry/Jenkins%EB%A1%9C-%EC%9E%90%EB%8F%99%ED%99%94-%EB%B0%B0%ED%8F%AC-%EA%B5%AC%EC%B6%95%ED%95%98%EA%B8%B0Bitbucket-EC2

Jenkins를 이용한 프로젝트 자동 배포하기(Bitbucket, EC2)

보통 Blue/Green 자동화 배포 파이프라인을 구축할 때 Jenkins를 많이 이용한다. Aws에서 제공하는 Code Pipeline을 사용해 구축할 수 도 있지만 배포할 때마다 비용이 발생하므로, 자주 배포가 일어난다

devbksheen.tistory.com

docker run -itd --name jenkins -p 8090:8080 jenkins/jenkins:lts

docker exec jenkins cat /var/jenkins_home/secrets/initialAdminPassword

plugin: Publish Over SSH

bitbucket -> edit webhook -> url: jenkins server

jenkins -> 시스템 설정 -> Publish over SSH -> private key 세팅

SSH Servers

hostname: 배포할 서버

Item 생성 -> 소스 코드 관리 -> Git -> Repository URL

Send build artifacts over SSH

Source files: 배포할 소스 파일

Remove: prefix: 제외할 파일 경로

Remote directory: 원격 서버 디렉토리

Exec command: 실행할 명령어(보통 sh 실행)

내가 나중에 보려고 기록

rsync - 두 서버간 폴더 동기화

포시 — Thu, 25 Apr 2024 16:25:40 +0900

# local pc -> remote pc
rsync -avzhP {from폴더} {username}@{server-address}:{to폴더}

# remote pc -> local pc
rsync -avzhP {username}@{server-address}:{from폴더} {to폴더}

+ 명령어 실행 후 비밀번호 입력

-a: 아카이브 모드. 파일 속성 및 디렉토리 구조를 보존하며 재귀적으로 복사

-v: 자세한 출력 모드. 복사하는 파일들에 대한 자세한 정보 출력

-z: 압축 사용. 데이터 전송 시 압축을 사용하여 대역폭을 절약

-h: 사람이 읽기 쉬운 형식으로 출력. 파일 크기 등의 정보를 사람이 이해하기 쉬운 형태로 표시

-P: 진행률 표시. 파일 전송의 진행상황을 표시하고, 전송이 중단되었을 때 다시 시작할 수 있도록 전송이 완료된 파일은 삭제하지 않고 남김

+ 비밀번호 입력 없이 진행되게 하는 방법은 따로 찾아보기

[MS][Teams] Incoming Webhook

포시 — Wed, 13 Mar 2024 14:48:50 +0900

소개

https://learn.microsoft.com/en-us/microsoftteams/platform/webhooks-and-connectors/how-to/add-incoming-webhook?tabs=newteams%2Cdotnet

Create an Incoming Webhook - Teams

Create an Incoming Webhook to Teams app and post external requests to Teams. Remove Incoming Webhook. Sample code(C#, Node.js) to send card using Incoming Webhook.

learn.microsoft.com

Example JSON

{
  "@type": "MessageCard",
  "@context": "http://schema.org/extensions",
  "themeColor": "d58200",
  "title": "title",
  "text": "text",
  "potentialAction": [
    {
      "@type": "OpenUri",
      "name": "Name",
      "targets": [
        {
          "os": "default",
          "uri": "https://www.example.com/"
        }
      ]
    }
  ]
}

{
  "type": "message",
  "attachments": [
    {
      "contentType": "application/vnd.microsoft.card.adaptive",
      "contentUrl": null,
      "content": {
        "$schema": "http://adaptivecards.io/schemas/adaptive-card.json",
        "type": "AdaptiveCard",
        "version": "1.2",
        "body": [
          {
            "type": "TextBlock",
            "text": "For Samples and Templates, see [https://adaptivecards.io/samples](https://adaptivecards.io/samples)"
          }
        ]
      }
    }
  ]
}

{
  "type": "message",
  "attachments": [
    {
      "contentType": "application/vnd.microsoft.card.adaptive",
      "content": {
        "type": "AdaptiveCard",
        "version": "1.4",
        "body": [
          {
            "type": "TextBlock",
            "text": "Request sent by: Megan"
          },
          {
            "type": "Image",
            "url": "https://c.s-microsoft.com/en-us/CMSImages/DesktopContent-04_UPDATED.png?version=43c80870-99dd-7fb1-48c0-59aced085ab6"
          },
          {
            "type": "TextBlock",
            "text": "Sample image for Adaptive Card.."
          }
        ]
      }
    }
  ]
}

Card Builder

https://dev.teams.microsoft.com/

Developer Portal

dev.teams.microsoft.com

위에서 만든 예시의 경우

{
  "type": "message",
  "attachments": [
    {
      "contentType": "application/vnd.microsoft.card.adaptive",
      "contentUrl": null,
      "content": // here
    }
  ]
}

만든 후 생성된 코드를 'here' 부분에 넣어 사용하면 작동한다.

https://adaptivecards.io/samples/

Samples and Templates | Adaptive Cards

Samples and Templates These samples are just a teaser of the type of cards you can create. Go ahead and tweak them to make any scenario possible! Important note about accessibility: In version 1.3 of the schema we introduced a label property on Inputs to i

adaptivecards.io

다만 위 템플릿들로 만들어진 코멘트 남기기 등의 기능에 대해서 오류가 나는데 해당 기능은 파악중

참고

https://learn.microsoft.com/en-us/answers/questions/1329257/teams-incoming-webhook-response-bad-payload-receiv

https://learn.microsoft.com/en-us/microsoftteams/platform/task-modules-and-cards/cards-and-task-modules

리눅스 환경변수 설정, 해제

포시 — Tue, 12 Mar 2024 16:47:05 +0900

https://www.leafcats.com/201

리눅스 환경변수 설정 및 해제하기

리눅스 bash 쉘에서 환경변수를 설정하고 해제하는 방법에 대한 정리이다. 1. 환경변수 임시 적용(export) $ export 환경변수명=값 예를들어 TOMCAT_HOME이라는 환경변수를 /usr/lib/tomcat/tomcat1.8/ 로 지정하

www.leafcats.com

1. 환경변수 임시 적용

export 환경변수명=값

2. 환경변수 적용 확인

env | grep 환경변수명

[NestJS] How can I respond with a file and delete with interceptor

포시 — Tue, 27 Feb 2024 11:09:45 +0900

https://4sii.tistory.com/691

[NestJS] JSON to Excel

npm install xlsx fs import * as fs from 'fs'; import * as XLSX from 'xlsx'; // ... 생략 jsonToExcel(res) { const originalJSON = { "AD": { "name": "Andorra", "phone": "376", "flag": " " }, "AE": { "name": "United Arab Emirates", "phone": "97", "fla

4sii.tistory.com

이번 포스팅에선

1. DB에서 typeorm을 통해 데이터 stream 받기

2. 데이터 엑셀 파일로 임시 저장 (위 링크 참고)

3. 엑셀 파일 요청한 클라이언트로 전달

4. 전달 후 interceptor를 통해 서버에 저장된 임시 엑셀 파일 제거

위 네 가지 과정에 대해 알아보겠다.

excel.service

import { Injectable } from '@nestjs/common';
import * as XLSX from 'xlsx';
import { join } from 'path';
import * as fs from 'fs';

@Injectable()
export class ExcelService {
  async createExcelFile(prefix: string, data: Array<string | Buffer>) {
    // 파일 작명
    const currentDate = new Date();
    const formattedDate = currentDate.toISOString().slice(0, 10).replace(/-/g, '');
    const filename = `${prefix}_${formattedDate}.xlsx`;

    // temp 임시 폴더 없다면 생성, 있다면 무시
    fs.mkdirSync(join(process.cwd(), `temp`), { recursive: true });
    const filePath = join(process.cwd(), `temp/${filename}`);

    // filePath 위치에 엑셀 다운로드
    const wb = XLSX.utils.book_new();
    const newWorksheet = XLSX.utils.json_to_sheet(data);
    XLSX.utils.book_append_sheet(wb, newWorksheet, 'Sheet1');
    const wbOptions: any = { bookType: 'xlsx', type: 'binary' };
    XLSX.writeFile(wb, filePath, wbOptions);
    
    return { filename, filePath };
  }
}

target.service

async getTargetsByExcel() {
    // typeorm stream()을 통해 데이터 받기
    const queryStream = await this.targetRepository
      .createQueryBuilder('t')
      .select(*)
      .stream();

    let data: Array<string | Buffer> = [];

    await new Promise<void>((resolve, reject) => {
      queryStream.on('data', (chunk) => {
        // stream을 통해 받는 데이터 data array에 밀어넣기
        data.push(chunk);
      });

      queryStream.on('end', () => {
        // stream 종료 시 resolve()
        resolve();
      });

      queryStream.on('error', (err) => {
        reject(err);
      });
    });

    return this.excelService.createExcelFile('target', data);
  }

위 코드에선 stream으로 받는 데이터가 모두 받아진 후 엑셀로 만들기 때문에 굳이 stream을 쓸 필요가 없다고 생각한다.

target.controller

  @Get('excel')
  @UseInterceptors(ExcelFileCleanupInterceptor)
  async getTargetsByExcel(@Res() response: Response) {
    const { filename, filePath } = await this.targetService.getTargetsByExcel();
    const file = fs.createReadStream(filePath);
    
    // 파일 전달 후 interceptor에서 서버에 저장된 임시 엑셀 파일을 지우기 위해 filePath를 response.locals에 저장
    response.locals.filePathToDelete = filePath;

    // setHeader에서 세팅하는 filename이 client에서 다운로드 했을 때의 파일명이 된다.
    response.setHeader(
      'Content-Disposition',
      `attachment; filename=${filename}`,
    );

    return file.pipe(response);
  }

excel.interceptor

import { Injectable, NestInterceptor, ExecutionContext, CallHandler, } from '@nestjs/common';
import { Observable, tap } from 'rxjs';
import * as fs from 'fs';

@Injectable()
export class ExcelFileCleanupInterceptor implements NestInterceptor {
  async intercept(context: ExecutionContext, next: CallHandler): Promise<Observable<any>> {
  
    // nestjs의 생명 주기에서 request가 아닌 response에 대해서만 동작하게
    const response = context.switchToHttp().getResponse();
    
    const responseFinished = new Promise<void>((resolve) => {
      response.once('finish', resolve);
    });

    return next.handle().pipe(
      tap(async () => {
        // 위 responseFinished를 통해 controller의 return이 된 후 동작하게 만든다. 
        await responseFinished;

        const filePath = response.locals?.filePathToDelete;
        
        if (filePath) {
          try {
            // fs.unlinkSync를 통해 해당 위치의 파일 제거
            fs.unlinkSync(filePath);
          } catch (err) {
            console.error('Error deleting file:', err);
          }
        }
      }),
    );
  }
}

주석으로 설명 다 달아놓음