[Spring] Batch

Batch

• 큰 단위의 작업을 일괄 처리
• 대부분 처리량이 많고 비 실시간성 처리에 사용
  • 대용량 데이터 계산, 정산, 통계, 데이터베이스, 변환 등
• 컴퓨터 자원을 최대로 활용
  • 컴퓨터 자원 사용이 낮은 시간대에 배치를 처리하거나
  • 배치만 처리하기 위해 사용자가 사용하지 않는 또 다른 컴퓨터 자원을 사용할 수 있다.
• 사용자 상호작용으로 실행되기 보단, 스케줄러와 같은 시스템에 의해 실행되는 대상
  • 예를 들면 매일 오전 10시에 배치 실행, 매주 월요일 12시 마다 실행

 

 

 

Job

• Job은 JobLauncher에 의해 실행
• Job은 배치의 실행 단위를 의미
• Job은 N개의 Step을 실행할 수 있으며, 흐름(Flow)을 관리할 수 있다.
  • 예를 들면, A Step 실행 후 조건에 따라 B Step 또는 C Step을 실행 설정

Step

• Step은 Job의 세부 실행 단위이며, N개가 등록돼 실행된다.

• Step의 실행 단위는 크게 2가지로 나눌 수 있다.
  1. Chunk 기반 : 하나의 큰 덩어리를 n개씩 나눠서 실행
  2. Task 기반 : 하나의 작업 기반으로 실행

• 배치 실행을 위한 메타 데이터가 저장되는 테이블
• BATCH_JOB_INSTANCE
  • Job이 실행되며 생성되는 최상위 계층의 테이블
  • job_name과 job_key를 기준으로 하나의 row가 생성되며, 같은 job_name과 job_key가 저장될 수 없다.
  • job_key는 BATCH_JOB_EXECUTION_PARAMS에 저장되는 Parameter를 나열해 암호화해 저장한다.
• BATCH_JOB_EXECUTION
  • Job이 실행되는 동안 시작/종료 시간, job 상태 등을 관리
• BATCH_JOB_EXECUTION_PARAMS
  • Job을 실행하기 위해 주입된 parameter 정보 저장
• BATCH_JOB_EXECUTION_CONTEXT
  • Job이 실행되며 공유해야할 데이터를  직렬화해 저장
• BATCH_STEP_EXECUTION
  • Step이 실행되는 동안 필요한 데이터 또는 실행된 결과 저장
• BATCH_STEP_EXECUTION_CONTEXT
  • Step이 실행되며 공유해야할 데이터를 직렬화해 저장

 

package com.example.temp_deletethis.part1;

import lombok.extern.slf4j.Slf4j;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.core.launch.support.RunIdIncrementer;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.stereotype.Component;

@Configuration
@Slf4j
public class HelloConfiguration {

    private final JobBuilderFactory jobBuilderFactory;
    private final StepBuilderFactory stepBuilderFactory;

    public HelloConfiguration(JobBuilderFactory jobBuilderFactory,
                              StepBuilderFactory stepBuilderFactory) {
        this.jobBuilderFactory = jobBuilderFactory;
        this.stepBuilderFactory = stepBuilderFactory;
    }

    @Bean
    public Job helloJob() {
        return jobBuilderFactory.get("helloJob")
                .incrementer(new RunIdIncrementer())
                .start(this.helloStep())
                .build();
    }

    @Bean
    public Step helloStep() {
        return stepBuilderFactory.get("helloStep")
                .tasklet((contribution, chunkContext) -> {
                    log.info("hello spring batch");
                    return RepeatStatus.FINISHED;
                }).build();
    }
}

Job은 batch 의 실행단위 
Job을 만들수있도록 JobBuilderFactory클래스를 제공을 하는데 이 클래스는 Spring Batch설정에 의해서 이미 bean으로 생성되어있기때문에 생성자 주입으로 받을수있다. 
Job은 실행단위를 구분할수 있는 Incrementer와 Job의 이름, step를 설정한다. RunIdIncrementer는 새로운 job인스턴스를 실행한다. 이 클래스는 Job이 실행할때마다 항상 파라미터 id를 자동으로 생성해주며 파라미터가 없는 batch를 실행한다면 매번 실행할때마다 동일한 인스턴스를 실행한다. job의 이름은 spring batch를 실행해줄수 있는 key이기도 하다. 그리고 start 메서드는 job실행시 최초로 실행될 스탭을 설정하는 메서드이다. 


Step은 job의 실행단위인데 하나의 job은 한개 이상의 step를 가질수 잇다. step은 tasklet이라는 객체로 배치를 처리한다. step도 job처럼 하나의 bean으로 만들어야 하는데 job과 step은 spring batch에서 거의 모든것이라고 볼수있다. stepBuilderFactory도 생성자 주입으로 받는다. Step도 마찬가지로 이름 설정이 필요하고 tasklet이라는 step 실행 단위를 설정해야한다. task기반과 chunk기반이 있고 이번에는 task기반으로 설정해본다. 

 

 

 

스프링 배치 설정

 

• spring-batch-core/org.springframework/batch/core/* 에 위치
• 스프링 배치를 실행하고 관리하기 위한 테이블
• schema.sql 설정
  • schema-**.sql의 실행 구분은 DB 종류별로 script가 구분
  • spring.batch.initialize-schema config로 구분한다.
  • ALWAYS, EMBEDDED, NEVER로 구분한다.
    • ALWAYS : 항상 실행
    • EMBEDDED : 내장 DB일 때만 실행
    • NEVER : 항상 실행 안함
    • 기본 값은 EMBEDDED다.

 

spring batch에서 기본적으로 job을 실행할수있는 설정값을 제공하는데 이 값을 설정하지않으면 모든 batch가 실행되기때문에 application.yml 에서 설정값을 추가한다.  

spring:
  batch:
    job:
      names: ${job.names:NONE}
    jdbc:
      initialize-schema: 

Edit Configuration의 program arguments 부분도 설정해준다.