image.png

“배치”는 데이터를 효율적으로 빠르게 처리하는 것도 중요하지만, 더 중요하게 생각하는 부분은 아래와 같다고 생각합니다.

  1. 내가 하고 있는 작업을 어디 까지 했는지 계속해서 파악
  2. 이미 했던일을 중복해서 하지 않게 파악 (배치는 보통 주기적으로 스케쥴러에 잡혀 실행되기 때문에)

즉, 위와 같이 중복이나 놓치는 부분을 파악하기 위해 “기록” 하는 부분이 아주 중요합니다. (앞에서 말한 내용과 같이 기본적인 상황을 지킨 이후에 속도를 높이는 것이 중요합니다.)

배치의 흐름

위 모식도를 통해

  1. 읽어오기

  2. 처리하기

  3. 쓰기

를 읽어올 데이터가 없을때 까지 무한 반복합니다.

image.png

image.png