.

Data_Engineering_TIL(20210417)

[아키텍처]

• 주간 업무시간 직전

Airflow –> task node scale out 명령 –> EMR 클러스터

• 야간 업무시간 종료 후

Airflow –> task node scale in 명령 –> EMR 클러스터

• 주말

최소한의 클러스터 노드만 유지

Airflow –> task node scale in 명령 –> EMR 클러스터

** 아래 URL을 참고할것

https://github.com/minman2115/Data_engineering_studynotes_2021/blob/master/Airflow%EB%A5%BC%20%EC%9D%B4%EC%9A%A9%ED%95%9C%20EMR%20node%20scaling%20%EC%9E%90%EB%8F%99%ED%99%94%20example.zip