.

Data_Engineering_TIL(20201125)

[개요]

Airflow를 이용하여 EMR 을 구동하고, spark job들을 병렬처리하는 DAG를 디자인한다.

** 상세한 내용은 아래 URL의 자료를 참고한다.

https://github.com/minman2115/Data_engineering_studynotes_2020/blob/master/Airflow%EB%A5%BC%20%EC%9D%B4%EC%9A%A9%ED%95%9C%20EMR%20spark%20batch%20job%20example.zip