.

Data_Engineering_TIL(20211017)

• 문제상황

특정 prefix 하위에 객체들이 너무 많아서 단순히 aws s3 sync .. --exclude "prefix/*" --delete 로 명령어를 날렸을때 해당 prefix의 object는 sync하지는 않지만 스캐닝해서 해당 prefix의 object들을 모두 읽게된다. 그래서 소요시간이 매우 길어진다.

• 해결방안

특정 prefix를 아예 읽지 않도록 해당 경로의 prefix를 빼버리고 나머지 prefix들만 sync를 진행하도록 bash 스크립트를 작성함

아래 URL의 자료를 참고할 것

https://github.com/minman2115/Data_engineering_studynotes_2021/blob/master/%ED%8A%B9%EC%A0%95%20prefix%EB%A5%BC%20%EC%A0%9C%EC%99%B8%ED%95%98%EA%B3%A0%20s3%20sync%ED%95%98%EB%8A%94%20aws%20cli%20%EB%AA%85%EB%A0%B9%EC%96%B4%20%EC%98%88%EC%8B%9C.zip