airflow 쿠버네티스 필요한 이유

테스트 조작이 어려움 코드를 수정하면 잘 반영되지 않음 에러 원인을 파악하기 어려움 스케쥴을 반복적으로 재실행하기가 어려움 메모리 부족 아주 작은 메모리 사용도 못함 그럼에도 불구하고 에어플로우는 많이 사용하고 있습니다. 왜일까요.

처음부터 에어플로우에서 개발을 시작하기 어려울 것 같고 테스트 할 수 있도록 굳이 사용해야한다면 파이썬으로 테스트 완료한 코드를 DAG로 연결해서 적용해야할 것 같습니다. 메모리 사양을 많이 요구하므로 좋은 서버가 없으면 사용할 수 없을 것 같습니다.

쿠버네티스 사용을 검토해봐야 될 것 같습니다. 출처 https://velog.io/@sophi_e/Airflow-%EA%B8%B0%EC%B4%88-%EA%B0%9C%EB%85%90-%EB%B0%8F-%EC%9E%A5%EB%8B%A8%EC%A0%90 [Airflow] 에어플로우란?

기초 개념 및 장단점 * 참고 : Apache Airflow 기반의 데이터 파이프라인 도서, Airflow documentatio...