Executor (1) 썸네일형 리스트형 [Airflow] Airflow는 왜 등장했을까? + 구성 요소 10명의 데이터 엔지니어가 500개의 ETL 파이프라인을 짜서 돌린다고 해보자. 각 파이프라인은 실행되는 시간과 주기가 다를 것이고 이에 필요한 리소스가 다를 것이다. 또한, 어떤 파이프라인을 누가 짰는지 구분하기 어려울테니 관리하기도 힘들 것이다. 이런 대량의 파이프라인들을 어떻게 스케줄에 맞춰 실행하고 관리할 수 있을까? 약 10년 전, Airbnb는 점점 복잡해지는 workflow를 관리하기 위해 Airflow를 개발하고 오픈 소스로 공개했다. 복잡한 workflow를 관리하는 문제는, 많은 회사에서도 맞닦뜨린 문제였기에 널리 쓰이는 플랫폼이 되었다. 그렇게 Airflow는 현재 데이터 파이프라인 관리, ETL(Extract, Transform, Load) 작업, 데이터 처리 및 분석 등의 다양한 .. 이전 1 다음
