728x90 반응형 IT & 데이터 사이언스/Data Engineering10 [Airflow] Apache Airflow 살펴보기 안녕하세요. 바른호랑이입니다.이번 게시글에서는 Apache Airflow가 무엇인지에 대해 알아볼 예정입니다.Apache Airflow는 일종의 WMS(Workflow Management System) 도구로 다양한 (분산) 시스템에서 발생하는 작업들을 조율하는 작업을 수행합니다. Airflow는 직접적으로 데이터 처리 작업을 수행하지는 않지만 데이터 처리를 위한 다양한 구성요소들을 조정하기에 데이터 프로세스 과정에서 중요한 역할을 수행한다고 할 수 있으며, 이에 대해서 이해하기 위해서는 우선 데이터 파이프라인이 무엇인지에 대해 알아야 합니다.데이터 파이프라인은 간단하게 이야기하면 원하는 결과를 도출하기 위해 실행되는 여러 태스크 또는 동작들의 집합체로 일반적으로 ETL 또는 ELT의 로직을 예로 들 수.. 2024. 7. 15. 이전 1 2 다음 728x90 반응형
