아파치 에어플로(Apache Airflow)는 데이터 파이프라인을 파이썬 코드(DAG)로 정의하고 스케줄 · 실행 · 감시하는 오픈 소스 워크플로 관리 플랫폼이다. 2014년 10월 에어비앤비에서 점차 복잡해지는 워크플로를 관리하기 위한 해결책으로 시작해 지금은 아파치 소프트웨어 재단이 관리한다.
| 계열 | 상태 | 비고 |
|---|---|---|
| 3.3 | 현행. 최신 3.3.2[1] | Python 3.10–3.14 |
| 2.11 | 2.x 마지막 계열. 최신 2.11.2 | 3.x 이전 단계 |
Airflow 3.0 에서 바뀐 것[2] — airflow webserver 가 airflow api-server 로 바뀌었고, DAG 파싱은 별도 프로세스 airflow dag-processor 가 맡아 반드시 따로 띄워야 한다. 기본 인증 관리자는 Simple Auth Manager 이며 FAB(2.x 의 웹 UI 인증)를 쓰려면 provider 를 설치하고 FabAuthManager 를 명시한다. 워커는 메타데이터 DB 에 직접 붙지 않고 API 서버의 Task Execution API 로 통신한다. 2.x 설정 파일은 airflow config update --fix 로 옮긴다.
| 구성 요소 | 역할 |
|---|---|
| Scheduler | 스케줄된 워크플로를 트리거하고 태스크를 executor 에 넘긴다 |
| DAG Processor | DAG 파일을 파싱해 메타데이터 DB 에 직렬화한다 (3.x 에서 필수 분리) |
| API Server | REST API 와 웹 UI. 워커의 Task Execution API 도 여기 |
| Metadata Database | PostgreSQL 또는 MySQL. 태스크 · DAG · 변수 상태 |
| Worker | executor 가 준 태스크를 실행한다 (Celery · Kubernetes) |
| Triggerer | deferrable 오퍼레이터를 asyncio 루프에서 대기시킨다 (선택) |
airflow webserver 명령과 `…airflow.cfg 에 접속 문자열이나 키가 들어 있어 그대…values.yaml 은 대부분의 기본값을 이미 정의하고 있다. override 파일에는 실제로 바꿀…최신 버전 3.3.2 — 2026-09-20 확인. https://pypi.org/project/apache-airflow/ ↩︎ ↩︎
Upgrading to Airflow 3 — 2026-09-20 확인. https://airflow.apache.org/docs/apache-airflow/stable/installation/upgrading_to_airflow3.html ↩︎
Architecture Overview — 2026-09-20 확인. https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/overview.html ↩︎