Java JDK(Java Development Kit)는 자바 애플리케이션을 개발하기 위한 소프트웨어 개발 도구 모음이다. JRE(Java Runtime Environment)와 컴파일러(javac), 디버거, 문서

오픈 테이블 포맷(Open Table Format)은 데이터 레이크에 저장된 파일들(Parquet, ORC 등)에 메타데이터 관리 계층을 추가하여, 기존의 단순한 파일 저장소를 데이터베이스 테이블 수준의 고급 기능(

Object Storage 는 Airflow 2.8에서 도입된 Object Storage API를 사용하여 S3, GCS, Azure Blob Storage 등의 객체 스토리지를 관리하는 방법을 보여줍니다. 이 튜토

Dynamic Task Mapping은 Apache Airflow에서 DAG 작성 시점이 아닌 런타임에 이전 태스크의 출력 결과를 기반으로 동적으로 태스크 개수를 결정할 수 있는 기능입니다. 기존의 정적인 for l

데이터 파이프라인을 운영하다 보면 작업 실패나 성공 여부를 실시간으로 모니터링해야 하는 경우가 많습니다. 특히 중요한 배치 작업이나 실시간 데이터 처리 파이프라인에서는 문제 발생 시 즉시 알림을 받아 빠르게 대응하는

Airflow의 Task Callback은 Task나 DAG의 상태 변화를 감지하여 자동으로 실행되는 함수로, 특정 Task가 실패했을 때 알림을 보내거나 마지막 Task 성공 시 완료 알림을 보내는 등 로깅과 모니

Airflow의 기본 동작은 모든 상위 Task가 성공해야 해당 Task를 실행하는 것입니다. 하지만 trigger_rule 매개변수를 사용하면 이러한 기본 동작을 다양한 방식으로 변경할 수 있어, 복잡한 워크플로우

시간 순서 보장이 중요한 작업에서는 depends_on_past=True를 사용해야 합니다. 누적 데이터 처리나 순차적 ETL 작업처럼 이전 시간 데이터가 처리되지 않으면 다음 데이터 처리가 의미없거나 오류가 발생할

DAG는 Directed Acyclic Graph의 줄임말로 "방향성이 있는 비순환 그래프"를 의미하며, Airflow에서는 여러 작업들이 어떤 순서와 의존관계로 실행되어야 하는지를 정의하는 워크플로우 전체를 나타낸

BranchPythonOperator의 핵심 개념은 일반 PythonOperator와 유사하지만, 실행할 함수가 task_id나 task_id 리스트를 반환해야 한다는 점이 다릅니다. 반환된 task_id에 해당하는