Airflow와 Slack Webhook을 활용해 Airflow의 기능을 실습해보자. Airflow란?Airflow는 복잡한 데이터 파이프라인을 관리해주는 오픈 소스 워크플로우 플랫폼이다. 쉽게 설명하면 데이터 엔지니어링 과정을 관리하고 자동화 해주는 툴이다. ETL과 같이 데이터를 다루는데 필요한 과정을 python 등의 코드를 통해 자동으로 실행되게 만들 수 있다. 이번에 실습을 하면서 Airflow를 처음 만져보기 때문에 천천히 알아보자. Airflow는 여러 컴포넌트들을 활용해 데이터 파이프라인을 관리한다. 각각의 컴포넌트는 컨테이너 안에서 동작하며 컨테이너끼리 통신하면서 파이프라인 관리 동작을 조율한다. Airflow와 Docker ComposeDocker Compose는 여러 개의 컨..