[GCP] Composer

✨Google Cloud Platform의 Data Processing과 관련한 Product✨

• Data collection : Pub/sub, Transfer service, Transfer appliance
• Data transform : Dataflow,Dataproc, Dataprep
• Data storage : BigQuery, Bigtable,GCS
• Data analysis : BigQuery
• Data ochestration : Composer 

🧀GCP Composer 란?

Google Cloud 에서 Composer는 Apache Airflow로 워크플로를 만들고 배포하기 위한 Google Cloud 솔루션이다.

인기 있는 Apache Airflow 오픈소스 프로젝트를 기반으로 구축되어 Python 프로그래밍 언어로 작동되는 Cloud Composer는 서비스 전환이 자유롭고 사용하기도 쉽다. Apache Airflow의 로컬 인스턴스 대신 Cloud Composer를 사용하면 사용자가 설치 또는 관리 오버헤드 없이 Airflow의 이점을 얻을 수 있다.

 

데이터 분석에서 워크플로는 데이터 수집, 변환, 분석, 활용을 위한 작업을 의미한다. Airflow에서 워크플로는 DAG 를 사용하여 생성된다.

 

DAG는 관계 및 종속 항목을 반영하는 방식으로 구성된 예약하고 실행하려는 작업의 모음이다. DAG는 코드를 사용하여 DAG 구조(작업 및 종속 항목)를 정의하는 Python 스크립트에서 생성된다.

 

워크플로를 실행하려면 먼저 환경을 만들어야 한다. Airflow는 실행할 많은 마이크로서비스에 의존하므로 Cloud Composer는 워크플로를 실행할 Google Cloud 구성요소를 프로비저닝한다. 이러한 구성요소를 통칭하여 Cloud Composer 환경이라고 한다.

---

🍦참고자료

GCP 공식 문서 : cloud.google.com/composer/docs/concepts/overview?hl=ko

Cloud Composer는 무엇인가요?  |  Google Cloud