[GCP] Dataproc

✨Google Cloud Platform의 Data Processing과 관련한 Product✨

• Data collection : Pub/sub, Transfer service, Transfer appliance
• Data transform : Dataflow, Dataproc, Dataprep
• Data storage : BigQuery, bigtable, GCS
• Data analysis : BigQuery
• Data ochestration : Composer 

🧀GCP Dataproc이란?

Dataproc은 일괄 처리, 쿼리, 스트리밍, 머신 러닝에 오픈소스 데이터 도구를 활용할 수 있는 관리형 Spark 및 Hadoop 서비스입니다. Dataproc 자동화를 통해 신속하게 클러스터를 만들고 손쉽게 관리하며 불필요한 클러스터를 사용 중지하여 비용을 절감할 수 있습니다. 관리 시간과 비용이 절감되므로 작업과 데이터에 집중할 수 있습니다.

 

Dataproc 장점

1) 저렴한 비용 

2) 매우 빠른 속도

클러스터 구축 시간 단축, 데이터 작업에 더 집중할 수 있음

3) 통합 용이

Dataproc은 BigQuery, Cloud Storage, Bigtable 등 GCP 서비스와 기본적으로 통합되어 있으므로 데이터 플랫폼을 용이하게 사용할 수 있음

4) 관리형 클러스터

 관리자의 지원이나 특별한 SW사용하지 않고도 Spark 및 Hadoop 클러스터 사용 가능

5) 간단하고 친숙함

---

참고자료

GCP 공식 문서 : cloud.google.com/dataproc/docs/concepts/overview?hl=ko

Dataproc이란?  |  Dataproc 문서  |  Google Cloud