[GCP] Transfer Service

✨Google Cloud Platform의 Data Processing과 관련한 Product✨

• Data collection : Pub/sub, Transfer service, Transfer appliance
• Data transform : Dataflow, Dataproc, Dataprep
• Data storage : igQuery, bigtable, GCS
• Data analysis : bigQuery
• Data ochestration : Composer 

🧀GCP Transfer Service 란

BigQuery Data Transfer Service는 정해진 일정에 따라 관리되는 방식으로 BigQuery로 데이터를 자동 전송합니다. 그러면 분석팀에서 코드를 단 한 줄도 작성하지 않고 BigQuery 데이터 웨어하우스의 기반을 마련할 수 있습니다. 데이터 전송을 구성하면 BigQuery Data Transfer Service가 정기적으로 데이터를 BigQuery로 자동 로드합니다. 중단이나 불일치 문제를 해결하기 위해 데이터 백필을 시작할 수도 있습니다. 현재는 BigQuery Data Transfer Service를 사용하여 BigQuery에서 다른 곳으로 데이터를 전송할 수 없습니다.

 

즉, 다른 스토리지에서 BigQuery (Google Cloud Storage)로 데이터를 전송하고자 할 때 Google Cloud Platform에서 제공하는 Transfer Service를 사용하면 된다. 

---

🍦참고자료

GCP 공식 문서 : cloud.google.com/bigquery-transfer/docs/transfer-service-overview?hl=ko