✨Google Cloud Platform의 Data Processing과 관련한 Product✨
- Data collection : Pub/sub, Transfer service, Transfer appliance
- Data transform : Dataflow,Dataproc, Dataprep
- Data storage : BigQuery, Bigtable, GCS
- Data analysis : BigQuery
- Data ochestration : Composer
🧀GCP GCS (Google Cloud Storage)란?
Cloud Storage란 객체 저장소로 해당 서비스를 통해서 데이터의 양과 상관없이 언제 어디서나 데이터를 저장하고 가져올 수 있는 서비스이다. 객체는 버킷이라는 컨테이너에 저장한다. 모든 버킷은 프로젝트와 연결되며, 프로젝트를 조직 아래에 글부화 할 수 있다.
Google Strorage 종류 중에서 가격이 제일 저렴하다.(가격 효율화, 비용 최적화 시 사용)
주요 개념
Cloud Storage에서 주로 사용하는 용어를 몇 가지 개념을 이해하고 넘아간다.
1) Project : Compute Engine에서 다룬 proejct와 유사. Cloud Storage 에서는 모든 데이터가 속하는 공간이다.
2) Bucket : 데이털르 담는 개념
- 버킷안에 버킷을 만들 수 있다.
- 버킷수가 작고 객체(Object)가 많을수록 좋은 설계이다.
- 라벨을 달 수 있고, key-value의 형태로 GCP의 다른 리소스와 그룹화가 가능
3) Object : 버킷에 저장되는 객체, 즉 파일들을 의미한다. 객체는 생성 갯수에 제한이 없고 2가지 데이터로 구성된다.
- 객체 데이터 : GCS에 저장되는 파일
- 객체 메타 데이터 : key-value 형태로 객체의 퀄리티를 설명
4) 지리적 중복 : 멀리 떨어진 지역(미국-유럽-아시아)에 데이터를 중복적으로 저장. 비동기적이며 자연재해등 대규모 장애 발생 시에도 데이터의 가용성 및 확장이 가능하다.
5) Object 불변성 : 객체는 변경할 수 없지만 덮어쓰기 or 삭제는 가능
6) Repository 등급 : 버킷 설정 시 등급을 지정 할 수 있다.
🍦참고자료
GCP 공식 문서 : cloud.google.com/storage/docs/introduction?hl=ko
앎의 공간 블로그 : techblog-history-younghunjo1.tistory.com/27
'스터디 > Cloud & k8s' 카테고리의 다른 글
[GCP] Spanner (0) | 2021.03.30 |
---|---|
[GCP] Composer (0) | 2021.03.30 |
[GCP] Dataprep (0) | 2021.03.30 |
[GCP] Dataproc (0) | 2021.03.30 |
[GCP] Dataflow (0) | 2021.03.30 |
댓글