[GCP] Bigtable 과 BigQuery

💡Bigtable

대규모 분석 및 운영 워크로드를 위한 확장 가능한 완전 관리형 NoSQL 데이터베이스 서비스

 

Bigtable은 테라바이트, 수페타바이트의 데이터까지 저장할 수 있고 데이터 밀도가 낮은 테이블이다. 각 행의 단일 값마다 index가 생성되는데 이 값을 row key라고 한다.

Bigtable은 지연시간이 낮아서 많은 양의 단일 key 입력 데이터를 저장하는데 적합하다. 따라서 읽기 및 쓰기 처리량이 많을 경우에 사용하기 적합하다.

 

-> 매우 높은 쳐리량과 확장성이 필요한 애플리케이션에 적합

->일괄 MR작업, 스트림 처리/분석, ML 애플리케이션을 위한 스토리지 엔진으로 적합

-장점

• 뛰어난 확장성 : 클러스터를 확장하여 더 많은 read & write 처리 가능
• 간단한 관리 : 테이블 스키마만 설계하면 Bigtable에서 복제 등 알아서 자동으로 처리
• 다운타임 없이 클러스터 크기 조절 : 일정 시간동안 클러스터 크기 늘렸다가 작업 종료 후 다시 클러스터 크기를 줄일 수 있다.

💡BigQuery

서버리스 클라우드 데이터 웨어하우스로, 높은 확장성과 비용 효율성을 갖추고 있다.

BigQuery는 Google의 인프라 처리력을 사용하여 매우 빠른 SQL 쿼리를 수행하고 적은 시간&비용을 쓰는 기업용 데이터 웨어하우스이다. BigQuery로 데이터를 이동하기만 하면 Google자원을 이용하여 처리한다. 

 

--> 많이 변경되지 않는 데이터를 처리할 때 적합

--> 많은 양의 데이터를 수집하여 합계, 평균, 개수, 그룹화 등 작업 수행시 유리

 

-장점

• 클라우드 서비스로 설치/운영이 필요없다
• SQL언어 사용 : 기존 RDBMS에서 사용하던 쿼리 그대로 사용
• 대용량 자원과 빠른 성능
• 데이터 복제를 통한 안정성
• 배치와 스트리밍 모두 지원
• 비용 정책 : 저장되는 데이터 size, 쿼리의 트랜잭션 비용만큼만 과금

---

참고

velog.io/@makeitcloud/GCP-Bigtable-%EA%B3%BC-Bigquery-%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0

[GCP] Bigtable 과 Bigquery 알아보기