728x90 스터디/Cloud & k8s17 [k8s] Container 환경에서 JVM GC (Garbage Collection) 확인하기 JDK11의 GC는 무조건 G1GC일까? JDK11의 GC 알고리즘을 일반적으로 G1GC를 사용한다고 알려져있는데요, JDK11을 사용한다고 무조건 G1GC 알고리즘을 사용하는 것이 아니었습니다..! 명령어로 GC 확인 어떤 GC를 사용하는지는 아래 명령어를 통해 확인가능합니다. > java -XX:+PrintCommandLineFlags -version pinpoint로 GC 확인 pinpoint에서도 확인 가능합니다. pinpoint를 확인해보니 Serial GC 알고리즘을 사용하고있네요. GC 종류 Serial GC 가장 단순한 방식의 GC 싱글스레드로 동작 느리고 그만큼 stop the world 시간이 다른 GC에 비해 길다 보통 실무에서 사용하는 경우가 없음 (디바이스 성능이 안좋아서 cpu .. 2023. 8. 25. [k8s] Helm과 Chart 란? (쿠버네티스 패키지 매니저) 글의 요약 설명 부분. 150자를 적어주세요. 글의 요약 설명 부분. 150자를 적어주세요. 글의 요약 설명 부분. 150자를 적어주세요. 글의 요약 설명 부분. 150자를 적어주세요. 글의 요약 설명 부분. 150자를 적어주세요. 글의 요약 설명 부분. 150자입니다 Helm Helm이란? 쿠버네티스는 도커 컨테이너를 쉽게 관리하고 배포해주는 일종의 컨테이너 오케스트레이션이라고하였습니다~! Helm은 이러한 쿠버네티스를 파이썬의 pip, Node.js에서 npm의 역할과 같이 쿠버네티스를 패키지로 해서 관리해주는 쿠버네티스 패키지 매니저로 쿠버네티스 클러스터에서 동작하도록 관리합니다. 즉, Helm을 사용하면 클러스터에서 배포할 애플리케이션을 쉽게 설치, 업데이트, 삭제가 가능합니다. Helm 아키텍처.. 2022. 11. 1. [k8s] 컨테이너 실행 명령어 종류 Docker Container를 사용하다보면 명령어를 많이 사용하게됩니다. 보통 docker 명령어를 통해서 이미지를 실행 또는 stop을 할 수 있는데요, 기본적인 명령어 외에 어떤 명령어가 있는지 알아보도록합니다. 도커 컨테이너 (Docker Container) 도커 이미지를 통해서 도커 컨테이너를 생성 할 수 있습니다. 이전에도 설명드렸듯이 컨테이너는 이미지를 실체화한 것으로 이해 할 수 있는데요, 비유를 들자면 이미지 = 붕어빵틀 컨테이너 = 붕어빵 으로 이해할 수 있습니다. 즉 이미지 하나로 여러개의 컨테이너를 생성할 수 있는 것이죠. 자세한 도커 컨테이너 설명은 아래 포스팅을 참고하세요. [k8s] 컨테이너(Container)와 쿠버네티스(Kubernetes) 소개 컨테이너(Container).. 2022. 10. 28. [k8s] 쿠버네티스 오브젝트(Kubernetes Objects) 종류 쿠버네티스 오브젝트(Kubernetes Objects)란? 쿠버네티스 오브젝트는 쿠버네티스 시스템에서 영속성을 가지는 오브젝트입니다. 쿠버네티스는 클러스터의 상태를 나타내기 위해 이 오브젝트를 이용합니다. 어떤 컨테이너화된 애플리케이션이 동작중인지, 어느 노드에서 동작 중인지 그 애플리케이션이 이용할 수 있는 리소스 그 애플리케이션이 어떻게 동작할지에대한 정책 (재시작, 업그레이드 등) 애플리케이션 개발자는 오브젝트를 생성/변경/삭제하여 쿠버네티스 시스템에 내 애플리케이션이 어떻게 표현될지 전달합니다. 이를 원하는 상태(desired state)라고 합니다. 대부분의 정보를 .yaml 파일로 kubectl (커맨드 라인 인터페이스)에 제공합니다. kubectl은 api 요청이 이루어질 때 json 형태로.. 2022. 10. 19. [k8s] 컨테이너 오케스트레이션 (Container orchestration) 컨테이너 오케스트레이션이란? 컨테이너 오케스트레이션은 복잡한 컨테이너 환경을 효과적으로 관리하기위한 도구입니다. 편리한 도커 컨테이너가 나타나면서 많은 곳에 적용되고있습니다. 그러나 관리하는 서버 컨테이너 수가 점점 증가하면서 관리가 힘들다는 문제가 생겼습니다. 그래서 등장한 것이 컨테이너 오케스트레이션입니다. 우리가 많이 들어본 쿠버네티스는 컨테이너 오케스트레이션 툴의 한 종류이며 엄청난 인기로 사실상 표준으로 사용되고있습니다~! 👉함께보면 좋은 게시글 [k8s] 컨테이너(Container)와 쿠버네티스(Kubernetes) 소개 컨테이너(Container) 컨테이너는 어떤 환경에서나 실행하기 위해 필요한 모든 요소를 포함하는 소프트웨어 패키지이다. 이러한 방식으로 운영체제를 가상화여 프라이빗 퍼블릭 .. 2022. 10. 10. [k8s] 워크로드(workload)와 파드(pod), 도커(docker) 지난 시간에 컨테이너와 쿠버네티스 관련하여 알아보았다. 👉 https://hyeri0903.tistory.com/208 이번엔 워크로드와 도커 관련해서 알아보자~! 워크로드 워크로드는 쿠버네티스에서 구동되는 애플리케이션이다. 쿠버네티스에서는 워크로드를 *pod 집합 내에서 실행한다. 쿠버네티스 공식 문서 - 워크로드 https://kubernetes.io/ko/docs/concepts/workloads/ *pod: 클러스터에서 실행 중인 컨테이너 집합 쿠버네티스는 여러가지 워크로드 리소스를 제공한다. Deployment StatefulSet DaemonSet Job 및 CronJob 그렇다면 애플리케이션이 실행되는 pod은 무엇일까? 파드(POD) 파드는 쿠버네티스의 배포 가능한 가장 작은 컴퓨팅 유닛이.. 2022. 10. 2. [k8s] 컨테이너(Container)와 쿠버네티스(Kubernetes) 소개 컨테이너(Container) 컨테이너는 어떤 환경에서나 실행하기 위해 필요한 모든 요소를 포함하는 소프트웨어 패키지이다. 이러한 방식으로 운영체제를 가상화여 프라이빗 퍼블릭 클라우드 또는 개발자의 개인 노트북에 이르기까지 어디서나 실행가능하다. 이를 수행하기 위해 컨테이너는 운영체제(OS)의 기능을 활용하여 프로세스를 격리하고 해당 프로세스가 접근 할 수 있는 cpu, 메모리 및 디스크 양을 제어는 OS 가상화 형식을 활용한다. OS의 리소스를 논리적으로 분리하여 여러 개의 컨테이너가 공유하여 사용한다. 우리가 흔히 들어본 도커(docker)는 이러한 컨테이너를 다루는 유명한 도구 중 하나이다. 과거 배포 관리 변천사 1) 전통적인 배포 시대 초기에는 애플리케이션을 물리 서버에서 실행했다. 물리 서버 하.. 2022. 10. 2. [GCP] Spanner 🧀GCP Spanner란? Cloud Spanner는 관계형 데이터베이스 구조의 이점을 비 관계형 수평 확장과 결합하기 위해 특별히 클라우드 용으로 구축된 서비스이다. 완전 관리형 미션 크리티컬 관계형 데이터베이스 서비스로서 글로벌 규모의 트랜잭션 일관성, 스키마, SQL(ANSI 2011, 확장 프로그램 포함), 고가용성을 위한 자동 동기식 복제를 제공한다. 즉, 페타 바이트 규모의 용량을 제공 가능하고 global scale, 스키마 , SQL 및 고 가용성을 위한 자동 동기 복제에서 트랜잭션 일관성을 제공한다. 확장성이 높지만 비용이 비싸다는 단점이 있다. 관게형 데이터베이스를 능가하거나 처리량을 높이기 위해 데이터베이스를 분할하거나, 트랜잭션 일관성 및 글로벌 데이터/강력한 일관성이 필요한 경우,.. 2021. 3. 30. [GCP] Composer ✨Google Cloud Platform의 Data Processing과 관련한 Product✨ Data collection : Pub/sub, Transfer service, Transfer appliance Data transform : Dataflow,Dataproc, Dataprep Data storage : BigQuery, Bigtable,GCS Data analysis : BigQuery Data ochestration : Composer 🧀GCP Composer 란? Google Cloud 에서 Composer는 Apache Airflow로 워크플로를 만들고 배포하기 위한 Google Cloud 솔루션이다. 인기 있는 Apache Airflow 오픈소스 프로젝트를 기반으로 구축되어 Pyth.. 2021. 3. 30. [GCP] GCS (Google Cloud Storage) ✨Google Cloud Platform의 Data Processing과 관련한 Product✨ Data collection : Pub/sub, Transfer service, Transfer appliance Data transform : Dataflow,Dataproc, Dataprep Data storage : BigQuery, Bigtable, GCS Data analysis : BigQuery Data ochestration : Composer 🧀GCP GCS (Google Cloud Storage)란? Cloud Storage란 객체 저장소로 해당 서비스를 통해서 데이터의 양과 상관없이 언제 어디서나 데이터를 저장하고 가져올 수 있는 서비스이다. 객체는 버킷이라는 컨테이너에 저장한다. 모든 버.. 2021. 3. 30. [GCP] Dataprep ✨Google Cloud Platform의 Data Processing과 관련한 Product✨ Data collection : Pub/sub, Transfer service, Transfer appliance Data transform : Dataflow,Dataproc, Dataprep Data storage : BigQuery, bigtable, GCS Data analysis : BigQuery Data ochestration : Composer 🧀GCP Dataprep이란? Google Cloud Dataprep은 간단한 드래그 앤 드롭 브라우저 환경에서 데이터를 시각적으로 탐색 및 정리하고 분석이 가능하도록 여러 데이터 세트를 준비하는 데 활용되는 지능형 데이터 서비스이다. 데이터를 내 입맛대.. 2021. 3. 30. [GCP] Dataproc ✨Google Cloud Platform의 Data Processing과 관련한 Product✨ Data collection : Pub/sub, Transfer service, Transfer appliance Data transform : Dataflow, Dataproc, Dataprep Data storage : BigQuery, bigtable, GCS Data analysis : BigQuery Data ochestration : Composer 🧀GCP Dataproc이란? Dataproc은 일괄 처리, 쿼리, 스트리밍, 머신 러닝에 오픈소스 데이터 도구를 활용할 수 있는 관리형 Spark 및 Hadoop 서비스입니다. Dataproc 자동화를 통해 신속하게 클러스터를 만들고 손쉽게 관리하며 .. 2021. 3. 30. [GCP] Dataflow ✨Google Cloud Platform의 Data Processing과 관련한 Product✨ Data collection : Pub/sub, Transfer service, Transfer appliance Data transform : Dataflow, Dataproc, Dataprep Data storage : BigQuery, bigtable, GCS Data analysis : BigQuery Data ochestration : Composer 🧀GCP Dataflow 란? 다양한 데이터 처리 패턴을 개발하고 실행하기위한 통합 프로그래밍 모델 및 관리 서비스입니다. Cloud Dataflow에는 데이터 처리 워크 플로를 정의하기위한 SDK와 Compute Engine, BigQuery 등과 같.. 2021. 3. 30. [GCP] Transfer appliance ✨Google Cloud Platform의 Data Processing과 관련한 Product✨ Data collection : Pub/sub, Transfer service, Transfer appliance Data transform : Dataflow, Dataproc, Dataprep Data storage : BigQuery, bigtable, GCS Data analysis : BigQuery Data ochestration : Composer 🧀GCP Transfer Appliance 란? Transfer Appliance는 비즈니스 운영 중단 없이 수백 테라바이트에서 1페타바이트까지 대량의 데이터를 Google Cloud Platform으로 안전하게 마이그레이션하는 데 사용할 수 있는 하드.. 2021. 3. 30. [GCP] Transfer Service ✨Google Cloud Platform의 Data Processing과 관련한 Product✨ Data collection : Pub/sub, Transfer service, Transfer appliance Data transform : Dataflow, Dataproc, Dataprep Data storage : igQuery, bigtable, GCS Data analysis : bigQuery Data ochestration : Composer 🧀GCP Transfer Service 란 BigQuery Data Transfer Service는 정해진 일정에 따라 관리되는 방식으로 BigQuery로 데이터를 자동 전송합니다. 그러면 분석팀에서 코드를 단 한 줄도 작성하지 않고 BigQuery 데이.. 2021. 3. 30. [GCP] Pub/sub ✨Google Cloud Platform의 Data Processing과 관련한 Product✨ Data collection : Pub/sub, Transfer service, Transfer appliance Data transform : Dataflow, Dataproc, Dataprep Data storage : igQuery, bigtable, GCS Data analysis : bigQuery Data ochestration : Composer 🧀 GCP의 Pub/Sub 란 Pub/Sub는 클라우드 기반의 대용량 메시지 큐이다. 흔히 사용하는 JMS나 Kafka의 클라우드 버전 (별도의 설치나 운영이 필요 없음). 이벤트를 처리하는 서비스에서 이벤트를 생성하는 서비스를 분리하는 비동기 메시징 서.. 2021. 3. 30. [GCP] Bigtable 과 BigQuery 💡Bigtable 대규모 분석 및 운영 워크로드를 위한 확장 가능한 완전 관리형 NoSQL 데이터베이스 서비스 Bigtable은 테라바이트, 수페타바이트의 데이터까지 저장할 수 있고 데이터 밀도가 낮은 테이블이다. 각 행의 단일 값마다 index가 생성되는데 이 값을 row key라고 한다. Bigtable은 지연시간이 낮아서 많은 양의 단일 key 입력 데이터를 저장하는데 적합하다. 따라서 읽기 및 쓰기 처리량이 많을 경우에 사용하기 적합하다. -> 매우 높은 쳐리량과 확장성이 필요한 애플리케이션에 적합 ->일괄 MR작업, 스트림 처리/분석, ML 애플리케이션을 위한 스토리지 엔진으로 적합 -장점 뛰어난 확장성 : 클러스터를 확장하여 더 많은 read & write 처리 가능 간단한 관리 : 테이블 스.. 2021. 3. 23. 이전 1 다음 728x90
