본문 바로가기
728x90

스터디123

OLTP / OLAP OLTP (On-line Transaction Precessing) : 온라인 트랜잭션 처리 여러 과정의 연산이 하나의 단위 프로세스(트랜잭션)로 실행되도록하는 처리이다. 네트워크상의 여러 이용자가 실시간으로 데이터베이스의 데이터를 갱신하거나 조회하는 등의 단위 작업을 처리하는 방식을 말한다. 주로 신용카드 조회 업무나 자동 현금 지급 등 금융 전산 관련 부문에서 많이 발생하기 때문에 ‘온라인 거래처리’라고도 한다. 이 방식의 특징은 기존 컴퓨터 통신에서 이용해 온 온라인 방식과 달리 다수의 이용자가 거의 동시에 이용할 수 있도록 송수신 자료를 트랜잭션(데이터 파일의 내용에 영향을 미치는 거래 ·입출고 ·저장 등의 단위 행위) 단위로 압축, 비어 있는 공간을 다른 사용자들이 함께 쓸 수 있도록 한 점이다.. 2020. 4. 20.
ETL (Extract, Transform, Load) ETL (Extract, Transform, Load) : 저장된 데이터를 추출하고 변형하여(요구사항에 맞게) 다른 곳으로 적재하는 모든 과정 Extract : 테이블에서 데이터를 추출 Transform : 추출한 데이터를 요구하는 형태로 변형 (필터링, 정렬, 집계, 데이터 조인, 데이터 정리, 중복 제거 및 데이터 유효성 검사 등) Load : 변경된 데이터를 테이블에 적재 OLTP에서 DW, DM, OLAP에 이르기까지의 과정에서 중간 중간에서 데이터를 이관하는 과정을 모두 ETL이라고 한다. 다음 그림과 같이 중간에 변형작업에서 주로 하는 일은 바로 정제이다. OLTP에서 발생한 데이터를 그대로 이관하여 DW, DM을 만들게 될 때 가장 먼저 부딪히는 벽이 바로 데이터의 정합성 문제이다. 이를 해.. 2020. 4. 20.
DW (Data Warehouse) DW(Data Warehouse) : Raw Data를 통한 분석자료를 제공하여 조직 내 의사결정을 지원하는 정보관리 시스템 DW 4가지 특성 주제지향(Subject Oriented): data를 categorizing하여 End User에게 이해하기 쉬운 형태 제공 통합(Integrated): raw data를 일관적인 포맷으로 변환하여 저장 시계열(Time Variant): DW내의 data는 일정기간동안 정확성을 나타낸다. 비휘발성(Nonvolatile): DW에 적재 후 일괄처리(batch) 작업에 의한 갱신 이외에는 삽입, 삭제 등의 변경이 수행되지 않는다. AWS는 DW를 3가지 티어로 나눔 하단티어 : DB Server 중간티어 : data를 액세스하고 분석하는 데 사용되는 분석 엔진으로 구.. 2020. 4. 20.
728x90