데이터 웨어하우스와 클라우드(Redshift) 소개

데이터 웨어하우스란(Data Warehouse)?

조직이나 기업에서 다양한 출처의 데이터를 통합, 저장하고 분석할 수 있도록 구성된 대규모 데이터 저장소이다.

데이터 웨어하우스는 데이터 마이닝, 비즈니스 인텔리전스(BI), 리포팅, 분석 등의 목적으로 사용되며, 이를 통해 의사결정에 도움을 주는 인사이트를 얻을 수 있다.

 

1) 주요 특징
- 데이터 통합: 다양한 출처의 데이터를 통합하여 일관성 있는 형태로 저장한다. 이를 위해 데이터 추출, 변환 및 적재(ETL) 과정을 거친다.
- 대용량 데이터 저장: 거대한 양의 데이터를 저장하고 관리할 수 있는 구조를 갖추고 있다.
- 시계열 데이터 관리: 시간에 따른 데이터 변화를 추적하고 저장할 수 있다.
- 성능 최적화: 대규모 데이터를 효율적으로 조회하고 분석할 수 있는 성능 최적화 기술이 적용되어 있다.

 

데이터 웨어하우스는 일반적으로 온라인 트랜잭션 처리(OLTP) 시스템과 구분되는데, OLTP 시스템은 실시간 트랜잭션 데이터를 처리하고 관리하는 데 초점을 두는 반면, 데이터 웨어하우스는 대규모 데이터를 분석하고 의사결정에 활용하는데 중점을 둔다.

따라서 데이터 웨어하우스는 데이터 모델링, 저장 및 조회 방법 등이 OLTP 시스템과 다르게 설계된다.

 

클라우드

인터넷을 통해 컴퓨팅 자원을 제공하는 서비스의 형태로 클라우드 컴퓨팅은 사용자들이 필요한 컴퓨팅 자원(서버, 스토리지, 데이터베이스, 네트워크, 소프트웨어 등)을 인터넷을 통해 원격으로 사용하고 관리할 수 있게 해주는 기술이다.

 

1) 주요 특징

- No Provisioning

사용자가 미리 컴퓨팅 자원을 준비하거나 예약할 필요가 없고 대신, 클라우드 서비스 제공자가 컴퓨팅 인프라를 관리하며, 사용자는 필요한 자원을 실시간으로 요청하여 사용할 수 있다. 이로 인해 시스템의 확장성이 높아지고, 리소스 사용에 대한 유연성이 향상된다.

 

- Pay As You Go

클라우드 컴퓨팅의 대표적인 결제 모델로, 사용자가 실제로 사용한 만큼의 자원에 대해서만 비용을 지불하는 방식이다. 이는 전통적인 자원 구매 방식과 달리, 사용하지 않는 자원에 대한 비용을 낭비하지 않도록 해주며, 사용량이 증가하거나 감소할 때에도 비용이 그에 따라 조절되므로, 비용 효율성이 높다. 이러한 Pay As You Go 모델은 클라우드 컴퓨팅의 가장 큰 장점 중 하나로, 기업들이 IT 비용을 절감할 수 있는 주요 요인이 된다고 한다.

 

2) 클라우드 컴퓨팅의 장점

- 비용 절감

- 확장성
- 데이터 백업 및 복구
- 접근성

- 소프트웨어 개발 시간 단축

- 리소스 준비를 위한 시간 단축

 

Redshift

아마존 웹 서비스(AWS)에서 제공하는 완전 관리형 데이터 웨어하우스 서비스이다.

Redshift는 대규모의 구조화된 데이터를 저장하고, 분석할 수 있는 확장 가능한 클라우드 기반 솔루션을 제공한다.

PostgreSQL과 호환된다.

 

Scalable SQL 엔진

대규모 데이터셋에 대한 쿼리와 분석 작업을 처리할 수 있는 확장 가능한 SQL 기반 데이터베이스 관리 시스템(DBMS)이다.

예로는 Google BigQuery, Amazon Redshift, Snowflake, Microsoft Azure Synapse Analytics 등이 있다.

'Primary key uniqueness'를 보장하지 않는다.

 

1) 주요 특징

- 확장성
- 병렬 처리
- 고성능 쿼리 최적화
- 데이터 압축 및 인덱싱
- 분산 데이터 처리

 

Redshift Schema

Amazon Redshift 데이터 웨어하우스에서 데이터의 구조와 조직을 정의하는 데 사용되는 논리적인 컨테이다.

스키마는 데이터베이스 내에서 테이블, 뷰, 함수 등의 데이터베이스 객체를 그룹화하고, 이러한 객체에 대한 접근 권한을 관리하는 데 사용되며, 각 Redshift 데이터베이스는 하나 이상의 스키마를 포함할 수 있으며, 스키마는 데이터베이스 간에 공유되지 않는다.