[책 정리] 빅데이터를 지탱하는 기술 - 빅데이터 탐색

 

빅데이터의 탐색

 

 

 

 

크로스 집계(크로스 테이블, 트랜잭션 테이블)

 

크로스 집계를 알기 전, 크로스 테이블이라는 것을 알아야 한다.

크로스 테이블은 행과 열이 교차하는 부분에 숫자 데이터가 들어가는 테이블을 말한다.

 

이는 사람들이 보기에는 편하나, 열을 늘리는 것은 간단한지 않아 데이터베이스에서는 다루지 않는다.

 

 

트랜잭션 테이블이란, 열 방향으로 데이터가 증가하지 않고, 행 방향으로 증가하는 테이블을 의미한다.

 

 

결국 데이터는 크로스 테이블이 아닌 트랜잭션 테이블의 형태로 저장되어야 한다.

하지만, 보고서와 같은 시각화 과정이 필요하다면 트랜잭션 테이블 보단 보기 쉬운 크로스 테이블을 사용해야 한다.

 

그렇기 때문에 크로스 집계라는 것을 수행하는 것이다.

 

 

크로스 집계 : 트랜잭션 테이블에서 크로스 테이블로 변경해 주는 작업

 

크로스 집계는 굉장히 다양한 방법으로 수행할 수 있다.

 

1. 피벗 테이블 기능에 의한 크로스 집계(Excel)

 

2. BI 도구에 의한 크로스 집계

 

3. Pandas에 의한 크로스 집계

 

4. SQL에 의한 테이블의 집계

 

 

[데이터 집계 프로세스]

데이터 레이크 -> 데이터 마트 -> 크로스 테이블/대시 보드

데이터 마트의 크기에 따라 시스템의 구성이 결정되고, 시각화 정보량은 데이터 마트의 크기와 Trade Off 관계이다.

 

 

 

 

 

열 지향 스토리지에 의한 고속화

 

 

데이터베이스 내에 있는 수많은 데이터를 집계하고자 한다.

그 안에 있는 데이터의 양이 적다면 상관 없으나, 많다면 지연이 발생하기 때문에 적당한 방식으로 데이터를 압축해야 한다.

즉, 미리 집계에 적합하도록 변환해야 한다.

이에 압축과 분산의 과정을 통해서 이러한 과정을 최적화하는데 특히나 압축에 있어서 그 종류가 나뉜다.

 

 

 

 

 

열 지향 데이터 베이스

 

열지향 데이터 베이스 : 분석할 일부 칼럼만 집계할 수 있도록 열 단위로 데이터를 저장하는 DB

 

같은 열은 데이터가 주는 유사한 특징이 있어 압축이 수월할 수 있다. 또한 행 지향에 비해 훨씬 적은 디스크 I/O를 가져온다.

 

대표적으로 Teradata(테라데이터)와 Amazon RedShift 등이 열 지향 데이터 베이스이다.

 

 

 

 

 

행 지향 데이터 베이스

 

행지향 데이터 베이스 : 일반적 DB의 구조로 인덱스를 넣어 데이터를 저장하는 DB이다.

 

MySQL이나 Oracle DB가 행 지향 DB에 해당한다.

이는 원하는 레코드를 찾기에 있어 인덱스를 이용하기에 많은 디스크 I/O를 동반한다.

특히나 데이터 분석에 있어 굳이 인덱스를 분리하여 분석할 필요가 없어 데이터의 양이 많은 경우에는 열지향 데이터베이스를 많이 사용한다.

 

 

 

 

 

 

MPP 데이터베이스

 

 

데이터를 빠르게 처리하기 위해 데이터를 압축하고, 여러 디스크에 분산 처리를 한 데이터베이스이다.

이를 통해 데이터를 로드할 때 빠르며, 집계에도 최적화 되어 있다.

그래서 데이터의 양이 많다면 MPP 데이터 베이스로 데이터 마트를 설계하기도 한다.

 

 

 

 

MPP 데이터베이스 + 열지향 데이터베이스

 

압축과 분산처리가 가능한 MPP 데이터베이스에 열지향의 개념을 도입한다면 정말 빨라진다.

다만, 대량의 데이터를 디스크에서 읽기 때문에 1차례당 쿼리 시간이 길다.

그래서 리소스 제한 등을 통해 MPP 데이터 베이스를 수정한다.

 

 

 

 

 

 

 

데이터 마트의 기본 구조

트랜잭션 : 시간과 함께 생성되는 데이터

마스터 : 트랜잭션에서 참고되는 각종 정보

팩트 테이블 : 트랜잭션처럼 사실이 기록된 테이블

디맨전 테이블 : 마스터 데이터들

스타 스키마 : 팩트 테이블을 중심으로 여러 디멘전 테이블을 결합한 구조

비정규화 : 정규화와 반대되는 작업

 

 

 

 

 

스타 스키마 설계가 필요한 이유


팩트 테이블은 실시간으로 쌓이는 데이터라 시간이 갈 수록 많아진다. 그래서 디맨젼 테이블을 최대한 늘리고, 팩트 테이블의 사이즈를 줄여 디스크 I/O를 줄이는 방식으로 가야 한다.

요즘은 데이터 웨어하우스를 설계할 때, 스타 스키마 형식을 활용하여 웨어하우스를 설계하고 마트를 만들 때는 이를 결합해 비정규화 테이블을 만드는 것이 일반적이라고 한다.

 

 

만약 전통적인 RDB를 데이터 마트로 사용한다면 쿼리지연이 많이 발생할 수 있다.

그래서 정규화된 RDB 대신에, 비정규화 데이터베이스를 사용하고, BI 도구를 통해 크로스 집계를 수행한다.

 

 

 

 

 

 

테이블 비정규화

 

 

비정규화는 하나 이상의 테이블에 데이터를 중복하며 배치하는 최적화 기법이다.

 

이는 시스템 상의 성능과 개발, 운영 편의성을 위해 정규화 된 데이터 모델을 의도적으로 통합, 중복, 분리하는 과정이라고 한다.

 

 

• 데이터가 수천만 레코드라면, 스타 스키마 데이터 셋을 비정규화 하여 RDB에 싣는다.
• 데이터가 수억 레코드라면, 칼럼 단위로 열 지향 스토리지 형식으로 데이터를 저장해준다.

 

열 지향 스토리지 방식을 사용한다면, 아무리 칼럼 수가 늘어도 성능에 영향을 주지 않는다. 

즉, 팩트 테이블에 모든 칼럼을 넣되 열 지향으로 압축/분산을 하여 디스크 I/O의 증가를 억제하는 것이다.

 

이후, 다차원 모델이라는 측정값과 이를 설명하는 디멘젼 테이블(피벗 테이블과 유사) 구성으로 시각화를 수행할 수 있다.

 

 

 

Reference

02. 빅데이터의 탐색

- 빅데이터를 지탱하는 기술 - 니시다 케이스케