[책 정리] 빅데이터를 지탱하는 기술 - 빅데이터의 기초

 

 

이 책은 빅데이터를 다루는 엔지니어 혹은 작업의 자동화를 원하는 데이터 과학자들을 대상으로 한다.

또한 데이터를 수집하고 원하는 형태로 가공하여 제공하고 싶은 나에게 있어 많은 깨달음을 준 책이기도 하다.

 

책의 구성은 다음과 같다.

 

1. 빅데이터의 기초지식

2. 빅데이터의 검색 - 데이터의 대화적인 집계와 시각화 그리고 데이터 마트의 성질

3. 빅데이터의 분산 처리를 위한 하둡과 스파크 등의 분산 처리 프레임워크를 통해 데이터 가공과 집계, 그리고 데이터 마트를 만드는 프로세스

4. 빅데이터의 축적 - 데이터를 수집하여 보존하는 절차를 말한다. 여기서는 분산 스토리지의 특징을 다루며, 분산 스토리지에 데이터를 넣는 데이터 수집에 대해 설명한다.

5. 빅데이터의 파이프라인은 데이터 처리를 자동화하는 절차를 설명한다. 배치 처리, 스트림 처리에 관해 배운다.

6. 빅데이터 분석 기반의 구축 - 데이터의 분석, 이해, 데이터 처리 및 데이터 마트 업데이트 자동화에 관해 학습한다. 또한 클라우드 서비스에서 각 기술이 어떻게 제공되는지 배운다.

 

해당 책을 정리하며 배운 내용과 다른 사이트에서 공부하여 이해한 내용을 바탕으로 나름 정리해 본다.

 

 

빅 데이터의 기초 지식

 

 

빅데이터란?
일반 소트웨어에서는 처리할 수 없는 대규모(테라바이트, 페타바이트, 엑사바이트 규모)의 데이터이다.

 

 

- 데이터 소스 : 분석하려는 데이터의 소스이다.

- 데이터 레이크 : 다양한 데이터를 축적하는 스토리지를 '데이터가 흘러가는 호수'에 빗대어 사용한 말. 모든 형식(정형/비정형/반정형)의 데이터를 무제한으로 축적하는 저장고.

- 데이터 웨어하우스(DWH) : 사용자의 의사결정에 필요한 데이터가 들어가 있는 데이터 베이스, 정형 데이터를 저장하고 분석하는 데이터 베이스

- 데이터 디스커버리 = 셀프 서비스용 BI 도구 : 데이터 웨어 하우스에 저장된 데이터를 시각화하려는 방법

- 데이터 파이프라인 : 일반적으로 차례대로 전달해나가는 데이터로 구성된 시스템

 

 

데이터 소스는 분석하려는 데이터의 소스이다. 구체적으로는 웹 서버, IoT 장비, 모바일 기기 등 다양하다.

이러한 데이터 소스는 바라보는 위치에 따라 달라진다. 이게 무슨 말이냐면, 데이터를 추출하는 입장에서 데이터 소스는 웹서버나 모바일 기기 등이 될 수 있지만, BI도구와 같은 시각화 툴의 입장에서 데이터 소스는 NoSQL이나 DWH이라는 것이다.

 

바라보는 관점에 따라 다르다는 것이다.

 

 

빅데이터 기술하면 가장 먼저 예로 들 수 있는 것은 Hadoop과 NoSQL이다.

 

 

- Hadoop
다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템. 
구글에서 개발된 분산 처리 프레임워크 MapReduce를 참고하여 제작됨.
SQL과 같은 쿼리 언어를 Hadoop에서 실행하기 위한 소프트웨어로 Hive 개발

- NoSQL
전통적인 RDB의 제약을 제거하는 것을 목표로 둔 데이터 베이스의 총칭.
종류가 다양하다. (key-value store, document store, wide-column store 등)
RDB보다 고속의 읽기, 쓰기 가능, 분산처리에 뛰어남


- Hadoop + NoSQL
NoSQL 데이터베이스에 기록, Hadoop으로 분산 처리
현실적인 비용으로 데이터를 처리할 수 있는 좋은 방법.

 

 

데이터의 수집과 전송

 

크게 두 가지로 나뉠 수 있다.

 

1. 벌크 형

이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법이다.

 

2. 스트리밍 형

차례대로 생성되는 데이터를 끊임없이 계속해서 보내는 방법이다.

 

 

 

 

 

분산 스토리지

 

수집된 데이터는 분산 스토리지에 저장된다. 

 

분산 스토리지 : 여러 컴퓨터와 디스크로부터 구성된 스토리지 시스템

 

1. 객체 스토리지 : 한 덩어리로 모인 데이터에 이름을 부여하여 파일로 저장한다. 대표적으로 Amazon S3가 유명하다.

 

2. NoSQL 데이터 베이스 : 많은 데이터를 읽고 쓰는 데 있어 성능이 우수하다. 확장성 높은 제품을 선택하는 것이 좋다.

 

 

분산 데이터의 처리

 

많은 양의 데이터를 처리하기 위한 목적은 데이터를 가공하여 그 결과를 외부 DB에 따로 저장해 두는 것이다.(그래야 사용하기 쉽기 때문이다.)

 

이를 위한 방법으로 SQL을 통해서 집계를 수행한다.

 

1. 쿼리 엔진을 도입 : Hive, 현재는 Hive보다 고속인 대화형 쿼리 엔진이 개발됨

 

2. 외부의 데이터 웨어하우스를 이용 : ETL 프로세스, 데이터를 추출하고 가공하며 마지막으로 데이터 웨어 하우스에 로드하는 과정

 

 

 

워크플로 관리 기술

 

 

정해진 시간에 배치 처리를 스케줄대로 수행하고, 오류가 발생하면 관리자에게 통지하는 목적으로 사용된다.

데이터 파이프라인이 복잡해 짐에 따라서 이를 제대로 통제하는 기술이 필요하다.

 

 

 

 

 

 

데이터 웨어하우스와 데이터 마트

 

 

데이터 웨어하우스는 대량의 데이터를 장기 보존하는 것에 최적화되어 있다.

정리된 데이터를 한번에 전송하기에는 뛰어나나, 소량이면 적합하지 않다.

 

 

즉, 데이터 웨어하우스는 중요한 데이터 처리에 사용되기 때문에 과부화를 초래하면 안된다. 그래서 데이터 분석과 같은 목적으로 사용할 때는 필요한 데이터만 추출하여 "데이터 마트" 를 구축하는 것이 일반적이다.

 

이는 BI도구(시각화 도구)와 함께 조합시켜 시각화하는데 사용한다.

 

데이터 웨어하우스, 데이터 마트 모두 SQL로 데이터를 집계할 수 있다.

 

 

데이터 레이크

 

 

데이터를 중심으로 한 데이터 파이프라인은 조금 다르다. 위의 내용에 따르면, 데이터 레이크는 정형/비정형/반정형의 데이터가 모두 들어갈 수 있는 스토리지이다. 즉, 임의의 데이터를 저장할 수 있는 분산 스토리지가 데이터 레이크로써 사용할 수 있는 것이다.

 

🤔 그렇다면 데이터 소스 - 데이터 웨어 하우스 - 데이터 마트의 구조와

데이터 소스 - 데이터 레이크(그대로 가져옴) - 데이터 마트의 차이는 무엇일까?

 

바로 "ETL 과정이 어느 단계에서 일어나느냐" 이다.

 

전자의 경우에는 데이터 소스에서 데이터 웨어 하우스로 가는데까지 raw데이터를 추출하고 필요에 따라 가공하며 DWH에 저장해야하기 때문에 데이터 소스 - 데이터 웨어 하우스의 과정에서 ETL 프로세스가 일어난다.

 

후자에서 데이터 레이크는 단순 스토리지다. 즉 이것만으로는 데이터를 가공할 수 없으며, 분산 데이터 처리 기술(MapReduce 등)을 통해 데이터 마트로 만드는 과정에서 ETL 프로세스가 동반된다.

 

 

 

 

데이터 엔지니어 vs 데이터 분석가

 

데이터 엔지니어는 시스템을 구축하고 운용하며 자동화를 담당한다.

반면, 데이터 분석가는 데이터에서 가치있는 정보를 추출하는 역할을 담당한다.

 

 

 

 

애드 혹 분석(ad hoc analysis) 및 대시보드 도구

 

애드 혹 분석이란 일회성 데이터 분석이라는 의미이다. 즉, SQL 쿼리를 직접 작성하여 실행하거나 그래프를 만드는 것을 포함한 작업이 모두 수작업이라는 뜻이다.

 

애드 혹 분석은 데이터 마트를 만들지 않고, 데이터 레이크나 데이터 웨어하우스에서 직접 연결하는 경우가 많다.

 

이런 애드 혹 분석으로 정기적으로 해야할 때 사용하는 것이 대시보드 도구이다.

대시보드 도구는 데이터 마트가 없어도 동작하도록 설계되어 있어 설정한 스케줄에 따라 데이터 레이크와 데이터 웨어 하우스에 접속하여 쿼리를 실행하고 그래프를 생성한다.

 

 

 

 

 

데이터 마트와 워크플로 관리

 

 

하지만 역시 복잡한 데이터 분석에 있어서는 데이터 마트를 구축하는 것이 좋다.

즉, 시각화에 BI도구를 사용할 때는 집계 속도를 높이기 위해 데이터 마트가 필수적이다.

 

데이터 마트의 구축은 배치 처리로 자동화되는 경우가 많아 그 실행 관리를 위해 워크플로 관리 도구를 사용한다.

 

그렇기에 장기적으로 데이터 처리를 운용하려면 안정적인 워크플로 설계가 필요하다.

 

 

 

 

 

 

데이터는 언제 수집할까?

 

 

1. 데이터 검색

 

대량의 데이터 중에서 조건에 맞는 것을 찾고 싶은 경우가 있다. 필요할 때 신속하게 찾을 수 있도록 실시간 데이터 처리나 엔진을 사용하여 키워드를 찾아내는 것이 중요하다.

 

 

2. 데이터 가공

 

업무 시스템의 일부로, 데이터 처리 결과를 이용하고 싶은 경우이다.

목적이 명확하기에 필요한 데이터를 계획적으로 모아 데이터 파이프라인을 설계하며, 자동화를 위해 워크플로 관리를 도입한다.

 

3. 데이터 시각화

 

의사 결정에 있어 도움을 줄 수 있는 데이터 시각화에 있어 필요하다. 집계의 고속화를 위해 데이터 마트를 구축해 놓는 것이 좋다.

 

 

 

 

 

Reference

 

[책 정리] 빅데이터를 지탱하는 기술 #Ch1-1

 

빅데이터 분석 기반이란? 데이터 파이프라인 구축

- 빅데이터를 지탱하는 기술 - 니시다 케이스