Big Data

요즘 화두가 되고 있는 Big Data에 대한 내용을 간략히 정리해보겠습니다.

 

I.       Big Data 개념

가.   빅 데이터(Big Data)의 정의

-       기존의 관리 및 분석 체계로는 감당하기 어려운 정도의 막대한 양의 데이터(Petta, Zetta)

-       수천 TB 에 달하는 거대한 데이터 집합뿐만 아니라 관련도구, 플랫폼, 분석기법까지 포괄

나.   빅 데이터 분석의 중요성

-       멀티미디어, SNS, RFID, 센서네트워크, 소셜데이터, 전자상거래, 천문/대기, 의료정보 관련 등 폭발적인 데이터 생산

-       급격히 늘어나는 데이터 속에서 필요한 정보를 식별 의사결정에 활용(기존 분석 체계로는 불가

 

II.       빅 데이터의 3가지 요소와 분석의 어려움

가.    빅데이터의 3가지 요소

구분	설명
VOLUME	-대용량의 많은 데이터를 의미 -Terabytes (PB, ZB), Tables, Files, Transactions
VELOCITY	-데이터의 흐름, 속도 -Near Time, Real Time, Streams
VARIETY	-데이터의 형태 -Structured, UnStructured, Semistructured

 

나.   빅 데이터 분석과 기존 경영 정보 분석이 차이점

-       기존의 경영정보 분석은 일정한 양식에 따라 정제된 데이터를 취급

-      웹사이트의 방문기록, 소셜 미디어의 소통 정보를 망라한 빅 데이터는 양식이 제각기 다르고 구조화된 수준이 낮음

-      빅데이터는 구조화 수준이 낮고 매우 방대한 데이터를 다루므로 진보된 분산 처리 기술과 통계적 기법, 인공지능 기법 등이 필요

 

그래서 Big Data에 대한 분석 기술(Text Mining 등)과 분산 처리 기법(Hadoop 등) 이 발전하게 됩니다.