블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30  

Notice

'빅 데이터'에 해당되는 글 3

  1. 2013.05.06 빅 데이터 활용 기술 및 솔루션
  2. 2012.11.25 Big Data(빅 데이터)
  3. 2012.01.19 Big Data
2013.05.06 09:38 Microsft Azure/고급 분석

 

빅 데이터 활용 기술 및 솔루션

 

빅 데이터 활용 기술 및 솔루션에 대해서 정리해보았습니다.

구분

기술 및 솔루션

인프라

-       Hadoop 플랫폼

-       In-Memory DBMS

-       In-Memory 컴퓨팅 (SAP HANA )

-       Appliance

-       클라우드 컴퓨팅, Grid 컴퓨팅

수집

-       Crawling, ETL

Sqoop(RDB Import/Export)

Chukwa(로그 데이터 수집)

저장
관리

분산 DBMS

-       RDBMS (Shared Nothing, Everything)

RAC +ASM

-       NoSQL

Column 기반(Hbase,Cassandra,HyperTable,SimpleDB)

Key,Value 기반(Redis,Riak,Voldemort,WA Storage)

Document 기반(Mongo DB,DynamoDB)

Graph (Neo4J, AllegroGraph)

-       NewSQL

RDBMS(SQL편의성)+NoSQL(확장성)
MongoDB,SQL Azure

 

분산

파일

-       GFS, HDFS, GloryFS, owFS

처리

기술

-       대용량 처리

MapReduce, Twister, Haloop, MapReduce Online

-       실시간

CEP, EDA, S4, STORM, Kafka

분석

-       Data Mining, Text Mining, Opinion Mining, Cluster Analytics, Content Mining, Real-time Mining, Gremlin Giraph

시각화

-       R, D3, Infographics

DrillDremel

 

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

MapReduce 2.0 (MRv2), YARN  (0) 2013.12.09
Hadoop Distribution  (0) 2013.12.02
빅 데이터 활용 기술 및 솔루션  (0) 2013.05.06
데이터 과학자 – Data Scientist  (1) 2013.04.24
D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
posted by 정홍주
2012.11.25 19:42 Microsft Azure/고급 분석

 

Big Data(빅 데이터)

 

전자 신문이나 IT 관련 기사, 웹을 보면 빅 데이터란 말이 화두가 되고 있음을 알 수 있습니다.

BI 측면에서도 많은 부분이 향상되었으며 많은 솔루션 업체에서 빅 데이터에 대한 비즈니스를 주도 하고 있습니다. Microsoft 에서는 BI 플랫폼에 HDInsight In-Memory 데이터베이스-Hekaton, PolyBase 11월에 발표했습니다.

이제부터 Microsoft BI HDInsight 에 대한 내용을 별도 카테고리로 구성해보려고 합니다.

아래에서 간략히 빅 데이터의 3대 특성과 활용 요소에 대한 내용을 알아보도록 하겠습니다.

 출처: www.itsa.or.kr 성공적인 빅데이터 활용을 위한 3대 요소 :자원, 기술, 인력

l  빅 데이터의 3대 특성

 

 

추가로 가트너에서는 C- Complexity 를 추가하여 4 개의 축으로 제시하고 있습니다.

구분

주요 내용

Volume

디지털 정보량이 기하급수적으로 급증 ZB 시대로 진입

Variety

로그기록,소셜,위치 정보 등 데이터 종류의 증가

텍스트 이외의 멀티미디어 등 비정형 데이터 유형의 다양화

Complexity

구조화되지 않은 데이터, 데이터 저장방식의 차이,중복성 문제

데이터 관리 및 처리의 복잡성이 심화

Velocity

사물 정보(센서, 모니터링), 스트리밍 정보 등 실시간성 정보증가

 

l  빅 데이터의 3대 활용 요소

 

 

     자원: 활용할 수 있는 빅 데이터 발견

-       주어진 빅 데이터를 관리, 처리하는 측면과 함께, 활용할 수 있는 외부 빅데이터 자원을 발견하고 확보하는 전략 수립

     기술: 빅 데이터 프로세스와 신기술 이해하기

-       조직과 기업의 혁신 전략으로 적용할 수 있도록 빅 데이터 플랫폼, 빅 데이터 분석 기술 및 데이터 분석 기법에 대한 이해

     인력: 데이터 사이언티스트 역량 키우기

-       조직 차원에서 인재를 확보하기 위해 내부 역량 강화 및 외부 협력 전략 수립

 

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
.NET SDK for Hadoop  (0) 2012.12.14
오픈소스 빅데이터 요소 기술  (0) 2012.11.28
Hadoop  (0) 2012.11.25
Big Data(빅 데이터)  (0) 2012.11.25
posted by 정홍주
2012.01.19 17:35 SQL

요즘 화두가 되고 있는 Big Data에 대한 내용을 간략히 정리해보겠습니다.

 

I.       Big Data 개념

가.   빅 데이터(Big Data)의 정의

-       기존의 관리 및 분석 체계로는 감당하기 어려운 정도의 막대한 양의 데이터(Petta, Zetta)

-       수천 TB 에 달하는 거대한 데이터 집합뿐만 아니라 관련도구, 플랫폼, 분석기법까지 포괄

나.   빅 데이터 분석의 중요성

-       멀티미디어, SNS, RFID, 센서네트워크, 소셜데이터, 전자상거래, 천문/대기, 의료정보 관련 등 폭발적인 데이터 생산

-       급격히 늘어나는 데이터 속에서 필요한 정보를 식별 의사결정에 활용(기존 분석 체계로는 불가

 

II.       빅 데이터의 3가지 요소와 분석의 어려움

가.    빅데이터의 3가지 요소

구분

설명

VOLUME

-대용량의 많은 데이터를 의미

-Terabytes (PB, ZB), Tables, Files, Transactions

VELOCITY

-데이터의 흐름, 속도

-Near Time, Real Time, Streams

VARIETY

-데이터의 형태

-Structured, UnStructured, Semistructured

 

나.   빅 데이터 분석과 기존 경영 정보 분석이 차이점

-       기존의 경영정보 분석은 일정한 양식에 따라 정제된 데이터를 취급

-      웹사이트의 방문기록, 소셜 미디어의 소통 정보를 망라한 빅 데이터는 양식이 제각기 다르고 구조화된 수준이 낮음

-      빅데이터는 구조화 수준이 낮고 매우 방대한 데이터를 다루므로 진보된 분산 처리 기술과 통계적 기법, 인공지능 기법 등이 필요

 

그래서 Big Data에 대한 분석 기술(Text Mining )과 분산 처리 기법(Hadoop ) 이 발전하게 됩니다.

 

 

신고

'SQL' 카테고리의 다른 글

SQL Server 2012 RTM  (0) 2012.03.07
Hadoop  (0) 2012.02.13
Big Data  (0) 2012.01.19
SQL Server 2012 RC  (0) 2011.11.19
PASS Summit 2011 – Big Data  (0) 2011.10.15
PASS Summit 2011 – Keynote(2)  (0) 2011.10.14
posted by 정홍주
prev 1 next

티스토리 툴바