티스토리 뷰

 

빅 데이터 활용 기술 및 솔루션

 

빅 데이터 활용 기술 및 솔루션에 대해서 정리해보았습니다.

구분

기술 및 솔루션

인프라

-       Hadoop 플랫폼

-       In-Memory DBMS

-       In-Memory 컴퓨팅 (SAP HANA )

-       Appliance

-       클라우드 컴퓨팅, Grid 컴퓨팅

수집

-       Crawling, ETL

Sqoop(RDB Import/Export)

Chukwa(로그 데이터 수집)

저장
관리

분산 DBMS

-       RDBMS (Shared Nothing, Everything)

RAC +ASM

-       NoSQL

Column 기반(Hbase,Cassandra,HyperTable,SimpleDB)

Key,Value 기반(Redis,Riak,Voldemort,WA Storage)

Document 기반(Mongo DB,DynamoDB)

Graph (Neo4J, AllegroGraph)

-       NewSQL

RDBMS(SQL편의성)+NoSQL(확장성)
MongoDB,SQL Azure

 

분산

파일

-       GFS, HDFS, GloryFS, owFS

처리

기술

-       대용량 처리

MapReduce, Twister, Haloop, MapReduce Online

-       실시간

CEP, EDA, S4, STORM, Kafka

분석

-       Data Mining, Text Mining, Opinion Mining, Cluster Analytics, Content Mining, Real-time Mining, Gremlin Giraph

시각화

-       R, D3, Infographics

DrillDremel

 

'Microsft Azure > 고급 분석' 카테고리의 다른 글

MapReduce 2.0 (MRv2), YARN  (0) 2013.12.09
Hadoop Distribution  (0) 2013.12.02
데이터 과학자 – Data Scientist  (1) 2013.04.24
D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
댓글