빅 데이터 활용 기술 및 솔루션
빅 데이터 활용 기술 및 솔루션에 대해서 정리해보았습니다.
|
구분 |
기술 및 솔루션 | |
|
인프라 |
- Hadoop 플랫폼 - In-Memory DBMS - In-Memory 컴퓨팅 (SAP HANA 등) - Appliance - 클라우드 컴퓨팅, Grid 컴퓨팅 | |
|
수집 |
- Crawling, ETL Sqoop(RDB Import/Export) Chukwa(로그 데이터 수집) | |
|
저장 |
분산 DBMS |
- RDBMS (Shared Nothing, Everything) RAC +ASM - NoSQL Column 기반(Hbase,Cassandra,HyperTable,SimpleDB) Key,Value 기반(Redis,Riak,Voldemort,WA Storage) Document 기반(Mongo DB,DynamoDB) Graph (Neo4J, AllegroGraph) - NewSQL RDBMS(SQL편의성)+NoSQL(확장성) |
|
|
분산 파일 |
- GFS, HDFS, GloryFS, owFS |
|
처리 기술 |
- 대용량 처리 MapReduce, Twister, Haloop, MapReduce Online - 실시간 CEP, EDA, S4, STORM, Kafka | |
|
분석 |
- Data Mining, Text Mining, Opinion Mining, Cluster Analytics, Content Mining, Real-time Mining, Gremlin과 Giraph | |
|
시각화 |
- R, D3, Infographics Drill과 Dremel | |
'Microsft Azure > 고급 분석' 카테고리의 다른 글
| MapReduce 2.0 (MRv2), YARN (0) | 2013.12.09 |
|---|---|
| Hadoop Distribution (0) | 2013.12.02 |
| 빅 데이터 활용 기술 및 솔루션 (0) | 2013.05.06 |
| 데이터 과학자 – Data Scientist (1) | 2013.04.24 |
| D3 (0) | 2013.04.22 |
| HDFS (Hadoop Distributed File System) (1) | 2012.12.14 |
