블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30    

Notice

2012.11.25 19:43 Microsft Azure/고급 분석

빅 데이터에 대한 내용 중 최대의 화두는 Hadoop 입니다.

I.       Hadoop의 정의

-       클라우드의 핵심 기술로써 아파치의 오픈소스 프로젝트중 하나인 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크 (더그 커팅 창시)

II.     HadoopEcosystem의 구성도와 구성 요소

가.   Hadoop Ecosystem 의 구성도

 

 나.   Hadoop Ecosystem 의 구성 요소

구분

구성요소

내용

Core

HDFS

분산 파일 시스템, Name, Data Node

MapReduce

분산 처리, Job/Task Tracker

HBase

Column DB, Column Index

Client

Pig

Data Flow 에 대한 ETL Tools

Hive

MapReduce 컨트롤 및 Query Language

Sqoop

RDBMS와의 데이터 Import, Export

Manage

ZooKeeper

분산 응용 프로그램 coordination

Avro

데이터 직렬화 시스템

Chukwa

Data Collection System

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
.NET SDK for Hadoop  (0) 2012.12.14
오픈소스 빅데이터 요소 기술  (0) 2012.11.28
Hadoop  (0) 2012.11.25
Big Data(빅 데이터)  (0) 2012.11.25
posted by 정홍주