블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31    

Notice

'Hadoop Ecosystem'에 해당되는 글 1

  1. 2012.11.25 Hadoop
2012.11.25 19:43 Microsft Azure/고급 분석

빅 데이터에 대한 내용 중 최대의 화두는 Hadoop 입니다.

I.       Hadoop의 정의

-       클라우드의 핵심 기술로써 아파치의 오픈소스 프로젝트중 하나인 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크 (더그 커팅 창시)

II.     HadoopEcosystem의 구성도와 구성 요소

가.   Hadoop Ecosystem 의 구성도

 

 나.   Hadoop Ecosystem 의 구성 요소

구분

구성요소

내용

Core

HDFS

분산 파일 시스템, Name, Data Node

MapReduce

분산 처리, Job/Task Tracker

HBase

Column DB, Column Index

Client

Pig

Data Flow 에 대한 ETL Tools

Hive

MapReduce 컨트롤 및 Query Language

Sqoop

RDBMS와의 데이터 Import, Export

Manage

ZooKeeper

분산 응용 프로그램 coordination

Avro

데이터 직렬화 시스템

Chukwa

Data Collection System

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
.NET SDK for Hadoop  (0) 2012.12.14
오픈소스 빅데이터 요소 기술  (0) 2012.11.28
Hadoop  (0) 2012.11.25
Big Data(빅 데이터)  (0) 2012.11.25
posted by 정홍주
prev 1 next

티스토리 툴바