Hadoop

빅 데이터에 대한 내용 중 최대의 화두는 Hadoop 입니다.

I.       Hadoop의 정의

-       클라우드의 핵심 기술로써 아파치의 오픈소스 프로젝트중 하나인 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크 (더그 커팅 창시)

II.     Hadoop의 Ecosystem의 구성도와 구성 요소

가.   Hadoop의 Ecosystem 의 구성도

 

 나.   Hadoop의 Ecosystem 의 구성 요소

구분	구성요소	내용
Core	HDFS	분산 파일 시스템, Name, Data Node
	MapReduce	분산 처리, Job/Task Tracker
	HBase	Column DB, Column Index
Client	Pig	Data Flow 에 대한 ETL Tools
	Hive	MapReduce 컨트롤 및 Query Language
	Sqoop	RDBMS와의 데이터 Import, Export
Manage	ZooKeeper	분산 응용 프로그램 coordination
	Avro	데이터 직렬화 시스템
	Chukwa	Data Collection System