MapReduce 2.0 (MRv2), YARN

 

MapReduce 2.0 (MRv2), YARN

 

CDH, HDP 등에서도 YARN을 지원하고 있다는 것을 보실수 있는데 MapReduce의 경우 4000 노드까지 지원을 하게 되며 Name Node의 경우 가용성 적인 측면 등에서 제한적인 측면이 있는데 Hadoop 0.23 에서 오버홀하여 YARN 또는 MapReduce 2.0 (MRv2)를 지원합니다.

 

MapReduce에서 JobTracker의 주요 기능을 여러 데몬으로 분리했는데, YARN의 전체적인 내용은 아래 그림을 참고하실 수 있습니다.

 

출처: http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

 

구분	설명	구성
Resource Manager	마스터 서버 역할, 자원들의 상태를 관리, 리소스 할당 조율 Scheduler, ApplicationsMaster 로 구성	글로벌 , 1대 서버
Node Manager	컨테이너를 시작, 리소스 사용을 모니터링, 리소스 관리자에게 보고	노드 슬레이브 당, N대 서버
Application Master	스케쥴러와 자원 협상, 상태 추적과 모니터링	어플리케이션당
Container	작업	Node Manager에서 구동되는 어플리케이션 당

 

YARN의 작업 진행 절차는 아래 링크를 참조할 수 있습니다.

http://hortonworks.com/blog/apache-hadoop-yarn-concepts-and-applications/

 

YARN에 관련된 링크는 아래를 참고할 수 있습니다.

Hadoop YARN

- http://hortonworks.com/hadoop/yarn/

Apache Hadoop NextGen MapReduce (YARN)

- http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

Introducing Apache Hadoop YARN

- http://hortonworks.com/blog/introducing-apache-hadoop-yarn/