Windows Azure의 HDInsight 시작

 

Windows Azure의 HDInsight 시작

 

HDInsight는 100% Apache Hadoop 솔루션을 Windows Azure에 구현한 Microsoft의 Hadoop 기반 서비스이며 HortonWorks의 HDP로 구성되어 있습니다. 또한 Hadoop on Windows도 제공하고 있습니다.

l  신속한 배포

Windows Azure의 HDInsight를 사용하면 관리나 배포의 용이성을 간단하게 제공받을 수 있어 신속한 배포가 가능합니다.

l  익숙한 도구를 통한 통찰력

Excel, PowerPivot을 통해 빅데이터의 쉬운 분석이 가능해 익숙한 도구를 통한  Insight가 가능합니다.

l  다양한 프로그래밍

여러 언어를 통해 프로그래밍이 가능하도록 제공하고 있으며 LINQ to Hive를 제공하고 있습니다.

HDInsight 의 자세한 정보는 아래 링크를 확인해보시기 바랍니다.

http://www.windowsazure.com/ko-kr/services/hdinsight/

http://www.windowsazure.com/en-us/documentation/services/hdinsight/?fb=ko-kr

http://www.windowsazure.com/ko-kr/pricing/details/hdinsight/

 

Windows Azure 포털로 로그온하여 HDInsight 클러스터를 한 번 생성해보도록 하겠습니다.

포털 메뉴에서 HDInsight에서 클러스터 만들기를 클릭하여 빠른 생성으로 생성해보겠습니다.

클러스터를 생성하기 전에 저장소 계정이 필요합니다. 저장소는 클러스터의 분산 파일 시스템으로 지정되게 되어 생성하기 전에 미리 저장소 계정을 생성해야 합니다.
* 미국 서부, 동부외 추가로 동남아시아도 현재 시점에서는 제공되고 있습니다.

1.     저장소 계정이 있다면 빠른 실행을 통해서 생성해보겠습니다. 아래 그림처럼 새로 만들기를 통해 클러스터 이름, 크기, 암호, 저장소 계정을 선택하면 됩니다.

    생성된 결과는 아래와 같습니다. 클러스터 이름을 클릭하여 대시 보드를 살펴보고 구성 메뉴로 이동하여 클러스터 연결에 대한 사용자 계정과 암호, 만료 날짜를 입력하여 원격 사용을 하도록 합니다.   

 

2.     사용자 지정을 통해서 클러스터를 생성해보겠습니다. 새로 만들기의 사용자 지정 만들기를 클릭하여 클러스터 이름과 버전, 지역을 선택할 수 있습니다.

* 클러스터의 버전은 HDP의 버전과 매치되며 버전 2.1은 HDP의 1.3 버전이 됩니다.
  http://www.windowsazure.com/en-us/manage/services/hdinsight/versioning-in-hdinsight/?fb=ko-kr

다음 버튼을 클릭하면 빠른 생성과 달리 사용자 계정과 암호를 입력하게 됩니다. 또한 Metastore에 대한 내용을 체크할 수 도 있습니다.

다음 버튼을 클릭하면 저장소 계정을 선택하고 추가할 수 있습니다.

 

 

생성된 클러스터를 원격으로 연결해보도록 하겠습니다. Windows Server 2008 R2 이며 바탕화면에 Hadoop Command Line과 Name Node, Job Status 바로 가기가 보입니다.