MVP Community Camp 2014

-Windows Azure와 Big Data를 이용한 리서치 및 운영

이번 주는 MVP Community Camp 2014 가 열리고 있습니다. 어제 늦은 시간임에도 라이브 웹 캐스트에 참석해주신 분께 감사 드립니다. Windows Azure에서의 HDInsight 에 대한 소개를 해드렸는데 빅 데이터에 대한 부분은 IT 트렌드로 관심이 아주 많은 부분이라고 생각됩니다. Hive 등에 대한 부분은 바로 포스팅할 예정입니다.

 MVP Community Camp 2014에 대한 이번주 라이브 웹 캐스트 부분은 아래 링크를 참고하십시오.

http://mvp.microsoft.com/ko-kr/ComCamp2014.aspx 

한국 오프라인 일정은 22일 토요일로 여러 도시에서 다양한 세션이 진행됩니다.

https://msevents.microsoft.com/CUI/EventDetail.aspx?EventID=1032578628&Culture=ko-KR&community=0

Windows Azure – HDInsight (1)

Windows Azure Portal에서 미리 보기 기능을 통해 신청하였다면 활성화되었다는 메일을 받으시게 되며 포털에서 아래와 같은 메뉴를 볼 수 있습니다.
( https://account.windowsazure.com/PreviewFeatures)

HDInsight의 가격 정보는 아래 링크를 확인하십시오.

http://www.windowsazure.com/ko-kr/pricing/details/#header-4

₩576(헤드 노드) + ₩288 * 3(계산 노드) = ₩1,440/시

1.     HDInsight 클러스터를 사용하기 위해서는 먼저 저장소 계정을 미국 동부 지역으로 생성해야 합니다. (현재 버전에서는 미국 동부 지역에 생성해야 합니다

2.     HDInsight 클러스터를 생성하려면 포털의 왼쪽 HDInsight 메뉴를 클릭하여 새로 만들기 메뉴를 클릭하면 됩니다. HDInsight는 Head Node와 Computer Node 들로 구성되어 HDInsight 클러스터를 4 nodes 부터 선택이 가능합니다. 그리고 비밀번호는 대문자, 소문자, 숫자, 특수문자, 10자이상으로 구성해야 하는 것이 다른 서비스와 약간 다릅니다. 관련 정보를 입력하고 CREATE HDINSIGHT CLUSTER 메뉴를 클릭합니다.
 

Node의 수는 Quick Create 메뉴에서는 4,8,16,32 를 선택하지만 Custom Create 메뉴에서는 가격에 따라 Node 수를 지정할 수 있습니다.

4.     HDInsight 클러스터 이름을 클릭하면 대시보드 페이지에 관련 정보를 확인할 수 있습니다. 다른 서비스와 비교하여 별 다른 정보는 없이 대시보드 주소와 메뉴를 확인 가능합니다.

5.     대시보드 페이지 상단의 Go to cluster의 URL을 클릭하거나 하단의 Manage 메뉴를 클릭합니다. 새 창으로 연결되니 새 창 허용을 선택해두시면 됩니다.   생성할 때 입력한 패스워드를 통해 로그인하면 됩니다. 사용자 계정은 Admin으로 지정되어 있습니다. 로그온 하면 아래와 같은 화면을 볼 수 있습니다. 
 

현재 버전 이전에서는 별도의 사이트에서 Windows Azure에서 Hadoop을 살펴볼 수 있었는데 HDInsight 가 Windows Azure 에 통합되었다는 것을 확인할 수 있습니다.

7.     Samples 메뉴에 숫자가 5라고 표시되니 클릭하여 어떤 샘플이 있는지 확인해보도록 하겠습니다.
 

가장 일반적인 예제로 WordCount 예제도 나타나 있는 것을 확인 가능합니다.

샘플은 이런 식으로 진행하면 된다는 내용으로 구성되어 있습니다.

다음 글에서 HDInsight 클러스터를 생성하였으므로 Hadoop의 MapReduce 작업을 구성해보도록 하겠습니다. HDInsight 클러스터를 생성하고 클러스터 대시보드 페이지를 확인해 보았습니다.

Windows Azure Update - 2013년 3월 18일

Windows Azure가 또 업데이트 되었습니다.

관련내용은 Scott 의 블로그 게시물에 자세히 나와 있으니 참고하십시오.

http://weblogs.asp.net/scottgu/archive/2013/03/18/windows-azure-new-hadoop-service-html5-js-cors-phonegap-mercurial-and-dropbox-support.aspx

l  Mobile Services: HTML5/JS Clients

l  Web Site: Source Control Update –Dropbox 등 추가

l  HDInsight: Hadoop Preview

Mobile Services 에 대한 내용은 아래 그림을 보시면 앱에서 HTML 메뉴가 포함된 것을 확인할 수 있습니다. 

HDInsight – Microsoft Big Data

빅 데이터가 요즘은 대세입니다. 고급 분석, 소셜 분석, 마이닝 등의 용어도 자주 듣게 됩니다.

Apache Hadoop 이 Windows Azure 에 올라와 있는 것을 이미 아는 분 들도 있을 겁니다.

이제 아래 사이트를 통해 Microsoft의 Big Data를 액세스 가능합니다.

며칠 전에 릴리즈 되었습니다.

http://www.microsoft.com/sqlserver/en/us/solutions-technologies/business-intelligence/big-data.aspx

또한 HDInsight Preview를 다운로드 할 수 있습니다. 얼렁 시도해보아야겠습니다.

http://www.microsoft.com/en-us/download/details.aspx?id=35397

그리고 Windows Azure 에서도 Apache Hadoop 를 접근할 수 있습니다.

https://www.hadooponazure.com/