블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31        

Notice

2014.01.17 08:30 Microsft Azure/고급 분석

 

Windows AzureHDInsight 시작

 

HDInsight 100% Apache Hadoop 솔루션을 Windows Azure에 구현한 Microsoft Hadoop 기반 서비스이며 HortonWorksHDP로 구성되어 있습니다. 또한 Hadoop on Windows도 제공하고 있습니다.

l  신속한 배포

Windows AzureHDInsight를 사용하면 관리나 배포의 용이성을 간단하게 제공받을 수 있어 신속한 배포가 가능합니다.

l  익숙한 도구를 통한 통찰력

Excel, PowerPivot을 통해 빅데이터의 쉬운 분석이 가능해 익숙한 도구를 통한  Insight가 가능합니다.

l  다양한 프로그래밍

여러 언어를 통해 프로그래밍이 가능하도록 제공하고 있으며 LINQ to Hive를 제공하고 있습니다.

HDInsight 의 자세한 정보는 아래 링크를 확인해보시기 바랍니다.

http://www.windowsazure.com/ko-kr/services/hdinsight/

http://www.windowsazure.com/en-us/documentation/services/hdinsight/?fb=ko-kr

http://www.windowsazure.com/ko-kr/pricing/details/hdinsight/

 

Windows Azure 포털로 로그온하여 HDInsight 클러스터를 한 번 생성해보도록 하겠습니다.

포털 메뉴에서 HDInsight에서 클러스터 만들기를 클릭하여 빠른 생성으로 생성해보겠습니다.

클러스터를 생성하기 전에 저장소 계정이 필요합니다. 저장소는 클러스터의 분산 파일 시스템으로 지정되게 되어 생성하기 전에 미리 저장소 계정을 생성해야 합니다.
*
미국 서부, 동부외 추가로 동남아시아도 현재 시점에서는 제공되고 있습니다.

1.     저장소 계정이 있다면 빠른 실행을 통해서 생성해보겠습니다. 아래 그림처럼 새로 만들기를 통해 클러스터 이름, 크기, 암호, 저장소 계정을 선택하면 됩니다.

    생성된 결과는 아래와 같습니다. 클러스터 이름을 클릭하여 대시 보드를 살펴보고 구성 메뉴로 이동하여 클러스터 연결에 대한 사용자 계정과 암호, 만료 날짜를 입력하여 원격 사용을 하도록 합니다.   

 

2.     사용자 지정을 통해서 클러스터를 생성해보겠습니다. 새로 만들기의 사용자 지정 만들기를 클릭하여 클러스터 이름과 버전, 지역을 선택할 수 있습니다.

* 클러스터의 버전은 HDP의 버전과 매치되며 버전 2.1HDP1.3 버전이 됩니다.
 
http://www.windowsazure.com/en-us/manage/services/hdinsight/versioning-in-hdinsight/?fb=ko-kr

다음 버튼을 클릭하면 빠른 생성과 달리 사용자 계정과 암호를 입력하게 됩니다. 또한 Metastore에 대한 내용을 체크할 수 도 있습니다.

다음 버튼을 클릭하면 저장소 계정을 선택하고 추가할 수 있습니다.

 

 

생성된 클러스터를 원격으로 연결해보도록 하겠습니다. Windows Server 2008 R2 이며 바탕화면에 Hadoop Command LineName Node, Job Status 바로 가기가 보입니다.

 

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

HDInsight 3.0 미리보기  (0) 2014.03.01
Windows with HDP 2.0  (0) 2014.01.23
Windows Azure의 HDInsight 시작  (0) 2014.01.17
MapReduce 2.0 (MRv2), YARN  (0) 2013.12.09
Hadoop Distribution  (0) 2013.12.02
빅 데이터 활용 기술 및 솔루션  (0) 2013.05.06
posted by 정홍주
2013.10.29 08:00 Microsft Azure

Windows Azure HDInsight GA(Generally Available)

 

금일 새벽 메일을 받았는데 Windows AzureHDInsight GA(Generally Available) 로 변경되었다는 내용입니다.

바로 Windows Azure 관리 포털의 왼쪽 메뉴에서 HDInsight를 아래와 같이 확인이 가능합니다. 

또는 새로 만들기, 데이터서비스에서 HDInsight 메뉴를 확인할 수 있습니다.

 

HDInsight Apache Hadoop 플랫폼이 클라우드에서 지원되는 것으로 Hive를 이용하여 빅데이터를 접근할 수 있는 서비스입니다. Name Node Compute Node 로 나뉘어져 클러스터로 구성되며 하둡분산파일시스템(HDFS)와 병렬처리(MapReduce)로 구성되어 있습니다. 

 

가격에 대한 중요한 사항은 알고 넘어가야 하니 참고하십시오. 일단 Name Node Compute Node의 가격은 상이합니다. 2013 11 30일까지는 Preview 요금이 부과되며 12월부터는 정식 요금이 부과됩니다. 인스턴스의 사이즈도 12월부터는 변경됩니다. 

구분

1130

12 1

Name Node

가격

\384/시간

\768/시간

인스턴스크기

4

8

Compute Node

가격

\192/시간

\384/시간

인스턴스크기

2

4

 

 

 

 

빅데이터를 Windows Azure 를 통해서 접근해볼 수 있습니다. 또한 로컬에서 직접 구성할 수 도 있습니다.

 

 

신고
posted by 정홍주
2012.11.28 08:00 Microsft Azure/고급 분석

Hadoop 외에 다른 요소 기술도 있습니다.

I.       잠재력이 큰 오픈소스 빅데이터 요소 기술의 등장

가.   오픈소스 빅데이터 요소 기술의 정의

-       하둡이나 맵리듀스의 한계를 넘어 실시간, 양방향 처리에 초점을 맞추는 특징을 가지는 기존의 빅데이터 기술들을 대체할 것으로 기대되는 기술

나.   오픈소스 빅데이터 요소 기술의 주목 이유

-       실시간, 양방향 처리

-       데이터의 시각화가 강조

-       직관적인 빅데이터 기술 모색

-       그래프 접근 방식의 필요

II.     오픈소스 빅데이터 요소 기술 

l  태크크런치

구분

내용

주목이유

STORM KAFKA

스톰: 트위터에서 개발한 분산 실시간 프로세싱

카프카: 링크드인에서 개발된 메시지 시스템으로 실시간 데이터 프로세싱 파이프라인

두 기술이 짝을 이루면 모든 메시지를 실시간으로 신뢰성 있게 처리할 수 있으며 인메모리 분석과 실시간 의사결정 지원이 우수

Drill Dremel

데이터 탐색에 적합하며 대량의 애드혹 쿼리 가능, 대용량 데이터의 빠른 응답속도와 시각화 지원

비지니스 애널리스트들과 현업부서에서 선호할 기술로 지연율이 낮음

Gremlin Giraph

그래프 분석 강화를 지원

컴퓨터 네트워크, 소셜 네트워크 모델링에 필요

대형 네트워크에 적합

R

S 언어의 현대적 버전이며 새로운 통계 표준

강력한 커뮤니티

더 낮은 가격과 더 복잡한 데이터 과학을 수행

SAP HANA

인메모리 분석 플랫폼

SAP가 무료로 제공, 커뮤니티 육성

보통 이상의 빠른 처리가능

 

l  추가 기술

D3

자바스크립트 문서 시각화 라이브러리로 정보를 창의적으로 시각화, 데이터를 인터렉티브하게 만듬

오바마의 2013년 예산 제안을 양향향 웹 그래픽으로 표현

 

itfind 주간기술동향 1527

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
.NET SDK for Hadoop  (0) 2012.12.14
오픈소스 빅데이터 요소 기술  (0) 2012.11.28
Hadoop  (0) 2012.11.25
Big Data(빅 데이터)  (0) 2012.11.25
posted by 정홍주
prev 1 next