블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30  

Notice

'big data'에 해당되는 글 3

  1. 2013.10.29 Windows Azure HDInsight GA(Generally Available)
  2. 2012.11.25 Big Data(빅 데이터)
  3. 2012.01.19 Big Data
2013.10.29 08:00 Microsft Azure

Windows Azure HDInsight GA(Generally Available)

 

금일 새벽 메일을 받았는데 Windows AzureHDInsight GA(Generally Available) 로 변경되었다는 내용입니다.

바로 Windows Azure 관리 포털의 왼쪽 메뉴에서 HDInsight를 아래와 같이 확인이 가능합니다. 

또는 새로 만들기, 데이터서비스에서 HDInsight 메뉴를 확인할 수 있습니다.

 

HDInsight Apache Hadoop 플랫폼이 클라우드에서 지원되는 것으로 Hive를 이용하여 빅데이터를 접근할 수 있는 서비스입니다. Name Node Compute Node 로 나뉘어져 클러스터로 구성되며 하둡분산파일시스템(HDFS)와 병렬처리(MapReduce)로 구성되어 있습니다. 

 

가격에 대한 중요한 사항은 알고 넘어가야 하니 참고하십시오. 일단 Name Node Compute Node의 가격은 상이합니다. 2013 11 30일까지는 Preview 요금이 부과되며 12월부터는 정식 요금이 부과됩니다. 인스턴스의 사이즈도 12월부터는 변경됩니다. 

구분

1130

12 1

Name Node

가격

\384/시간

\768/시간

인스턴스크기

4

8

Compute Node

가격

\192/시간

\384/시간

인스턴스크기

2

4

 

 

 

 

빅데이터를 Windows Azure 를 통해서 접근해볼 수 있습니다. 또한 로컬에서 직접 구성할 수 도 있습니다.

 

 

신고
posted by 정홍주
2012.11.25 19:42 Microsft Azure/고급 분석

 

Big Data(빅 데이터)

 

전자 신문이나 IT 관련 기사, 웹을 보면 빅 데이터란 말이 화두가 되고 있음을 알 수 있습니다.

BI 측면에서도 많은 부분이 향상되었으며 많은 솔루션 업체에서 빅 데이터에 대한 비즈니스를 주도 하고 있습니다. Microsoft 에서는 BI 플랫폼에 HDInsight In-Memory 데이터베이스-Hekaton, PolyBase 11월에 발표했습니다.

이제부터 Microsoft BI HDInsight 에 대한 내용을 별도 카테고리로 구성해보려고 합니다.

아래에서 간략히 빅 데이터의 3대 특성과 활용 요소에 대한 내용을 알아보도록 하겠습니다.

 출처: www.itsa.or.kr 성공적인 빅데이터 활용을 위한 3대 요소 :자원, 기술, 인력

l  빅 데이터의 3대 특성

 

 

추가로 가트너에서는 C- Complexity 를 추가하여 4 개의 축으로 제시하고 있습니다.

구분

주요 내용

Volume

디지털 정보량이 기하급수적으로 급증 ZB 시대로 진입

Variety

로그기록,소셜,위치 정보 등 데이터 종류의 증가

텍스트 이외의 멀티미디어 등 비정형 데이터 유형의 다양화

Complexity

구조화되지 않은 데이터, 데이터 저장방식의 차이,중복성 문제

데이터 관리 및 처리의 복잡성이 심화

Velocity

사물 정보(센서, 모니터링), 스트리밍 정보 등 실시간성 정보증가

 

l  빅 데이터의 3대 활용 요소

 

 

     자원: 활용할 수 있는 빅 데이터 발견

-       주어진 빅 데이터를 관리, 처리하는 측면과 함께, 활용할 수 있는 외부 빅데이터 자원을 발견하고 확보하는 전략 수립

     기술: 빅 데이터 프로세스와 신기술 이해하기

-       조직과 기업의 혁신 전략으로 적용할 수 있도록 빅 데이터 플랫폼, 빅 데이터 분석 기술 및 데이터 분석 기법에 대한 이해

     인력: 데이터 사이언티스트 역량 키우기

-       조직 차원에서 인재를 확보하기 위해 내부 역량 강화 및 외부 협력 전략 수립

 

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
.NET SDK for Hadoop  (0) 2012.12.14
오픈소스 빅데이터 요소 기술  (0) 2012.11.28
Hadoop  (0) 2012.11.25
Big Data(빅 데이터)  (0) 2012.11.25
posted by 정홍주
2012.01.19 17:35 SQL

요즘 화두가 되고 있는 Big Data에 대한 내용을 간략히 정리해보겠습니다.

 

I.       Big Data 개념

가.   빅 데이터(Big Data)의 정의

-       기존의 관리 및 분석 체계로는 감당하기 어려운 정도의 막대한 양의 데이터(Petta, Zetta)

-       수천 TB 에 달하는 거대한 데이터 집합뿐만 아니라 관련도구, 플랫폼, 분석기법까지 포괄

나.   빅 데이터 분석의 중요성

-       멀티미디어, SNS, RFID, 센서네트워크, 소셜데이터, 전자상거래, 천문/대기, 의료정보 관련 등 폭발적인 데이터 생산

-       급격히 늘어나는 데이터 속에서 필요한 정보를 식별 의사결정에 활용(기존 분석 체계로는 불가

 

II.       빅 데이터의 3가지 요소와 분석의 어려움

가.    빅데이터의 3가지 요소

구분

설명

VOLUME

-대용량의 많은 데이터를 의미

-Terabytes (PB, ZB), Tables, Files, Transactions

VELOCITY

-데이터의 흐름, 속도

-Near Time, Real Time, Streams

VARIETY

-데이터의 형태

-Structured, UnStructured, Semistructured

 

나.   빅 데이터 분석과 기존 경영 정보 분석이 차이점

-       기존의 경영정보 분석은 일정한 양식에 따라 정제된 데이터를 취급

-      웹사이트의 방문기록, 소셜 미디어의 소통 정보를 망라한 빅 데이터는 양식이 제각기 다르고 구조화된 수준이 낮음

-      빅데이터는 구조화 수준이 낮고 매우 방대한 데이터를 다루므로 진보된 분산 처리 기술과 통계적 기법, 인공지능 기법 등이 필요

 

그래서 Big Data에 대한 분석 기술(Text Mining )과 분산 처리 기법(Hadoop ) 이 발전하게 됩니다.

 

 

신고

'SQL' 카테고리의 다른 글

SQL Server 2012 RTM  (0) 2012.03.07
Hadoop  (0) 2012.02.13
Big Data  (0) 2012.01.19
SQL Server 2012 RC  (0) 2011.11.19
PASS Summit 2011 – Big Data  (0) 2011.10.15
PASS Summit 2011 – Keynote(2)  (0) 2011.10.14
posted by 정홍주
prev 1 next

티스토리 툴바