블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

Notice

'Microsft Azure/고급 분석'에 해당되는 글 23

  1. 2012.11.28 오픈소스 빅데이터 요소 기술
  2. 2012.11.25 Hadoop
  3. 2012.11.25 Big Data(빅 데이터)
2012.11.28 08:00 Microsft Azure/고급 분석

Hadoop 외에 다른 요소 기술도 있습니다.

I.       잠재력이 큰 오픈소스 빅데이터 요소 기술의 등장

가.   오픈소스 빅데이터 요소 기술의 정의

-       하둡이나 맵리듀스의 한계를 넘어 실시간, 양방향 처리에 초점을 맞추는 특징을 가지는 기존의 빅데이터 기술들을 대체할 것으로 기대되는 기술

나.   오픈소스 빅데이터 요소 기술의 주목 이유

-       실시간, 양방향 처리

-       데이터의 시각화가 강조

-       직관적인 빅데이터 기술 모색

-       그래프 접근 방식의 필요

II.     오픈소스 빅데이터 요소 기술 

l  태크크런치

구분

내용

주목이유

STORM KAFKA

스톰: 트위터에서 개발한 분산 실시간 프로세싱

카프카: 링크드인에서 개발된 메시지 시스템으로 실시간 데이터 프로세싱 파이프라인

두 기술이 짝을 이루면 모든 메시지를 실시간으로 신뢰성 있게 처리할 수 있으며 인메모리 분석과 실시간 의사결정 지원이 우수

Drill Dremel

데이터 탐색에 적합하며 대량의 애드혹 쿼리 가능, 대용량 데이터의 빠른 응답속도와 시각화 지원

비지니스 애널리스트들과 현업부서에서 선호할 기술로 지연율이 낮음

Gremlin Giraph

그래프 분석 강화를 지원

컴퓨터 네트워크, 소셜 네트워크 모델링에 필요

대형 네트워크에 적합

R

S 언어의 현대적 버전이며 새로운 통계 표준

강력한 커뮤니티

더 낮은 가격과 더 복잡한 데이터 과학을 수행

SAP HANA

인메모리 분석 플랫폼

SAP가 무료로 제공, 커뮤니티 육성

보통 이상의 빠른 처리가능

 

l  추가 기술

D3

자바스크립트 문서 시각화 라이브러리로 정보를 창의적으로 시각화, 데이터를 인터렉티브하게 만듬

오바마의 2013년 예산 제안을 양향향 웹 그래픽으로 표현

 

itfind 주간기술동향 1527

'Microsft Azure > 고급 분석' 카테고리의 다른 글

D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
.NET SDK for Hadoop  (0) 2012.12.14
오픈소스 빅데이터 요소 기술  (0) 2012.11.28
Hadoop  (0) 2012.11.25
Big Data(빅 데이터)  (0) 2012.11.25
posted by 정홍주
2012.11.25 19:43 Microsft Azure/고급 분석

빅 데이터에 대한 내용 중 최대의 화두는 Hadoop 입니다.

I.       Hadoop의 정의

-       클라우드의 핵심 기술로써 아파치의 오픈소스 프로젝트중 하나인 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크 (더그 커팅 창시)

II.     HadoopEcosystem의 구성도와 구성 요소

가.   Hadoop Ecosystem 의 구성도

 

 나.   Hadoop Ecosystem 의 구성 요소

구분

구성요소

내용

Core

HDFS

분산 파일 시스템, Name, Data Node

MapReduce

분산 처리, Job/Task Tracker

HBase

Column DB, Column Index

Client

Pig

Data Flow 에 대한 ETL Tools

Hive

MapReduce 컨트롤 및 Query Language

Sqoop

RDBMS와의 데이터 Import, Export

Manage

ZooKeeper

분산 응용 프로그램 coordination

Avro

데이터 직렬화 시스템

Chukwa

Data Collection System

'Microsft Azure > 고급 분석' 카테고리의 다른 글

D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
.NET SDK for Hadoop  (0) 2012.12.14
오픈소스 빅데이터 요소 기술  (0) 2012.11.28
Hadoop  (0) 2012.11.25
Big Data(빅 데이터)  (0) 2012.11.25
posted by 정홍주
2012.11.25 19:42 Microsft Azure/고급 분석

 

Big Data(빅 데이터)

 

전자 신문이나 IT 관련 기사, 웹을 보면 빅 데이터란 말이 화두가 되고 있음을 알 수 있습니다.

BI 측면에서도 많은 부분이 향상되었으며 많은 솔루션 업체에서 빅 데이터에 대한 비즈니스를 주도 하고 있습니다. Microsoft 에서는 BI 플랫폼에 HDInsight In-Memory 데이터베이스-Hekaton, PolyBase 11월에 발표했습니다.

이제부터 Microsoft BI HDInsight 에 대한 내용을 별도 카테고리로 구성해보려고 합니다.

아래에서 간략히 빅 데이터의 3대 특성과 활용 요소에 대한 내용을 알아보도록 하겠습니다.

 출처: www.itsa.or.kr 성공적인 빅데이터 활용을 위한 3대 요소 :자원, 기술, 인력

l  빅 데이터의 3대 특성

 

 

추가로 가트너에서는 C- Complexity 를 추가하여 4 개의 축으로 제시하고 있습니다.

구분

주요 내용

Volume

디지털 정보량이 기하급수적으로 급증 ZB 시대로 진입

Variety

로그기록,소셜,위치 정보 등 데이터 종류의 증가

텍스트 이외의 멀티미디어 등 비정형 데이터 유형의 다양화

Complexity

구조화되지 않은 데이터, 데이터 저장방식의 차이,중복성 문제

데이터 관리 및 처리의 복잡성이 심화

Velocity

사물 정보(센서, 모니터링), 스트리밍 정보 등 실시간성 정보증가

 

l  빅 데이터의 3대 활용 요소

 

 

     자원: 활용할 수 있는 빅 데이터 발견

-       주어진 빅 데이터를 관리, 처리하는 측면과 함께, 활용할 수 있는 외부 빅데이터 자원을 발견하고 확보하는 전략 수립

     기술: 빅 데이터 프로세스와 신기술 이해하기

-       조직과 기업의 혁신 전략으로 적용할 수 있도록 빅 데이터 플랫폼, 빅 데이터 분석 기술 및 데이터 분석 기법에 대한 이해

     인력: 데이터 사이언티스트 역량 키우기

-       조직 차원에서 인재를 확보하기 위해 내부 역량 강화 및 외부 협력 전략 수립

 

'Microsft Azure > 고급 분석' 카테고리의 다른 글

D3  (0) 2013.04.22
HDFS (Hadoop Distributed File System)  (1) 2012.12.14
.NET SDK for Hadoop  (0) 2012.12.14
오픈소스 빅데이터 요소 기술  (0) 2012.11.28
Hadoop  (0) 2012.11.25
Big Data(빅 데이터)  (0) 2012.11.25
posted by 정홍주
prev 1 2 3 next