redJu(홍주)

Windows Azure HDInsight GA(Generally Available) 금일 새벽 메일을 받았는데 Windows Azure의 HDInsight 이 GA(Generally Available) 로 변경되었다는 내용입니다. 바로 Windows Azure 관리 포털의 왼쪽 메뉴에서 HDInsight를 아래와 같이 확인이 가능합니다. 또는 새로 만들기, 데이터서비스에서 HDInsight 메뉴를 확인할 수 있습니다. HDInsight는 Apache Hadoop 플랫폼이 클라우드에서 지원되는 것으로 Hive를 이용하여 빅데이터를 접근할 수 있는 서비스입니다. Name Node와 Compute Node 로 나뉘어져 클러스터로 구성되며 하둡분산파일시스템(HDFS)와 병렬처리(MapReduce)로 구성되어 ..

Windows Azure HDInsight – Hadoop 오늘 새벽 HDInsight 가 Public Preview가 나왔다는 메일을 받아서 아래와 같이 확인해보았습니다. 이전까지는 사전 신청자에 한해서만 테스트가 되었는데 Windows Azure 관리 포털에서 액세스 가능합니다. HDInsight가 어떤 기능인지는 아래 링크를 확인해보시면 됩니다. http://www.windowsazure.com/ko-kr/home/features/hdinsight/ HDInsight는 100% Apache Hadoop 솔루션을 클라우드에 가져오는 Microsoft의 Hadoop 기반 서비스입니다. HDInsight는 구조화 여부 및 크기에 관계없이 모든 형식의 데이터를 관리하는 현대적인 클라우드 기반 데이터 플랫폼..

HDFS (Hadoop Distributed File System) I. HDFS(Hadoop Distributed File System) 개요 - Master/Slave 구조로 Master인 Name node가 파일의 메타(meta) 정보를 관리하고 실제 데이터는 여러 대의 Data node에 분산해서 저장하는 하둡 분산 파일 시스템 II. HDFS의 특징 및 읽기 및 쓰기 동작 가. HDFS의 특징 구분 특징 Data Block 파일을 블록단위로 쪼개서 여러 Data node에 나눠서 저장하고 각 파일의 기본 정보 및 각 블록들의 위치 정보를 Name node에서 관리 Replication 일부 Data node에 장애가 발생하더라도 데이터가 유실되는 것을 막기 위해 각 데이터 블록에 대해서 여러 개..

빅 데이터에 대한 내용 중 최대의 화두는 Hadoop 입니다. I. Hadoop의 정의 - 클라우드의 핵심 기술로써 아파치의 오픈소스 프로젝트중 하나인 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크 (더그 커팅 창시) II. Hadoop의 Ecosystem의 구성도와 구성 요소 가. Hadoop의 Ecosystem 의 구성도 나. Hadoop의 Ecosystem 의 구성 요소 구분 구성요소 내용 Core HDFS 분산 파일 시스템, Name, Data Node MapReduce 분산 처리, Job/Task Tracker HBase Column DB, Column Index Client Pig Data Flow 에 대한 ETL Tools Hive MapReduce 컨트롤 및 Query L..

Apache Hadoop On Windows Apache Hadoop On Windows 에 대한 위키 페이지는 아래를 참고하십시오. http://social.technet.microsoft.com/wiki/contents/articles/6204.hadoop-based-services-for-windows.aspx 제한된 CTP에 대한 내용은 아래 링크를 클릭해서 등록하시면 됩니다. https://connect.microsoft.com/SQLServer/Survey/Survey.aspx?SurveyID=13697 여러 링크가 있어 Hadoop에 대한 내용을 살펴볼 수 있을 것 같습니다. Getting Started with Hadoop-based Services for Windows •On-Premis..

Hadoop Big Data와 Hadoop 은 상당히 언급이 많이 되고 있는 사항들입니다. 간략히 Hadoop에 대해서 정리해보았습니다. 가. Hadoop의 정의 - 클라우드의 핵심 기술로써 아파치의 오픈소스 프로젝트중 하나인 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크 (더그 커팅 창시) - 인터넷 서비스를 위해 대용량 데이터를 대규모 저가 노드 기반 클러스터 시스템에 분산 관리하는 오픈 소스 기술 나. Hadoop 등장배경 - 비정형 파일 데이터의 양이 기하급수적으로 증가 (PB, ZB) - 대규모의 비정형 데이터 분석을 배치로 처리 요구 - 빅 데이터’에 대한 가장 현실적인 대안 (아마존, 야후, 구글 등에서 활용 중) 다. Hadoop의 구성요소 구분 내용 HDFS -Hadoo..