redJu(홍주)

Windows Azure의 HDInsight 시작 HDInsight는 100% Apache Hadoop 솔루션을 Windows Azure에 구현한 Microsoft의 Hadoop 기반 서비스이며 HortonWorks의 HDP로 구성되어 있습니다. 또한 Hadoop on Windows도 제공하고 있습니다. l 신속한 배포 Windows Azure의 HDInsight를 사용하면 관리나 배포의 용이성을 간단하게 제공받을 수 있어 신속한 배포가 가능합니다. l 익숙한 도구를 통한 통찰력 Excel, PowerPivot을 통해 빅데이터의 쉬운 분석이 가능해 익숙한 도구를 통한 Insight가 가능합니다. l 다양한 프로그래밍 여러 언어를 통해 프로그래밍이 가능하도록 제공하고 있으며 LINQ to Hive를 제공하..

Windows Azure HDInsight GA(Generally Available) 금일 새벽 메일을 받았는데 Windows Azure의 HDInsight 이 GA(Generally Available) 로 변경되었다는 내용입니다. 바로 Windows Azure 관리 포털의 왼쪽 메뉴에서 HDInsight를 아래와 같이 확인이 가능합니다. 또는 새로 만들기, 데이터서비스에서 HDInsight 메뉴를 확인할 수 있습니다. HDInsight는 Apache Hadoop 플랫폼이 클라우드에서 지원되는 것으로 Hive를 이용하여 빅데이터를 접근할 수 있는 서비스입니다. Name Node와 Compute Node 로 나뉘어져 클러스터로 구성되며 하둡분산파일시스템(HDFS)와 병렬처리(MapReduce)로 구성되어 ..

Hadoop 외에 다른 요소 기술도 있습니다. I. 잠재력이 큰 오픈소스 빅데이터 요소 기술의 등장 가. 오픈소스 빅데이터 요소 기술의 정의 - 하둡이나 맵리듀스의 한계를 넘어 실시간, 양방향 처리에 초점을 맞추는 특징을 가지는 기존의 빅데이터 기술들을 대체할 것으로 기대되는 기술 나. 오픈소스 빅데이터 요소 기술의 주목 이유 - 실시간, 양방향 처리 - 데이터의 시각화가 강조 - 직관적인 빅데이터 기술 모색 - 그래프 접근 방식의 필요 II. 오픈소스 빅데이터 요소 기술 l 태크크런치 구분 내용 주목이유 STORM과 KAFKA 스톰: 트위터에서 개발한 분산 실시간 프로세싱 카프카: 링크드인에서 개발된 메시지 시스템으로 실시간 데이터 프로세싱 파이프라인 두 기술이 짝을 이루면 모든 메시지를 실시간으로 신..