redJu(홍주)

Hadoop 외에 다른 요소 기술도 있습니다. I. 잠재력이 큰 오픈소스 빅데이터 요소 기술의 등장 가. 오픈소스 빅데이터 요소 기술의 정의 - 하둡이나 맵리듀스의 한계를 넘어 실시간, 양방향 처리에 초점을 맞추는 특징을 가지는 기존의 빅데이터 기술들을 대체할 것으로 기대되는 기술 나. 오픈소스 빅데이터 요소 기술의 주목 이유 - 실시간, 양방향 처리 - 데이터의 시각화가 강조 - 직관적인 빅데이터 기술 모색 - 그래프 접근 방식의 필요 II. 오픈소스 빅데이터 요소 기술 l 태크크런치 구분 내용 주목이유 STORM과 KAFKA 스톰: 트위터에서 개발한 분산 실시간 프로세싱 카프카: 링크드인에서 개발된 메시지 시스템으로 실시간 데이터 프로세싱 파이프라인 두 기술이 짝을 이루면 모든 메시지를 실시간으로 신..

빅 데이터에 대한 내용 중 최대의 화두는 Hadoop 입니다. I. Hadoop의 정의 - 클라우드의 핵심 기술로써 아파치의 오픈소스 프로젝트중 하나인 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크 (더그 커팅 창시) II. Hadoop의 Ecosystem의 구성도와 구성 요소 가. Hadoop의 Ecosystem 의 구성도 나. Hadoop의 Ecosystem 의 구성 요소 구분 구성요소 내용 Core HDFS 분산 파일 시스템, Name, Data Node MapReduce 분산 처리, Job/Task Tracker HBase Column DB, Column Index Client Pig Data Flow 에 대한 ETL Tools Hive MapReduce 컨트롤 및 Query L..

Big Data(빅 데이터) 전자 신문이나 IT 관련 기사, 웹을 보면 빅 데이터란 말이 화두가 되고 있음을 알 수 있습니다. BI 측면에서도 많은 부분이 향상되었으며 많은 솔루션 업체에서 빅 데이터에 대한 비즈니스를 주도 하고 있습니다. Microsoft 에서는 BI 플랫폼에 HDInsight와 In-Memory 데이터베이스-Hekaton, PolyBase 를 11월에 발표했습니다. 이제부터 Microsoft의 BI 와 HDInsight 에 대한 내용을 별도 카테고리로 구성해보려고 합니다. 아래에서 간략히 빅 데이터의 3대 특성과 활용 요소에 대한 내용을 알아보도록 하겠습니다. 출처: www.itsa.or.kr 성공적인 빅데이터 활용을 위한 3대 요소 :자원, 기술, 인력 l 빅 데이터의 3대 특성 추..