빅 데이터 활용 기술 및 솔루션

 

빅 데이터 활용 기술 및 솔루션

 

빅 데이터 활용 기술 및 솔루션에 대해서 정리해보았습니다.

구분		기술 및 솔루션
인프라		-       Hadoop 플랫폼 -       In-Memory DBMS -       In-Memory 컴퓨팅 (SAP HANA 등) -       Appliance -       클라우드 컴퓨팅, Grid 컴퓨팅
수집		-       Crawling, ETL Sqoop(RDB Import/Export) Chukwa(로그 데이터 수집)
저장 관리	분산 DBMS	-       RDBMS (Shared Nothing, Everything) RAC +ASM -       NoSQL Column 기반(Hbase,Cassandra,HyperTable,SimpleDB) Key,Value 기반(Redis,Riak,Voldemort,WA Storage) Document 기반(Mongo DB,DynamoDB) Graph (Neo4J, AllegroGraph) -       NewSQL RDBMS(SQL편의성)+NoSQL(확장성) MongoDB,SQL Azure
	분산 파일	-       GFS, HDFS, GloryFS, owFS
처리 기술		-       대용량 처리 MapReduce, Twister, Haloop, MapReduce Online -       실시간 CEP, EDA, S4, STORM, Kafka
분석		-       Data Mining, Text Mining, Opinion Mining, Cluster Analytics, Content Mining, Real-time Mining, Gremlin과 Giraph
시각화		-       R, D3, Infographics Drill과 Dremel