redJu(홍주)

9가지 오픈소스 빅 데이터 기술 빅 데이터에 대한 관심은 여러 산업 분야에서 부각되는 이슈입니다. 이와 관련하여 클라우드에서도 다양한 빅 데이터 관련 기술이나 플랫폼을 제공하고 있습니다. Microsoft Azure 에서는 100% Apache Hadoop인 HDInsight부터해서 다양한 기능을 아래 그림처럼 제공하고 있습니다. 요번글은 9가지 주목해야 할 9가지 오픈소스 빅 데이터 기술에 대한 글이 있어 정리해보았습니다. 자세한 정보는 아래 링크를 통해 확인할 수 있습니다. http://www.ciokorea.com/slideshow/12897 1. Hadoop HDFS와 MapReduce로 구성되어 있으며 빅 데이터를 분할한 뒤 다수의 Node에서 병렬로 처리하며 현재 Hadoop은 빅 데이터를 구..

Azure HDInsight 평가판 앞에서 HDInsight 등에 대한 정보를 알려드렸는데 HDInsight를 테스트하려면 먼저 Azure를 구독해야 합니다. Azure 구독을 위해서는 신용정보 확인이 필요해서 번거로울 수도 있습니다. 아래 링크를 확인해보시면 별도로 Azure 구독을 하지 않고 7일동안 Hadoop 클러스터를 테스트할 수 있습니다. https://azure.microsoft.com/ko-kr/blog/try-hadoop-on-azure-hdinsight-7/ 아래 정보를 위 링크에 있는 메일로 보내면 4 노드의 클러스터를 7일동안 평가판으로 이용할 수 있습니다. •First and last name •Company/organization •Work email address •Worklo..

HDInsight Sample – Sensor Data Analysis Hive Editor 를 통해 수집된 데이터로부터 Hive 쿼리를 통해 Hive 테이블을 생성하고 이를 Excel 2013에서 액세스해서 시각화 하는 예제를 알아보겠습니다. HDInsight Query Console 에 보면 Sensor Data Analysis 예제를 확인할 수 있으며 Building 데이터와 HAV (냉난방기) 데이터를 수집하여 Hive 분석하는 내용을 아래 그림처럼 설명해주고 있습니다. 먼저 데이터를 살펴보아야 할 것 같은데요, 일단 데이터는 이미 HDinsight에 연결된 저장소 계정의 컨테이너에 저장되어 있습니다. 데이터를 한번 열어보면 아래와 같은 CSV로 구성되어 있습니다. 전세계 빌딩에서 온도 정보가 수..

Microsoft Azure HDInsight 쿼리 콘솔 이번 글에서는 Microsoft Azure의 HDInsight에서 쿼리 콘솔을 간략히 살펴보겠습니다. Azure 관리포털에서 HDInsight를 생성하였다면 이름을 클릭하여 대시보드 메뉴 아래에서 쿼리 콘솔 메뉴를 클릭합니다. 그러면 인증 창이 나타나는데 인증에 필요한 계정과 비밀번호는 HDInsight를 생성시 입력한 관리자 계정과 비밀번호에 대한 정보를 입력하면 됩니다. 그러면 Azure의 웹 사이트 로그와 저장소에 대한 분석을 할 수 있는 솔루션과 기본적으로 제공되는 샘플 데이터를 위한 솔루션을 볼 수 있습니다. 샘플 데이터를 위한 솔루션에서 적절한 것을 선택하고 설명대로 따라가면 Hive 등의 결과를 바로 확인할 수 있습니다. Hive 쿼리..

HDInsight Hadoop – Word Count(2) 앞에서 Hadoop Command 창에서 Word Count를 실행해보았습니다. 사실 Hadoop에 연결해야 하는 번거로움이 있기는 합니다. Microsoft Azure의 PowerShell을 통해 원격에서도 Word Count 등의 MapReduce 작업을 실행할 수 있습니다. Azure PowerShell은 http://azure.microsoft.com/ko-kr/ 의 다운로드 링크를 통해 설치할 수 있습니다. 아래는 PowerShell ISE를 통해 진행합니다. l Word Count # 변수 선언 $subscriptionName = “Azure subscription name" $clusterName = "HDInsight cluster..

HDInsight Hadoop – Word Count(1) Hadoop 클러스터를 원격으로 연결하여 Hadoop Command 에서 아래와 같은 명령어로 Word Count 로 MapReduce 작업을 실행하여 결과를 확인해보겠습니다. MapReduce 작업에 대한 설명은 아래 링크를 확인할 수 있습니다. https://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-use-mapreduce/ MapReduce 관련 작업을 실행하기 위해 반드시 Hadoop Command 에서 실행해야 하는 것은 아닙니다. Azure PowerShell을 통해 Hadoop 클러스터가 아닌 원격에서 실행할 수 도 있습니다. 아래 구문을 하나씩 복사하여 실행할 수 있습..

HDInsight - Hadoop 시작 요번 글에서는 Microsoft Azure에서 HDInsight로 Hadoop 을 만들어보겠습니다. 빅 데이터의 핵심이라고 할 수 있는 부분인 Hadoop을 Windows Server에 구성하는 내용입니다. 관리 포털로 이동하여 새로 만들기에서 HDInsight에서 Hadoop을 선택합니다. 사전에 저장소를 생성해야 합니다. 시간이 약 30분이내로 흐르면 생성이 완료되어 실행 중으로 메뉴가 바뀌게 됩니다. 이름을 클릭하여 구성 메뉴로 이동합니다. 아래 쪽을 보면 원격 사용 메뉴를 확인할 수 있습니다. 원격 사용 메뉴를 클릭하여 RDP 사용자 이름과 암호, 만료날짜를 입력합니다. 시간이 지나면 연결 메뉴가 활성화 됩니다. 연결 메뉴를 클릭하여 위에서 입력한 RDP 사..

Big Data와 Microsoft Azure HDInsight Big Data와 Microsoft Azure HDInsight에 대한 내용으로 연세대학교 원주캠퍼스에서 특강을 했습니다. 3월에는 캡스톤 평가에도 참석하였으며 IoT 관련하여 8월에 다시 방문할 예정입니다. 데이터 과학자에 대한 내용을 강조했으며, Big Data와 Hadoop 내용이 의공학과 관련하여 학생들과 업체에 많은 도움이 되었으면 합니다. 의료관련 빅 데이터는 액세스가 어려웠지만 심평원 링크를 참고하여 직접 방문하거나 원격으로 액세스 할 수 있습니다. http://opendata.hira.or.kr/home.do 빅데이터 전략센터에 대한 링크도 참고할 수 있습니다. https://kbig.kr/

Azure Machine Learning - 데모 BUILD 관련해서 사진을 분석해서 나이를 알려주는 사이트가 많은 관심을 받았습니다. 아래 사이트를 방문해서 사진을 올려 나이를 한번 확인해보십시오~ 아래 사이트를 참고해서 테스트 해볼 수 있습니다. http://how-old.net/ 나이를 확인한 사람들 중 실제나이보다 결과가 더 많게 나오면 불만이 많고 동안으로 나오면 조용한 것 같습니다. 안경을 벗어서 해보면 또 달라지기는 합니다, 또는 동양인은 예상과 다르다고들 하기도 합니다. 사진을 통한 결과에서 나이가 높다 낫다 라고 하는 것보다는 위 사이트의 링크를 통해서 관련 기술을 살펴볼 수 있습니다. http://blog.how-old.net/ 이 데모는 Azure Services를 이용해서 쉽고 빠르..

HDInsight에서 HBase 지원 Azure에서 Redis Cache 서비스를 제공한다는 소식이 나온지 얼마 안되었는데 이제부터 HDInsight 3.0 부터는 HBase 지원이 가능해졌습니다. HBase는 Column Data Store 방식의 NoSQL입니다. 현재는 Beta 기능입니다. Hive 공부 하고 써먹어보려니 HBase를 공부해야겠습니다. 자세한 정보는 아래 링크를 참고할 수 있습니다. http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-get-started/ 그리고 최신 Apache Hadoop 2.4 릴리즈로 업데이트되면서 Hive 쿼리를 아주 빠르게(기존보다 100배) 지원하게 되었습니다. HDInsigh..