redJu(홍주)

Microsoft Azure HDInsight 쿼리 콘솔 이번 글에서는 Microsoft Azure의 HDInsight에서 쿼리 콘솔을 간략히 살펴보겠습니다. Azure 관리포털에서 HDInsight를 생성하였다면 이름을 클릭하여 대시보드 메뉴 아래에서 쿼리 콘솔 메뉴를 클릭합니다. 그러면 인증 창이 나타나는데 인증에 필요한 계정과 비밀번호는 HDInsight를 생성시 입력한 관리자 계정과 비밀번호에 대한 정보를 입력하면 됩니다. 그러면 Azure의 웹 사이트 로그와 저장소에 대한 분석을 할 수 있는 솔루션과 기본적으로 제공되는 샘플 데이터를 위한 솔루션을 볼 수 있습니다. 샘플 데이터를 위한 솔루션에서 적절한 것을 선택하고 설명대로 따라가면 Hive 등의 결과를 바로 확인할 수 있습니다. Hive 쿼리..

Power BI Desktop 게시 앞 글에서 Power BI Desktop 으로 보고서를 작성하는 내용을 살펴보았습니다. 이번 글에서는 그 파일을 Power BI 사이트에 게시하여 대시보드를 작성하는 방법을 다루어보겠습니다. Power BI 사이트로 이동하여 데이터 가져오기를 클릭하여 파일의 가져오기에서 로컬 파일을 선택한 후 Power BI Desktop 파일(.pbix)를 선택하면 업로드 됩니다. 업로드가 되고 나면 데이터 집합과 보고서 부분에 Power BI Desktop 이 생성되는 것을 확인할 수 있습니다. 또 다른 게시 방법은 Power BI Desktop의 파일 메뉴에서 Power BI 사이트로 로그온 하고 난 후 홈 탭에서 게시 메뉴를 클릭하면 데이터 가져오기와 마찬가지로 데이터 집합과 ..

HDInsight Hadoop – Word Count(1) Hadoop 클러스터를 원격으로 연결하여 Hadoop Command 에서 아래와 같은 명령어로 Word Count 로 MapReduce 작업을 실행하여 결과를 확인해보겠습니다. MapReduce 작업에 대한 설명은 아래 링크를 확인할 수 있습니다. https://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-use-mapreduce/ MapReduce 관련 작업을 실행하기 위해 반드시 Hadoop Command 에서 실행해야 하는 것은 아닙니다. Azure PowerShell을 통해 Hadoop 클러스터가 아닌 원격에서 실행할 수 도 있습니다. 아래 구문을 하나씩 복사하여 실행할 수 있습..

HDInsight - Hadoop 시작 요번 글에서는 Microsoft Azure에서 HDInsight로 Hadoop 을 만들어보겠습니다. 빅 데이터의 핵심이라고 할 수 있는 부분인 Hadoop을 Windows Server에 구성하는 내용입니다. 관리 포털로 이동하여 새로 만들기에서 HDInsight에서 Hadoop을 선택합니다. 사전에 저장소를 생성해야 합니다. 시간이 약 30분이내로 흐르면 생성이 완료되어 실행 중으로 메뉴가 바뀌게 됩니다. 이름을 클릭하여 구성 메뉴로 이동합니다. 아래 쪽을 보면 원격 사용 메뉴를 확인할 수 있습니다. 원격 사용 메뉴를 클릭하여 RDP 사용자 이름과 암호, 만료날짜를 입력합니다. 시간이 지나면 연결 메뉴가 활성화 됩니다. 연결 메뉴를 클릭하여 위에서 입력한 RDP 사..

Power BI 소매점 샘플 Power BI 에 로그온하면 샘플을 추가하여 데이터 집합, 보고서, 대시보드를 확인할 수 있습니다. 바로 모바일 앱에서도 확인해볼 수 있습니다. Sign in 메뉴를 통해 회사메일(Hotmail, naver 등이 아닌 메일)로 로그온합니다. Office 365 계정이 있다면 로그온 할 수 도 있습니다. 데이터 가져오기 창에서 아래쪽에 샘플 링크를 볼 수 있습니다. 샘플 링크를 클릭합니다. 잠시후 데이터 집합, 보고서, 대시보드가 활성화 되는 것을 볼 수 있습니다. 소매점 샘플 대시보드를 확인할 수 있습니다. 다음은 보고서 메뉴에서 소매점 샘플을 클릭할 수 있습니다. 해당 보고서 중에서 특정 보고서의상단 고정 단추를 클릭하여 대시보드로 손쉽게 추가할 수 있습니다. 맨 마지막 ..

Power BI Desktop 살펴보기 Power BI 웹에서도 데이터 셋을 기반으로 보고서와 대시보드를 생성할 수 있습니다. 별도로 Power BI Desktop(예전 Power BI Designer)으로 웹에서와 동일한 데이터 쿼리 및 모델링을 통해 보고서를 작성하고 게시 할 수 있습니다. 아래 링크를 통해 다운로드 하여 설치할 수 있습니다. 본 글에서는 Power BI Desktop을 다운로드 하여 설치하고 사용자 인터페이스를 간략히 살펴보도록 하겠습니다. https://www.microsoft.com/ko-KR/download/details.aspx?id=45331 다운로드 하여 설치를 진행하면 됩니다. 설치는 간단히 가능합니다. 설치 후 Power BI Desktop을 시작합니다. 그럼 시작 페..

Power BI 2.0 Excel 2013에서도 BI 에 대한 내용이 많이 강화되어 있습니다. 그런데 PowerPivot 이나 Power View에 대한 내용을 물어보면 다들 뭔 소리냐고 합니다. Excel 2013에서는 PowerPivot, Power View, 파워 쿼리, 파워 맵에 대한 내용을 지원하고 있습니다. 그리고 피벗테이블, 피벗차트, 슬라이서 등으로 이용하여 분석 보고서를 효과적으로 생성할 수 있습니다. 그리고 보고서를 공유하고 협업 하는 내용으로 SharePoint에서는 Excel Services와 Excel Web Access 웹 파트 외에 다양한 기능들을 제공하고 있습니다. Office 365용 Power BI의 SharePoint Online에서는 Power BI 앱을 볼 수 있는데..

Big Data와 Microsoft Azure HDInsight Big Data와 Microsoft Azure HDInsight에 대한 내용으로 연세대학교 원주캠퍼스에서 특강을 했습니다. 3월에는 캡스톤 평가에도 참석하였으며 IoT 관련하여 8월에 다시 방문할 예정입니다. 데이터 과학자에 대한 내용을 강조했으며, Big Data와 Hadoop 내용이 의공학과 관련하여 학생들과 업체에 많은 도움이 되었으면 합니다. 의료관련 빅 데이터는 액세스가 어려웠지만 심평원 링크를 참고하여 직접 방문하거나 원격으로 액세스 할 수 있습니다. http://opendata.hira.or.kr/home.do 빅데이터 전략센터에 대한 링크도 참고할 수 있습니다. https://kbig.kr/

SQL Database V12 – 투명한 데이터 암호화(Transparent Data Encryption) 이번 글에서는 Azure SQL Database V12에서 투명한 데이터 암호화(TDE)를 지원하는 내용을 살펴보겠습니다. 보다 더 자세한 정보는 아래 링크를 참고할 수 있습니다. https://msdn.microsoft.com/library/0bf7e8ff-1416-4923-9c4c-49341e208c62.aspx Azure SQL Database V12의 새로운 기능에 대한 내용은 아래 링크를 참고할 수 있습니다. https://azure.microsoft.com/ko-kr/documentation/articles/sql-database-v12-whats-new/ 투명한 데이터 암호화(TDE) ..

SQL Database V12 – 행 수준 보안(Row-Level Security) 이번 글에서는 Azure SQL Database V12에서의 행 수준 보안(Row-Level Security)에 대한 내용을 살펴보려 합니다. 행 수준 보안(RLS)의 경우 SQL Server 2014에서 지원되는 기능으로 사용자별로 SELECT 결과값이 다르게 나오게 하는 것으로 사전 설정된 행 필터에 따라 결과를 표시하므로 사용자마다 다른 결과값을 보게 됩니다. Azure SQL Database V12의 새로운 기능에 대한 내용은 아래 링크를 참고할 수 있습니다. https://azure.microsoft.com/ko-kr/documentation/articles/sql-database-v12-whats-new/ 행 ..