블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31    

Notice

2015.11.28 17:30 기타

한이음 엑스포 2015

올해 한이음 빅프로젝트 마무리로 한이음 엑스포 2015가 코엑스에 있었습니다.

점심에 맞춰 들러서 멘티와 점심 후 다른 부스를 둘러 보았는데 참신한 것도 있고 일반적인 것 도 있었습니다.

올 한해 고생한 멘티들에게 고마움을 전합니다. 중간에 낙오하거나 포기하지 않고 열심히 해주어 고맙습니다. 기획 프로젝트에 참여한 멘티들도 ~

전시작 팀의 주제는 안전벨트 착용 감지기로 IoT 와 앱을 연동했습니다.

한이음 ICT 멘토링은 실무 강화 지원 프로젝트로 대학생 멘티들의 실무 강화에 도움이 되고 있습니다.

http://www.hanium.or.kr/

 

 

신고

'기타' 카테고리의 다른 글

한이음 엑스포 2015  (0) 2015.11.28
MSDN 포럼 업데이트  (0) 2013.06.20
2013년 Microsoft Certification  (0) 2013.01.07
HTML 5 (70-480) - 시험 무료 바우처  (0) 2012.11.09
MCP 시험 응시료 인상  (0) 2011.04.27
posted by 정홍주
2015.10.30 08:00 Power BI

 

Excel 2016 Power BI 게시

 

Excel 2016 파일 메뉴를 클릭하고 게시 메뉴를 확인해보면 Power BI 게시가 된다는 것을 확인할 있습니다.

먼저 클라우드에 저장하고 나서 Power BI 게시할 있습니다.

PowerPivot 데이터 모델을 통해 Power View 보고서를 생성한 문서를 Excel 2016에서 열어 Power BI 게시해보려 합니다. 게시 메뉴에서 클라우드 저장 버튼을 클릭합니다.

클라우드 저장에서는 사이트의 개인 문서 라이브러리를 지정하여 문서를 저장합니다.

저장되고 나면 아래와 같이 게시 메뉴로 변경됩니다. 게시 메뉴를 클릭합니다.

Excel 하단에서 Power BI 게시 중이라는 상태 메시지를 있습니다.

게시가 되면 Excel 정보 창에서 Power BI 이동이라는 버튼을 있습니다.

Power BI 사이트로 이동해보면 아래 그림과 같이 데이터 집합과 보고서에 새로운 항목이 생긴 것을 확인할 있습니다. 보고서에 보이는 내용은 Excel Power View 시트입니다.

여기까지가 Excel 2016 Power BI 게시에 대한 내용입니다.

PowerPivot 데이터 모델로 Power View 없는 Excel 2016 내용처럼 Power BI 게시해보도록 하겠습니다. 아래 그림처럼 데이터 집합에만 항목이 생성됩니다.

Excel 2016 Power BI 게시할 클라우드 저장에서 Office 365 사이트의 문서 라이브러리로 지정하고 나면 아래 그림과 같이 게시 메뉴가 나타나지 않습니다. 사이트의 문서 라이브러리에 저장하면 됩니다.

 

Power BI 사이트에서 데이터 가져오기에서 Excel 2016 문서를 바로 업로드 하는 것과 어떤 차이냐는 것인데 문서 라이브러리의 Excel 문서가 변경될 경우 새로 고침 된다는 것이 차이점이라 있습니다.

Excel 2016에서 Power BI 게시에서는 일단 클라우드로 저장이 먼저 되고 나서 Power BI 게시되는 것을 간략히 살펴보았습니다.

 

 

 

 

 

 

신고

'Power BI' 카테고리의 다른 글

Power BI – 전체 스크린 모드  (0) 2015.11.20
Excel 2016의 Power View 메뉴  (2) 2015.10.30
Excel 2016의 Power BI 게시  (0) 2015.10.30
Excel 2016의 Power View 메뉴  (2) 2015.10.30
Power BI - 쿼리 편집 계산식  (0) 2015.10.23
Power BI 10월 업데이트  (0) 2015.10.23
posted by 정홍주
2015.09.25 08:00 Microsft Azure/고급 분석

 

HDInsight Sample – Sensor Data Analysis

 

Hive Editor 를 통해 수집된 데이터로부터 Hive 쿼리를 통해 Hive 테이블을 생성하고 이를 Excel 2013에서 액세스해서 시각화 하는 예제를 알아보겠습니다. HDInsight Query Console 에 보면 Sensor Data Analysis 예제를 확인할 수 있으며 Building 데이터와 HAV (냉난방기) 데이터를 수집하여 Hive 분석하는 내용을 아래 그림처럼 설명해주고 있습니다.

먼저 데이터를 살펴보아야 할 것 같은데요, 일단 데이터는 이미 HDinsight에 연결된 저장소 계정의 컨테이너에 저장되어 있습니다. 데이터를 한번 열어보면 아래와 같은 CSV로 구성되어 있습니다. 전세계 빌딩에서 온도 정보가 수집된 데이터로 보시면 됩니다.

데이터를 수집하였으며 Hive 테이블로 EXTERNAL 테이블을 생성해보겠습니다. 아래와 같은 HIVE 쿼리 구문을 생성합니다. 저장소의 ‘,’로 구분된 CSV 파일로부터 hvac 라는 테이블을 생성합니다. Building 테이블도 마찬가지로 생성합니다.

DROP TABLE IF EXISTS hvac;

CREATE EXTERNAL TABLE hvac(date STRING, time STRING, targettemp BIGINT,

    actualtemp BIGINT,

    system BIGINT,

    systemage BIGINT,

    buildingid BIGINT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

STORED AS TEXTFILE LOCATION

'wasb://hbddemo@hbd.blob.core.windows.net/HdiSamples/SensorSampleData/hvac/';

 

위에서 생성한 Hvac 테이블로부터 분석에서 원하는 로직을 통해 데이터를 가공하거나 그룹핑, 필터링 등을 수행할 수 있습니다. 여기서는 temp_diff, extremetemp 라는 열을 통해 ‘HOT, COLD, NORMAL’에 대한 정보가 추가되는 hvac_temperatures 테이블을 생성합니다.

DROP TABLE IF EXISTS hvac_temperatures;

CREATE TABLE hvac_temperatures AS

SELECT *, targettemp - actualtemp AS temp_diff,

    IF((targettemp - actualtemp) > 5, 'COLD',

    IF((targettemp - actualtemp) < -5, 'HOT', 'NORMAL')) AS temprange,

    IF((targettemp - actualtemp) > 5, '1', IF((targettemp - actualtemp) < -5, '1', 0)) AS extremetemp

FROM hvac;

그리고 hvac_temperatures 테이블과 Building 테이블을 조인하여 국가, 빌딩년도 등의 정보를 가진 hvac_building 테이블을 생성합니다.

 

쿼리를 하나씩 실행해도 되고 한꺼번에 쿼리를 실행해도 됩니다.

생성된 Hive 테이블을 SELECT 하는 쿼리를 실행하여 결과를 확인해도 되며 예제에서처럼 Hive ODBC Driver 를 통해 연결하여 Excel에서도 시각화하여 확인이 가능합니다. Hive ODBC Driver를 설치하고 아래와 같이 클러스터 주소와 사용자 계정, 비밀번호를 입력하여 DSN을 설정합니다.

Excel 2013PowerPivot 에서 외부 데이터 가져오기를 ODBC를 통해 진행하면 아래 그림과 같이 HDInsightHive 테이블을 확인할 수 있습니다.

피벗차트 또는 피벗테이블을 통해 시각화를 진행할 수 있습니다.

 

간략히 HDInsight Query Console 에서 Hive Query를 실행하여 시각화하는 내용까지 살펴보았습니다.

 

 

신고
posted by 정홍주
TAG 정홍주
2015.09.11 08:30 Power BI

 

Power BI 새로 고침

 

기업의 사설 네트워크에 있는 데이터베이스와 Power BI 사이트에 있는 보고서는 서로 연결이 되어 있는 상황은 아니지만 주기적으로 또는 지금 새로 고침을 해야 할 이유는 기본적인 사항입니다. Power BI 개인 게이트웨이를 통해 새로 고침을 지원할 수 있습니다. 개인 게이트웨이는 이전 글을 참고할 수 있습니다. http://redju.tistory.com/459

 

로컬 SQL ServerPower BI 보고서의 새로 고침을 간략히 테스트해보겠습니다. 절차는 아래와 같습니다.

1.     먼저 개인 게이트웨이는 설치되어 있어야 합니다.

2.     Power BI Desktop에서 데이터베이스를 연결하고 보고서를 생성합니다.

3.     Power BI 사이트로 게시합니다. 보고서 집합에서 새로 고침 예약 또는 지금 새로 고침을 할 수 있습니다.

 

Power BI Desktop 에서 데이터베이스를 연결하고 보고서를 간단히 작성했습니다.

보고서를 Power BI로 게시하였으며 Accessory2014년 값이 53,155 라는 것을 확인할 수 있습니다.

해당 보고서의 데이터 집합에서 메뉴를 클릭하고 새로 고침 예약을 클릭하여 새로 고침을 설정 하거나 지금 새로 고침을 진행할 수 있습니다.

설정 화면에서는 게이트웨이 상태, 데이터 원본 자격 증명, 새로 고침 예약을 확인해볼 수 있습니다. 게이트웨이 상태는 설정이 되어 있다고 나오면 됩니다.

새로 고침 예약에서는 새로 고침의 빈도와 시간 등을 설정 하고 결과를 메일로 받거나 상단에서 확인할 수 있으며 새로 고침 기록을 확인할 수 있습니다.

데이터베이스에서 값을 변경해봅니다.

새고 고침 예약 시간이 지나거나 수작업을 새로 고침하면 데이터 집합이 변경됩니다. 하지만 보고서가 바로 갱신되지는 않습니다. 보고서 상단의 새로 고침 아이콘을 클릭하면 변경된 값을 확인할 수 있습니다.

 

로컬 SQL Server의 데이터를 개인 게이트웨이를 통해 Power BI 보고서의 새로 고침을 간략히 살펴보았습니다.

 

 

신고

'Power BI' 카테고리의 다른 글

Power BI 10월 업데이트  (0) 2015.10.23
Power BI 대시보드 공유  (0) 2015.09.18
Power BI 새로 고침  (3) 2015.09.11
Power BI 샘플 업데이트  (0) 2015.09.11
Power BI 개인 게이트웨이  (0) 2015.09.04
Power BI Desktop 게시  (0) 2015.08.28
posted by 정홍주
TAG 정홍주
2015.09.11 08:00 Power BI

 

Power BI 샘플 업데이트

 

Power BI 주간 서비스 업데이트가 있었습니다. 자세한 정보는 아래 링크를 통해 확인 가능합니다.

http://blogs.msdn.com/b/powerbi/archive/2015/09/08/power-bi-weekly-service-update-9815.aspx

 

Power BI에 로그온하여 데이터 가져오기에서 샘플을 클릭하면 아래 그림과 같이 새로운 샘플을 볼 수 있습니다. 개인적으로는 공급업체 품질 분석과 IT 지출 분석 샘플이 소매점 샘플보다 더 기업에 직관적인 것 같습니다.

공급업체 품질 분석 샘플입니다.

IT 지출 분석 샘플입니다.

추가로 보고서에서 하이퍼링크를 지원하고 차트에서는 드릴다운을 지원합니다.

 

 

신고

'Power BI' 카테고리의 다른 글

Power BI 대시보드 공유  (0) 2015.09.18
Power BI 새로 고침  (3) 2015.09.11
Power BI 샘플 업데이트  (0) 2015.09.11
Power BI 개인 게이트웨이  (0) 2015.09.04
Power BI Desktop 게시  (0) 2015.08.28
Power BI Pro MSDN 활성화  (0) 2015.08.21
posted by 정홍주
TAG 정홍주
2015.09.04 12:00 Power BI

 

Power BI 개인 게이트웨이

 

Power BI의 데이터 원본은 다양하게 지원이 되는데 Power BI 웹에서는 SQL Azure, SQL Server Analysis Services(Tabular Model)에 대한 내용을 확인할 수 있고 Power BI Desktop에서는 Azure, 데이터베이스 등과 같은 원본을 추가로 보실 수 있습니다.

 

그럼 회사 네트워크의 사설 IP 대역에 있는 데이터베이스를 Power BI 사이트에서 새로 고침이나 새로 고침 예약을 수행해야 할 상황이 발생하게 되는데 그 기능은 Power BI 개인 게이트웨이에서 가능합니다. 9월 3일에 새롭게 업데이트가 되었으니 아래 링크를 참고할 수 있습니다.

http://blogs.msdn.com/b/powerbi/archive/2015/09/03/new-version-of-personal-gateway-now-available.aspx

 

업데이트된 Power BI 개인 게이트웨이는 SQL Server Analysis Services Tabular Model Cube를 지원하니 대시보드와 보고서를 생성하는데 더 강력한 효과를 제공할 수 있습니다. On-premises에서의 대부분의 데이터를 지원합니다. Power BI 개인 게이트웨이는 아래 그림을 통해 다운로드 하여 설치할 수 있습니다.

 

다운로드하여 설치를 진행합니다.

구성 마법사에서 Power BI에 로그온하고 서비스를 실행할 수 있는 사용자로 로그온하여 설치를 완료합니다.

설치가 완료되고 나면 시작 프로그램에 등록되고 Data Management Gateway 서비스가 등록되어 있는 것을 확인할 수 있습니다.

 

다음 글에서 Power BI 개인 게이트웨이를 통해 데이터 새로 고침을 진행해보겠습니다.

 

신고

'Power BI' 카테고리의 다른 글

Power BI 새로 고침  (3) 2015.09.11
Power BI 샘플 업데이트  (0) 2015.09.11
Power BI 개인 게이트웨이  (0) 2015.09.04
Power BI Desktop 게시  (0) 2015.08.28
Power BI Pro MSDN 활성화  (0) 2015.08.21
Power BI Desktop 보고서  (0) 2015.08.21
posted by 정홍주
TAG 정홍주
2015.08.28 08:00 Microsft Azure/고급 분석

Microsoft Azure HDInsight 쿼리 콘솔

 

이번 글에서는 Microsoft AzureHDInsight에서 쿼리 콘솔을 간략히 살펴보겠습니다. Azure 관리포털에서 HDInsight를 생성하였다면 이름을 클릭하여 대시보드 메뉴 아래에서 쿼리 콘솔 메뉴를 클릭합니다.

그러면 인증 창이 나타나는데 인증에 필요한 계정과 비밀번호는 HDInsight를 생성시 입력한 관리자 계정과 비밀번호에 대한 정보를 입력하면 됩니다. 그러면 Azure의 웹 사이트 로그와 저장소에 대한 분석을 할 수 있는 솔루션과 기본적으로 제공되는 샘플 데이터를 위한 솔루션을 볼 수 있습니다.

샘플 데이터를 위한 솔루션에서 적절한 것을 선택하고 설명대로 따라가면 Hive 등의 결과를 바로 확인할 수 있습니다.

Hive 쿼리에 익숙하여 직접 Hive 쿼리를 입력하고 작업을 제출할 수 있는 Hive Editor도 볼 수 있습니다.

제출된 작업의 기록을 확인하여 결과, 오류 등을 확인할 수 있습니다.

HDFS에서 파일을 직접 확인할 수 있는 File Browser 가 있습니다. 유용하게 사용할 수 있습니다.

최근에 추가된 내용으로 Hadoop 의 데이터 노드 등에 대한 정보를 확인하고 YarnApp에 대한 정보를 확인할 수 있습니다.

 

쿼리 콘솔을 통해 다양한 작업 등을 손쉽게 진행할 수 있습니다.

다음 글에서는 샘플 데이터를 위한 솔루션에서 센서 데이터 분석을 Hive 를 통해 진행해보겠습니다.

 

 

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

Azure HDInsight 평가판  (0) 2015.09.25
HDInsight Sample – Sensor Data Analysis  (0) 2015.09.25
Microsoft Azure HDInsight 쿼리 콘솔  (0) 2015.08.28
HDInsight Hadoop – Word Count(2)  (0) 2015.08.14
HDInsight Hadoop – Word Count(1)  (0) 2015.08.07
HDInsight - Hadoop 시작  (0) 2015.08.07
posted by 정홍주
2015.08.28 08:00 Power BI

 

Power BI Desktop 게시

 

앞 글에서 Power BI Desktop 으로 보고서를 작성하는 내용을 살펴보았습니다. 이번 글에서는 그 파일을 Power BI 사이트에 게시하여 대시보드를 작성하는 방법을 다루어보겠습니다.

 

Power BI 사이트로 이동하여 데이터 가져오기를 클릭하여 파일의 가져오기에서 로컬 파일을 선택한 후 Power BI Desktop 파일(.pbix)를 선택하면 업로드 됩니다. 업로드가 되고 나면 데이터 집합과 보고서 부분에 Power BI Desktop 이 생성되는 것을 확인할 수 있습니다.

또 다른 게시 방법은 Power BI Desktop의 파일 메뉴에서 Power BI 사이트로 로그온 하고 난 후 홈 탭에서 게시 메뉴를 클릭하면 데이터 가져오기와 마찬가지로 데이터 집합과 보고서 부분에 Power BI Desktop 이 생성되는 것을 확인할 수 있습니다.

아래는 업로드 또는 게시된 결과입니다.

데이터 집합에서는 웹에서 보고서를 생성할 수 있습니다.

보고서에서는 Power BI Desktop에서 생성한 보고서를 확인 가능합니다. 1 페이지의 지도와 2 페이지의 차트 보고서를 확인할 수 있습니다.

왼쪽 대시보드 카테고리의 +를 클릭하여 대시보드의 이름을 입력하고 대시보드를 새로 생성합니다.

보고서에서 차트의 오른쪽 상단 시각적 개체 고정을 클릭하여 대시보드에 고정합니다.

그럼 아래와 같이 대시보드가 고정되는 것을 확인할 수 있습니다.

Power BI Desktop 보고서를 생성하여 Power BI 사이트에 게시하여 대시보드를 손쉽게 생성하는 내용을 간략히 알아보았습니다. 다음 글은 데이터베이스를 연결하여 대시보드를 생성하고 더 나아가서 새로고침 예약을 설정해보겠습니다.

 

신고

'Power BI' 카테고리의 다른 글

Power BI 샘플 업데이트  (0) 2015.09.11
Power BI 개인 게이트웨이  (0) 2015.09.04
Power BI Desktop 게시  (0) 2015.08.28
Power BI Pro MSDN 활성화  (0) 2015.08.21
Power BI Desktop 보고서  (0) 2015.08.21
Power BI 대시보드 - Excel  (0) 2015.08.14
posted by 정홍주
2015.08.07 08:30 Microsft Azure/고급 분석

HDInsight Hadoop – Word Count(1)

 

Hadoop 클러스터를 원격으로 연결하여 Hadoop Command 에서 아래와 같은 명령어로 Word Count MapReduce 작업을 실행하여 결과를 확인해보겠습니다.

MapReduce 작업에 대한 설명은 아래 링크를 확인할 수 있습니다.

https://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-use-mapreduce/

 

MapReduce 관련 작업을 실행하기 위해 반드시 Hadoop Command 에서 실행해야 하는 것은 아닙니다. Azure PowerShell을 통해 Hadoop 클러스터가 아닌 원격에서 실행할 수 도 있습니다.

아래 구문을 하나씩 복사하여 실행할 수 있습니다. Hadoop 버전을 확인하여 진행하면 됩니다.

cd %hadoop_home%

hadoop fs -mkdir /user

hadoop fs -mkdir /user/demo

hadoop fs -copyFromLocal C:\apps\dist\examples\data\gutenberg\davinci.txt /user/demo

hadoop fs -ls /user/demo

hadoop jar C:\apps\dist\hadoop-2.4.0.2.1.15.1-0001\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.4.0.2.1.15.1-0001.jar wordcount /user/demo/*.txt /user/demo/WordCount_Output

hadoop fs -cat /user/demo/WordCount_Output/part-r-00000 | findstr "there"

 

처음은 user 아래에 demo 라는 폴더를 생성합니다.

hadoop fs -mkdir /user/demo

 

WordCount 할 수 있는 원본 파일을 복사해옵니다. 원본 파일은 examples 폴더에 들어가 있습니다.

hadoop fs -copyFromLocal C:\apps\dist\examples\data\gutenberg\davinci.txt /user/demo

 

파일을 확인하기 위해 ls 명령어로 확인해봅니다.

hadoop fs -ls /user/demo

 

이제 jar 파일을 통해 Wordcount 라는 클래스를 통해 Map 함수와 Reduce 함수를 수행하고 출력은 WordCount_Output 이라는 폴더 아래에 생성하도록 jar 명령어를 실행합니다. 마찬가지로 jar 파일은 examples 폴더에 들어가 있습니다. 출력 결과를 보면 Map 작업과 Reduce 작업을 확인할 수 있습니다.

hadoop jar C:\apps\dist\hadoop-2.4.0.2.1.15.1-0001\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.4.0.2.1.15.1-0001.jar wordcount /user/demo/*.txt /user/demo/WordCount_Output

 

결과 파일이 생성되어 있고 내부 내용을 보기 위해 cat, findstr 명령어를 실행합니다.

hadoop fs -cat /user/demo/WordCount_Output/part-r-00000 | findstr "there"

 다음 글에서는 PowerShell을 통해 Word CountHadoop 클러스터에서 실행해보겠습니다.

신고
posted by 정홍주
TAG 정홍주
2015.08.07 08:00 Power BI

 

Power BI 소매점 샘플

 

Power BI 에 로그온하면 샘플을 추가하여 데이터 집합, 보고서, 대시보드를 확인할 수 있습니다. 바로 모바일 앱에서도 확인해볼 수 있습니다.

Sign in 메뉴를 통해 회사메일(Hotmail, naver 등이 아닌 메일)로 로그온합니다. Office 365 계정이 있다면 로그온 할 수 도 있습니다.

 

데이터 가져오기 창에서 아래쪽에 샘플 링크를 볼 수 있습니다. 샘플 링크를 클릭합니다.

잠시후 데이터 집합, 보고서, 대시보드가 활성화 되는 것을 볼 수 있습니다. 소매점 샘플 대시보드를 확인할 수 있습니다.

 

다음은 보고서 메뉴에서 소매점 샘플을 클릭할 수 있습니다. 해당 보고서 중에서 특정 보고서의상단 고정 단추를 클릭하여 대시보드로 손쉽게 추가할 수 있습니다.

맨 마지막 데이터 집합을 클릭하여 필요하다면 데이터를 기반으로 보고서를 생성할 수 있습니다.

Power BI를 통해 데이터 집합, 보고서, 대시보드를 작성해보고 싶다면 아래 링크를 확인할 수 있습니다.

https://support.powerbi.com/knowledgebase/articles/430814

 

 

 

신고

'Power BI' 카테고리의 다른 글

Power BI Pro MSDN 활성화  (0) 2015.08.21
Power BI Desktop 보고서  (0) 2015.08.21
Power BI 대시보드 - Excel  (0) 2015.08.14
Power BI 소매점 샘플  (0) 2015.08.07
Power BI Desktop 살펴보기  (3) 2015.07.31
Power BI 2.0  (0) 2015.07.24
posted by 정홍주
TAG 정홍주

티스토리 툴바