블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31    

Notice

2015.08.28 08:00 Microsft Azure/고급 분석

Microsoft Azure HDInsight 쿼리 콘솔

 

이번 글에서는 Microsoft AzureHDInsight에서 쿼리 콘솔을 간략히 살펴보겠습니다. Azure 관리포털에서 HDInsight를 생성하였다면 이름을 클릭하여 대시보드 메뉴 아래에서 쿼리 콘솔 메뉴를 클릭합니다.

그러면 인증 창이 나타나는데 인증에 필요한 계정과 비밀번호는 HDInsight를 생성시 입력한 관리자 계정과 비밀번호에 대한 정보를 입력하면 됩니다. 그러면 Azure의 웹 사이트 로그와 저장소에 대한 분석을 할 수 있는 솔루션과 기본적으로 제공되는 샘플 데이터를 위한 솔루션을 볼 수 있습니다.

샘플 데이터를 위한 솔루션에서 적절한 것을 선택하고 설명대로 따라가면 Hive 등의 결과를 바로 확인할 수 있습니다.

Hive 쿼리에 익숙하여 직접 Hive 쿼리를 입력하고 작업을 제출할 수 있는 Hive Editor도 볼 수 있습니다.

제출된 작업의 기록을 확인하여 결과, 오류 등을 확인할 수 있습니다.

HDFS에서 파일을 직접 확인할 수 있는 File Browser 가 있습니다. 유용하게 사용할 수 있습니다.

최근에 추가된 내용으로 Hadoop 의 데이터 노드 등에 대한 정보를 확인하고 YarnApp에 대한 정보를 확인할 수 있습니다.

 

쿼리 콘솔을 통해 다양한 작업 등을 손쉽게 진행할 수 있습니다.

다음 글에서는 샘플 데이터를 위한 솔루션에서 센서 데이터 분석을 Hive 를 통해 진행해보겠습니다.

 

 

신고

'Microsft Azure > 고급 분석' 카테고리의 다른 글

Azure HDInsight 평가판  (0) 2015.09.25
HDInsight Sample – Sensor Data Analysis  (0) 2015.09.25
Microsoft Azure HDInsight 쿼리 콘솔  (0) 2015.08.28
HDInsight Hadoop – Word Count(2)  (0) 2015.08.14
HDInsight Hadoop – Word Count(1)  (0) 2015.08.07
HDInsight - Hadoop 시작  (0) 2015.08.07
posted by 정홍주
2015.08.28 08:00 Power BI

 

Power BI Desktop 게시

 

앞 글에서 Power BI Desktop 으로 보고서를 작성하는 내용을 살펴보았습니다. 이번 글에서는 그 파일을 Power BI 사이트에 게시하여 대시보드를 작성하는 방법을 다루어보겠습니다.

 

Power BI 사이트로 이동하여 데이터 가져오기를 클릭하여 파일의 가져오기에서 로컬 파일을 선택한 후 Power BI Desktop 파일(.pbix)를 선택하면 업로드 됩니다. 업로드가 되고 나면 데이터 집합과 보고서 부분에 Power BI Desktop 이 생성되는 것을 확인할 수 있습니다.

또 다른 게시 방법은 Power BI Desktop의 파일 메뉴에서 Power BI 사이트로 로그온 하고 난 후 홈 탭에서 게시 메뉴를 클릭하면 데이터 가져오기와 마찬가지로 데이터 집합과 보고서 부분에 Power BI Desktop 이 생성되는 것을 확인할 수 있습니다.

아래는 업로드 또는 게시된 결과입니다.

데이터 집합에서는 웹에서 보고서를 생성할 수 있습니다.

보고서에서는 Power BI Desktop에서 생성한 보고서를 확인 가능합니다. 1 페이지의 지도와 2 페이지의 차트 보고서를 확인할 수 있습니다.

왼쪽 대시보드 카테고리의 +를 클릭하여 대시보드의 이름을 입력하고 대시보드를 새로 생성합니다.

보고서에서 차트의 오른쪽 상단 시각적 개체 고정을 클릭하여 대시보드에 고정합니다.

그럼 아래와 같이 대시보드가 고정되는 것을 확인할 수 있습니다.

Power BI Desktop 보고서를 생성하여 Power BI 사이트에 게시하여 대시보드를 손쉽게 생성하는 내용을 간략히 알아보았습니다. 다음 글은 데이터베이스를 연결하여 대시보드를 생성하고 더 나아가서 새로고침 예약을 설정해보겠습니다.

 

신고

'Power BI' 카테고리의 다른 글

Power BI 샘플 업데이트  (0) 2015.09.11
Power BI 개인 게이트웨이  (0) 2015.09.04
Power BI Desktop 게시  (0) 2015.08.28
Power BI Pro MSDN 활성화  (0) 2015.08.21
Power BI Desktop 보고서  (0) 2015.08.21
Power BI 대시보드 - Excel  (0) 2015.08.14
posted by 정홍주
2011.03.04 08:30 Microsft Azure

Account Key 생성이 끝났으므로 데이터를 구독하고 브라우저에서 데이터를 탐색이 가능합니다. 또한 다양한 인터페이스를 이용해서 데이터 솔루션을 구축 가능합니다.

자 이제 왼쪽 Statistics 메뉴를 클릭하거나 검색에서 “Gender Info 2007”을 검색하여 아래 화면이 표시되게 합니다.



해당 링크나 이미지를 클릭하여 보다 더 자세한 정보를 확인합니다.



해당 데이터가 원하는 데이터라면 SIGN UP 을 눌러 구독을 신청합니다. 구독 신청 페이지에서는 동의함을 체크하고 SIGN UP 을 눌러 구독을 완료합니다.

구독을 완료하였습니다. 데이터 집합을 액세스 할 수 있는 방법은 아래와 같이 4 가지가 있다는 것을 아래 화면에서 확인할 수 있습니다.

l  DataMarket Service Explorer

l  Excel PowerPivot

l  Tableau Software

l  Visual Studio 2010



My Data 메뉴를 클릭하면 구독 데이터를 확인할 수 있습니다.



이제까지 했던 것을 요약하면 DataMarket에 가입을 하고 My Account Key를 생성하고 카테고리에서 특정 데이터를 구독했습니다.

여러 방법을 통해 데이터 집합을 살펴볼 수 있지만 여기서는 DataMarket Service Explorer에서 액세스해보도록 하겠습니다.

My Data 메뉴에 있는 구독 데이터 들 중에서 하나를 선택해서 링크를 클릭하면 아래와 같은 화면을 볼 수 있습니다.



화면에서 Explore this Dataset” 링크를 클릭합니다. 그러면 새 창이 열리면서 DataMarket service explorer 에서 데이터 집합을 바로 직접 액세스할 수 있습니다. 

 쿼리 집합을 수정하여 데이터를 쿼리 해보도록 하겠습니다. 직접 웹에서 결과를 Table, atom Pub 포맷으로 살펴볼 수 있는 것이 DataMarket Service Explorer 이며 Query 드롭 다운에서 Values를 선택하고 CountryName“Korea Rep”, Year“2005”을 입력해서 “RUN Query” 메뉴를 클릭하면 아래와 같은 결과를 알 수 있습니다.

다른 인터페이스를 통해 DataMarket을 처리하는 것을 이후에서 다뤄보도록 하겠습니다.
신고
posted by 정홍주
2011.02.25 08:30 Microsft Azure

“Dallas” 라는 코드네임으로 불리던 부분이 DataMarket 이란 이름으로 작년 말에 출시되었는데 여기서 소개를 드리도록 하겠습니다. 몇몇 화면과 Account Key를 생성하는 것을 알아보도록 하겠습니다.

DataMarket 을 액세스하려면 아래 주소로 액세스 할 수 있습니다.

https://datamarket.azure.com/



분석을 위한 데이터를 클라우드 서비스를 통해 얻을 수 있는 데이터 시장이 DataMarket 이며 콘텐트 파트너는 데이터를 DataMarket에 게시하고 사용자들은 손쉽게 데이터를 찾고 구독하며 활용할 수 있습니다. 또한 개발자들은 기본적으로 제공되는 여러 표준을 통해 강력한 데이터 솔루션을 개발 할 수 있습니다.

 

Learn 메뉴에서 보면 다운로드나 비디오 등을 통해서 DataMarket의 이해가 보다 더 용이하니 링크를 클릭해보셔요~

Browse 탭을 클릭해보면 다양한 카테고리별로 데이터들이 나열된 것을 확인할 수 있습니다. 


DataMarket
Application에서 이용하기 위해서는 먼저 Account Key를 생성해야 합니다. 그래서 상단의 Register 메뉴를 클릭하고 정보를 입력해서 가입을 합니다. 물론 먼저 Windows Live ID로 로그인해야 합니다.



사용 동의에 대해서는 체크를 하고 Register 버튼을 클릭합니다.


가입을 하고 나서는 상단의 My Account 링크를 클릭하면 아래와 같은 화면을 볼 수 있고 Account Keys에서 PowerPivot 등에서 사용할 새로운 Account Key를 생성할 수 있습니다. 


Add account Key
메뉴를 클릭하여 새로운 키를 생성합니다. Description에 적절한 이름을 입력하고 Create 버튼을 클릭합니다.



My Account의 Account Keys에 보면 새롭게 생성된 것을 확인 가능합니다.

자 이제 Browse 메뉴를 클릭해서 데이터를 구독하고 다양한 표준 인터페이스를 통해 데이터 솔루션에서 이용할 수 있습니다.

데이터를 구독하고 활용하는 것은 다음 블로그에서...,

신고
posted by 정홍주
2011.02.18 22:14 SQL/T-SQL

에러 핸들링(Error Handlig )

SQL Server의 Try Catch 에 대한 내용

 BEGIN TRY

 

--실행문

 

END TRY

 

BEGIN CATCH

 

SELECT @Err_Number=ISNULL(error_number(),0)

,@Err_Message=ISNULL(error_message(),'NULL Message')

,@Err_Severity=ISNULL(error_severity(),0)

,@Err_State=ISNULL(error_state(),1)

,@Err_Line=ISNULL(error_line(),'NULL Message')

,@Err_Procedure=ISNULL(error_message(),'')

,@UserName=SUSER_NAME()

,@HostName=HOST_NAME()

,@Time_Stamo=GETDATE()

 

-- ERROR Logging

 

END CATCH

 

AdventureWorks 데이터베이스의 에러 핸들링 구조

1. dbo.ErrorLog 테이블 생성
2. dbo.uspLogError 로그 저장 프로시저 생성(dbo.ErrorLog  테이블에 위에 관련된 값 이용 INSERT)
3. 각 저장 프로시저의 CATCH 문에서 dbo.uspLogError  사용

BEGIN CATCH

        -- Rollback any active or uncommittable transactions before

        -- inserting information in the ErrorLog

        IF @@TRANCOUNT > 0

        BEGIN

            ROLLBACK TRANSACTION;

        END

 

        EXECUTE [dbo].[uspLogError];

END CATCH;

 

신고
posted by 정홍주
2011.02.18 08:30 Microsft Azure/SQL Databases

SQL Server 2008 R2 버전부터는 SQL Server Management Studio에서 SQL Azure를 연결이 가능합니다. 여기서는 SQL Server Denail CTP를 통해 SQL Azure를 연결해보도록 하겠습니다.

 

SQL Server Management Studio를 열어 서버에 연결에서 SQL Azure Portal에 있는 서버 이름과 SQL 인증으로 사용자와 암호를 입력합니다.

 

연결을 누르지 말고 옵션을 클릭하여 연결할 데이터베이스에 SQL Azure 데이터베이스 이름을 입력하고 연결을 클릭합니다.

 

혹시 연결되지 않고 IP 주소 관련한 아래 메시지가 나올 수 있습니다.


SQL Azure Portal에서 방화벽 규칙을 맞게 추가해주어야 합니다.

 

방화벽 설정이 문제 없이 잘 연결되었다면 아래와 같은 내용을 볼 수 있습니다.

 


n  새로운 쿼리 창을 열어 T-SQL 구문을 처리해보도록 하겠습니다.

l  현재 데이터베이스 이름을 db_name() 을 통해 알아봅니다.



l  물론 서버 버전을 알아볼 수 도 있습니다.

l  데이터베이스 종류는 어떤 것들이 있는지 카탈로그 뷰를 통해 알아볼 수 있습니다.


 

l  현재 데이터베이스에 USE 구문은 잘 실행되지만 다른 데이터베이스로의 이동은 지원되지 않습니다.

l  Master 데이터베이스로 새로운 쿼리 창을 열어 LOGIN을 생성할 수 있습니다. 또한 사용자 데이터베이스에 사용자를 생성할 수 있습니다. 개체 탐색기에서 GUI를 통한 생성은 지원되지 않고 쿼리문으로 나타납니다.



l  연결을 통해 새로운 쿼리 창을 위에서 생성한 hjuser 사용자를 통해 연결 하고 새로운 테이블을 생성합니다. 테이블에는 클러스터형 인덱스가 있어야 합니다. 그리고 많은 데이터를 INSERT 구문을 통해 처리합니다. 익숙한 T-SQL 구문이 그대로 쓰이고 있습니다.



l  SELECT, WHERE 구문을 통해 결과를 조회할 수 있습니다. 또한 아래 그림처럼 실행 계획을 포함시켜 실행 할 수 있습니다.



 위에서 살펴본 내용으로 한다면 일반적인 T-SQL 구문을 작업하기는 큰 무리가 없습니다만 아직 지원되지 않는 여러 구문에 해당하는 사항은 있습니다
 

n  T-SQL 지원에 대한 구체적인 내용은 아래 링크를 참조할 수 있습니다.

l  Supported Transact-SQL Statements

http://msdn.microsoft.com/en-us/library/ee336270.aspx

l  Partially Supported Transact-SQL Statements

http://msdn.microsoft.com/en-us/library/ee336267.aspx

l  Unsupported Transact-SQL Statements

http://msdn.microsoft.com/en-us/library/ee336253.aspx

 

SQL Server Denail CTP를 통해 SQL Azure에 대해 액세스하는 내용을 알아보았습니다. 다음 내용에서는 여러 데이터를 올리고 Windows Azure의 응용 프로그램에서 SQL Azure를 액세스해보는 내용을 새로운 Management Portal을 통해서 알아보도록 하겠습니다.

신고

'Microsft Azure > SQL Databases' 카테고리의 다른 글

SQL Azure 데이터 이용(1)  (0) 2011.05.13
SQL Azure Sample Database 설치  (0) 2011.04.27
SQL Azure Update (3)  (0) 2011.02.18
SQL Azure Update (2)  (0) 2011.02.11
SQL Azure Update (1)  (0) 2011.01.28
SQL Azure 와 SQL Reporting Service  (0) 2011.01.23
posted by 정홍주
2011.02.17 08:30 SharePoint/SharePoint 2010

 

SharePoint 2010에서 Silverlight 에 대한 지원을 알아보도록 하겠습니다. 내용을 살펴보고 나면 또한 손쉽게 Silverlight 콘텐츠를 구성할 수 있다는 것을 알 수 있습니다.

l  사이트 작업 메뉴의 기타 옵션 

l  Silverlight 웹 파트

개발자들이 손쉽게 Silverlight 콘텐츠를 구성하기 위한 웹 파트, 별도로 커스텀 Silverlight 웹 파트를 생성할 수도 있습니다. 

l  미디어 웹 파트

– Client Silverlight 미디어 플레이어 웹 파트, 위에 그림에서 추가 할 수 있습니다. 자산 라이브러리에서는 기본적으로 마우스만 올려도 동영상 플레이가 가능합니다. 

 


l  개발적 요소

– Client 개체 모델과 REST에서 Silverlight 콘텐츠에 대한 내용을 제공하고 있습니다. 이전 블로그를 참조하십시오.

Client Object Model – Silverlight (1) http://redju.tistory.com/19

Client Object Model – Silverlight (2) http://redju.tistory.com/20

REST – Silverlight http://redju.tistory.com/25

 

l  워크플로 시각화

      워크플로의 진행 사항을 시각화해서 살펴볼 수 있습니다, 이 또한 Silverlight 콘텐츠입니다. 

l  Performance Point Services의 분해 트리

– PPS의 분석 차트의 경우 분해 트리 메뉴를 볼 수 있고 사용자가 원하는 대로 손쉽게 분석 데이터를 분해해 볼 수 있습니다.


l  PowerPivot 갤러리

클라이언트용 Excel Add-in이 아닌 SharePoint 2010 PowerPivot 으로 해당 내용을 구성하고 나면 PowerPivot 갤러리를 제공하며 Excel 시트의 내용을 Silverlight으로 미리 보기가 가능합니다. 

 
l  내 사이트의 조직도



이상으로 SharePoint 2010에서의 Silverlight 지원에 대한 사항을 살펴보았습니다. Silverlight 웹 파트와 Silverlight 관련 개체 모델, API를 통해 트리뷰 웹 파트, 전역 탐색 웹 파트, 이미지 뷰어 웹 파트, 메인 페이지의 애니메이션, 게시판에서의 Silverlight 등 다양한 내용으로 SharePoint 2010에서는 더 강력한 사용자 경험을 구성할 수 있습니다.

 

신고
posted by 정홍주
2011.02.11 08:30 Microsft Azure/SQL Databases

Windows Azure Platform Management Portal을 통해 데이터베이스 서버와 데이터베이스를 생성했습니다여기서는 Management Portal을 통해 Database Manager를 통해 SQL Azure 를 액세스하는 내용을 다룹니다.


데이터베이스에 테이블을 생성, 입력하고 새 쿼리를 생성하는 내용에 대한 부분을 알아보겠습니다. 위에서 생성한 데이터베이스 이름을 클릭하고 상단 메뉴의 “Manage” 를 클릭합니다. 


Database Manager
창이 새롭게 나타나며 제일 처음 시작할 경우는 동의 함을 체크하면 아래와 같이 연결 창을 볼 수 있습니다.



비밀번호를 입력하고 connect를 클릭합니다. 물론 방화벽 규칙에 허용으로 추가되어 있어야 합니다.

연결이 성공하면 아래와 같이 Database Manager 창을 볼 수 있습니다 


상단의 New Table 메뉴를 클릭해서 새로운 테이블을 디자인합니다. Employee 테이블에 ID, Name, Email 열을 정의합니다. 디자인이 끝났으면 Save 메뉴를 클릭합니다.


Data
메뉴를 클릭해서 샘플 데이터 값을 추가합니다. Save 버튼을 클릭합니다.
 



Database
탭을 클릭하고 New Query 메뉴를 클릭합니다. 쿼리 창에서 SELECT * FROM Employee를 입력하고 Execute 메뉴를 클릭합니다. 결과 창에서 위에서 입력한 데이터를 확인 할 수 있습니다.
 


Windows Azure Platform
Management Portal에서 SQL Azure에 대한 내용을 액세스할 수 있는 Database Manager를 알아보았습니다. 새롭게 변경된 Portal을 통해 데이터베이스 서버와 데이터베이스, 테이블을 생성해보았으며 다음 블로그에서 Windows Azure Platform Management Portal에 있는 SQL Azure 데이터베이스를 SQL Server Management Studio Windows Azure에서 액세스해 보도록 하겠습니다.

신고

'Microsft Azure > SQL Databases' 카테고리의 다른 글

SQL Azure Sample Database 설치  (0) 2011.04.27
SQL Azure Update (3)  (0) 2011.02.18
SQL Azure Update (2)  (0) 2011.02.11
SQL Azure Update (1)  (0) 2011.01.28
SQL Azure 와 SQL Reporting Service  (0) 2011.01.23
SQL Azure와 Excel 2010의 PowerPivot  (0) 2011.01.23
posted by 정홍주
2011.02.11 08:30 SQL/T-SQL


데이터베이스에 대한 연결의 spid를 한번에 KILL 할 수 있도록 구성해주는 쿼리문


DECLARE @kill VARCHAR(MAX)

SELECT @kill=COALESCE(@kill,'') + 'KILL '

 + CAST(spid AS VARCHAR(10)) +'; '

FROM sys.sysprocesses

WHERE DBID=DB_ID('AdventureWorks')

 

 

PRINT @kill

 

--결과 KILL 53; KILL 71; KILL 86;

 

 

신고
posted by 정홍주
2011.01.28 08:30 Microsft Azure/SQL Databases


Azure가 많은 부분이 Update  되었습니다.

2010
년 말에 Azure PlatformManagement Portal 이 새롭게 선보였으며 SQL Azure 에 대한 내용을 업데이트합니다.

Portal에 액세스하기 위해서는 https://windows.azure.com 에 액세스하고 Windows Live ID를 제공하면 됩니다. 리본과 유사하게 변경되었으며 Hosted Service, Storage Account, Database Server, Connect 메뉴가 상단에 보이고 있습니다.

대부분의 메뉴가 Silverlight 입니다. 설치되어 있지 않다면 미리 설치하고 액세스 하게 됩니다.


왼쪽 메뉴는 Hosted Services, Storage Account & CDN, Database, Reporting, Service Bus, Access Control & Caching, Virtual Network 로 되어 있습니다.

SQL Azure를 살펴볼 것이므로 왼쪽 메뉴의 Database나 상단 메뉴의 New Database Server 를 클릭해보겠습니다. 

l  Database Server 생성

Database New 메뉴를 통해 구독을 생성해야 하며 구독을 생성하고 나면 Create 메뉴가 활성화됩니다.

hongju 라는 Subscription 에 새로운 SQL Azure Database Server를 생성해보겠습니다. Create 메뉴를 클릭하면 먼저 지역을 선택하게 되는데 여기서는 “East Asia”를 선택하고 다음을 클릭 해보겠습니다.

 

관리자 계정과 비밀번호를 설정하게 됩니다. 비밀번호는 복잡성 규칙을 따르니 복잡하게 구성하면 됩니다.


관리자 계정과 비밀번호를 설정하고 다음을 클릭하면 방화벽 규칙을 지정하는 창을 볼 수 있으며 여기서는 마침을 클릭합니다. 별도로 방화벽 규칙을 지정할 수 있습니다.

 

작업이 완료되었으면 아래와 같은 Database Server가 생성된 것을 확인할 수 있습니다.


왼쪽 트리를 확장해서 보면 master 데이터베이스가 생성된 것을 알 수 있습니다.

  

방화벽 규칙을 클릭해서 방화벽을 설정해줄 수 있습니다. 그렇지 않으면 기본값으로 Deny이므로 허용 IP 대역을 설정해야만 합니다.

 

l  Database 생성

해당 데이터베이스 서버를 클릭하고 데이터베이스를 생성해보도록 하겠습니다.

상단의 Create 메뉴를 클릭합니다.



Create Database 창에서 적절한 데이터베이스 이름을 입력하고 Edition Size를 지정합니다.

 

 



이상으로 Management Portal에서 SQL Azure의  데이터베이스 서버와 데이터베이스를 생성해보았습니다.

다음 블로그에서  Management Portal에서 테이블을 생성하고 SELECT 하는 내용과 SQL Denail CTP 에서 액세스하고 Windows Azure에서 액세스하는 추가적인 내용을 알아보도록 하겠습니다.



신고

'Microsft Azure > SQL Databases' 카테고리의 다른 글

SQL Azure Update (3)  (0) 2011.02.18
SQL Azure Update (2)  (0) 2011.02.11
SQL Azure Update (1)  (0) 2011.01.28
SQL Azure 와 SQL Reporting Service  (0) 2011.01.23
SQL Azure와 Excel 2010의 PowerPivot  (0) 2011.01.23
SQL Azure 알아보기 (5)- SQL Azure 이점과 T-SQL 지원  (0) 2011.01.23
posted by 정홍주
prev 1 next

티스토리 툴바