블로그 이미지
정홍주
Azure에 대한 내용뿐만 아니라 새로운 트렌드로 빅데이터, BI, SharePoint, 앱 등의 내용을 다룹니다.

calendar

        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

Notice

2016.02.19 08:00 Microsft Azure

 

Microsoft Azure Service Update -2월중

 

몇몇 업데이트가 있어 간략히 정리해보겠습니다.

l  Azure에서 Red Hat 솔루션 사용

마켓플레이스의 계산에서 Red Hat Enterprise를 선택할 수 있습니다.

https://azure.microsoft.com/ko-kr/campaigns/redhat/

 

l  Azure Container Service

Docker imageLinux Container를 사용하는데 도움이 되는 서비스이며, 기존 기술과 도구를 활용합니다.

https://azure.microsoft.com/en-us/services/container-service/

 

l  Azure SQL 데이터베이스 웨어하우스

데이터 웨어하우스를 클라우드에서 제공하여 몇 초 안에 확장, 축소 및 정지 가능하며 관계형 및 비관계형 데이터에 쿼리가 가능합니다.

https://azure.microsoft.com/ko-kr/documentation/articles/sql-data-warehouse-overview-what-is/

 

l  Azure SQL 데이터베이스 쿼리 성능 Insight

최상위 CPU 쿼리에 대한 시각적 그래프를 제공해줍니다.

https://azure.microsoft.com/ko-kr/documentation/articles/sql-database-query-performance/

 

l  SQL Server Stretch 데이터베이스

SQL Server 2016에서 Azure Warm, Cold 트랜잭션 데이터를 동적으로 스트레칭을 제공해줍니다. 현재는 미리보기를 신청해야 합니다.

https://azure.microsoft.com/ko-kr/services/sql-server-stretch-database

 

l  Azure Hybrid Use Benefit

Software Assurance 로 클라우드에서 라이선스를 사용하여 비용을 절감할 수 있습니다. 상황에 따라 다르겠지만 아래 링크에서는 35% 절감된다고 하며 PowerShell을 통해 생성할 때 licenseType을 지정해야 합니다.

https://azure.microsoft.com/ko-kr/pricing/hybrid-use-benefit/

 

 

 

posted by 정홍주
2016.02.12 08:30 Microsft Azure/SQL Databases

Azure SQL Database – 감사(Audit)와 위협 검색(Threat Detection)

 

로컬 SQL 데이터베이스에 대해서는 Audit 개체를 제공해주고 있어 필요하다면 감사 정책을 통해 쿼리, 인증 등을 감사할 수 있습니다.

Azure SQL 데이터베이스에도 감사가 가능하며 해당 데이터베이스 속성으로 이동하여 보안 영역 중 감사 및 위협 검색 부분에서 설정할 수 있습니다.

설정시 저장소에 기록이 되며 Excel 감사 템플릿이나 저장소 탐색기 등을 통해서 확인이 가능합니다. 서버 감사 설정으로 전체 데이터베이스에 상속을 시켜주거나 상속을 재정의할 수도 있습니다.

감사에 대한 이벤트 범주는 일반 SQL 부터, 로그인까지 가능하며 데이터베이스 성능을 고려하여 설정해야 합니다.

아래 그림은 Excel 감사 템플릿 결과 화면이며 Demo 계정이 저장 프로시저를 실행한 내용입니다.

 

위협 검색은 Threat Detection으로 위협 탐지라고 일반적으로 얘기하는 것인데 위협 검색으로 번역되어 나타납니다. 위협 검색은 감사를 설정해야 설정할 수 있습니다. 감사 데이터 중에서 위협에 해당할 경우 전자메일로 전송해주게 됩니다.

위협 검색 유형을 보면 SQL Injection 공격에 대한 부분과 새로운 위치에서 로그인이 포함되어 있어 위협을 탐지 할 수 있습니다. 하지만 완벽한 보안 솔루션은 아닙니다.

 

 

posted by 정홍주
2016.02.12 08:00 Microsft Azure

 

Azure SDK 2.8 – Cloud Explorer for VS 2015

 

Azure SDK를 업데이트하니 Cloud Explorer를 살펴볼 수 있었습니다. Azure SDK 2.7부터 나왔는데 갤러리를 보니 금일 Cloud Explorer가 업데이트되어 있습니다.

 

서버 탐색기를 충분히 대체할만 합니다.

 

posted by 정홍주
2016.02.05 09:00 Microsft Azure

 

Microsoft Azure Service Update -2월초

 

1월말과 2월초의 업데이트 정보를 아래 링크의 1페이지를 통해 확인해볼 수 있습니다.

https://azure.microsoft.com/ko-kr/updates/

 

그 중에서 몇몇 기능을 확인해보겠습니다.

l  새로운 Azure SQL Database T-SQL 프로그래밍 기능

-AT TIME ZONE 을 통해 해당 표준시간대로 변환 가능

-COMPRESS, DECOMPRESS 를 통해 GZip 알고리즘 적용 가능
-DATEDIFF_BIG
더 구체적인 시간 결과 반환

https://azure.microsoft.com/ko-kr/updates/new-t-sql-programmability-features-in-azure-sql-database/

 

l  미리보기: 동일, 다른지역간의 앱 서비스 복제

-PowerShell: New-AzureRMWebApp

-기존 앱 복제, 기본 앱 슬롯 복제, 앱 복제시 트래픽 매니저 구성
https://azure.microsoft.com/en-us/documentation/articles/app-service-web-app-cloning/

 

l  Microsoft Azure IoT Hub 일반사용(Generally available)

https://azure.microsoft.com/ko-kr/develop/iot/

 

l  Azure Azure Premium Storage 동아시아지역 일반사용(Generally available)

-SSD 기반, VM 64TB 저장소, VM 80,000 IOPS, 빠른 읽기 성능

https://azure.microsoft.com/ko-kr/documentation/articles/storage-premium-storage-preview-portal/

 

l  Azure HDInsight Dv2 인스턴스 지원

-빅데이터 분석시 성능 강화

https://azure.microsoft.com/ko-kr/updates/azure-hdinsight-leverages-new-generation-of-d-series-instances/

 

 

 

 

posted by 정홍주
2015.11.27 08:00 Microsft Azure/SQL Databases

 

Azure SQL Database Always Encryption

 

Always Encryption 은 항상 암호화로 번역되어 나오는데 클라이언트부터 암호화되어 추가되며 복호화되어 클라이언트에 나타나는 SQL Server 2016의 기능인데 Azure SQL Database까지 지원하고 있습니다. 클라이언트로부터 암호화된다는 것이 글로 설명하기는 제한적이며 아래 링크를 참고할 수 있습니다. 아래 링크에서 그림을 보면 쉽게 이해가 가능합니다.

https://msdn.microsoft.com/en-us/library/mt163865(v=sql.130).aspx

Azure SQL Database 에 항상 암호화를 적용해보도록 하겠습니다.  아래 주소 내용과 유사하게 진행해보겠습니다.

http://blogs.msdn.com/b/sqlsecurity/archive/2015/11/01/ssms-encryption-wizard-enabling-always-encrypted-made-easy.aspx

 

데이터베이스를 Azure SQL Database 에 생성하고 테이블을 아래와 같이 생성합니다. 이 중에서 SSN, Birthdate 는 민감정보로 암호화를 해야 할 경우 여러 방법이 있겠지만 항상 암호화 기능을 사용할 수 있습니다.

SQL Server 2016SSMS에서 Azure SQL Database를 연결하고 데이터베이스를 오른쪽 클릭하거나 해당 암호화할 테이블을 오른쪽 클릭하여 열 암호화를 선택합니다. 테스트를 위해서는 미리 데이터를 삽입해 두는 것이 편합니다.

암호화 마법사 그림을 보면 좀 더 쉽게 이해가 가능합니다.

테이블에서 해당 암호화 열을 선택할 수 있습니다.

열을 선택하면 암호화 유형을 선택해야 하는데 결정적, 임의 암호화 유형이 있으며 장단점이 있으므로 적절한 유형을 선택할 수 있습니다.

아래 그림에서 암호화 유형에 대한 내용을 정리하고 있습니다. 위 테이블의 SSN 같은 경우 필터링, 조인 등을 사용하므로 결정적 암호화로 항상 같은 암호화 값을 제공하여 인덱싱도 가능합니다. 하지만 데이터를 유추할 가능성이 높습니다.

암호화에 사용되는 마스터 키를 구성할 수 있습니다. 인증서 저장소와 Azure Key Vault 에 저장 가능합니다.

PowerShell 스크립트를 통해 암호화를 다른 서버에도 적용할 있습니다.

최종적으로 확인하고 다음을 클릭하면 암호화를 진행하면서 암호화 열 스키마를 변경하게 됩니다.

작업이 다 완료되었습니다.

테이블을 스크립팅해보면 아래와 같은 암호화 열 스키마를 확인할 수 있습니다. AES256, CBC 모드인 것을 확인 할 수 있습니다.

새 쿼리 창을 통해 Azure SQL Database를 연결하여 테이블을 쿼리하면 암호화 된 내용을 바로 확인할 수 있습니다.

 

클라이언트에서 복호화되게 하려면 마스터 키 연결에 따라 달라지지만 연결 문자열 매개변수를 추가하여 연결하면 됩니다.

column encryption setting=enabled

테이블을 쿼리하면 복호화 된 내용을 바로 확인할 수 있습니다.

 

응용프로그램 코드를 통해서 확인해보겠습니다. 마찬가지로 연결 문자열에 열 암호화 설정이 추가되어 있습니다. 직접 INSERT 구문을 적용할 경우 제한적이며 @매개변수 또는 저장 프로시저의 매개변수를 통해 진행해야 합니다.

응용프로그램을 실행하면 아래와 같은 구문이 클라이언트(ADO.NET)로부터 생성되어 서버로 전달됩니다. 반대로 클라이언트(ADO.NET)에서 복호화되게 됩니다.

클라이언트 코드에 대한 내용은 아래 링크를 참고할 수 있습니다.

https://msdn.microsoft.com/en-us/library/mt147923.aspx

 

이상으로 항상 암호화를 살펴보았습니다. 항상 암호화는 열 암호화 대상에 제한이 있으며 SQL Server 2016 SSMSADO.NET-.NET Framework 4.6 이상을 통해서 가능한 측면이 있으며 마스터 키 위치에 따라 달라지므로 키 저장소도 사전에 고려해야 합니다.

 

항상 암호화를 통해 중요한 정보를 암호화 할 수 있는데 클라이언트는 항상 암호화를 통해서 응용 프로그램 내부에서 데이터를 암호화 할 수 있으며 SQL Server에는 암호화 키가 노출되지 않고 Azure SQL Database까지 지원하여 장점을 제공하고 있습니다.

 

posted by 정홍주
2015.11.20 08:00 Microsft Azure

 

DevTest Lab

 

DevTest Lab 은 클라우드에서 개발 및 테스트 환경을 생성, 구성, 관리하는데 이점을 제공해줍니다. DevTest Lab은 사용자 또는 랩 당 VM의 수를 제한하거나 자동 종료 정책 설정을 할 수 있어 비용 컨트롤이 용이하며 Artifact 를 지원하여 VM을 프로비져닝한 후 응용프로그램을 구성하는데 쉬우며 팀에서 Artifact 와 템플릿을 캡처하고 공유, 재사용할 수 있습니다.

여기서는 DevTest Lab의 정책을 확인해보도록 하겠습니다.

 

미리 보기 포탈에서 새로 만들기 > 개발자 서비스 > DevTest Labs 에서 이름과 구독, 지역을 선택하여 생성합니다.

해당 DevTest Lab으로 이동하여 상단의 Settings 설정메뉴를 클릭하여 다양한 설정을 확인할 수 있습니다.

정책 부분을 살펴보면 Cost Thresholds 가 나와 있습니다. 아직은 진행 중인 내용입니다.

 

VM 크기에 대한 정책은 아래 그림처럼 Lab에서 사용할 VM을 지정해둘 수 있습니다.

VM 수에 대한 정책은 아래 그림처럼 사용자, Lab에 할당할 수 있습니다.

자동 종료에 대한 정책은 시간을 지정할 수 있습니다. 23시로 지정해보았는데 작업 중에 알림을 주지 않고 종료되면 문제가 될 수도 있을 듯 하며 금요일저녁부터 월요일새벽까지 주말시간을 지정하면 더 효과적일 것 같습니다.

Artifact Lab VM을 생성할 때 .NET Framework 7-zip 등이 같이 생성되게 할 수 있는 것으로 사용자 지정 Artifact 를 추가할 수 있습니다.

여기까지 살펴보니 개발 및 테스트 환경에서 DevTest Lab를 이용한다면 더 효과적일 것이라 생각됩니다.

 

 

posted by 정홍주
2015.11.20 08:00 Microsft Azure

Microsoft Azure Service Update - 2015 11 19

 

 

l  Azure Disk Encryption

Azure Key Vault VM의 디스크 보호

https://azure.microsoft.com/en-us/updates/public-preview-azure-disk-encryption/

https://azure.microsoft.com/en-us/services/key-vault/

 

l  Azure DevTest Labs

Dev/Test 환경을 지원, 빠른 개발환경 생성

VM 자동 종료, VM 템플릿 지원, Artifact 지원

https://azure.microsoft.com/en-us/documentation/articles/devtest-lab-overview/

 

l  Visual Studio Team Services

Visual Studio Online의 새로운 이름

 

l  Azure SQL Database Threat Detection

데이터베이스 감사 기능에 추가로 위협 감지 기능 미리보기를 지원

https://azure.microsoft.com/en-us/documentation/articles/sql-database-threat-detection-get-started/?WT.mc_id=azurebg_email_Trans_932_MOSP

 

l  Azure Data Lake Store, Azure Data Lake Analytics Azure Data Factory 통합

 

l  사용자 도메인 구매

App Services에서 사용자 도메인 구매

https://azure.microsoft.com/en-us/documentation/articles/custom-dns-web-site-buydomains-web-app/?WT.mc_id=azurebg_email_Trans_932_MOSP

 

 

DevTest Labs에서 Artifact 은 VM에 설치하고 싶은 도구, 테스트할 응용프로그램, VM에서 실행할 동작 등이 될 수 있으며 VM을 프로비저닝하고 난후 응용프로그램을 구성하고 배포하는데 사용됩니다.

 

Update에 자세한 정보는 아래 링크를 참고할 수 있습니다.

https://azure.microsoft.com/en-us/updates/

 

DevTest Labs의 경우 개발/테스트에 좋을 것 같습니다. 개발환경 같은 경우 쓰지 않을 때도 많은데 자동 종료 걸어두면 관리가 편할 것 같습니다.

DevTest Labs Threat Detection 은 바로 사용해보겠습니다.

 

posted by 정홍주
2015.11.01 08:00 Microsft Azure/고급 분석

 

9가지 오픈소스 빅 데이터 기술

 

빅 데이터에 대한 관심은 여러 산업 분야에서 부각되는 이슈입니다. 이와 관련하여 클라우드에서도 다양한 빅 데이터 관련 기술이나 플랫폼을 제공하고 있습니다. Microsoft Azure 에서는 100% Apache HadoopHDInsight부터해서 다양한 기능을 아래 그림처럼 제공하고 있습니다.

요번글은 9가지 주목해야 할 9가지 오픈소스 빅 데이터 기술에 대한 글이 있어 정리해보았습니다. 자세한 정보는 아래 링크를 통해 확인할 수 있습니다.

http://www.ciokorea.com/slideshow/12897

 

1.     Hadoop

HDFS MapReduce로 구성되어 있으며 빅 데이터를 분할한 뒤 다수의 Node에서 병렬로 처리하며 현재 Hadoop은 빅 데이터를 구성하는 정형, 반정형, 비정형 데이터를 저장하는 가장 대중적인 기술

2.     R

통계적 컴퓨팅과 가상화를 지원하는 소프트웨어로 대량의 데이터 셋을 통계적으로 분석하기 위한 툴

3.     캐스케이딩(Cascading)

Hadoop용 오픈소스 소프트웨어 추상화 계층으로, Hadoop Cluster에서 Data processing workflow를 제작, 실행할 수 있도록 지원하며 광고 타겟팅(ad targeting)이나 로그 파일 분석, 생물정보학, 기기 학습, 예측적 애널리틱스, 웹 컨텐츠 마이닝, ETL 애플리케이션 등에 사용

4.     스크라이브(Scribe)

페이스북이 개발한 서버로, 여러 서버들에서 실시간으로 스트림되는 로그 데이터를 종합하는 역할

5.     엘라스틱서치

RESTful 오픈소스 검색 서버로 특별한 설정 없이도 거의 실시간의 검색과 멀티테넌시(multitenancy)를 지원하는 스케일러블 솔루션(scalable solution)

6.     Apache HBase

구글의 빅테이블(BigTable)을 본떠 자바로 작성된 오픈소스 Column 기반 NoSQL, HDFS에 기반한 구동을 목적으로 설계

7.     아파치 카산드라

페이스북이 개발한 오픈소스 분산형 데이터베이스 관리 시스템으로 NoSQL

8.     Mongo DB

Dynamic schema(동적 스키마)를 통해 정형 데이터를 BSON(Binary JSON)이라고 하는 JSON 형태의 문서로 저장하는 NoSQL

9.     Apach CouchDB

JSON을 이용해 데이터를 저장하고 있으며 자바스크립트를 쿼리 언어(query language), MapReduce HTTP API로 사용하는 오픈소스 NoSQL

 

데이터 과학자로서 위 중에서 Hadoop(Sqoop/Flume, Hive) R 은 가장 기본이며 NoSQL 중의 하나를 장착하는 것은 필수라고 생각합니다.

 

posted by 정홍주
2015.10.30 08:00 Microsft Azure

 

Microsoft Azure Service Update - 2015 10 29

 

2015 10 하순에 가지 업데이트 내용이 있어 정리합니다.

 

·         In-Memory OLTP and Real-Time Operational Analytics

Azure SQL Database 적용, 미리 보기 지원

https://azure.microsoft.com/ko-kr/documentation/articles/sql-database-in-memory/

 

·         Azure Data Lake Analytics(데이터 레이크 분석)

미리 보기 지원

https://azure.microsoft.com/ko-kr/services/data-lake-analytics/

 

·         Azure Data Lake Store

미리보기 지원

https://azure.microsoft.com/ko-kr/services/data-lake-store/

 

·         Azure Resource Health

미리보기 지원

https://azure.microsoft.com/en-us/blog/reduce-troubleshooting-time-with-azure-resource-health/

 

 

 

posted by 정홍주
2015.10.23 08:00 Microsft Azure/SQL Databases

 

Azure Active Directory (Azure AD) 인증

 

Azure SQL Database 에서 Azure Active Directory (Azure AD) 인증에 대한 부분을 알아보겠습니다. 현재는 제한적인 측면이 있으니 아래 링크를 먼저 확인해야 합니다.

https://azure.microsoft.com/en-us/documentation/articles/sql-database-aad-authentication/?wt.mc_id=WW_CE_DM_OO_BLOG_NONE

 

Azure SQL Database 를 연결할 수 있는 도구는 현재 SQL Server 2016 SSMS, Visual Studio 2015 SSDT 이며 연결 문자열에서  .NET Framework Data Provider for SqlServer (at least version .NET Framework 4.6)으로 연결 가능합니다.

Azure SQL Server를 위한 Azure AD 관리자는 한 명만 생성할 수 있습니다.

 

먼저 Azure AD 도메인 생성, Azure SQL Database v12 생성합니다. Azure SQL Server를 위한 Azure AD 관리자 설정은 아래 절차대로 수행합니다.

1.     미리 보기 포탈에 로그온하여 SQL Server를 클릭하고 설정을 클릭합니다.

2.     미리 보기를 수락합니다.

3.     상단 메뉴에서 관리자 설정 메뉴를 클릭합니다.

4.     관리자 추가화면에서 SQL Server 사용자를 선택합니다.

5.     저장을 클릭합니다.

 

이제 SSMS등으로 연결하여 포함된 데이터베이스에 AD 사용자나 그룹을 생성할 수 있습니다.

CREATE USER [xxx@xxx.onmicrosoft.com] FROM EXTERNAL PROVIDER;

 

연결 문자열로는 아래처럼 Azure AD를 통해 연결하게 할 수 있습니다.

 

string ConnectionString =

@"Data Source=xxx.database.windows.net; Authentication=Active Directory Integrated;";

SqlConnection conn = new SqlConnection(ConnectionString);

 

string ConnectionString =

@"Data Source=xxx.database.windows.net; Authentication=Active Directory Password;

UID=xxx@xxx.onmicrosoft.com; PWD=xxx";

SqlConnection conn = new SqlConnection(ConnectionString);

 

간략히 Azure SQL ServerAzure AD 인증에 대한 내용을 살펴보았습니다.

posted by 정홍주