데이터 흐름 소개

 

데이터 흐름 소개

 

 

2018년 11월 버전부터 데이터 흐름(Dataflow)가 미리 보기로 소개되고 있습니다.

데이터 흐름은 보고서와 독립적으로 클라우드에서 운용되는 파워 쿼리 프로세스로 간단히 정의할 수 있고 여러 원본의 데이터를 통합하고 모델링을 위해 준비하는데 도움이 되며 데이터 원본 연결, ETL 논리, 새로 고침 일정 등을 정의하여 빅 데이터를 수집, 변환, 통합 및 강화하는데 사용됩니다.

사실 데이터 분석 사용자는 본인의 로컬 PC에서 데이터를 연결, 통합하고 데이터를 준비, 모델링하여, 시각화하여 보고서를 게시하고 새로 고침을 설정하는 작업을 이미 하고 있습니다.

데이터 흐름도 동일한 작업이지만 보고서와는 독립적으로 동작되며 클라우드에서 운영된다는 것이 가장 큰 차이점입니다. 보고서와 독립적으로 동작되어 파워 쿼리 프로세스는 결과를 클라우드에 저장합니다.

 

데이터 흐름을 사용하는데 이점을 간략히 살펴보도록 하겠습니다.

l  하나의 데이터 흐름을 여러 보고서에서 사용

데이터 흐름을 생성하게 되면 Power BI Desktop에서 데이터 흐름을 연결하여 여러 보고서에서 사용하며 하나의 파워 쿼리 작업으로 여러 보고서에 적용이 가능합니다. 로컬에서 작업은 보고서당 파워 쿼리 작업 하나가 연결되게 됩니다.

l  여러 데이터 흐름에서 각각 다른 새로 고침 일정 적용

데이터 흐름별로 각각 여러 데이터 원본을 연결할 수 있는데 데이터 흐름별로 다른 새로 고침 일정을 적용할 수 있습니다. 한 데이터 흐름의 매출 테이블은 매일 새로 고침을 적용하고, 다른 데이터 흐름의 제품 테이블은 한달에 한번 새로 고침을 적용하고, 지역 테이블은 일년에 한번 새로 고침을 적용할 수 있습니다. 두 데이터 흐름을 연결하여 각각 다른 새로 고침을 적용받을 수 있습니다. 로컬에서 여러 데이터 원본을 연결한 pbix의 경우 하나의 새로 고침만 적용되므로 매월 말일에 새로 고침 해도 되는데 매일 새로 고침에 참가해야 합니다.

l  파워 쿼리 온라인을 통해 데이터 통합

파워 쿼리 온라인으로 여러 데이터 원본을 연결하여 데이터를 추출, 데이터를 변환, 데이터를 적재할 수 있습니다. 프리미엄 작업 환경에서는 증분 새로 고침을 통해서 지속적으로 데이터를 적재할 수 있어 중앙화된 클라우드 Datawarehouse로 운용할 수 있습니다.

l  공통 데이터 모델(CDM)으로 표준화

공통 데이터 모델을 이용하여 표준 엔티티에 매핑하여 데이터를 통합하거나 고유한 엔티티를 생성하여 조직 전체에서 데이터를 통합할 수 있습니다.

l  Azure와의 통합

Azure Machine Learning, AI서비스, Azure Data Factory, Azure Databrick 등 Azure 서비스를 활용할 수 있습니다.

 

 

다음 게시글에서 데이터 흐름을 만들고 Power BI Desktop에서 연결해보겠습니다.