데이터 흐름 2세대(Dataflow Gen2)의 증분 새로 고침 (1)

 

데이터 흐름 2세대(Dataflow Gen2)의 증분 새로 고침 (1)

 

데이터를 새로 고침할 때 요구사항에 따라 전체 데이터를 반영하지 않고, 변경된 데이터만 가져와야(증분 새로 고침) 할 필요가 있습니다.

Microsoft Fabric 환경에서 증분 새로 고침은 여러 곳에서 지원하고 있습니다. 예를 들어, Power BI Desktop에서도 의미 체계 모델을 증분 새로 고침할 수도 있습니다. 또한 Data pipeline의 데이터 복사 작업에서도 증분 새로 고침을 제공합니다. Dataflow Gen2에서도 증분 새로 고침을 제공합니다.

여기서는 Dataflow Gen2에서 기본 제공되는 증분 새로 고침을 간단히 적용해봅니다.

Dataflow Gen2에서 기본 제공되는 증분 새로 고침을 구성하는 대상은 Microsoft Fabric의 웨어하우스, 레이크하우스(미리 보기)입니다. SQL Database는 대상으로 지원된다고 표시되지만 지원되지 않습니다. 기본 대상으로 추가하면 지원되지 않고, 직접 대상을 지정해야 합니다. 또한 새로 고침을 위한 필터링 열로 날짜 컬럼이 존재해야 합니다. 제일 처음에는 전체 새로 고침을 수행해야 합니다.

DimProduct 테이블의 스키마에는 ModifiedDate, CreateDate 날짜 컬럼이 존재합니다. 변경되거나 추가되면 날짜가 입력됩니다. Dataflow Gen2에서 데이터 가져오기를 진행합니다. 대상은 직접 추가하면서 기존 테이블, 바꾸기로 설정합니다.

쿼리의 적용된 단계는 폴딩을 지원하며 완전히 접히도록 구성되어 있습니다(막대의 색이 빨간색이 아니며 데이터 원본에서 평가된다고 표시됩니다)

DimProduct 쿼리를 오른쪽 클릭하여 [증분 새로 고침]을 선택합니다. 증분 새로 고침 설정에서는 필터링 기준 열인 ModifiedDate을 통해 최근 1주 동안의 데이터만 가져옵니다. CreateDate 열을 통해서는 새 데이터를 추출하여 INSERT가 수행됩니다.

일부 데이터를 수정, 추가하고 증분 새로 고침을 적용해봅니다. 원본 데이터베이스의 쿼리를 추적해보면 전체 데이터를 조회하지 않고 조건절이 ModifiedDate로 되어 있는 것을 확인할 수 있습니다.

새로 고침 기록을 통해 Apply_DimProduct_Incremental_Over_Periods, DimProduct_Incremental_CreateDestination 활동을 확인할 수 있습니다.

웨어하우스의 테이블을 조회하여 증분 새로 고침이 반영되어 있는 것을 확인할 수 있습니다.

 

 간략히 Dataflow Gen2에서의 증분 새로 고침을 확인해보았습니다. 이 방법은 제한적인 사항이 일부 있어 다음 글에서는 추가된 데이터에 대해 다른 방법으로 증분 새로 고침을 구성해보겠습니다.