Microsoft Fabric - Data Factory

 

Data Factory

 

Microsoft Fabric의 Data Factory에 대해 알아보겠습니다. 데이터 변환 및 데이터 이동 서비스로 ETL 기능을 담당하는 구성요소 중의 하나입니다.

Data Factory 사이트에서는 만들수 있는 구성 요소로 다음 2 가지를 제공합니다.

만들기에서 Data Factory에서 하위 요소는 동일하게 2가지를 제공하고 있습니다.

 

데이터 흐름

Dataflow Gen2를 알아보면, Power BI에서 제공하는 데이터 흐름입니다. Power Query Online 으로 웹 브라우저에서 파워쿼리의 기능을 사용하여 데이터 가져오기, 변환, 쿼리 결합 등을 손쉽게 작업할 수 있습니다.

데이터 흐름에서 작업한 결과를 데이터 대상을 추가하여 웨어하우스, 레이크하우스로 게시할 수 있습니다.

 

데이터 파이프라인

데이터 파이프라인을 확인해보겠습니다. 데이터 파이프라인을 생성하고 화면을 확인해보면 주요 활동은 데이터 복사라는 것을 알 수 있습니다.

시작할 작업을 클릭해보면 보다 더 자세히 알 수 있습니다. 데이터 원본에서 데이터를 대량 복사하여 레이크하우스, 웨어하우스로 복사할 수 있습니다.

데이터 복사 작업을 추가하면 소스와 대상을 설정하게 됩니다. 대상을 확인해보면 데이터 파이프라인이 무슨 역할을 수행하는지 알 수 있습니다.

 데이터 파이프라인에서 데이터 흐름을 호출할 수도 있습니다.

 

데이터 원본을 연결하여, 데이터 변환을 수행하고 웨어하우스, 레이크하우스로 대상을 지정할 수 있는 Dataflow Gen2와 데이터 파이프라인을 간략히 확인해보았습니다.