Microsoft Fabric – 레이크하우스(Lakehouse)

 

레이크하우스(Lakehouse)

 

Microsoft Faric에서는 데이터 엔지니어링으로 레이크하우스를 제공하고 있습니다. 레이크하우스는 구조화, 비구조화 데이터를 저장하고 관리하며 SQL 기반 쿼리와 Spark를 이용할 수 있습니다. 웨어하우스와는 일부 기능이 상이하나, 보고서를 생성하는 입장에서는 별 차이는 없습니다.

 

Fabric 작업 영역에서 레이크하우스를 생성하면, 테이블과 파일이 탐색기에서 보입니다.

레이크하우스에 데이터를 가져오는 방법은 여러가지 방법이 있습니다. 위 화면에서 보이는 것처럼 데이터흐름, 파이프라인, 노트북 열기, 파일, 바로가기로 파일을 가져올 수 있습니다.

레이크하우스에서는 새 데이터 흐름과 새 파이프라인을 선택하게 되면 로드 대상이 레이크하우스로 지정되어 처리됩니다. 또는 기존 데이터 흐름과 파이프라인에서 로드 대상을 지정하면 됩니다.

‘전자 필기장’이라고 메뉴에서 나타나지만 번역 오류이며 ‘노트북(Notebook)’입니다. Localization 이슈라고 올렸지만, 엔지니어가 Support case를 오픈까지 해서 상세하게 설명을 하긴 했습니다만 언제 변경될지는 모르겠습니다.

 

다음은 데이터를 가져온 레이크하우스입니다.

테이블과 파일만 보여서 쿼리 구문은 작성할 수 없는 것으로 보입니다만, 레이크하우스를 생성하면 SQL 엔드포인트도 같이 생성되게 됩니다.

오른쪽 상단의 레이크하우스 드롭다운을 클릭하여 SQL 엔드포인트를 선택할 수 있습니다. 웨어하우스 화면과 동일한 모습을 볼 수 있습니다. 하지만 모든 쿼리를 지원하는 것은 아니며 SQL 뷰 등 일부 제한된 DDL 구문을 지원합니다.

레이크하우스에서는 웨어하우스와 달리 노트북(Notebook)을 통해 Python 코드를 작성하여 데이터를 가져오기 할 수 있습니다.

레이크하우스에서 새 Power BI 데이터 세트를 생성하고 보고서를 생성할 수 있으며, Power BI Desktop에서 OneLake 데이터허브에서 레이크하우스를 연결하여 보고서를 작성할 수 있습니다.

 

간략히 레이크하우스를 살펴보았습니다. 다음에서는 조금 더 구체적인 기능들 위주로 확인해보겠습니다.