redJu(홍주)

Microsoft Fabric - 실시간 분석(Real-Time Analytics) 이번 글에서는 Microsoft Fabric의 Real-Time Analytics에 대한 내용을 확인해보겠습니다. 센서, SNS 등의 데이터 원본에서 다양한 데이터 구조의 실시간 이벤트를 캡처, 짧은 대기 시간으로 스트리밍을 제공해야 할 요구사항이 있는 경우가 있습니다. 또는 마케팅 팀에서 기획한 캠페인이 판매, 재고 등에 미치는 영향을 분석하기 위해 대량의 데이터를 통해 캠페인 성능을 분석하고 Power BI 보고서에서 거의 실시간으로 결과를 확인하고 싶은 경우가 있습니다. 많은 데이터, 짧은 대기 시간, 다양한 데이터 구조, 실시간, 스트리밍 등에 대한 요구사항을 Real-Time Analytics으로 접근할 수 있습..

aMS 컨퍼런스 - Microsoft Fabric 알아보기 10월 5일 aMS 컨퍼런스 행사가 서울 모두의 연구소에서 진행됩니다. 이번 행사에서는 조만간 만나게 될 Microsoft Copilot에 대한 데모를 비롯하여 Microsoft 365를 통한 업무 생산성 향상 및 정보 보안과 관련한 다양한 주제가 제공될 예정입니다. 아래 링크를 통해 참가 등록을 할 수 있습니다. 참가 등록: https://bit.ly/aMSSeoulRegister 일시: 2023년 10월 5일 장소: 강남 모두의 연구소 Power BI는 Power BI Premium에서 더 발전해서 Microsoft Fabric이 등장했습니다. “Microsoft Fabric 알아보기”라는 주제로 45분 세미나를 진행합니다. “Microsof..

Fabric – Power BI 보고서 생성 이전 글에서 Microsoft Fabric 항목(데이터 흐름 2세대, 데이터 파이프라인, 웨어하우스, 레이크하우스)을 간략히 살펴보았습니다. 여기서는 Microsoft Fabric 항목을 통해 Power BI 보고서를 생성하는 내용을 살펴보겠습니다. 데이터 흐름 2세대(Dataflow Gen2), 데이터 파이프라인은 데이터를 가져오기 및 변환을 수행하여 웨어하우스 또는 레이크하우스에 적재해주는 항목이므로, 이 항목을 통해 Power BI 보고서를 생성할 수는 없습니다. 웨어하우스 또는 레이크하우스 SQL 엔드포인트에서는 [새 보고서]를 통해 보고서를 생성할 수 있습니다. 웨어하우스를 생성하면, 해당 웨어하우스와 데이터 세트(기본값)가 같이 생성됩니다. 레이크하..

레이크하우스(Lakehouse) Microsoft Faric에서는 데이터 엔지니어링으로 레이크하우스를 제공하고 있습니다. 레이크하우스는 구조화, 비구조화 데이터를 저장하고 관리하며 SQL 기반 쿼리와 Spark를 이용할 수 있습니다. 웨어하우스와는 일부 기능이 상이하나, 보고서를 생성하는 입장에서는 별 차이는 없습니다. Fabric 작업 영역에서 레이크하우스를 생성하면, 테이블과 파일이 탐색기에서 보입니다. 레이크하우스에 데이터를 가져오는 방법은 여러가지 방법이 있습니다. 위 화면에서 보이는 것처럼 데이터흐름, 파이프라인, 노트북 열기, 파일, 바로가기로 파일을 가져올 수 있습니다. 레이크하우스에서는 새 데이터 흐름과 새 파이프라인을 선택하게 되면 로드 대상이 레이크하우스로 지정되어 처리됩니다. 또는 기..

Data Factory Microsoft Fabric의 Data Factory에 대해 알아보겠습니다. 데이터 변환 및 데이터 이동 서비스로 ETL 기능을 담당하는 구성요소 중의 하나입니다. Data Factory 사이트에서는 만들수 있는 구성 요소로 다음 2 가지를 제공합니다. 만들기에서 Data Factory에서 하위 요소는 동일하게 2가지를 제공하고 있습니다. 데이터 흐름 Dataflow Gen2를 알아보면, Power BI에서 제공하는 데이터 흐름입니다. Power Query Online 으로 웹 브라우저에서 파워쿼리의 기능을 사용하여 데이터 가져오기, 변환, 쿼리 결합 등을 손쉽게 작업할 수 있습니다. 데이터 흐름에서 작업한 결과를 데이터 대상을 추가하여 웨어하우스, 레이크하우스로 게시할 수 있습..

Microsoft Fabric – 패브릭 작업 영역 만들기 Microsoft Fabric에는 레이크하우스, 노트북, 웨어하우스, 데이터 파이프라인 등 다양한 항목들이 있습니다. 항목을 만들기 위해서 먼저 필요한 것은 패브릭 용량과 작업 영역입니다. 라이선스에 대한 부분은 다음 글에서 다루어 보겠습니다. 여기서는 패브릭 용량을 가진 패브릭 작업 영역을 생성해봅니다. 작업 영역을 생성할 때 [고급]을 확장하거나, 기존 작업 영역 설정의 [프리미엄]을 확인해보면 60일 평가판 또는 패브릭 용량을 확인할 수 있습니다. 현재는 평가판만 선택이 가능합니다. 그래서 Power BI 서비스 상단에 남은 일수가 표시됩니다. Power BI 서비스에서 일반 작업 영역에서 패브릭 항목을 생성하려고 하면, 평가판으로 업그레이..

Power BI Update – 2023년 6월 새 카드(미리 보기), OneLake 데이터 허브, Power BI 프로젝트 저장 옵션(버전 관리 등) 등 새로운 소식이 올라와 있습니다. 제가 살펴볼 주요 기능은 아래와 같습니다. o Power BI Desktop - 새 카드(미리 보기) - OneLake 데이터 허브 - Power BI 프로젝트 저장 옵션(미리 보기) o Power BI 서비스 - Admin Monitoring - 탐색 메뉴 업데이트 새 카드(미리 보기) 카드는 많이 사용하는 시각적 개체 중의 하나입니다. 카드는 제한적인 측면(여러 값 표시, 이미지 표시, 가로 레이아웃 등)이 일부 있어 새 카드(미리 보기)를 제공하고 있습니다. 한번 사용해보면 제한적인 측면이 많이 개선된 것을 바로 ..

Microsoft Fabric 평가판 시작 이전 글에서 Microsoft Fabric을 확인해보았습니다. 여기서 평가판을 시작하고 난 후 다음 글에서 패브릭 항목을 생성해보겠습니다. Microsoft Fabric 평가판을 사용하기 위해서는 Power BI 라이선스가 있어야 합니다. 그래서 Power BI 라이선스가 없다면 먼저 Power BI 무료 라이선스 또는 평가판을 등록해야 합니다. https://app.fabric.microsoft.com/ Power BI 계정을 생성하였거나 기존에 계정이 있다면 Microsoft Fabric 평가판을 시작할 수 있습니다. Power BI에 로그온하여 오른쪽 상단의 프로필을 선택하여 평가판 시작을 선택하면 됩니다. 60일 동안 평가판을 사용하려면 동의를 선택하고 ..

Microsoft Fabric Build 행사와 Power BI 블로그에서 Microsoft Fabric을 소개하였는데요, 분석 환경에서 큰 변화가 있습니다. Power BI를 이용하는 측면에서는 일부 메뉴가 변경되었습니다. Microsoft Fabric은 ETL, Data Science, 실시간 분석 및 Power BI를 포함한 분석 솔루션입니다. ETL별도, 시각화 별도 등 개별적인 서비스를 각각 이용하고 관리해야 했습니다만 Microsoft Fabric에서는 데이터 레이크, 데이터 엔지니어링 및 데이터 통합을 비롯한 포괄적인 서비스 제품군을 한 곳에서 제공합니다. 그래서 ‘Umbrella’ 라고 표현하기도 합니다. 위 링크의 아래 그림을 보면 한눈에 알 수 있습니다. Microsoft Fabric은..