Microsoft Fabric - 실시간 분석(Real-Time Analytics)

 

Microsoft Fabric - 실시간 분석(Real-Time Analytics)

 

이번 글에서는 Microsoft Fabric의 Real-Time Analytics에 대한 내용을 확인해보겠습니다.

센서, SNS 등의 데이터 원본에서 다양한 데이터 구조의 실시간 이벤트를 캡처, 짧은 대기 시간으로 스트리밍을 제공해야 할 요구사항이 있는 경우가 있습니다. 또는 마케팅 팀에서 기획한 캠페인이 판매, 재고 등에 미치는 영향을 분석하기 위해 대량의 데이터를 통해 캠페인 성능을 분석하고 Power BI 보고서에서 거의 실시간으로 결과를 확인하고 싶은 경우가 있습니다.

많은 데이터, 짧은 대기 시간, 다양한 데이터 구조, 실시간, 스트리밍 등에 대한 요구사항을 Real-Time Analytics으로 접근할 수 있습니다. Real-Time Analytics 홈으로 이동해보면 Eventstream, KQL 데이터베이스, KQL 쿼리 집합을 확인할 수 있습니다.

여기서 Eventstream의 경우 여러 데이터 원본에서 데이터를 캡처하여 다양한 대상으로 라우팅해주는 기능을 제공합니다. Azure의 Event Hubs와 동일한 기능으로, 사용자 지정 응용프로그램 또는 Azure IoT Hub, Event Hubs 원본을 연결할 수 있으며 레이크하우스, KQL 데이터베이스 등 여러 대상을 연결하여 동시에 전달할 수 있습니다.

스트리밍 데이터를 저장하는 구성요소는 KQL 데이터베이스이며, KQL(Kusto Query Language)을 통해 KQL 데이터베이스 테이블의 데이터를 살펴보고 패턴을 발견하고, 변칙 및 이상값을 식별하고, 통계 모델링을 생성하는 등의 작업을 수행할 수 있습니다.

KQL 데이터베이스 또는 KQL 쿼리 집합을 통해 Power BI 보고서를 생성하고 자동 새로 고침을 적용하여 실시간 스트리밍 보고서를 확인할 수 있습니다.

 

실시간 분석을 하기 위해서는 여러 도구 및 클라우드의 서비스를 통합하여 진행해야 합니다. Microsoft Fabric의 Real-Time Analytics에서 Eventstream, KQL 데이터베이스를 통해 보다 더 쉽고 간편하게 구성할 수 있습니다. 실시간 분석이나 스트리밍 데이터를 핸들링하는 경우는 통합 분석 환경의 Microsoft Fabric의 Real-Time Analytics을 고려할 수 있습니다.