티스토리 뷰

Microsoft Faric/Power BI

웹 데이터 수집

정홍주 2018. 2. 19. 08:00

 

웹 데이터 수집 - 스크래핑

 

웹 사이트를 통해 데이터를 수집하려고 할 때 html 태그가 table 로 나타날 경우는 Power BI Desktop에서 손쉽게 데이터 가져오기가 가능합니다.

 

Power BI Desktop의 데이터 가져오기 방식에서 웹을 선택하고 해당 URL을 입력하면 아래 그림과 같이 table 태그에 해당하는 내용이 표로 나타나게 됩니다. 쿼리 편집을 통해서 데이터를 핸들링하면 됩니다.

 

그런데 웹의 데이터가 위 그림과 같이 div 형태로 되어 있다면 Power BI Desktop에서는 Document를 통해 탐색을 해도 원하는 데이터를 추출할 수가 없습니다. Div 태그 안에 데이터가 있는 경우는 여러가지가 있을 수 있는데 예를 들면 드롭다운의 값으로 있는 데이터, 테이블로 만들지 않고 div로 만든 표 형태의 데이터를 들 수 있습니다.

이러한 경우는 R을 통해서 웹 스크래핑을 하면 데이터를 보다 효과적으로 수집할 수 있습니다. Rvest 패키지를 통해 read_html, html_nodes, html_text를 통해 진행하고 data.framecsv 로 저장하면 됩니다.

Power BI Desktop에서도 데이터 가져오기의 R 스크립트를 통해서 웹 데이터를 가져오기할 수 있습니다.

 

'Microsoft Faric > Power BI' 카테고리의 다른 글

보고서 공유 – Power BI 모바일 앱  (0) 2018.03.07
최종 사용자에게 앱 푸시 - 자동 설치된 앱  (0) 2018.02.26
Power BI Desktop Update 2018년 2월  (0) 2018.02.09
보고서 공유  (0) 2018.01.26
Power BI 웹 파트  (0) 2018.01.22
댓글