셀레니움 와이어 네트워크 패킷 수집 - 실습

안녕하세요. 이전 글에서는 셀레니움 와이어 설치 방법 및 구성에 대해서 알아보았는대요.

이번 시간에는 셀레니움 와이어 네트워크 패킷 수집 실습을 해보도록 하겠습니다.

아래는 저가 공부하면서 참고한 유튜브 강의입니다.

 

 

 

 

실습 목표

크롤링에 있어 목표 설정이 가장 중요합니다.

이번 실습의 목표는 네이버 쇼핑인사이트 자바스크립트 그래프로 표현되는 값을 네트워크 패킷 수집을 통해 획득하는 것을 실습 목표로 잡았습니다.

사이트 주소

https://datalab.naver.com/shoppingInsight/sCategory.naver

네이버 데이터랩 : 쇼핑인사이트

 

 

패킷 이름 확인

개발자 도구(f12) - 네트워크 - '조회하기' 버튼 클릭 시 네트워크 패킷 확인이 가능합니다.

 

실습 목표인 자바스크립트 그래프 값은 getCategoryClickTrend.naver에서 확인이 가능한 것을 알 수 있습니다.

 

네트워크 요청 - 응답 코드 실습

해당 코드를 통해 네트워크 요청 시 발생하는 네트워크 패킷 정보를 확인할 수 있습니다.

결과

자바스크립트 그래프 값이 들어있는 'https://datalab.naver.com/shoppingInsight/getCategoryClickTrend.naver' 패킷 정보를 수집해야 합니다.

 

네트워크 패킷 수집 실습

 

결과

네트워크 패킷 수집을 통해 그래프의 데이터 값을 성공적으로 가져온 것을 확인할 수 있습니다.

 

실습 코드 전문

12_셀레니움 와이어 네트워크 패킷 수집.py

0.00MB

 

 

 

연관 글 보러 가기

셀레니움 와이어(selenium-wire)설치 및 오류 해결 방법