[R]0520 크롤링하기.

동적페이지 크롤링하기 

#메모

0520동적크롤링

#동적페이지와 정적페이지는 구별이 어렵다.

#브라우저 드라이버로 IE/크롬/파이어폭스/사파리/오페라 가 있다.

#구글 -> 상단에 점세게-> 설정 -> 크롬정보 -> 크롬 버전체크 (현재 : 81.0.4044) 

1)selenium다운받기

www.selenium.dev/downloads/

Downloads

2)크롬드라이버 다운

구글에서 크롬드라이버 검색 (Downloads - ChromeDriver - WebDriver for Chrome)-> 드라이버 다운  

3) selenium 준비하기
->selenium폴더의 bin에 크롬드라이버 넣은 후 주소 복사

-> cmd 실행 

d:

cd (주소복사-마우스클릭)D:\R\selenium서버프로그램\selenium-server-standalone-master\bin

java -jar selenium-server-standalone.jar -port 4445 

 

추출시 console창

 

#요기요메뉴 접속 / 클린리뷰클릭 /하단 더보기 클릭 (다섯번 진행)/스크롤 아래로 이동/리뷰내용 가져오기 

 

# 코드