웹 크롤링(Web crawling) 1.-- CGV 무비차트 크롤링
웹크롤링 2021. 8. 23. 18:03

무비차트는 기본적으로 top 7까지 소개하는 식으로 되어있다. 웹 크롤링을 이용하면 이 무비차트를 직접 들여다 보지 않고도 언제든 원하는 순위들을 뽑아낼 수 있다. 1. 두가지 모듈과 함수를 호출 urllib이라는 모듈을 호출하자. 이 모듈에서 request 함수를 req라는 이름으로 꺼내쓰도록 하자. (알리아스) 웹 크롤링 소개에서도 말했던 Beautifulsoup역시 bs4라는 모듈에서 호출해야한다. req.urlopen으로 무비차트의 url을 불러왔으나 이상한 코드가 출력될 것이다. 바로 이때가 beautifulsoup을 쓸 차례다. 이 정제된 코드는 웹 크롤링의 '광산'이다. 이제부터 이 코드를 이해하고, 원하는 대로 뽑아낼 수 있어야한다. 다시 무비차트 페이지로 돌아가자. 이제 서버가 작성해 놓..