[TIL] 0917 기업협업 - Crawling

오늘 한일

기업으로 부터 프로젝트 문서를 받아서 그 문서대로 task를 나누었다. 그리고 어제 공부한 것을 토대로 간단한 데이터를 가져오는 크롤링 연습을 해보았다. scrapy를 사용해 보았는데 문제가 발생했다. shell 에서 scrapy를 실행하여 crawling 한 페이지를 다시 view로 띄울 수 있어서 그렇게 하던 중 아프리카 메인페이지는 동영상이 없는 빈페이지가 나오고 bj개인 페이지는 private page라고 접근 할 수 없다고 나왔다.

 

메인 페이지의 경우 scrapy가 동적인 부분 (실시간 방송, 시청자 수) 을 못 읽어 오는것이 원인 인것 같았다. 개인 페이지는 뭔가 로그인을 하면 될것 같았는데 정확한 원인을 파악하진 못하였다.  검색을 통해 selenium을 통해 실시간 시청자 수를 크롤링해오는 블로그의 글을 보고 selenium으로 다시 시도를 해보았다. 그런데 이번엔 selenium이 import 되지 않는 문제가 발생 하였다. 

오늘 조금 더 시도해보고 안되면 내일 다시 시도하여 selenium으로 크롤링을 해보아야 겠다.