[TIL] 09.27 기업협업 - DB테이블, crawling error

오늘 한일

엔지니어분과 체크인 후 DB 테이블을 다시 만들었다. 처음 만든 DB 테이블은 플랫폼을 추가하면 수 많은 테이블이 생겨 났고 한눈에 보기에도 어려웠다. 그리고 값을 불러오기도 효율적이지 못한것 같았다. 

유저 , 비디오, 증감차 테이블 들의 colum 들이 똑같았기 때문에 하나로 합쳐버리고 type 값으로 각각의 플랫폼을 넣어 주었다. 

그리고 조인 테이블을 만들어 인덱스 값들로 불러올 수 있도록 하였다. 이렇게 만들고 보니 일단 보기가 편했고 플랫폰을 추가할 때도 그냥 플랫폼 이름만 넣어주기만 하면 된다. 여러번 수정을 거치고 오랜 고민을 하니 점점 나아진 테이블들을 볼 수 있었다. 

 

API를 작성하기전 파일들이 다 받아 오는지확인 하던중 404 에러가 발생하였다. 

urlopen을 사용해서 페이지를 긁어오는 부분이였는데 뭔가 봇을 감지하고 에러를 보내는것 같았다. 

urllib2를 이용해서 에러를 잡는 방법을 시도해 보았지만 잘 되지 않았다. 

내일은 urlib.HTTPError를 이용해 보려고 한다.