[TIL] 09.29 기업협업

오늘 한일

크롤링을 하기위해 페이지를 받아오는 과정에서 에러가 나는 원인은 봇을 차단하는 기능이었던것 같다. 

req = Request(URL, headers={'User-Agent': 'Mozilla/5.0'})

request 의 헤드 값에 위의 값을 넣어서 보내주니 해결이 되었다. 

 

DB에 대해 엔지니어분에게 한번 더 확인을 부탁했고 수정 사항을 받아 수정을 하였다.

(더 이상 시간이 없어 마지막 수정을 하고 이대로 사용하기로 하였다.)

 

따로 떨어져 있을 필요가 없는 테이블을 하나로 합쳐 주었고, 뎁스가 너무 깊어지지 않도록 n:m의 관계 사이에는 관계 테이블을 하나 만들어 주어 좀더 쉽게 데이터를 가져올수 있도록 만들어 주었다.