[TIL]10.09 기업협업 - DB 데이터 저장

오늘 한일 

어제 짜둔 프로세서대로 크롤링을 해 DB에 데이터를 넣어 보았다. 처음에는 작은 에러들이 발생하여 그것들을 점부 처리해 주었다. 

그리고 user table의 값들은 중복이 되지 않도록 기존의 값이 들어올 경우 UPDATE 가 되도록 해주었다.

처리들을 다 해준뒤 실행을 했을때 120개 정도 까지 밖에 돌아 가지 않았다. 멈춘 부분의 주소 값이 잘못되었나 확인해 보았지만 잘못된 부분은 없었다.  뭔가 API 에서 차단을 하는것 같았다. 

데몬을 이용해서 나누어서 돌릴 것이기 때문에 이 문제는 해결이 될것 같다.