오늘 한일 오전에 CTO 분과 미팅을 통해 로그 테이블에 대한것과 프론트 작업에 대해 애매한 부분들을 해결할 수 있었다. 테이블을 전체적으로 재구성 하였다. 메인 유저테이블이 있고 거기서 각각 플랫폼 별로 유저테이블을 나누고 다시 또 플랫폼 별로 구독, 비디오 별로 트리 형식처럼 나누어 지도록 만들었다. 로그 테이블도 general 셋팅이 아닌 테이블을 만들어 저장하길 원하셔서 그렇게 만들었다. 쿼리문으로 데이터를 가져와도 되는데 로그테이블을 만드는 이유는 데이터가 엄청나게많기 때문에 로그테이블에 담아두었다가 바로바로 보기 위한것이었다. 내가 만든 테이블에 엄청난 양의 데이터가 쌓일것이라 생각하니 짜릿했다.

오늘 한일 기업에서 플랫폼 별로 DB를 만들어 달라고하여 수정을 하였다. 플랫폼 별로 영상 정보들을 담는 테이블을 만들었고 user_id를 forign key로 가지도록 하였다. 어제 문제가 되었던 아프리카 열혈팬,즐찾등은 유투브와 트위치가 구독 수 외에는 없어서 유저테이블에 플랫폼별로 구독자 수 콜럼을 만들고 아프리카만 따로 열혈팬과 즐찾 수를 추가해 주었다. 그동안은 기업에서 기획서를 준다고 하여 계속 기다리고만 있으니 작업을 하여도 뭔가 진행이 되지 않았다. 오늘 팀원들과의 미팅을 통해 좀더 주도적으로 프로젝트를 가져가기로 하였다. 우리가 먼저 정해서 이런 방식으로 해도 되는지 물어보고 질문사항이 있으면 모아서 바로바로 물어 보기로 하였다.

오늘 한일 서버셋팅도 완료 되었고 각 플랫폼마다 어떤 방식으로 크롤링 할건지도 정해졌다. 오늘부터 연습이 아닌 진짜 작업에 들어가기위한 기본적인 설정들을 시작하였다. git에 연결하여 서버 셋팅을 해주고 DB 생성을 한 후 테이블도 만들어 주었다. 그리고 각자의 레파지토리로 포크해와 클론을 한 후 작업을 시작하였다. 크롤링 작업을 하던중 아프리카TV에는 구독수 외에도 팬클럽, 즐겨찾기등이 있다는 것을 발견했다. 그동안 왜 발견을 못했는지... 테이블을 다시 짜야겠다고 생각하고 이전에 짜둔 테이블을 보는데 유저 테이블의 구독자수 콜럼은 생각해보니 플랫폼이 여러 개 이기 때문에 각각 따로 만들어 줘야했고 결국 구독자 테이블을 따로 만들어야 겠다는 결론에 도달했다. 각각의 플랫폼을 콜럼으로 가진 테이블을 만드..

오늘 한일 Access Token 을 사용하여 데이터를 받아오는데 성공 하였지만 할당량 에러가 발생하였다. 토큰에는 할당량이 없고 토큰을 발급 받을 수 있는 횟수에 제한이 있는걸로 알고 있었는데 왜 할당량 에러가 나는지 정확한 이유를 알 수가 없었다. Access Token이 만료 되기전에 refresh Token을 보내어 새로은 토큰을 받아오지 못해서 그런건 아닐까 하고 다시 새로운 Access Token을 발급받고 시도해 보았지만 여전히 에러가 발생했다. 뭔가 IP 자체를 막아버린건가 라는 또 다른 의문이 생겼다. 아니면 에러 문구 그대로 할당량이 초과되어서 그런걸까? 라는 생각에 검색을 해보았지만 딱히 토큰이 할당량에 관련된 글은 나오지 않았다. 결국 API key로는 비디오 목록을 받아오고 나머진..

어제 받으려고 시도 했던 유튜브 Access Token 발급을 받는것에 성공 했다. 간단하게 받아 올 수 있을줄 알았는데 토큰을 받기 위해서는 OAthu 인증을 먼저 받아야 했고 인증 받으면 발급 되는 client ID, password, json 파일이 필요했고 이 것들을 사용하여 유튜브로 요청을 보내어 토큰을 받아오는 형식 이었는데 요청을 보내면 계속 404 에러가 나타났다. 그러다가 google console에서 발급 받는 방법을 발견했고 이 방법을 통해서 토큰을 발급 받을수 있었다. 그리고 스키마 데이터와 크롤링 프로세스를 짜보았다. 스키마 데이터는 우선 간단하게 유저 테이블과 비디오 테이블로 나누어 만들었고 로그 테이블은 좀 더 고민해 보기로 하였다. 작업을 해나가면서 조금씩 변화를 주게 될거 ..

오늘 한일 크롤링에 대한 이해가 안된 상태에서 시작하려니 좀 많이 헷갈리는 부분이 있었는데 기업 미팅 이후 그 부분에 대해서는 이제 좀 어느정도 해결이 되었기 때문에 오늘은 전체적인 프로세스와 서버세팅 과 유튜브에서 데이터를 가져오는 부분에서 해결해야하는 것들에 대해서 팀원들과 회의를 진행 하였다. 유튜브에서 해결해야 하는 문제들 Comment 가 없거나 막아놓은 부분 조건문 사용하여 넘어가도록 해야한다. PageToken 을 사용하여 50개 이상의 데이터를 받아 올수 있도록 해야한다. Access Token 을 사용하여 요청을 보낼때 마다 새로운 API key 발급 받도록 만든다. 동영상 각각의 좋아요 싫어요를 받아와야 한다