오늘 한일 기업을 방문하여 미팅을 진행 하였다. 크롤링이라던지 서버 셋팅등에 대해 잘 모르겠던 부분들 애매한 부분들을 중점적으로 물어보았다.

오늘 한일 기업으로 부터 프로젝트 문서를 받아서 그 문서대로 task를 나누었다. 그리고 어제 공부한 것을 토대로 간단한 데이터를 가져오는 크롤링 연습을 해보았다. scrapy를 사용해 보았는데 문제가 발생했다. shell 에서 scrapy를 실행하여 crawling 한 페이지를 다시 view로 띄울 수 있어서 그렇게 하던 중 아프리카 메인페이지는 동영상이 없는 빈페이지가 나오고 bj개인 페이지는 private page라고 접근 할 수 없다고 나왔다. 메인 페이지의 경우 scrapy가 동적인 부분 (실시간 방송, 시청자 수) 을 못 읽어 오는것이 원인 인것 같았다. 개인 페이지는 뭔가 로그인을 하면 될것 같았는데 정확한 원인을 파악하진 못하였다. 검색을 통해 selenium을 통해 실시간 시청자 수를 크..

오늘 한일 오늘 기업협업으로 첫 미팅을 하였다. 이번 프로젝트는 우튜브, 트위치, 아프리카 플랫폼에서 팬심에 가입되어 있는 스트리머,유튜버,BJ 들의 흥망성쇠를 알 수 있는 구독자 수, 시청자 수 등을 크롤링 해온 데이터를 문서화로 만들어서 보여주는 프로그램을 만드는 것이 목표이다. 기술 스택은 크롤링을 위해서 Python, Django 를 사용하기로 하였고 데이터 베이스는 MySQL을 사용하기로 하였다. 간단한 미팅 후 장고에 대한 스터디를 진행 하였고 크롤링 라이브러리에 대한 문서를 노션으로 작성하여 공유 하였다. BeautifulSoup가 간단하여 사용하기 좋다고 생각하였으나 DB에 데이터도 저장해야하고 긁어와야할 데이터가 다양하므로 Scrapy를 사용하는 것이 우리 프로젝트에 맞는것 같다라는 생각..

오늘 한일 Django를 설치하고 개발 환경을 만들기 위해 pyenv까지 설치하여 가상 환경을 만들어 보았다. Django의 기본적인 작동 원리에 대해서 공부를 해보니 명령어이 차이가 있을뿐 node.js와 비슷한 부분이 많았다. pyenv도 처음에 가상환경 이라고 하여 뭔가 어렵게만 느껴졌는데 javascript에서 프로젝트 별로 라이브러리 들을 pakaging 해두는 것과 비슷하다고 느껴졌다. 가상환경이란? 자신이 원하는 파이썬 개발환경을 만들기 위해 필요한 묘듈을 설치해둔 바구니이다.프로젝트 별로 별개의 가상 환경을 만들어 놓는다. 가상환경을 사용하는 이유는 같은 모듈을 사용하더라도 다른 버전이 필요할 수도 있기 때문이다. pyenv 설치 및 설정 방법 참고자료 : https://doorbw.tis..

오늘 한일 영화 예매사이트의 예매 정보를 크롤링해와 알림을 주는 강의를 보며 앱을 만들어 보았다. request로 웹페이지의 정보를 가져와서 bs4를 이용하여 크롤링 하는 방식이었다. 알림은 텔레그램과 APScheduler를 이용하려 만들어 보았다. 파이썬을 이용하여 앱을 만들면서 다양한 라이브러리를 사용하여 빠르게 작업이 가능하다는 것을 느꼈다. 파이썬의 라이브러리가 12만개나 된다고 하는데 내가 필요한 라이브러리를 찾아서 가져다 쓰는 능력이 중요할거 같다. Beautifulsoup4 구조 참고 블로그 : https://www.fun-coding.org/crawl_advance3.html

2주프로젝트를 스프린트 동안 배운것들을 복습하는 시간으로 만들어야 겠다고 생각하며 시작을 하였다. 내가 조장을 맡았고 우리조의 인원이 4명이어서 2명씩 프론트와 백으로 나누어 맡기로 하였다. 나는 백엔드 스프린트에서 꽤나 고생을 하여 다시 공부하기위해 백엔드를 맡았다. 기본적인 테이블 구조와 API 문서를 만들어 놓고 시작하기로 하였고 2~3일간 꽤나 애를 먹었다. 데이터가 몇가지 없었음에도 이렇게 테이블이 복잡해질 수 있구나란 생각이들었다. API도 처음엔 엄청 간단한 형식으로 만들었다가 그 뒤로 2~3번 정도 수정을 하고 나자 꽤나 그럴싸한 모양이 나왔다. 구조를 만드는데 너무 오래 걸린건 아닐까란 생각이 들었지만 그래도 이것만 제대로 만들면 코드로 옮기는건 금방 하지 않겠냐며 같이 백엔드를 맡은 팀..