[패스트 캠퍼스 부트캠프] 4주차

 

 

이번주는 본격적으로 파이썬으로 데이터를 수집하는 방법을 배웠다. 

나아가 본격적으로 데이터 분석을 하는 예제들을 몇가지 했다.

너무 예제가 많고 길어서 미처 다 글을 올리지 못했지만 주말에 복습겸 보충할 예정이다. 

 

 

우선 데이터 수집하는 방법을 배웠다. 

 

그 중에서도 압도적인 분량을 자랑하는 부분은 당연히 크롤링이다. 

아래는 시작단계부터 각종 예제들에 대한 포스팅이다.

 

crawling 1 - Selenium

crawling 2 - DBPIA 예제

crawling 3 - YES 24 예제

 

crawling 4 - Google Playstore 리뷰 예제

crawling 5 - SRT 예매 프로그램

API를 통한 데이터 수집

crawling 6 - BeautifulSoup

 

 

 

 

이전 주에 배운 데이터 프레임 관련해서, 실시간 강의에서도 다루기도 했다. 

하지만 앞서 포스팅한 글이 있으므로  그것으로 복습을 하기로 한다. 

마지막으로는 이번 주말 내도록 코드와 구조를 공부할 데이터 분석 예제이다.

 

데이터 분석 1 - 영화 흥행 요인 분석 1

 

데이터 분석 1 - 영화 흥행 요인 분석 2

 

 

크롤링 단계에서 조금 난해했던 부분이 있다.

바로, HTML에 대한 공부가 조금 필요했단 것, 그리고 url 쿼리에 대한 공부도 필요하다는 것. 

단순하게 파이썬 코딩을 할줄 안다 아니다를 넘어서 다른 영역에 대한 이해와 지식이 필요하다는 것이었다.

당연하다면 당연한 말인데도, 코딩을 할줄 안다는 자신감만 있었지 다른 영역도 공부할 생각이 없었던 게 조금 부끄러웠다. 

 

또 데이터 분석 예제는 약 7개가 있는데, 온라인 강의를 반복해서 듣고 또 들었었다. 

코드에 대한 이해도는 chatGPT를 곁들여서 공부에 진척을 내고 있는데 

예제에 붙어있는 질문에 대한 발상이 정말 중요한 것 같다고 다시금 느끼고 있다. 

코드에만 몰두할게 아니라, 데이터셋을 보고 무엇을 분석하고 알아볼지에 대해서 꾸준히 생각하는 연습을 좀 더 하자.