티스토리

retill28 님의 블로그

검색하기

블로그 홈

retill28 님의 블로그

retill28.tistory.com/m

retill28 님의 블로그 입니다.

구독자: 0

방명록 방문하기

주요 글 목록

데이터 분석 1 - 영화 흥행 요인 분석 2 .지난 포스팅에서는 영화 데이터를 불러와 전처리하는 과정을 순서대로 썼다. 이번 포스팅에서는 그렇게 만든 데이터를 가지고 실제로 분석하는 과정을 써보려고 한다. 우선 분석하려고 하는 내용을 다시 살펴보면 아래와 같다. 질문의 예시연도별 흥행 수익은?가장 흥행한 영화 TOP 10은?흥행에 가장 성공한 감독과 배우는?장르와 흥행 수익흥행 수익이 좋은 장르는?시간의 흐름에 따라 유행하는 장르가 바뀌는가?월별로 흥행하는 장르가 있는가?수익과 예산, 투표수, 평점과의 상관관계는?ROI(예산 대비 수익)가 높으면서 흥행에 성공한 영화의 특징은? 1. 연도별 흥행 수익은? data.groupby('year')[['revenue']].sum() 를 통해 연도별로 수익의 합을 구한다. 이때 만들어지는 데이터 프레임.. 공감수 1 댓글수 0 2024. 7. 12.
데이터 분석 1 - 영화 흥행 요인 분석 1 데이터 프레임을 공부했던 부분을 응용해 실제적으로 영화 데이터를 분석해보려고 한다. 우선 사용할 데이터는 2개의 csv파일로 'tmdb_5000_credits .csv ' 와 'tmdb_5000_movies.csv' 이다. 1. 데이터 살펴보기 먼저 두 파일을 불러와 열어본다. 첫번째가 movie 데이터, 두번째가 credits 데이터이다.movies = pd.read_csv('tmdb_5000_movies.csv')movies.head()credits = pd.read_csv('tmdb_5000_credits.csv')credits.head() 각 컬럼들을 정리해보면 다음 표와 같다. movie credits budget: 영화 예산 (단위: 달러)genres: 모든 장르homepage.. 공감수 0 댓글수 0 2024. 7. 12.
crawling 6 - BeautifulSoup 웹 크롤링을 하는 방법 중 지금까지는 파이썬의 pandas 라이브러리를 사용했었다. 하지만 pandas 외에도 BeautifulSoup 이라는 라이브러리를 사용할 수도 있다. 1. 크롤링할 웹사이트 request사용할 라이브러리는 아래와 같다. requests는 웹서버에 정보를 요청하는데 사용하고, BeautifulSoup는 데이터 파싱에 주로 사용한다. import requestsfrom bs4 import BeautifulSoup as bs 이동할 웹사이트는 네이버 검색창에 '제주도'를 입력했을 떄 뜨는 창이다. requests를 이용해 url을 전달해서 결과를 받아오고, BeautifulSoup을 사용하여 응답 본문을 HTML 파싱한다.파싱된 HTML은 soup 변수에 저장된다. 이때 sou.. 공감수 0 댓글수 0 2024. 7. 12.
API를 통한 데이터 수집 공공데이터 미세먼지 API공공데이터 API로 데이터 수집하기 1. 개요 데이터를 수집하는 방법은 지금까지처럼 크롤링을 사용하는 방법이 있고,또다른 방법으로 오픈 API를 받아오는 방법이 있다. 오픈 API란 누구나 사용할 수 있도록 공개된 API를 말한다. 간단히 말해서 공개된 데이터로, 적절한 url과 파라미터들이 있다면 누구든 사용할 수 있다. 실시간 업데이트 되는 데이터나, 그만큼 업데이트가 빈번한 대용량의 데이터가 필요할 때 유용한다. 이번 글에서는 공공데이터 포털 API를 활용하여 실시간 대기오염 정보를 받아오려고 한다. Python의 requests 라이브러리를 사용하였다. 가장 먼저, 공공데이터 포털에서 원하는 오픈 api를 활용신청을 받는다. 이 포스팅에선 아래와 같이, '한.. 공감수 0 댓글수 0 2024. 7. 12.
crawling 5 - SRT 예매 프로그램 SRT 예매 알림 프로그램SRT 예매 후, 예매가 완료되면 slack으로 알림받기 이 포스팅은 Selenium을 사용하여 SRT 예매 사이트에 로그인하고,원하는 날짜와 시간에 맞춰 예약을 완료한 후, 예약이 성공하면 Slack으로 알림을 보내줍니다. 1. 개요 srt의 로그인 화면으로 이동한다. 사용자에게 미리 아이디와 비밀번호를 받고, 아래 로그인 화면에 각각 입력하여 자동적으로 로그인이 되도록 한다. 일반 승차권 예매로 넘어가, 도착지를 설정한다. 출발할 날짜와, 시간을 선택하고 조회하기를 클릭한다. 아래 화면에서 예매가 성공한다면, slack으로 봇이 알림을 주도록 한다. 예매가 되지 않았다면, 예매가 될때까지 시간을 두고 계속 시도해본다. 2. 로그인 우선 필요한 라이브러리를 임.. 공감수 0 댓글수 0 2024. 7. 11.
crawling 4 - Google Playstore 리뷰 예제 Google Playstore 크롤링 Google Playstore에서 어플을 검색해, 리뷰를 크롤링 1. 개요 아래의 스크린샷을 보면 q = {배달의 민족} 으로 입력한 검색어가 들어간 꼴이다.즉, 사용자에게 검색할 어플명을 입력받아 q = {keyword}로 주면 해당 검색어를 입력한 것처럼 이동할 수 있다. 검색한 페이지에서 어플이름 혹은 아래의 파란 영역을 클릭하면 상세페이지로 이동한다.그리고 이동한 페이지에서 평가 및 리뷰 옆 화살표를 클릭하면 리뷰들을 스크롤해서 전부 볼 수 있다. 아래가 화살표를 클릭했을 때 나오는 페이지. 파란색으로 보이는 영역에서, "작성자명, 작성일, 평점, 내용, 몇명에게 도움이 되었나" 정보를 가져온다. 2. 기본 창 이동 브라우저를 플레이스토어로 .. 공감수 2 댓글수 0 2024. 7. 11.
crawling 3 - YES 24 예제 YES 24 크롤링 베스트셀러 순위권의 정보 크롤링 1. yes24 베스트셀러 페이지 2. 베스트 셀러 데이터를 수집한다. 가져올 데이터 : 제목, 저자, 출판사, 출간일, 리뷰수, 평점데이터 class 이름 제목gd_name링크gd_name저자info_auth출판사info_pub평점yes_b class 이름을 찾는 과정은 아래 스크린샷들을 참고 단 링크는, 이름을 클릭하면 연결되는 링크를 뜻하므로, 제목과 class 이름이 같다. 3-1. 코딩 - 홈페이지 이동 from selenium import webdriverfrom selenium.webdriver.common.by import Byurl = 'https://www.yes24.com/Product/Category/BestSell.. 공감수 0 댓글수 0 2024. 7. 11.
crawling 2 - DBPIA 예제 지난 포스팅에, 웹 크롤링의 기본과 코딩을 기록해두었다. 코드가 점차 하나씩 살이 덧붙여지는 과정을 순차적으로 기록하는 데에 주를 두었다. 분명 따라할 때는 어려운게 없었는데, 이후 여러예제를 하면서,한번에 코드를 완성하려고 욕심을 두는 경향이 있는걸 알게 되었다. 그래서 처음의 초기 코드부터 살을 붙여가며 코드를 완성하는 과정을 남기는 데에 힘써보려고 한다. DBPIA 페이지 크롤링 DBPIA 논문에서 원하는 키워드를 입력하여 검색한다. 키워드에 따른 검색결과에서, 3페이지까지의 데이터 수집수집할 데이터 - (1) 제목 (2) 저자 (3) 링크url은 https://www.dbpia.co.kr/ 키워드 입력 받아서, 화면 이동 > url 분석https://www.dbpia.co.kr/search.. 공감수 0 댓글수 0 2024. 7. 11.
crawling 1 - Selenium 1. 웹 크롤링 (Crawling)크롤링(Crawling)이란 기어다니다라는 뜻이 있다.그렇다면 웹 크롤링이란, 웹사이트를 돌아다니면서 정보를 탐색하고 수집하는 작업을 말한다. 즉, 웹을 기어다니며 데이터를 긁어 모은다고 생각하면 된다. 2. 사용한 툴 크롤링은 다루는 코드언어에 따라 다양한 방법으로 할 수 있다. 그 중에서도 파이썬, Selenium 라이브러리를 사용했다. 3. 시작 코드 - 기본 환경 설정 #설치!pip install selenium!pip install webdriver-managerfrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium import webdriverbrowser = webdriver.C.. 공감수 0 댓글수 0 2024. 7. 10.
데이터 시각화 1 Python에서 데이터 시각화를 하기 위해 다음과 같은 두가지 라이브러리를 사용한다.matplotlib: 파이썬 데이터 시각화의 가장 기본적인 라이브러리. 유연하게 커스텀이 가능seaborn: matplotlib을 좀 더 쉽고 아름답게 시각화하는 라이브러리 1. 기본 문법 # 라이브러리 import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as sns#기초 plt 관련 문법plt.figure(figsize=(가로길이, 세로길이)) #그래프 크기 설정sns.000plot(data=데이터, x=X축 컬럼, y=Y축 컬럼, hue=범례 컬럼) #seaborn으로 그래프 그리기plt.title(제목) #제목 설정p.. 공감수 1 댓글수 0 2024. 7. 5.
dataframe 4 - 데이터 집계 1. 분포와 통계량describe() 함수를 통해 기초 통계량들을 구할 수 있다. 아래와 같은 함수를 사용해서 대푯값을 구할 수 있다,numeric_only = True 옵션을 통해 데이터 타입이 숫자인 항목에 한해 구할 수 있다. 2. 상관관계 분석 corr() 함수를 통해 각 컬럼별 상관관계를 분석할 수 있다. 후에 배울 그래프와 결합하면 아래처럼 나타낼 수 있다. 3. groupby()같은 값을 한 그룹으로 묶어서 각종 연산과 통계값을 구하는 방법형식 : 데이터.groupby(컬럼명).연산및통계함수 df.groupby('Pclass').count() #Pclass 각 그룹군에 대해 해당 값이 몇개인지 표로 보여줌 df.groupby('Pclass').nunique() #유니크한.. 공감수 1 댓글수 1 2024. 7. 5.
dataframe 3 - 데이터 가공 1. 결측값 처리 isna(): 결측값을 True로 반환합니다.notna(): 결측값을 False로 반환합니다.결측값 제거 : 데이터명.dropna(axis=0, how='any', subset=None) axis : {0: index / 1: columns}how : {'any' : 존재하면 제거 / 'all' : 모두 결측치면 제거}subset : 행/열의 이름을 지정합니다.df.dropna(axis=1) // 결측지 있는 열 제거 df.dropna(how='any') // 결측지 존재하면 행 삭제 df.dropna(subset=['Cabin','Age']) //해당 열에서 결측지 있으면 해당 열 제거 결측값 대치특정 컬럼의 결측값을 특정 값으로 변경데이터명[컬럼명].fill.. 공감수 0 댓글수 1 2024. 7. 5.
dataframe 2 - 구조 1. 인덱스데이터프레임 행(가로)들의 이름을 인덱스라고 한다. 인덱스 일부 변경 - 데이터명.rename({인덱스:바꿀 인덱스, 인덱스:바꿀 인덱스, ...})인덱스 전체 변경 - 데이터명.index = 바꿀 인덱스 리스트 열 하나를 통채로 인덱스로 설정도 가능하다 인덱스로 지정한 열을 다시 열로 변환할 때 1. 열을 남기고 싶으면 데이터명.reset_index()2. 열을 삭제하고 싶으면 데이터명.reset_index(drop = True) 2. 행추가 pd.concat([기존 데이터명, 붙일 데이터명])df3 = pd.concat([df1, df2]) #df1아래에 df2 데이터들이 추가됨제거데이터명.drop(인덱스명, axis=0)df3.drop([i for i in range(891,.. 공감수 0 댓글수 0 2024. 7. 5.
dataframe 1 - 생성, 조회, 추출 목표 : Pandas 패키지 라이브러리를 사용한, Python 데이터 분석 1. series Pandas패키지에서는 series라는 리스트를 사용한다. 딕셔너리, 리스트로 시리즈를 만들 수 있다. dic = {'a':1,'b':2,'c':3}dic_series = pd.Series(dic)dic_seriesls = [1,2,3]ls_series = pd.Series(ls, index=['a','b','c'])# index를 사용하지 않으면 0부터 인덱스가 부여된다 a 1b 2c 3 a 1b 2c 3 2. DataframeSeries를 이어붙여서 표로 만든 것을 Dataframe 이라고 한다. 딕셔너리, 리스트로 시리즈를 만들 수 있다. 딕셔너리로 만들기 리스트로 만들기.. 공감수 0 댓글수 0 2024. 7. 5.
파이썬 기초 5- 라이브러리 라이브러리타인이 만든, 혹은 기본 파이썬이 제공하는, 이미 만들어져있는 유용한 함수들의 모음자주 사용하는 기능을 쉽게 재사용할 수 있고 다른 사람과도 그 기능을 공유할 수 있습니다.라이브러리엔 두 종류가 있다. 표준과 외부표준 라이브러리: 파이썬을 설치할 때 자동으로 설치됩니다.외부 라이브러리: 기본으로 설치된 라이브러리가 아니므로 새로 설치해 주어야 합니다.라이브러리를 불러오는 방법 !pip install 라이브러리명 #외부 라이브러리 다운로드 import 라이브러리명 #다운된 라이브러리를 코드에서 사용하기 위한 준비 라이브러리 종류1. random - 각종 랜덤으로 값을 받기 위한 라이브러리 2. datetime - 시간, 날짜를 처리, 계산, 문자열 이용들을 위.. 공감수 1 댓글수 0 2024. 7. 5.
파이썬 기초 4 - 함수와 예외처리 함수 (Function)입력값을 받아서 명령을 수행하고 결괏값을 반환한다.사용자가 직접 선언, 사용할 수 있다. 선언 형태는 아래와 같다. 입력값 : (변수1, 변수2 / 출력값 : return으로 주는 값)def 함수명(변수1, 변수2, ...): 수행문1 수행문2 ... return 결괏값 #결괏값이 없는 경우 생략 가능함수 선언 내부에서 사용한 변수는 함수 안에서만 작동하고 사라진다. 즉 함수외의 범위에서 사용하는 것과는 별개다x = 1def twice(x): x = x * 2 #이 x는 첫줄의 x=1에서의 x랑은 별개 return xprint(twice(x)) # 결과 : 2print(x) # 결과 : 1lambda 함.. 공감수 0 댓글수 0 2024. 7. 5.
파이썬 기초 3 - Comprehenshion [1] List Comprehenshion리스트 안에 for문을 포함하여 한 줄로 편하게 코드를 작성할 수 있게 하는 문법.형식 : [표현식 for 항목 in 반복가능객체 if 조건문]예문ls = []for i in range(1, 5): ls.append(i)print(ls)ls = []for i in range(1, 5): if i % 2 == 0: ls.append(i)print(ls)words = ["apple", "banana", "cherry"]lengths = []for word in words : lengths.append(len(word))print(lengths)ls = [i for i in range(1,5)]print(ls)ls = [i for i in .. 공감수 0 댓글수 0 2024. 7. 5.
파이썬 기초 2 - 제어문 1. if 문 조건의 참과 거짓을 판단해 그에 따라 동작을 수행합니다.if 조건문1: 수행문1 ... elif 조건문2: 수행문1 ... ... else: 수행문1 ...if 조건에 들어가는 참고 연산표 2. while 문조건문이 참인 경우에 실행, 즉 거짓이 될때까지 반복하여 수행while ( 조건문 ) : 수행문1 수행문2 ...while 의 조건을 True로 주면 무한반복을 한다. 이때, 강제로 빠져나가려면 아래처럼 break를 사용한다. 더보기 jajang = 0while True: jajang += 1 print(f'짜장면을 {jajang}그릇 먹었습니다.') if jajang == 10: print('무료 쿠.. 공감수 1 댓글수 0 2024. 7. 5.
파이썬 기초 1 - 자료형 1. 숫자형int (정수형) float (실수형)숫자형은 연산이 가능하다.더보기a = 3b = 4print(a + b)print(a - b)print(a * b)print(a / b)print(a ** b) #제곱print(a % b) #나눗셈 후 나머지print(a // b) #나눗셈 후 몫a == b #비교연산 - a와 b가 같은가 2. 문자형string - 문자 형태로 이루어진 자료형, 따옴표(''), 큰 따옴표("")로 글자를 감싼다 '123'이라는 값은 백이심삼 이라는 수량 값이 아니라 123이라는 숫자로 나타난 문자긴 문자는 '''Hello, World! Hello, Python!''' 처럼 따옴표 3개로 표기 가능문자열 연산은 아래와 같다.더보기문자열 연산 1 (+).. 공감수 1 댓글수 2 2024. 7. 5.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.