티스토리

retill28 님의 블로그

검색하기

블로그 홈

retill28 님의 블로그

retill28.tistory.com/m

retill28 님의 블로그 입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[패스트 캠퍼스 부트캠프] 15주차 이번 주 수업 내용은 "AI의 사용"이다.많은 종류의 AI가 등장헀고, 물론 나 또한 간단한 질의 응답이나, 코드 작성 및 리뷰, 오류 검정 등에 자주 사용하긴 한다. 하지만 좀 더 강력하게, 좀 더 유용하게, 다양한 방법으로 사용하는 방법, 그리고 좀 더 정확하게, 좀 더 명확하게, 좀 더 원하는 결과물에 가깝게 AI를 잘 쓰는 법, 이것이 이번 주 수업의 주제였다. 지금까지 했던 분석 과정, 그러니까 웹에서 정보를 수집해 그걸로 분석 후 시각화하는 과정들을 전부 AI로 할 수 있다면? 그렇다면 AI로 어떻게 할 수 있는데? 이 부분에 관한 포스팅이 바로 아래의 내용이다. AI를 사용한 데이터 수집, 분석, 시각화chatGPT, perplexity, Claude 등 다양한 AI 서비.. 공감수 0 댓글수 0 2024. 9. 26.
AI를 사용한 데이터 수집, 분석, 시각화 chatGPT, perplexity, Claude 등 다양한 AI 서비스들이 등장하고 있고, 지금까지 배웠던 분석과정들을 이 AI들을 사용하여 프롬프트를 작성하는 것만으로 진행해보았다. 코드작성과 에러 정정에 사용했던 것은 Gemini와 chatGPT 이고, 군집 결과를 레포트화하는데 사용한 것은 perplexity, chatGPT,전체 파이썬 코드 리뷰와 블로그 포스팅하는 데 사용한 것은 perplexity와 napkin.ai 이다. 먼저 프롬프트란, 위에서 저술한 AI에게 명령할 내용, 진행과정, 결과 형식을 지정하는 등 명령어 그 자체 라고 할 수 있다. 그러니까 chatGPT 등에 검색창마냥 있는 말풍선에 작성할 지시사항을 이야기한다. 예컨대, "오늘 대한민국의 지역별 날씨는 어떻고, 날씨.. 공감수 23 댓글수 10 2024. 9. 26.
도넛차트 이 포스팅에서 다룰 내용은 아래 그림과 같이 전체 원에 해당하는 100%중에서내가 보고자 하는 값이 어느 비중을 차지하는지 나타내는 도넛차트이다. 사실 파이차트의 응용 버전으로, 조금 까다롭고 귀찮은 방식을 여럿 거치는데, 몇번이나 복습용으로 연습문제를 풀었지만 금새 잊어버리는 부분들도 더러 있었다. 때문에 포스팅으로 간단하게 과정을 메모해두고자 한다. 1. 바깥원에 나타내고자 하는 파이차트를 그린다. 2.마크배너에서 크기를 없애버리고 상단 열 배너에서 보이는 것처럼 min(1)을 만든다. 3. 집계값을 하나 복사하여 열에 또 넣어 아래처럼 파이그래프가 2개가 나타나게 한다. 4.우측 파이그래프에 대해서만 설정을 조작할 것이므로 마크 배너중 집계(min(1) (2) 부분을 클릭. - 각도.. 공감수 0 댓글수 0 2024. 9. 12.
지도 시각화 태블루에서는 아래와 같이 지도에 시각화 이미지를 나타낼 수 있다. 이 포스트에서는 이 부분에 대해 복습 겸 방법을 다루려고 한다. 방법은 매우 간단하다. 나타내고 싶은 시/군/구 나 주/시/도에 대한 차원을 마크로 끌고와서 놓으면 되니까. 하지만 다른 준비가 필요한다. 바로, 위도 경도에 대한 정보와, 지리 정보를 반드시 준비해야한다. 지리 정보란, 위 그림에서 처럼 각 구역별 경계선에 대한 정보를 이야기하는 것으로,위도 경도는 지리적인 좌표, 포인트 한 지점을 이야기하는 것이라면 지리경계 정보는 면에 대한 정보값이다. 우선은 아래와 같이, 시/군/구에 대한 차원값을 지리적 역할로 타입변환을 해주자. 그럼 텍스트를 뜻하는 Abc가 아니라 지리정보값인 원형의 아이콘으로 변환이 된다. 이것을 더블.. 공감수 1 댓글수 0 2024. 9. 12.
[패스트 캠퍼스 부트캠프] 12주차 이번주는 계속 태블루의 활용법에 대해서 배웠다. 다양한 차트를 그리는 방법 뿐 아니라, 원하는 데이터만 골라서 보기 위한 다양한 기능들에 대해서 말이다. 아래는 배운 내용들을 복습하며 정리해둔 것이다. 태블루 기초 개념1. 차원, 측정값- 측정값(measure) : 데이터 집합에서 범주형 데이터. 분석하고자 하는 데이터를 그룹화하거나 분류하는 기준이 된다. 다시 말해, 관심을 가지는 대상- 차원(dimension) : 데이터 집합에retill28.tistory.com 3. 그 외 chart1. 파이 차트 만들기 - 왼쪽 배너 중 차원, 측정값 선택 - 오른쪽 표현방식에서 파이차트 선택 - 레이블 추가 및 서식 지정 2. 트리맵 만들기 - 왼쪽 배너 중 차원, 측정값 선택 - 오른쪽reti.. 공감수 0 댓글수 0 2024. 9. 6.
이중축 만약 두가지 그래프를 겹쳐서 그리고 싶다면 어떻게 할까? 그러니까 같은 x축을 공유하는 두가지 그래프를 한꺼번에 그리려면 어떻게 해야할까? 이때 쓰는 기능이 바로 이중축이다. 먼저, 겹치게 할 두가지 그래프를 각각 그린다. 아래는 지역별 매출 그래프와 , 지역별 이익 그래프 두가지를 그린 것이다. 그리고 위의 상단, 합계(sales)와 합계(profit) 에서 둘 중 하나를 우클릭한다. 그리고 메뉴 중 이중축을 클릭하면, 두가지 그래프가 겹쳐지게 된다. 이렇게 만들어진 그래프는 마크 배너에서 각각 조정할 수 있다. 어떤 유형의 그래프로 설정할 것인지, 색을 어떻게 할 것인지, 크기나 레이블, 서식 등등 각각 설정이 가능하다. 두 차트를 전부 막대로 바꾸고, 빨간 막대의 폭을 좁혔다. .. 공감수 0 댓글수 0 2024. 9. 5.
필터 필터란? 원하는 범위, 원하는 값들만 골라서 볼수 있게 하는 기능을 말한다. 예를 들어서 전체 데이터 중 20대 데이터만, 가구 카테고리만.이런 식으로 제한해서 보고자 하는 것으로 전체집합을 새로이 정의하는 것이라 할 수 있다. 태블루의 값들은 차원과 측정값으로 구분이 되는데 차원값 필터와 측정값 필터에 대해 알아보자. 1. 차원값 필터 좌측 메뉴 중 필터라는 항목이 보일 것이다.그리고 그 안에 product category : 전기 제품 / Delivery Mode 두가지 항목이 있는 것도 보인다. Delivery Mode는 그 아래 체크박스로 어떤 배송항목만 볼것인지 선택할 수 있게 되어있다. 예를 들어 product category : 전기 제품 / Delivery Mode : 일반배송.. 공감수 1 댓글수 1 2024. 9. 5.
표 만들기 태블루로 그래프만 그리는것이 아니라 표도 만들 수 있다. 지금까지 측정값 먼저, 다음으로 차원값을 클릭하여 그래프를 만들었다면, 차원값을 먼저, 그 다음 측정값을 클릭한다면 아래와 같이 표가 만들어진다. 그럼 빈칸엔 보고자 하는 측정값, 집계값을 넣으면 표를 완성할 수 있다. 여기에 색을 입힌다면 어떻게 될까? 측정값에 따라 색을 입히면 색온도별 컬러가 아래처럼 입혀지게 된다. 아래와 같이 그라데이션도 가능하고, n단계로 구분지어 원하는 색을 정확히 구간별로 지정할 수도 있다. 위 그래프는 분기별, 지역별 수익을 나타낸다. 그렇다면 이전분기 대비 현 분기의 수익 증감율은 어떻게 표현할 수 있을까? 마크 배너의 수익에서, 아래와 같이 메뉴를 타고 가자. 퀵테이블 계산에 있는 비.. 공감수 0 댓글수 0 2024. 9. 5.
대시보드 만들기 대시보드란? - 만들어진 차트 중 연관있는 내용들을 한 화면에 넣어 만들어낸 보드 - 연관성이 있는 시각화 자료들을 한눈에 볼 수 있다. - 예시 위의 막대 그래프와 라인 그래프는 태블루 게시글 처음 둘을 참고해서 그릴 수 있다. 하지만 가장 아래의 가로 막대 그래프는 조금 조정이 필요하다. '수도권/ 비수도권 매출 비중' 그래프를 한번 보자. 1. 수도권 / 비수도권 그룹을 만들것 2. 카테고리별 매출을 막대그래프로 그리기 3. 1에서 만든 그룹을 마크 배너 색상에 추가 4. 카테고리별 레이블을 표기 위와 같은 과정을 거치면 아래와 같이 된다. 이것은 전체 매출 중, 수도권 가구(파란색 막대) 카테고리의 매출은 14.8%를 차지한다는 뜻이다. 하지만 우리가 알아보고자 하는 것은 가구 카테고리 .. 공감수 0 댓글수 0 2024. 9. 5.
3. 그 외 chart 1. 파이 차트 만들기 - 왼쪽 배너 중 차원, 측정값 선택 - 오른쪽 표현방식에서 파이차트 선택 - 레이블 추가 및 서식 지정 2. 트리맵 만들기 - 왼쪽 배너 중 차원, 측정값 선택 - 오른쪽 표현방식에서 트리맵 선택 - 레이블 추가 및 서식 지정 3. 산점도 그리기 - 왼쪽 배너에서 산점도를 그릴 X, Y 값 선택 - 산점도는 모든 개체에 대한 이익, 매출 값의 분포이므로, 아래 화면에서 모든 개체에 해당하는 것은 Product Name. - 따라서 Product Name을 세부로 추가 한다. - 만들어진 산점도에 추세선을 추가할거라면, 왼쪽 배너중 분석 란에서 추세선을 클릭한다. 공감수 0 댓글수 0 2024. 9. 5.
태블루 기초 개념 1. 차원, 측정값- 측정값(measure) : 데이터 집합에서 범주형 데이터. 분석하고자 하는 데이터를 그룹화하거나 분류하는 기준이 된다. 다시 말해, 관심을 가지는 대상- 차원(dimension) : 데이터 집합에서 숫자형 데이터. 계산, 집계를 수행하는데에 사용. 수치적 분석을 한다. 즉, 측정값을 어떤 관점에서 볼 것인가. 2. 연속형과 불연속형 - 데이터가 연속적인가 불연속적인가. 측정값 = 연속형, 차원 = 불연속형 이라고 간단히 넘겨짚을 수 있겠지만, 사실은 전혀 그렇지 않다. 연속형이라는 것은 순서가 있다, 불연속형은 순서가 없다 라고 생각하는 편이 가장 간단하다. 예컨대, 똑같은 자료를 가지고 아래와 같이 그래프를 그려보자 첫번째 막대 그래프는 각 분기에 얼마큼의 총 profit.. 공감수 0 댓글수 1 2024. 9. 5.
[패스트 캠퍼스 부트캠프] 11주차 이번주에 SQL 프로젝트가 끝이 났다. 프로젝트 조원분들이 전부 열심인 분들이라서 자연스럽게 나도 열심히 몰두하게 되었다. 정말로, 정말로 바빴고, 파도파도 계속, 더 할 수 있을 것 같은데를 알고 있기도 하고실제로도 그랬어서 정말 열심히 했었다.프로젝트 기간이 짧은 만큼, 결국 원하던 만큼 다 해내지는 못하고 어느 정도 선에서 마무리할 수 밖에 없었지만... 하지만 이때만큼 SQL과 파이썬, 엑셀 다 써보면서 이리 저리 의미있는 결과를 내보려고 애쓰고 지금까지 배웠던 것들을 다 활용해본적은 없는것 같다. 그리고 같은 조원 중에 나와 의견이 다른 분이 있어서, 매번 그분과 토의를 시작하면 한참 했었는데그걸 통해서 배우고 익힌것도 많았다. 저렇게도 생각할 수 있다, 이런 시점으로 볼 수도 있다 같.. 공감수 0 댓글수 0 2024. 8. 29.
2. line chart 다음으로는 선 그래프이다. 사실 태블루에서 보고싶은 컬럼을 더블클릭하면태블루가 생각하기에 이 컬럼 값을 보기에 가장 적절한 값으로 대체해준다. 예를 들어서, 날짜 데이터가 있는 경우 아래처럼 선그래프로 보여준다. 물론 마크 배너에서 자동으로 되어있는걸 클릭해서 막대그래프로 바꿀 수 있다.꼭 태블루가 만드는대로 손쓰지 못하는건 아니란 뜻. 열의 년(Delivery Date) 앞에 붙은 플러스 아이콘을 누르면 분기가 생기며 아래처럼 된다. 당연히 플러스 아이콘을 누르면 누를수록 월, 일 단위까지도 볼수 있게 된다. 물론 연도, 분기 컬럼을 빼고 월만 둘수도 있다.아래의 열은 그럼 월만 남게 되는데,연도별로 각 월의 sales 데이터를 다 더한(SUM) 값을 기준으로 선 그래프를 그리게 된다... 공감수 0 댓글수 0 2024. 8. 29.
1. bar chart # 1. 태블루 시작 태블루의 시작 화면은 다음처럼 생겼다. 왼쪽의 파란 배너에서 파일들을 가져와도 되고 csv나 xml 등을 드래그앤 다운해도 된다. 그럼 아래와 같은 시트가 열리게 된다. #2 bar 그래프 좌측의 배너에 있는 것들이 각 컬럼들이 되고, 보고 싶은 값들을 마우스로 드래그 앤 다운해도 된다. 예를 들어, sales를 더블클릭 / 혹은 상단의 행으로 가지고 가면 아래처럼 그래프가 생긴다 태블루의 모든 값들은 집계값을 기준으로 한다. 무슨 말이냐 하면, 위의 막대의 sales는, 원본 파일의 무슨 행의 sales 값이냐 가 아니라, 원본 파일의 모든 sales의 값을 합한 SUM 결과 값이란 뜻이 된다. 여기서 SUM이 집계값이 되는 셈이고, SUM 뿐 아니라 .. 공감수 0 댓글수 0 2024. 8. 29.
[패스트 캠퍼스 부트캠프] 9주차 지난주에 이어 이번주까지가 SQL 쿼리문 작성 주간이었다. 연습문제도 엄청 풀었는데, SELECT, FROM, WHERE, GROUP BY, ORDER BY, LIMIT 를 활용하는것만 쓰다가이제는 다른 명령어들이 붙기 시작했다. 뷰라거나, WITH절이나 윈도우함수같은 긴 옵션이라거나... 지난주까지는 서브쿼리와 JOIN에 대한 것을 헛갈려서 열심히 공부했었는데, 이번주의 최대고비는 바로 어제 배운 윈도우 함수이다. 잊어버리기 전에 빠르게 메모하고 정리한 글을 아래에 첨부한다. SQL 윈도우 함수윈도우 함수란? - SQL 쿼리 내에서 데이터 집합을 세분화하여 각 부분에 대한 계산을 수행하는 함수 - 특정 윈도우 (데이터 내의 부분 집합) 내에서 작동하며 각각의 행에 대해 결과를 반환한다.re.. 공감수 0 댓글수 0 2024. 8. 15.
SQL 윈도우 함수 윈도우 함수란? - SQL 쿼리 내에서 데이터 집합을 세분화하여 각 부분에 대한 계산을 수행하는 함수 - 특정 윈도우 (데이터 내의 부분 집합) 내에서 작동하며 각각의 행에 대해 결과를 반환한다. - GROUP BY와의 차이 윈도우 함수 GROUP BY 행 기준 연산 : 각 행에 대해 연산을 수행하면서 원본 행의 구조를 유지한다.그룹기준 연산 : 데이터를 특정의 열의 값에 따라 그룹화, 그룹에 대한 집계 연산을 수행한다. 다양한 연산 지원 단순 집계 연산 제한 원본 데이터셋 변경 없음 원본 데이터셋을 축소 집계와 상세 데이터를 동시에 제공 상세 데이터를 제공할 수 없다. 윈도우 함수의 종류는 아래와 같이 구분지을 수 있다. 1. 순위 매기기 -- 동일한 값이 있을 경우 같은 순위를 부여하고, .. 공감수 0 댓글수 0 2024. 8. 15.
[패스트 캠퍼스 부트캠프] 8주차 지난주에 이어서 이번주의 수업 내용도 SQL이다. 지금까지는 기본적인 기초를 했었고, 이번주부터는 쿼리가 길어지면서 응용편으로 넘어갔다. 주 첫날에는 굉장히 헤메었었고 서브쿼리가 나오면서이걸 왜? 무슨 장점이 있어서? 사용용도나 목적이 특별한가? 등,수많은 질문들에 도돌이표를 찍고 있었다. 그래서 이번주는 수업중에도, 개인공부 시간에도 sql 에제들을 계속 풀고 있었다. 두자리수의 비슷한 유형들을 풀어갈 때쯤엔 적응을 완전히 해서 정답률이 점점 올라가고 있는걸 확인할 수 있었다. 아래는 이번주에 배운 내용들을 짧게 메모해둔 것들이다. SQL 명령어 21. IF- 조건식에 따라 참인 경우 A, 거짓인 경우 B를 출력하는 명령어 . - 형식 : IF (조건식, 참일 때의 값, 거짓일 때 .. 공감수 0 댓글수 0 2024. 8. 8.
SQL 서브쿼리 SQL의 쿼리는 SELECTFROMWHEREGROUP BYHAVINGORDER BY순으로 이루어져 있다. 이 중에서 GROUP BY를 제외하고 모든 절에 쿼리를 넣을 수 있다. 즉, 쿼리 안에 쿼리가 들어갈 수 있다. 이것을 바로 서브쿼리 라고 한다. 서브쿼리는 반드시 괄호 안에 있어야 하고,INSERT, UPDATE, DELETE 절에도 사용가능하다. 1. SELECT에서의 서브쿼리 - 스칼라 서브 쿼리라고도 한다. - SELECT절의 서브 쿼리는 반드시 결과값이 하나의 값이어야 한다. -- 모델명 ABC123의 번호, 이름, 색을 가져와주세요SELECT number, name, (SELECT color FROM carInfo WHERE number = 25) AS colorFROM model.. 공감수 0 댓글수 0 2024. 8. 8.
SQL 명령어 2 1. IF- 조건식에 따라 참인 경우 A, 거짓인 경우 B를 출력하는 명령어 . - 형식 : IF (조건식, 참일 때의 값, 거짓일 때 값)- SELECT 절에 사용한다. -- speed가 60 이상인 경우 fast, 미만인 경우 slow SELECT name, IF(speed >= 60, ‘fast’, ‘slow’) FROM carInfo; 2. IFNULL - 데이터가 NULL일 때 새로운 값을 반환하는 함수 - 형식 : IFNULL ( 컬럼명 , NULL 일 때 값 ) - 주로 SELECT 절에서 사용한다. SELECT name, IFNULL(speed, ‘unknown’) FROM carInfo; 3. CASE - 조건을 여러개 만들 때 사용하는 명령어 - 주로 SELECT 절에서 사용한다... 공감수 0 댓글수 0 2024. 8. 8.
[패스트 캠퍼스 부트캠프] 7주차 약 2주가 조금 안되는 기간동안 파이썬 프로젝트를 하였고, 이번주부터는 다시 새로운 툴 교육기간이다. 이번에 배우는 것은 SQL로, 쿼리문들이다. 코딩언어와 사용하는 단어라던가, 함수명 같은것은 비슷한 부분이 많았는데 아직까지는 규칙이 간단하고 크게 어려운 것은 없는 기초 부분이 대부분이다. 나중을 위한 메모용으로 이번에도 간단히 정리해본다. SQL BASIC1. RDBMS - 관계형 데이터 베이스 2차원 테이블 형식으로 데이터를 정의하고 설명하는 데이터 모델 2차원 테이블은 데이터를 속성(Attribute)와 데이터값(Value)으고 구조를 이루고 있다. 즉, 데이터retill28.tistory.com SQL 명령어의 종류SQL DDL(Data Definition Language)은 데이터 정.. 공감수 0 댓글수 0 2024. 8. 1.
SQL 함수 1. 자주 사용하는 문자형 데이터 함수 - "ABC" 자리에 테이블 컬럼명을 넣을 수 있다. LOCATELOCATE(“A”, “ABC”)ABC에서 “A”가 있는 위치 반환 찾는 문자가 여러개면 가장 첫 문자의 위치를 반환한다. 찾는 문자가 없으면 0을 반환한다. SUBSTRINGSUBSTRING("ABC",2)ABC에서 2번째 문자부터 반환입력한 숫자가 문자열 길이보다 크다면 아무것도 가져오지 않는다. RIGHTRIGHT("ABC",1)ABC의 오른쪽에서 1번째 문자까지 반환LEFTLEFT ("ABC",1)ABC의 왼쪽에서 1번째 문자까지 반환UPPERUPPER ("abc")ABC를 대문자로 변환LOWERLOWER ("ABC")ABC를 소문자로 변환LENGTHLENGTH ("ABC")ABC 글자수를 반환.. 공감수 0 댓글수 0 2024. 8. 1.
SQL 쿼리 문법 데이터베이스 활용 쿼리 모든 쿼리의 작성 순서는 SELECT - FROM - WHERE - GROUP BY - HAVING - ORDER BY 순이다.하지만 실행 순서는 FROM - WHERE - GROUP BY - HAVING - SELECT - ORDER BY 순이다.SELECT 값을 가져올 컬럼을 선택 AS별명을 지정, 컬럼 이름에 부가 설명을 하거나 불필요한 내용을 제거할 때 사용. 실제 컬럼 이름은 변하지 않고, 해당 쿼리 내에서만 유효 RANK 데이터에 순위를 매기기 항상 ORDER BY와 함께 사용한다. 정렬된 순서에 순위를 붙인 새로운 컬럼을 보여주나 실제 데이터에 영향은 없다. 공동 순서가 있으면 다음순서로 건너뛴다. SELECT FROM [컬럼이름], …, RANK() OVER (OR.. 공감수 0 댓글수 0 2024. 8. 1.
SQL 명령어의 종류 SQL DDL(Data Definition Language)은 데이터 정의 언어이다. 데이터베이스의 구조, 관계, 형식을 정의한다.그러니까, 스키마를 생성한다. 1. 데이터베이스 생성CREATE DATABASE 데이터베이스명; / CREATE SCHEMA 데이터베이스명; 사용USE 데이터베이스명;조회SHOW DATABASES;삭제DROP DATABASE 데이터베이스명; / DROP DATABASE IF EXISTS 데이터베이스명; 2. 테이블 생성 CREATE TABLE 테이블명 ( 컬럼명 데이터타입, 컬럼명 데이터타입, . . PRIMARY KEY(컬럼명));조회SHOW TABLE;DESC 테이블명삭제 DROP TABLE 테이블명DROP TABLE IF EXISTS 테이블명수정컬럼추.. 공감수 0 댓글수 1 2024. 8. 1.
SQL BASIC 1. RDBMS - 관계형 데이터 베이스 2차원 테이블 형식으로 데이터를 정의하고 설명하는 데이터 모델 2차원 테이블은 데이터를 속성(Attribute)와 데이터값(Value)으고 구조를 이루고 있다. 즉, 데이터를 구조화한다는 것은 속성(Attribute)와 데이터값(Value) 사이에서 찾아낸 관계를 테이블 모양으로 도식화한다는 것 2. 주요 용어 Table - 각 데이터베이스 안에 들어있는, 1개 이상의 속성(Attribute)으로 이루어진 관계. 한 개의 DB 안에는 여러개의 테이블이 존재한다. Column - 테이블에서 속성을 뜻한다. 보통 도식화된 DB에서 세로, 열 하나를 이야기한다. Column = Field = Attribute, 전부 같은 말. Row - 테이블의 각 속성별 .. 공감수 0 댓글수 0 2024. 8. 1.
[패스트 캠퍼스 부트캠프] 4주차 이번주는 본격적으로 파이썬으로 데이터를 수집하는 방법을 배웠다. 나아가 본격적으로 데이터 분석을 하는 예제들을 몇가지 했다.너무 예제가 많고 길어서 미처 다 글을 올리지 못했지만 주말에 복습겸 보충할 예정이다. 우선 데이터 수집하는 방법을 배웠다. 그 중에서도 압도적인 분량을 자랑하는 부분은 당연히 크롤링이다. 아래는 시작단계부터 각종 예제들에 대한 포스팅이다. crawling 1 - Selenium1. 웹 크롤링 (Crawling)크롤링(Crawling)이란 기어다니다라는 뜻이 있다.그렇다면 웹 크롤링이란, 웹사이트를 돌아다니면서 정보를 탐색하고 수집하는 작업을 말한다. 즉, 웹을 기어다니며 데이터를retill28.tistory.com crawling 2 - DBPIA 예제지난 포스팅에, 웹 크.. 공감수 0 댓글수 0 2024. 7. 12.
데이터 분석 1 - 영화 흥행 요인 분석 2 .지난 포스팅에서는 영화 데이터를 불러와 전처리하는 과정을 순서대로 썼다. 이번 포스팅에서는 그렇게 만든 데이터를 가지고 실제로 분석하는 과정을 써보려고 한다. 우선 분석하려고 하는 내용을 다시 살펴보면 아래와 같다. 질문의 예시연도별 흥행 수익은?가장 흥행한 영화 TOP 10은?흥행에 가장 성공한 감독과 배우는?장르와 흥행 수익흥행 수익이 좋은 장르는?시간의 흐름에 따라 유행하는 장르가 바뀌는가?월별로 흥행하는 장르가 있는가?수익과 예산, 투표수, 평점과의 상관관계는?ROI(예산 대비 수익)가 높으면서 흥행에 성공한 영화의 특징은? 1. 연도별 흥행 수익은? data.groupby('year')[['revenue']].sum() 를 통해 연도별로 수익의 합을 구한다. 이때 만들어지는 데이터 프레임.. 공감수 1 댓글수 0 2024. 7. 12.
데이터 분석 1 - 영화 흥행 요인 분석 1 데이터 프레임을 공부했던 부분을 응용해 실제적으로 영화 데이터를 분석해보려고 한다. 우선 사용할 데이터는 2개의 csv파일로 'tmdb_5000_credits .csv ' 와 'tmdb_5000_movies.csv' 이다. 1. 데이터 살펴보기 먼저 두 파일을 불러와 열어본다. 첫번째가 movie 데이터, 두번째가 credits 데이터이다.movies = pd.read_csv('tmdb_5000_movies.csv')movies.head()credits = pd.read_csv('tmdb_5000_credits.csv')credits.head() 각 컬럼들을 정리해보면 다음 표와 같다. movie credits budget: 영화 예산 (단위: 달러)genres: 모든 장르homepage.. 공감수 0 댓글수 0 2024. 7. 12.
crawling 6 - BeautifulSoup 웹 크롤링을 하는 방법 중 지금까지는 파이썬의 pandas 라이브러리를 사용했었다. 하지만 pandas 외에도 BeautifulSoup 이라는 라이브러리를 사용할 수도 있다. 1. 크롤링할 웹사이트 request사용할 라이브러리는 아래와 같다. requests는 웹서버에 정보를 요청하는데 사용하고, BeautifulSoup는 데이터 파싱에 주로 사용한다. import requestsfrom bs4 import BeautifulSoup as bs 이동할 웹사이트는 네이버 검색창에 '제주도'를 입력했을 떄 뜨는 창이다. requests를 이용해 url을 전달해서 결과를 받아오고, BeautifulSoup을 사용하여 응답 본문을 HTML 파싱한다.파싱된 HTML은 soup 변수에 저장된다. 이때 sou.. 공감수 0 댓글수 0 2024. 7. 12.
API를 통한 데이터 수집 공공데이터 미세먼지 API공공데이터 API로 데이터 수집하기 1. 개요 데이터를 수집하는 방법은 지금까지처럼 크롤링을 사용하는 방법이 있고,또다른 방법으로 오픈 API를 받아오는 방법이 있다. 오픈 API란 누구나 사용할 수 있도록 공개된 API를 말한다. 간단히 말해서 공개된 데이터로, 적절한 url과 파라미터들이 있다면 누구든 사용할 수 있다. 실시간 업데이트 되는 데이터나, 그만큼 업데이트가 빈번한 대용량의 데이터가 필요할 때 유용한다. 이번 글에서는 공공데이터 포털 API를 활용하여 실시간 대기오염 정보를 받아오려고 한다. Python의 requests 라이브러리를 사용하였다. 가장 먼저, 공공데이터 포털에서 원하는 오픈 api를 활용신청을 받는다. 이 포스팅에선 아래와 같이, '한.. 공감수 0 댓글수 0 2024. 7. 12.
crawling 5 - SRT 예매 프로그램 SRT 예매 알림 프로그램SRT 예매 후, 예매가 완료되면 slack으로 알림받기 이 포스팅은 Selenium을 사용하여 SRT 예매 사이트에 로그인하고,원하는 날짜와 시간에 맞춰 예약을 완료한 후, 예약이 성공하면 Slack으로 알림을 보내줍니다. 1. 개요 srt의 로그인 화면으로 이동한다. 사용자에게 미리 아이디와 비밀번호를 받고, 아래 로그인 화면에 각각 입력하여 자동적으로 로그인이 되도록 한다. 일반 승차권 예매로 넘어가, 도착지를 설정한다. 출발할 날짜와, 시간을 선택하고 조회하기를 클릭한다. 아래 화면에서 예매가 성공한다면, slack으로 봇이 알림을 주도록 한다. 예매가 되지 않았다면, 예매가 될때까지 시간을 두고 계속 시도해본다. 2. 로그인 우선 필요한 라이브러리를 임.. 공감수 0 댓글수 0 2024. 7. 11.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.