개발로 자기계발
728x90
SMALL
reduce와 lambda를 통한 데이터프레임 merge 함수

def merge_dataframes(df_list: list, merge_option: str, column: str): """ 여러 개의 DataFrame을 공통 column을 기준으로 병합하는 메소드. :param df_list: 병합할 DataFrame들의 리스트 :param merge_option: 병합 옵션 ('inner', 'outer', 'left', 'right' 중 하나) :param column: 병합 기준이 되는 공통 column의 이름 :return: 병합된 DataFrame """ merged_df = reduce(lambda x, y: pd.merge(x, y, how=merge_option, on=column), df_list) return merged_df 이 코드는 여러 ..

데이터 크롤하고 분석(Seaborn) - 7

1) Python 시각화 종류 - Matplotlib: 가장 많이 사용되는 데이터 시각화 라이브러리 중 하나이며, 다양한 유형의 그래프를 그릴 수 있다. - Seaborn: Matplotlib에 기반을 두고 있지만, 더 간단한 인터페이스와 예쁜 그래픽 디자인을 제공하여 통계적인 분석을 위한 그래프 작업을 수행할 때 유용하다. - Plotly: 인터랙티브 그래프를 그리는 데 특화된 라이브러리이며, 웹에서 그래프를 공유하거나 웹 애플리케이션에서 사용할 수 있다. - Bokeh: Plotly와 유사하게 인터랙티브 그래프를 그리는 데 특화된 라이브러리다. - ggplot: R의 ggplot2 패키지에서 영감을 받아 만든 라이브러리로, 그래픽 디자인을 중심으로 한 라이브러리다. - Altair: Declarati..

데이터 크롤하고 분석(Jupyter Lab) - 6

Jupyter Lab Jupyter 프로젝트의 최신 웹 기반 사용자 인터페이스로, 데이터 과학, 기계 학습 및 인공 지능 분야에서 널리 사용되는 대화형 개발 환경이다. JupyterLab은 Jupyter Notebook과 함께 다양한 통합 개발 도구를 제공하며, 웹 브라우저에서 코드, 텍스트, 시각화, 간단한 GUI 등을 실행하고 관리할 수 있다. JupyterLab 설치: JupyterLab을 사용하려면 먼저 설치해야 하며, 설치는 pip를 사용하여 쉽게 할 수 있다. 1) 터미널에서 설치 pip install jupyterlab 2) 실행 jupyter lab 3) 단축키 모음 - 셀 실행 Shift + Enter: 현재 셀 실행 후 다음 셀로 이동 Ctrl + Enter: 현재 셀 실행 Alt + ..

데이터 크롤하고 분석(Seleniuum) - 5

Selenium 웹 페이지를 자동화하여 사용자가 직접 실행하는 것과 같은 테스트를 수행할 수 있다. Selenium은 다양한 언어를 지원하며, 특히 Java, Python, Ruby, C# 등의 언어에서 많이 사용된다. Selenium WebDriver를 사용하면 자동화된 테스트를 실행할 수 있으며, Selenium Grid를 사용하면 여러 브라우저에서 동시에 테스트를 실행할 수 있다. 또한 Selenium IDE를 사용하면 브라우저에서 리코딩 기능을 사용하여 테스트를 작성할 수 있다. * 레코딩: 사용자가 브라우저에서 수행하는 모든 작업을 기록하고 해당 작업들을 자동화된 테스트로 바꿀 수 있는 기능 1) 버전차이 Selenium은 4 버전 이후로 문법이 변경되었다. Selenium 3.xx버전 from..

데이터 크롤하고 분석(정적 페이지와 동적 페이지) - 4

정적 페이지 정적 페이지(Static Page)는 항상 같은 내용을 제공하는 웹 페이지 정적 페이지는 서버에서 미리 HTML 파일을 생성하여 클라이언트에게 제공한다. 정적 페이지는 보통 HTML, CSS, JavaScript 등을 사용하여 작성된다. 동적페이지 동적 페이지(Dynamic Page)는 클라이언트의 요청에 따라 내용이 동적으로 생성되는 웹 페이지 동적 페이지는 보통 서버 측에서 요청을 처리하고, 그 결과를 HTML 코드로 생성하여 클라이언트에게 전달한다. 동적 페이지는 CGI(Common Gateway Interface), 서블릿(Servlet), JSP(JavaServer Pages), ASP(Active Server Pages) 등을 사용하여 작성된다. 정적 페이지와 동적 페이지의 가장 ..

데이터 크롤하고 분석(BeautifulSoup) - 3

BeautifulSoup HTML, XML 등의 마크업 언어에서 데이터를 추출하는 파이썬 라이브러리 BeautifulSoup을 사용하면 마크업 언어로 작성된 문서를 파싱 하여, 문서 내에서 원하는 정보를 추출할 수 있다. BeautifulSoup은 파서(parser)를 선택하여 사용할 수 있으며, 주로 HTML 및 XML 파싱에 사용된다. 파싱 된 문서는 BeautifulSoup 객체로 반환되며, 이 객체를 통해 문서 내의 태그, 속성, 텍스트 등을 다룰 수 있다. 예를 들어, find() 함수를 사용하여 문서 내에서 원하는 태그를 찾거나, select() 함수를 사용하여 CSS 선택자를 이용하여 여러 개의 태그를 찾을 수 있다. 1) 사용 함수 - select(선택자) : CSS 선택자를 사용하여 요소..

데이터 크롤하고 분석(Web Scraping 기초) - 2

Web 1) 네트워크 둘 이상의 장치(device) 간에 데이터를 주고받을 수 있는 연결(connection)을 의미 이러한 장치들은 서로 다른 위치에 있을 수 있으며, 인터넷 같은 대규모 네트워크에서는 전 세계의 장치들이 연결되어 있다. 네트워크를 사용하면 데이터를 다른 장치에 전송할 수 있으며, 이는 인터넷이나 로컬 네트워크에서 일상적으로 이루어지는 일이다. 예를 들어, 웹 브라우저를 사용하여 인터넷에 접속하면, 컴퓨터는 인터넷으로 연결되어 있는 라우터(router)에 연결된다. 그리고 라우터는 인터넷 서비스 제공업체(ISP, Internet Service Provider)를 통해 인터넷과 연결된다. 그리고 ISP는 다른 ISP나 인터넷 서버와 연결되어 있으며, 데이터는 이러한 연결을 통해 전송된다...

데이터 크롤하고 분석(Web 기본 구조) - 1

HTML 1) 정의 - HTML은 웹 페이지의 구조와 내용을 정의 2) 기능 - 웹 페이지에서 볼 수 있는 모든 텍스트, 이미지, 비디오 및 다른 콘텐츠의 뼈대를 만든다. 3) 종류 - 콘텐츠를 가지는 태그 ex) - 콘텐츠를 가지지 않는 태그 ex) - block 요소(줄 바꿈) ex) , - inline 요소(한 줄) ex) , - inline-block 요소 ex) CSS로 성질을 바꾸는 것. 4) 구조 HTML Example This is an example of HTML code. 태그는 HTML 문서의 루트 요소를 나타낸다. HTML Example This is an example of HTML code. JavaScript 1) 정의 - JavaScript는 HTML 및 CSS와 함께 사용하..

article thumbnail
서울 자치구 별로 가장 매매값이 높은 아파트 선별(실거래가)

Title 서울 자치구 별로 가장 매매값이 높은 아파트 선별(실거래가) tech 1. 국가 data.co.kr에서 open api 수집 2. 데이터 전처리 3. Geocode를 이용하여 경도 위도 수집. Graph 지도 그래프 및 마크 표현 Summary 자치구별 실거래가 최고가 아파트의 주변 환경을 분석하면 주변 아파트의 가격 시세도 파악 할 수 있을 것이다. ※ 라이브러리는 제일 밑에서 정리 데이터는 공공데이터 포털의 서울시 부동산 실거래가 정보를 사용 https://data.seoul.go.kr/dataList/OA-21275/S/1/datasetView.do 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr 웹사이트와 서버가 데이터를 어떻게 주고받는지 개발자도구의 ..

728x90
SMALL