개발로 자기계발
728x90
SMALL
데이터 크롤하고 분석(정적 페이지와 동적 페이지) - 4

정적 페이지 정적 페이지(Static Page)는 항상 같은 내용을 제공하는 웹 페이지 정적 페이지는 서버에서 미리 HTML 파일을 생성하여 클라이언트에게 제공한다. 정적 페이지는 보통 HTML, CSS, JavaScript 등을 사용하여 작성된다. 동적페이지 동적 페이지(Dynamic Page)는 클라이언트의 요청에 따라 내용이 동적으로 생성되는 웹 페이지 동적 페이지는 보통 서버 측에서 요청을 처리하고, 그 결과를 HTML 코드로 생성하여 클라이언트에게 전달한다. 동적 페이지는 CGI(Common Gateway Interface), 서블릿(Servlet), JSP(JavaServer Pages), ASP(Active Server Pages) 등을 사용하여 작성된다. 정적 페이지와 동적 페이지의 가장 ..

데이터 크롤하고 분석(BeautifulSoup) - 3

BeautifulSoup HTML, XML 등의 마크업 언어에서 데이터를 추출하는 파이썬 라이브러리 BeautifulSoup을 사용하면 마크업 언어로 작성된 문서를 파싱 하여, 문서 내에서 원하는 정보를 추출할 수 있다. BeautifulSoup은 파서(parser)를 선택하여 사용할 수 있으며, 주로 HTML 및 XML 파싱에 사용된다. 파싱 된 문서는 BeautifulSoup 객체로 반환되며, 이 객체를 통해 문서 내의 태그, 속성, 텍스트 등을 다룰 수 있다. 예를 들어, find() 함수를 사용하여 문서 내에서 원하는 태그를 찾거나, select() 함수를 사용하여 CSS 선택자를 이용하여 여러 개의 태그를 찾을 수 있다. 1) 사용 함수 - select(선택자) : CSS 선택자를 사용하여 요소..

데이터 크롤하고 분석(Web Scraping 기초) - 2

Web 1) 네트워크 둘 이상의 장치(device) 간에 데이터를 주고받을 수 있는 연결(connection)을 의미 이러한 장치들은 서로 다른 위치에 있을 수 있으며, 인터넷 같은 대규모 네트워크에서는 전 세계의 장치들이 연결되어 있다. 네트워크를 사용하면 데이터를 다른 장치에 전송할 수 있으며, 이는 인터넷이나 로컬 네트워크에서 일상적으로 이루어지는 일이다. 예를 들어, 웹 브라우저를 사용하여 인터넷에 접속하면, 컴퓨터는 인터넷으로 연결되어 있는 라우터(router)에 연결된다. 그리고 라우터는 인터넷 서비스 제공업체(ISP, Internet Service Provider)를 통해 인터넷과 연결된다. 그리고 ISP는 다른 ISP나 인터넷 서버와 연결되어 있으며, 데이터는 이러한 연결을 통해 전송된다...

데이터 크롤하고 분석(Web 기본 구조) - 1

HTML 1) 정의 - HTML은 웹 페이지의 구조와 내용을 정의 2) 기능 - 웹 페이지에서 볼 수 있는 모든 텍스트, 이미지, 비디오 및 다른 콘텐츠의 뼈대를 만든다. 3) 종류 - 콘텐츠를 가지는 태그 ex) - 콘텐츠를 가지지 않는 태그 ex) - block 요소(줄 바꿈) ex) , - inline 요소(한 줄) ex) , - inline-block 요소 ex) CSS로 성질을 바꾸는 것. 4) 구조 HTML Example This is an example of HTML code. 태그는 HTML 문서의 루트 요소를 나타낸다. HTML Example This is an example of HTML code. JavaScript 1) 정의 - JavaScript는 HTML 및 CSS와 함께 사용하..

Postgresql과 Mysql 중 선택시 고려해야 할 점

1. 성능:- 대규모 읽기/쓰기 작업이 필요한 경우 MySQL이 더 빠른 읽기 성능을 제공- PostgreSQL은 복잡한 쿼리 및 동시성 작업에서 더 나은 성능을 제공2. 확장성:- PostgreSQL은 수직 및 수평 확장성이 뛰어나고, 다중 환경에서의 작업이 용이- MySQL은 수직 확장에 더 강점* 수평 확장성(horizontal scaling)과 수직 확장성(vertical scaling)은 시스템의 성능과 용량을 증가시키는 두 가지 다른 접근 방식 - 수평 확장성(horizontal scaling): 수평 확장성은 시스템의 성능과 용량을 늘리기 위해 여러 노드(서버)를 추가하는 방식으로, 이를 통해 각 서버 간의 부하를 분산시키고, 고 가용성과 내구성을 향상할 수 있다. 수평 확장은 서버의 수를 ..

article thumbnail
서울 자치구 별로 가장 매매값이 높은 아파트 선별(실거래가)

Title 서울 자치구 별로 가장 매매값이 높은 아파트 선별(실거래가) tech 1. 국가 data.co.kr에서 open api 수집 2. 데이터 전처리 3. Geocode를 이용하여 경도 위도 수집. Graph 지도 그래프 및 마크 표현 Summary 자치구별 실거래가 최고가 아파트의 주변 환경을 분석하면 주변 아파트의 가격 시세도 파악 할 수 있을 것이다. ※ 라이브러리는 제일 밑에서 정리 데이터는 공공데이터 포털의 서울시 부동산 실거래가 정보를 사용 https://data.seoul.go.kr/dataList/OA-21275/S/1/datasetView.do 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr 웹사이트와 서버가 데이터를 어떻게 주고받는지 개발자도구의 ..

article thumbnail
Mysql 설치(Windows / Mac)
Database & Data/MySQL 2023. 1. 15. 02:06

Windows 1. 홈페이지 접속 https://dev.mysql.com/downloads/windows/installer/8.0.html MySQL :: Download MySQL Installer Select Operating System: Select Operating System… Microsoft Windows Select OS Version: All Windows (x86, 32-bit) Windows (x86, 32-bit), MSI Installer 8.0.31 5.5M (mysql-installer-web-community-8.0.31.0.msi) MD5: 7a83203e24f873b49fa2df2f1a58eca6 | Signatu dev.mysql.com 2. 다운로드 후 옵션: Dev..

article thumbnail
PostgreSQL 간단한 소개, 설치(Windows / Mac), 어드민 접속
Database & Data/PostgreSQL 2023. 1. 14. 03:58

구분SQLITEDBMS Product서버메모리 or 로컬 디스크 / 필요없음서버, 포트 / 필요있음동시 접속 처리한 번에 하나가능데이터 유형5가지 데이터 유형만 가능모든 유형의 데이터 저장 가능설치 메모리작은 메모리큰 메모리장점경제성, 효율성, 단순성 등확장성, 동시성 등데이터 양소, 중에 적합대용량에 적합보안 기능없음있음속도빠름Sqlite에 비해선 떨어짐오픈 소스OO※ DBMS(DataBase Management System): 데이터베이스 관리 시스템  1. PostgreSQL 소개구분설명정의ORDMBS(오픈 소스 객체 - 관계형 데이터베이스 관리 시스템)관계형 DB로서 데이터 저장, 액세스 및 성능에 대한 관리구조클라이언트 / 서버 모델을 사용기능트랜잭션, ACID(Atomicity, Consist..

728x90
SMALL