AttributeError: 'sqlparse'
·
버그처리
해결책 superset을 설치하고 pip install apache-superset 밑에와 같은 명령문을 실행했을 때 superset --help 이런 에러가 발생한다면 AttributeError: module 'sqlparse.keywords' has no attribute 'FLAGS' 에러문 처리하기 이걸 통해서 버전을 확인한다. pip show sqlparse 만약에 0.4.4 버전 이상이라면 다운그레이드가 필요하다. pip install sqlparse==0.4.3 개인적인 원인 추측 1) 호환성 문제: 프로젝트에서 사용하는 다른 라이브러리나 코드가 sqlparse 0.4.4와 완벽하게 호환되지 않을 수 있다. 이 경우, 이전 버전인 0.4.3으로 다운그레이드하면 호환성 문제가 해결되고 에러가 ..
RuntimeError: 'cryptography' 에러
·
버그처리
RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods 이 오류는 MySQL 연결을 설정할 때 sha256_password 또는 caching_sha2_password 인증 방법을 사용하려면 필요한 cryptography 패키지가 설치되지 않았음을 나타낸다. 이 패키지는 MySQL 8.0 이상에서 기본으로 사용되는 인증 플러그인인 caching_sha2_password를 지원하기 위해 필요하다. 이 문제를 해결하려면 cryptography 패키지를 설치 pip install cryptography
OrderedDict 사용해보기
·
Develop/기초지식
collections 모듈에서 제공하는 OrderedDict는 키-값 쌍(key-value pairs)을 입력 순서를 유지하며 저장하는 딕셔너리이다.기본 파이썬 딕셔너리는 파이썬 3.7 이상부터 입력 순서를 보장하게 되었기 때문에, 현재 파이썬 버전에서는 일반 딕셔너리를 사용해도 입력 순서가 유지된다.그러나 이전 버전의 파이썬이나 명시적으로 순서가 보장되는 딕셔너리를 사용하고 싶을 때 OrderedDict를 사용할 수 있다.https://docs.python.org/ko/3.7/whatsnew/3.7.html# 파이썬 3.7의 새로운 기능 — Python 3.7.16 문서PEP 563 : 어노테이션의 지연된 평가 파이썬에서 형 힌트의 출현은 PEP 3107에서 추가되고 PEP 526에서 더욱 다듬어진 어..
PyTorch - GPU 설정 (7)
·
인공지능/PyTorch
Google Colab은 기본적으로 무료로 GPU를 쓸 수 있게 해 준다. 물론 Pro급은 훨씬 좋다. GPU을 사용해서 연산을 시도해볼 생각이다. GPU 설정 방법: 런타임 -> 런타임 유형 변경 -> GPU 1) Nvidia 그래픽 카드가 설치된 환경에서 그래픽 카드의 상태를 확인하는 명령어 !nvidia-smi 기본은 Tesal T4이다. 2) Pytorch가 GPU Access 하는지 확인 import torch torch.cuda.is_available() True가 나오면 굿! 3) 현재 GPU의 장치 수를 확인해 보자 torch.cuda.device_count() 실습해 보기 1) device 확인 device = "cuda" if torch.cuda.is_available() else "c..
PyTorch - 파이토치 기초 (6)
·
인공지능/PyTorch
Indexing 1) 인덱스 접근 import torch a = torch.tensor([[1, 2, 3], [4, 5, 6]]) print('a:', a) # 첫 번째 행, 두 번째 열의 원소에 접근 print('a[0][1]:', a[0][1]) print('a[0, 1]:', a[0, 1]) 결과값 a: tensor([[1, 2, 3], [4, 5, 6]]) a[0][1]: tensor(2) a[0, 1]: tensor(2) 2) 슬라이스 import torch a = torch.tensor([[[1, 2], [3, 4]], [[5, 6], [7, 8]]]) print('a:', a) # 첫 번째 차원이 0인 슬라이스에 접근 print('a[0, :, :]:', a[0, :, :]) # 마지막 차원..
PyTorch - 파이토치 기초 (5)
·
인공지능/PyTorch
형태 변환 1) Reshape 원하는 형상의 새로운 텐서를 얻을 수 있다. reshape 함수는 원본 텐서의 데이터를 보존하면서 새로운 형상의 텐서를 생성한다. 원본 텐서와 새로운 형상의 텐서는 동일한 메모리를 공유하므로, 하나를 변경하면 다른 하나도 변경된다. 원본 데이터 import torch x = torch.arange(1., 10.) x, x.shape 형태 변환(2차원의 텐서) x_reshaped = x.reshape(1,9) x_reshaped, x_reshaped.shape * 대신 형태를 변환할 때 기존 원본 데이터의 범위 안에서만 가능하다. 형태 변환(3차원의 텐서) x_reshaped = x.reshape(1,1,9) x_reshaped, x_reshaped.shape 동일한 메모리 ..
PyTorch - 파이토치 기초 (4)
·
인공지능/PyTorch
합, 뺄셈, 곱 tensor = torch.tensor([1,2,3]) # 합 tensor + 10 torch.add(tensor, 10) # 곱 tensor * 10 torch.mul(tensor, 10) # 뺄셈 tensor - 10 torch.sub(tensor, 10) 행렬곱 tensor * tensor 곱해서 tensor([1, 4, 9]) 행렬로 돌려준다. 두 개의 1차원 텐서를 원소별로 곱한 결과를 반환 torch.matmul(tensor, tensor) tensor @ tensor 곱해서 tensor(14) 전체를 더한 값으로 돌려준다. 두 개의 1차원 텐서를 벡터로 간주하여 내적(dot product)을 계산한 결과를 반환 다만 현재 1차원의 텐서이기에 더한 값을 돌려준 것. ※ matm..
데이터 크롤하고 분석(Seaborn) - 7
·
Database & Data/데이터 분석
1) Python 시각화 종류 - Matplotlib: 가장 많이 사용되는 데이터 시각화 라이브러리 중 하나이며, 다양한 유형의 그래프를 그릴 수 있다. - Seaborn: Matplotlib에 기반을 두고 있지만, 더 간단한 인터페이스와 예쁜 그래픽 디자인을 제공하여 통계적인 분석을 위한 그래프 작업을 수행할 때 유용하다. - Plotly: 인터랙티브 그래프를 그리는 데 특화된 라이브러리이며, 웹에서 그래프를 공유하거나 웹 애플리케이션에서 사용할 수 있다. - Bokeh: Plotly와 유사하게 인터랙티브 그래프를 그리는 데 특화된 라이브러리다. - ggplot: R의 ggplot2 패키지에서 영감을 받아 만든 라이브러리로, 그래픽 디자인을 중심으로 한 라이브러리다. - Altair: Declarati..
데이터 크롤하고 분석(Jupyter Lab) - 6
·
Database & Data/데이터 분석
Jupyter Lab Jupyter 프로젝트의 최신 웹 기반 사용자 인터페이스로, 데이터 과학, 기계 학습 및 인공 지능 분야에서 널리 사용되는 대화형 개발 환경이다. JupyterLab은 Jupyter Notebook과 함께 다양한 통합 개발 도구를 제공하며, 웹 브라우저에서 코드, 텍스트, 시각화, 간단한 GUI 등을 실행하고 관리할 수 있다. JupyterLab 설치: JupyterLab을 사용하려면 먼저 설치해야 하며, 설치는 pip를 사용하여 쉽게 할 수 있다. 1) 터미널에서 설치 pip install jupyterlab 2) 실행 jupyter lab 3) 단축키 모음 - 셀 실행 Shift + Enter: 현재 셀 실행 후 다음 셀로 이동 Ctrl + Enter: 현재 셀 실행 Alt + ..
데이터 크롤하고 분석(Seleniuum) - 5
·
Database & Data/데이터 분석
Selenium 웹 페이지를 자동화하여 사용자가 직접 실행하는 것과 같은 테스트를 수행할 수 있다. Selenium은 다양한 언어를 지원하며, 특히 Java, Python, Ruby, C# 등의 언어에서 많이 사용된다. Selenium WebDriver를 사용하면 자동화된 테스트를 실행할 수 있으며, Selenium Grid를 사용하면 여러 브라우저에서 동시에 테스트를 실행할 수 있다. 또한 Selenium IDE를 사용하면 브라우저에서 리코딩 기능을 사용하여 테스트를 작성할 수 있다. * 레코딩: 사용자가 브라우저에서 수행하는 모든 작업을 기록하고 해당 작업들을 자동화된 테스트로 바꿀 수 있는 기능 1) 버전차이 Selenium은 4 버전 이후로 문법이 변경되었다. Selenium 3.xx버전 from..