데이터 조직의 비전- 신뢰할 수 있는 데이터를 바탕으로 부가 가치를 생성할 수 있는지? 1) 하는 업무(결정 과학 - Decision Science)- 데이터를 기반으로 의사결정을 가능하게 한다.* 데이터 기반 결정(data drvien decisions) - 데이터로 어떤 것들을 최적화하고 싶다.* 데이터를 고려한 결정(data informed decisions) - 데이터로 어떤 비즈니스를 만든다.- 데이터 기반으로 지표를 정의, 대시보드와 리포트 생성 등을 수행할 수 있다.- 데이터를 기반으로 사용자 서비스 경험 개선 및 프로세스 최적화를 한다. 2) 간단한 업무 분배 정의- 데이터 엔지니어: 데이터 인프라 구축- 데이터 분석가: 데이터 분석 DB(데이터 웨어하우스)를 통한 지표 정의, 시각화- 데..
EC2에서 라이브러리를 설치하던 도중 에러가 발생했다. 48.9 MB/s eta 0:00:31ERROR: Could not install packages due to an OSError: [Errno 28] No space left on device 이 에러는AWS EC2 인스턴스에서 디스크 공간 부족 문제를 뜻한다 해결방법 1) 불필요한 파일 삭제 불필요한 파일을 삭제하여 디스크 공간을 확보할 수 있다. 로그 파일, 캐시 파일, 임시 파일 등이 이에 해당되며, 더 이상 필요하지 않은 소프트웨어 패키지를 제거하여 공간을 확보할 수도 있다. 2) EBS 볼륨 크기 조정 AWS 관리 콘솔을 사용하여 EBS 볼륨 크기를 증가시킬 수 있다. 이렇게 하면 인스턴스에 연결된 디스크 공간이 증가한다. 그러나 이 방법..
AWS CLI AWS 서비스를 관리하는 데 사용되는 명령 줄 도구웹 사이트 인터페이스를 통해 할 수 있는 것과 같은 AWS 작업을 쉘 스크립트, 배치 파일, 또는 다른 간단한 자동화 툴을 통해 할 수 있다. 1) 설치pip3 install awscli 2) 설치되었는지 버전 확인aws --version 3) aws 계정 설정하기aws configureIAM > 사용자(클릭) > 보안자격증명 > 액세스 키 생성AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]:Default output format [None]: 그냥 Enter 치고 넘어가면 된다. 4) 서비스 연결 확인aws s3 ls 5) 콘솔로 s3에 파..
IAM사용자와 그룹을 생성하고, 그들이 AWS 리소스에 액세스 하는 방법을 제어할 수 있다. 1) 주요 기능- 사용자 및 그룹 관리: 개별 사용자를 생성하고 개인 보안 자격 증명을 부여할 수 있다. 또한 사용자를 그룹으로 묶어서 권한을 일괄적으로 관리할 수 있다.- 액세스 제어: 어떤 사용자가 어떤 AWS 리소스에 액세스 할 수 있는지를 세밀하게 제어할 수 있다. 이는 '정책'이라는 규칙을 통해 관리된다.- 멀티 팩터 인증(MFA): 멀티 팩터 인증을 지원하여 AWS 계정 및 사용자의 보안을 강화할 수 있다.- 역할 및 위임: 특정 권한을 가진 '역할'을 생성하고, 이를 다른 AWS 계정이나 AWS 서비스, 심지어는 인증된 사용자에게 위임할 수 있다. 이를 통해 필요에 따라 권한을 임시로 부여하거나 서로..
Route53도메인 이름 시스템(DNS) 웹 서비스 1) 기능- 도메인 등록: 사용자가 도메인 이름을 등록하고 DNS 설정을 관리할 수 있다.- DNS 라우팅: 고가용성 및 신뢰성을 위해 서버의 물리적 위치에 관계없이 도메인 트래픽을 라우팅 한다.- 헬스 체크: 애플리케이션의 상태를 모니터링하고, 예를 들어 애플리케이션에서 문제가 발생하면 트래픽을 다른 위치로 리디렉션 하는 등의 라우팅 정책을 구현할 수 있다. 2) 도메인인터넷에서 주소 시스템을 참조하는 데 주로 사용된다.인터넷에서 각 컴퓨터는 고유한 IP 주소를 가지지만, 이러한 숫자 시리즈를 기억하는 것은 어렵기 때문에, 우리는 이 주소를 사람이 읽고 이해하기 쉬운 '도메인 이름'으로 변환한다. RDS클라우드에서 관계형 데이터베이스를 더 쉽게 설정,..
클라우드 컴퓨팅인터넷을 통해 온디맨드로 컴퓨팅 서비스를 제공하는 모델이러한 서비스는 서버, 스토리지, 데이터베이스, 네트워킹, 소프트웨어, 애널리틱스, 인텔리전스 등 다양하게 포함된다. 1) 형태- 공용 클라우드클라우드 서비스 제공업체는 인프라를 소유, 관리, 운영하며, 사용자는 인터넷을 통해 이를 이용한다.ex) Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform 등이 이에 해당- 사설 클라우드사설 클라우드는 단일 비즈니스나 조직이 독점적으로 사용한다. 해당 조직의 내부 데이터 센터에 위치할 수 있거나, 클라우드 제공업체에 의해 호스팅 될 수도 있다.- 하이브리드 클라우드하이브리드 클라우드는 공용 클라우드와 사설 클라우드를 결합한 형태로..
crontab 실행 중에 발생한 오류이다. RuntimeError: No job with hash 662b76c31b0a58cd7dcd87bb3446a99e found. It seems the crontab is out of sync with your settings.CRONJOBS. Run "python manage.py crontab add" again to resolve this issue! Django에서 사용하는 django-crontab이 설정한 작업을 찾지 못하고 있는 것으로, 이는 일반적으로 CRONJOBS 설정이 변경되고 django-crontab이 해당 변경 사항을 인식하지 못한 경우에 발생한다. 이 문제를 해결하려면 django-crontab을 업데이트해야 한다. 그냥 다시 삭제하고 ..
UNION(합집합 - 중복제거)두 SELECT문의 결과를 결합하고 중복된 결과는 제거된다.SELECT column_name(s) FROM table1UNIONSELECT column_name(s) FROM table2; UNION ALL(합집합 - 중복제거X)UNION과 같지만 중복된 결과를 제거하지 않는다.SELECT column_name(s) FROM table1UNION ALLSELECT column_name(s) FROM table2; EXCEPT(차집합)첫 번째 SELECT 문의 결과에서 두 번째 SELECT 문의 결과를 제외한다.SELECT column_name(s) FROM table1EXCEPTSELECT column_name(s) FROM table2; INTERSECT(교집합)두 SEL..
Join두 개 이상의 테이블에서 관련 있는 데이터를 결합 1) Inner Join두 테이블의 교집합즉, 두 테이블의 Join 조건에 일치하는 행만 반환SELECT * FROM table1INNER JOIN table2ON table1.matching_column = table2.matching_column; 2) Left (Outer) Join첫 번째 테이블의 모든 행과 두 번째 테이블에서 일치하는 행을 반환일치하지 않는 경우, 두 번째 테이블의 값은 NULL로 반환SELECT * FROM table1LEFT JOIN table2ON table1.matching_column = table2.matching_column; 3) Right (Outer) Join두 번째 테이블의 모든 행과 첫 번째 테이블에서..
에러문 django.core.exceptions.ImproperlyConfigured: Requested setting INSTALLED_APPS, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessing settings. 에러문 이유 Django는 기본적으로 DJANGO_SETTINGS_MODULE 환경 변수를 통해 설정을 로드한다. 이 환경 변수가 설정되지 않으면 Django는 프로젝트 설정을 찾을 수 없으므로 위와 같은 ImproperlyConfigured 예외가 발생한다. startapp ..