전체 글 89

Amazon RDS

RDS overviewAWS AuroraAWS Aurora DB ClusterPainpointSolution: 리더 엔드포인트(Reader Endpoint)More Features of AuroraAurora SecurityAurora AdvancedPainPointSolution: Replicas Auto Scaling을 사용한다.Aurora ServerlessAurora Multi-MasterGloal Aurora Aurora Machine LearningAmazon ElastiCache 캐시란 무엇일까요? ElastiCache - Cache SecurityRDS overview정의:AWS의 데이터베이스를 위한 관리형 데이터베이스(Relational Database Service) + 여러 기능유형P..

Infrastructure 2022.06.09

Amazon SQS

What is the AWS SQS?큐의 종류SQS의 특성SQS의 추가 옵션디커플링 아키텍처Amazon SQS 대기열 지표를 기반 최적화ProblemWhat is the AWS SQS?SQS. Simple Queue Service의 약자로 사용되는 AWS 서비스이다.SQS는 애플리케이션을 구성하는 다양한 컴포넌트가 서로에게 메시지를 전송할 수 있도록 돕는 고가용성, 고탄력성 관리형 메시지 서비스이다. 수십만 건의 메시지를 불과 수초만에 처리할 수 있다. 큐를 모아놨다가 Pooling처리를 실행하는 서비스256K까지 가벼운 데이터만 이용 가능, 60초에서 14일간만 메시지를 저장할 수 있다Request큐와 Response큐를 사용해 송수신 큐잉을 구현여러개의 서버, 데이터센터에 큐를 저장하는 고가용성 서비..

Infrastructure 2022.06.09

Amazon EC2 Overview

Amazon EC2(Elastic Compute)1. 아마존 머신 이미지(Amazon Machine Image, AMI) 정의: 아마존 일래스틱 컴퓨트 클라우드(EC2) 안에 가상 머신을 생성하기 위해 사용되는 특수한 유형의 가상 어플라이언스이다. 주로 인스턴스를 Launch할때 필요한 정보를 제공한다.어플라이언스(Appliance)?요약: 각종 기업용 소프트웨어를 서버와 스토리지 하드웨어에 최적화된 통합 장비. OS, 관련 소프트웨어 설치 및 설정 등을 안해도 전원을 접속하면 바로 사용할 수 있는 정보기기를 의미한다.기존(As-is): 과거에는 하드웨어, 운영체제, 소프트웨어를 각각 구매한 후 설정하여 사용하는 것이였다.신규(To-be): 클라우드를 통해서 하드웨어 제약을 없애고, AMI를 통해서 특정..

Infrastructure 2022.06.09

Amazon ELB overview

Background Knowledge1. 확장성 & 고가용성(Scalability & High Availability)1) 확장성2) 고 가용성2. 로드 밸런싱(Load Balancing)1) 로드밸런싱이 필요한 이유?AWS Elastic Load Balancer1. AWS ELB는 무엇인가?작동이 어케되는가?2.AWS의 4가지 ELBBackground Knowledge1. 확장성 & 고가용성(Scalability & High Availability)1) 확장성애플리케이션과 시스템이 조정한다면 더 많은 양을 처리할수 있다는 의미(1) 수직 확장성인스턴스의 사이즈를 늘리는것. ex RAM 1GB PC 1개를 4GB인 PC로 바꾸는거데이터베이스와 같은 상황에서 주로 사용한다.한계: 하드웨어 제한.(2) 수평..

Infrastructure 2022.06.09

Amazon EC2 EBS

1. EBS Volume Types볼륨을 어떤걸 선택해야할까?+) EBS Muli-Attach - io1/io2 군EBS 볼륨 암호화EBS 볼륨이 암호화되는 과정1. EBS Volume TypesEBS 볼륨 타입에는 크게 3가지가 존재한다.gp2/gp3(SSD)범용 SSD 볼륨짧은 지연시간, 효율적인 비용시스템 부팅디스크, 가상 데스크톱, 개발, 테스트 환경등 다양한 환경에서 사용gp2 ↔ gp31GB ~ 16TBgp2: old, Linked IOPS, 처리량 기본: 3,000 IOPSsize와 IOPS가 연결되어있어서 최대 16,000 IOPS 선택 IOPS = 3 * GB ⇒ 5,334GB = 16,000 IOPS(max)gp3: 최신, 독자적 IOPS, 처리량 설정기본: 3,000 IOPS + 12..

Infrastructure 2022.06.09

3 STEP SQLD 시험 합격 공부법

긴말필요없다. 그냥 아래 순서대로 진행하자 Step 01 시험 막판 정리 강의 듣고 노트 정리 (1) SQLD 최종 정리강의 1편 - SELECT문장 ~ 트랜잭션 관리 언어(TCL) 55분 강의 링크 (2) SQLD 최종 정리강의 2편 - 윈도우 함수 ~ 인덱스(Index) 40분 강의 링크 Step 02 노랭이 1회독 + 꿀팁 강의 (1) SQL 자격검정 실전문제 풀기(통칭 노랭이) (2) 노랭이 풀다가 아래 페이지 체크해두고 풀때 강의한번 보기 p44, p50, p55, p58, p60, p68, p78, p94, p95, p98, p101, p103, p104, p108, p115, p116 위 페이지 풀때 강의 보고 풀기 강의링크 SQL 문제풀이 www.youtube.com Step 03 기출문제..

Jinstory 2022.03.01

[통계] 통계학 Overview

서론 MLOps를 공부하면서 우연히 빅데이터 분석 프로젝트 T/F팀에 소속되어 기획부터 배포까지 경험할 수 있게 되는 기회가 생겼다. 그런데, 문제정의를 하는 단계에서 부터 먹먹함을 가지고 있었다. '이거 제대로 하고 있는거 맞아?', '타당성 충분한가?', '이걸로 설득시킬 수 있어?' 이런 자문자답이 불가능하여 통계학을 놓으면 안되겠다는 생각을 하게 되었고, '이렇게 쉬운 통계학' 이라는 책을 시작으로 공부하기로 하였다. 공부방법은 간단하다. 개인적으로 책의 내용 + 인터넷 서칭하며 공부하고 공부한 내용을 백지에 게시글에 다시 작성하는식으로 검증하는 방식이다. 그럼 시작해보도록 하겠다. 본론 먼저 통계학을 시작하기 전에 통계학의 '맵&#..

AI/Statistics 2022.02.27

Spark 환경설정

Apple M1 환경 brew 업데이트 terminal 환경에서 brew update Python 다운로드 혹은 업그레이드 terminal 환경에서 # 파이썬 3.9버전 다운로드 brew install python@3.9 # 파이썬 3.9버전 업그레이드 brew upgrade python@3.9 JAVA 11 다운로드 brew tap adoptopenjdk/openjdk brew search jdk brew install --cask adoptopenjdk11 JAVA 다운로드 확인 /usr/libexec/java_home -V vi ~/.zshrc # 이곳에 위 자바 홈 추가 java --version brew install scala brew install apache-spark brew instal..

[Troubleshooting] Ports are not available: listen tcp 0.0.0.0:xx: bind: An attempt was made to access a socket in a way forbidden by its access permissions.

에러내용 Error invoking remote method 'docker-start-container': Error: (HTTP code 500) server error - Ports are not available: listen tcp 0.0.0.0:50079: bind: An attempt was made to access a socket in a way forbidden by its access permissions. 필자의 경우에는 50079였는데, 어느 포트에서 저 에러가 났을때, 아래 를 수행한다면 해결될것으로 본다. ※ 진리의 재부팅은 한번 해보고 안되면 아래를 수행하자. 솔루션 1. 어느 포트들이 Block 되어 있는지 확인 netsh interface ipv4 show excludedp..