Infrastructure 40

Amazon RDS

RDS overviewAWS AuroraAWS Aurora DB ClusterPainpointSolution: 리더 엔드포인트(Reader Endpoint)More Features of AuroraAurora SecurityAurora AdvancedPainPointSolution: Replicas Auto Scaling을 사용한다.Aurora ServerlessAurora Multi-MasterGloal Aurora Aurora Machine LearningAmazon ElastiCache 캐시란 무엇일까요? ElastiCache - Cache SecurityRDS overview정의:AWS의 데이터베이스를 위한 관리형 데이터베이스(Relational Database Service) + 여러 기능유형P..

Infrastructure 2022.06.09

Amazon SQS

What is the AWS SQS?큐의 종류SQS의 특성SQS의 추가 옵션디커플링 아키텍처Amazon SQS 대기열 지표를 기반 최적화ProblemWhat is the AWS SQS?SQS. Simple Queue Service의 약자로 사용되는 AWS 서비스이다.SQS는 애플리케이션을 구성하는 다양한 컴포넌트가 서로에게 메시지를 전송할 수 있도록 돕는 고가용성, 고탄력성 관리형 메시지 서비스이다. 수십만 건의 메시지를 불과 수초만에 처리할 수 있다. 큐를 모아놨다가 Pooling처리를 실행하는 서비스256K까지 가벼운 데이터만 이용 가능, 60초에서 14일간만 메시지를 저장할 수 있다Request큐와 Response큐를 사용해 송수신 큐잉을 구현여러개의 서버, 데이터센터에 큐를 저장하는 고가용성 서비..

Infrastructure 2022.06.09

Amazon EC2 Overview

Amazon EC2(Elastic Compute)1. 아마존 머신 이미지(Amazon Machine Image, AMI) 정의: 아마존 일래스틱 컴퓨트 클라우드(EC2) 안에 가상 머신을 생성하기 위해 사용되는 특수한 유형의 가상 어플라이언스이다. 주로 인스턴스를 Launch할때 필요한 정보를 제공한다.어플라이언스(Appliance)?요약: 각종 기업용 소프트웨어를 서버와 스토리지 하드웨어에 최적화된 통합 장비. OS, 관련 소프트웨어 설치 및 설정 등을 안해도 전원을 접속하면 바로 사용할 수 있는 정보기기를 의미한다.기존(As-is): 과거에는 하드웨어, 운영체제, 소프트웨어를 각각 구매한 후 설정하여 사용하는 것이였다.신규(To-be): 클라우드를 통해서 하드웨어 제약을 없애고, AMI를 통해서 특정..

Infrastructure 2022.06.09

Amazon ELB overview

Background Knowledge1. 확장성 & 고가용성(Scalability & High Availability)1) 확장성2) 고 가용성2. 로드 밸런싱(Load Balancing)1) 로드밸런싱이 필요한 이유?AWS Elastic Load Balancer1. AWS ELB는 무엇인가?작동이 어케되는가?2.AWS의 4가지 ELBBackground Knowledge1. 확장성 & 고가용성(Scalability & High Availability)1) 확장성애플리케이션과 시스템이 조정한다면 더 많은 양을 처리할수 있다는 의미(1) 수직 확장성인스턴스의 사이즈를 늘리는것. ex RAM 1GB PC 1개를 4GB인 PC로 바꾸는거데이터베이스와 같은 상황에서 주로 사용한다.한계: 하드웨어 제한.(2) 수평..

Infrastructure 2022.06.09

Amazon EC2 EBS

1. EBS Volume Types볼륨을 어떤걸 선택해야할까?+) EBS Muli-Attach - io1/io2 군EBS 볼륨 암호화EBS 볼륨이 암호화되는 과정1. EBS Volume TypesEBS 볼륨 타입에는 크게 3가지가 존재한다.gp2/gp3(SSD)범용 SSD 볼륨짧은 지연시간, 효율적인 비용시스템 부팅디스크, 가상 데스크톱, 개발, 테스트 환경등 다양한 환경에서 사용gp2 ↔ gp31GB ~ 16TBgp2: old, Linked IOPS, 처리량 기본: 3,000 IOPSsize와 IOPS가 연결되어있어서 최대 16,000 IOPS 선택 IOPS = 3 * GB ⇒ 5,334GB = 16,000 IOPS(max)gp3: 최신, 독자적 IOPS, 처리량 설정기본: 3,000 IOPS + 12..

Infrastructure 2022.06.09

Spark 환경설정

Apple M1 환경 brew 업데이트 terminal 환경에서 brew update Python 다운로드 혹은 업그레이드 terminal 환경에서 # 파이썬 3.9버전 다운로드 brew install python@3.9 # 파이썬 3.9버전 업그레이드 brew upgrade python@3.9 JAVA 11 다운로드 brew tap adoptopenjdk/openjdk brew search jdk brew install --cask adoptopenjdk11 JAVA 다운로드 확인 /usr/libexec/java_home -V vi ~/.zshrc # 이곳에 위 자바 홈 추가 java --version brew install scala brew install apache-spark brew instal..

[Troubleshooting] Ports are not available: listen tcp 0.0.0.0:xx: bind: An attempt was made to access a socket in a way forbidden by its access permissions.

에러내용 Error invoking remote method 'docker-start-container': Error: (HTTP code 500) server error - Ports are not available: listen tcp 0.0.0.0:50079: bind: An attempt was made to access a socket in a way forbidden by its access permissions. 필자의 경우에는 50079였는데, 어느 포트에서 저 에러가 났을때, 아래 를 수행한다면 해결될것으로 본다. ※ 진리의 재부팅은 한번 해보고 안되면 아래를 수행하자. 솔루션 1. 어느 포트들이 Block 되어 있는지 확인 netsh interface ipv4 show excludedp..

1. Docker 사용기

이제 도커를 사용해보자. 환경구축(Windows) 윈도우의 경우 wsl을 통해서 최적의 도커환경을 구축할 수 있다. cmd에 wsl --install 입력후 Enter Docker destop 다운로드 및 설치 관련 설정 진행 cmd에 docker --version 입력후 버전 나오는지 확인 도커 명령어 9선 어찌보면 당연하지만, 도커 명령어를 파악하는데 가장 좋은 방법은 공식문서를 확인하는것이다. 여기에 남기는 9선은 가장 많이 사용하는 명령어들을 나열한것이다. 1) 도커 컨테이너 실행 docker run [OPTIONS] [Container Name] -d: detached mode, 백그라운드 모드 -p: 호스트(Host)와 컨테이너 포트 연결(Forwarding) 호스트라 함은 Docker를 구동..

0. 도커? 뭔데 쓰는걸까?

도입 배경 많은 사람들이 도커 도커 말은 대충 많이 하는데, 무엇인지 정확히는 몰랐다. 그러던중 아래와 애로 사항를 실제로 겪어왔었고 이 글을 보시는분들도 비슷한 경험을 했다면 도입을 고려하시길 추천드린다. 서버구축 수업때의 경험을 잠시 빌리자면, CentOS 등 리눅스 OS설치와 Oracle을 설치하면서 원인모를 오류들을 대처하느라 ./congigure, make && make install을 수도없이 쳐왔었다. python Deep learning 대표 library인 tensorflow 실습도중 version 이슈 때문에 실습 매뉴얼과 똑같이 구상했는데도 오류가 났었다. 분명 내가 1년전 짰던 코드이고 다시 실행시켰을때 동작하지 않는 경우가 생겼다. 내가 만든 서비스가 다른OS에서도 호환성을 가지..