Jinlib

도입 배경 많은 사람들이 도커 도커 말은 대충 많이 하는데, 무엇인지 정확히는 몰랐다. 그러던중 아래와 애로 사항를 실제로 겪어왔었고 이 글을 보시는분들도 비슷한 경험을 했다면 도입을 고려하시길 추천드린다. 서버구축 수업때의 경험을 잠시 빌리자면, CentOS 등 리눅스 OS설치와 Oracle을 설치하면서 원인모를 오류들을 대처하느라 ./congigure, make && make install을 수도없이 쳐왔었다. python Deep learning 대표 library인 tensorflow 실습도중 version 이슈 때문에 실습 매뉴얼과 똑같이 구상했는데도 오류가 났었다. 분명 내가 1년전 짰던 코드이고 다시 실행시켰을때 동작하지 않는 경우가 생겼다. 내가 만든 서비스가 다른OS에서도 호환성을 가지..

머신러닝 시스템 배포 머신러닝 프로젝트 라이프 사이클에서 대분류로 보면, scoping -> data -> modeling -> deployment 순으로 이루어져 있다. 여기서 직관적으로 알기 쉬운 Deployment부터 차례로 알아보도록 하겠다. 1. 머신러닝 시스템 배포 대표적인 패턴 머신러닝 시스템을 배포는 어떠한 방식으로 하는것일까? 머신러닝 시스템을 배포에 가장 흔히 사용되는 케이스에 대해서 알아보도록 하자. 일반적으로 머신러닝 시스템을 배포하는 사용자의 상황은 크게 3개로 나눌 수 있다. 새로운 제품이나 새로운 서비스를 시작할때 => 컴퓨터 리소스를 할당할 때, 작은 트래픽을 지원하는 것부터 시작해서 점차적으로 늘리는 걸 추천한다. 즉, subset부터 테스트를 시작해서 늘리는 방식. 기존에..

머신러닝 프로젝트 라이프 사이클 다양한 도메인에서 진행되는 Machine learning 프로젝트에는 공통적인 일련의 과정들이 있다. 기본적으로 데이터 수집부터 시작해서 데이터 사이에서 인사이트를 얻기 위한 EDA, 많은 데이터 중 중요변수만 찾기위한 Feature Engineering, 데이터 결측치 처리 등 데이터의 퀄리티를 높이기 위한 Data Cleansing 등이 있다. 여기서 MLOps는 위에서 말한것들에서 더 나아가 AI 서비스/제품을 배포(Deployment)하기 위한 프로세스까지 커버할 뿐만 아니라 사후관리(Error Analysis)까지 다룬다. 크게 분류하자면 Scoping -> Data -> Modeling -> Deployment로 나눌 수 있다. 이에 대해서 자세히 알아보도록 하..

MLOps는 DevOps 용어에서 파생되어 나온단어다. 그러므로 DevOps를 우선적으로 대해서 알아보도록하자. What is the DevOps? DevOps는 제품 개발 프로세스에서 유래된 단어로 Development + Operations의 합성어이다. 개발(Dev)부서는 제품을 개발하고 마켓에 론칭하는 역할을 하고, 운영(Ops)부서는 제품을 운영하면서 시장의 트랜드, 고객 니즈를 대처한다. 이때, 개발(Dev)부서는 새로운 기능이나 유지보수에 대한 개발만 할 뿐 운영(Ops)부서만큼 고객의 니즈를 고려하여 개발하지 않는다. 운영(Ops)부서 또한 개발(Dev)부서만큼 개발시 발생하는 애로사항등 알기 어렵다 그리하여 애로사항을 해결하기 위해 개발(Dev), 운영(Ops)부서 아우르는 개념을 만들자..

1. 글 (1) [coffeewhale 블로그] Kubernetes w/ MLOps #1-4 (2) 머신러닝 디자인 패턴 (3) 머신러닝 파이프라인 종류 (4) 모두의 MLOps with Kubernetes and Kubeflow (5) Xbrain Blog Post What is MLOps? -> https://url.kr/m2wr4b AI를 활용한 제품을 위한 데이터 전략 -> https://url.kr/jzmw47 MLOps를 하면 성과지표, 모니터링을 어떻게 할까? -> https://url.kr/q7m1cf Airflow를 활용한 MLOps 구성방법 https://url.kr/ktshxz AI 서비스에서 데이터 엔지니어의 역할 및 중요성 -> https://url.kr/276fm3 2. 영상 &..