Jinlib

목적 m1 mac에서 tensorflow를 사용하려함 tensorflow certificate exam 환경을 구축하려함 설치한 Libray 버전(2022.01.22 업데이트) tensorflow==2.7.0 Pillow==8.4.0 pandas==1.3.4 numpy==1.21.4 scipy==1.7.3 tensorflow-datasets==4.4.0 # tensorflow certificate exam 를 위한것 절차 Xcode 설치(Install Xcode) xcode-select --install Install Miniforge3 conda 환경을 위해 Miniforge3-MacOSX-arm64.sh 파일 다운로드 chmod +x ~/Downloads/Miniforge3-MacOSX-arm64.s..

1. CNN의 탄생 배경 과거에는 DNN(Deep Neural Net)을 이용해서 손글씨, 옷 이미지 데이터를 예측하는 일을 했다. 여기서 2가지 문제가 발생하게 된다. 1) 학습 효율성, 속도 문제이미지가 28x28로 엄청 작아도 DNN를 사용하고자 한다면, 입력노드를 2352개 써야한다. 이는 지나치게 많은 입력 노드가 발생하여 효율성이 떨어진다. 2) Overfitting 문제 가령 흰배경에 강아지가 있는 사진만을 학습시킨 모델에 테스트 이미지로 검은 배경의 강아지가 들어왔다고 해보자. DNN학습된 이미지는 이게 강아지임을 분류 하기란 쉽지않다. 그리고 오버피팅을 야기할 수 있다. 이를 해결하고자 1998년 Yann LeCun이 더 잘 작동시키는 아이디어로 논문을 썼는데 그것이 컨볼루션 네트워크(C..

서론 기존 프로그래밍은 문제가 있으면 답을 방식이였다. 그러나, 딥러닝은 문제를 풀기위해 데이터들의 '패턴'을 찾아내고 '식'을 만들어 답을 찾는 방식인 점에서 딥러닝을 이용한 문제해결은 매우 혁신적인것 같다. Computer Vision쪽에서는 딥러닝이 어떠한식으로 쓰일까? 사람이 어떤 옷을 보았을때 뇌에서 받아들이는 과정을 생각해보자. '이건 흰셔츠고~ 검은 바지네~' 와 같이 생각할 수 있다. 반면, 이를 어떻게 프로그래밍 할까? 만약, '옷'을 본적도 없는 외계인이 지구에 왔을때, '신발'에 대해서 어떻게 설명할까? 매우 어렵지만, 불가능하지 않다는 것을 알 수 있다. 이를 해결하는 방법 중 하나는, 컴퓨터에게 신발, 셔츠, 핸드백, 코트를 학습시키는것이다. 대표적인 예시 데이터셋으로 Fashio..

서론 Introduction to TensorFlow for Artificial Intelligence, Machine Learning, and Deep Learning 에서 얻은 지식을 토대로 간단하게 딥러닝의 기본적인 개념들을 살펴보고 넘어가보자. 본론 일반적으로 프로그래밍은 어떠한 룰이 주어지고, 여기에 데이터를 넣었을때 결과값이 나오는 형태이다. 반면, 머신러닝은 이와는 다르게 어떠한 데이터를 주고 이에 대한 결과값은 무엇인지 데이터를 줘서 이것의 룰이 무엇인지 도출한다. 가령, y= 2x - 1 라는 방정식이 있다고 해보자. 일반적인 프로그래밍 방식은 def twox(n): return 2*n - 1 와 같이 함수를 선언하고 여기에 n값을 넣어 결과값을 얻는 방식이다. 이제 머신러닝 방식을 알아..

서론 구글 Colab을 이용해서 어떻게 tensroflow 개발 환경을 구축할지에 대해서 알아보도록 한다. 본론 구글 드라이브로 가기 -> 새로만들기 -> 더보기 -> 연결할 앱 더보기 Marketplace에 Colab 검색 -> 설치 클릭 계속 -> 구글 로그인 -> 확인 새로 만들기 -> 더보기 -> Google Colaboratory 클릭 마무리 위 절차를 통해 실습환경을 구축할 수 있었다. 다음 포스팅에서는 google mount와 tensorflow 라이브러리를 다운받는 과정까지 하도록 하겠다.

서론 석사기간동안 ML/DL을 다양한 분야에 적용시키면서 논문도 쓰면서 다양한 노력을 해왔다. 하지만, 석사졸업논문을 준비할때쯤, ML/DL 모델 설계에 흥미를 느끼기 보다는, 이를 위한 인프라 구축에 흥미가 더 있었다. 졸업 이후 이에 대해 좀 더 알아보니 이 분야는 데이터 엔지니어, MLOps, DevOps, 데이터 플랫폼 엔지니어와 같은 형식으로 인력을 충원하는것을 보았다. 이 분야에서 일을 해보고도 싶고, 이 분야에서 전문가가 되고 싶었기에 이에 대한 공부를 하기로 하였다. 코세라의 정규 course를 밟아보면서 누군가에게 설명할 수 있는 수준까지 일궈내고자 블로그에 정리해보려한다. 목표는 딥러닝의 이해를 가진 데이터 엔지니어 및 MLOps 개발자이 이를 위해서는 다음과 같은 역량이 필요하다고 생..