꿈 많은 사람의 이야기

포스팅 개요 본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅 중 여섯 번째 글인 FastAPI 및 Docker를 활용해 pytorch 딥러닝(deep learning) 모델 배포하기 (deploy pytorch model using docker, fastapi) 글입니다. FastAPI 포스팅은 아래와 같은 순서로 정리되어 있고, 정리할 예정입니다. Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (https://lsjsj92.tistory.com/648) FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 (https://lsjsj92.tistory.com/649..

포스팅 개요 이번 포스팅은 kubeflow 예제(kubeflow example)를 주제로 다룹니다. 지난 포스팅에 이어서 이번에는 kubeflow에서 실행시킨 machine learning 혹은 deep learning 모델에서 나온 metrics를 ( evaluation 값) 출력하는 방법에 대해서 알아봅니다. 또한, kubeflow에서 Condition이라는 것을 통해 어떤 조건을 체크하고 조건에 따라 분기가 일어나는 방법에 대해서 알아보려고 합니다. 저의 kubeflow 관련 지난 포스팅은 아래 링크와 같습니다. 참고 하실 분들은 참고하시면 되겠습니다. kubeflow install 방법 : https://lsjsj92.tistory.com/580 kubeflow example with iris :..

포스팅 개요 이번 포스팅은 지난 포스팅 kubernetes의 helm 소개글 이후(https://lsjsj92.tistory.com/582), 단순히 stable repo에 있는 kubernetes를 helm으로 배포하는 것이 아니라, 사용자만의 kubernetes helm 환경을 생성하고 helm으로 배포하는 내용을 작성합니다. 그 중 정말 간단하게 살펴볼 수 있도록 Python Django app을 helm kubernetes로 배포하도록 해보겠습니다. 본 글은 아래 링크를 참조하였습니다. https://helm.sh/docs/topics/charts/ https://helm.sh/ https://helm.sh/docs/intro/quickstart/ https://github.com/helm/cha..

포스팅 개요 이번 포스팅은 kubernetes(쿠버네티스)의 package managing인 helm에 대해서 알아봅니다. 흔히 helm chart라고도 불리우는 helm에 대해서 간략히 알아보고, 어떻게 사용하는지를 간단한 예제 즉, mysql example로 알아보겠습니다. 이 블로그를 작성하면서 참고한 자료는 아래와 같습니다. https://helm.sh/docs/topics/charts/ https://helm.sh/ https://helm.sh/docs/intro/quickstart/ 포스팅 본문 개요에서 말씀드렸듯이 이번 포스팅은 kubernetes(쿠버네티스)의 helm에 대해 알아보는 포스팅입니다. 따라서, 먼저 helm이란 무엇인지 먼저 알아보겠습니다. helm이란? Docker가 나오면..

포스팅 개요 이번 포스팅은 지난 글인 머신러닝 파이프라인이란?(Machine Learning pipeline) 글에 이어서 머신러닝 파이프라인인 kubeflow를 설치(kubeflow install)하는 방법에 대해서 작성합니다. 지난 글 내용이 궁금하시다면 아래 링크를 따라 보시고 오면 될 것 같습니다. https://lsjsj92.tistory.com/579 머신러닝 파이프라인이란? - ML Pipeline에 대하여 포스팅 개요 이번 포스팅은 머신러닝 파이프라인(Machine Learning pipeline)에 대해서 알아보는 포스팅입니다. 머신러닝 프로젝트를 하다 보면 필요성을 느끼게 되는 머신러닝 파이프라인. 이것이 왜 중요하고,.. lsjsj92.tistory.com 또한, 본 글은 아래 링크에..

포스팅 개요 이번 포스팅은 쿠버네티스(kubernetes)를 활용하는 방법인 예시(example)를 보여주는 글입니다. 특히, 쿠버네티스(kubernetes)를 활용하여 Python Django를 deploy(배포)하는 example입니다. 본 글은 아래와 같은 글들을 참고하여 작성하였습니다. 쿠버네티스에 대해서 굉장히 자세히 설명된 포스팅 https://subicura.com/2019/05/19/kubernetes-basic-1.html 쿠버네티스 시작하기 - Kubernetes란 무엇인가? 쿠버네티스는 컨테이너를 쉽고 빠르게 배포/확장하고 관리를 자동화해주는 오픈소스 플랫폼입니다. 1주일에 수십억 개의 컨테이너를 생성하는 구글이 내부 배포시스템으로 사용하던 borg를 기반으로 2014년 프로젝트를 시..

이번 포스팅은 우분투 환경에서 도커를 설치하는 방법에 대해서 소개합니다. ubuntu 16.04 기준으로 docker를 설치합니다. 어떤 환경이든 상관없긴 할태지만 저는 AWS EC2 환경에서 Ubuntu 16.04를 설치했습니다. 설치하는 과정은 굉장히 간단합니다. 먼저 sudo apt-get update를 해줘서 apt를 update해줍니다. AWS EC2에서 처음 인스턴스를 생성했을 때는 이렇게 update를 해줘야 하더군요. 그리고 sudo apt-get remove docker docker-engine docker.io를 통해 기존에 있던 도커가 만약에 있으면 여러 충돌 문제 방지를 위해 미리 지워줍니다. 그리고 이제 도커를 설치해주면 됩니다! sudo apt install docker.io 를..

얼마전 도커를 이용하다가 아래와 같은 에러를 발견했습니다. In the default daemon configuration on Windows, the docker client must be run elevated to connect. This error may also indicate that the docker daemon is not running. Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) 라는 에러였습니다. 이 에러는 도커 이미지를 다운..

벌써 꽤 되었지만 지난 포스팅에서 도커(docker)에다가 centos7을 구축하고그 위에 하둡, 스파크, 제플린을 설치해서 배포까지 했습니다.과정은 아래 링크를 따라가시면 됩니당https://lsjsj92.tistory.com/418이거는 도커에 하둡(hadoop) 설치https://lsjsj92.tistory.com/422도커에 하둡(hadoop) 설치 후 아파치 스파크(apache spark) 설치https://lsjsj92.tistory.com/425아파치 제플린(apache zeppelin) 설치순서대로 따라가시면 1편부터 보실 수 있습니다. 이번 포스팅은현재 아파치 제플린까지 설치되어 있는 상태인데요여기에 이제 apache hive를 설치해보려고 합니다.하이브는 기존의 맵리듀스(mapreduc..

지난 포스팅에서 도커(docker)환경에 빅데이터 솔루션인 하둡(apache hadoop)과 스파크(apache spark)를 설치했습니다.https://lsjsj92.tistory.com/422해당 글을 참조하시면 되겠습니다. 오늘은 세번째 포스팅입니다. 제플린을 설치해보도록 하겠습니다.제플린은 스파크 개발 시 편리하게 도와주는 일종의 파이썬 주피터 노트북(jupyter notebook)과 같은 역할을 합니다.https://zeppelin.apache.org/해당 사이트에서 다운로드를 받으시면 됩니다.저는 하둡과 스파크가 설치되어 있는 centos7에서 wget으로 다운 받았습니다. 이렇게요!그리고 압축을 풀어주시면 됩니다. 먼저 동작이 잘 되는지 테스트를 해봅니다.아직 설정은 하지 않고 그냥 화면이 ..