목록Data Engineering 및 Infra (33)
꿈 많은 사람의 이야기
포스팅 개요 이번 포스팅은 쿠버네티스(kubernetes)를 활용하는 방법인 예시(example)를 보여주는 글입니다. 특히, 쿠버네티스(kubernetes)를 활용하여 Python Django를 deploy(배포)하는 example입니다. 본 글은 아래와 같은 글들을 참고하여 작성하였습니다. 쿠버네티스에 대해서 굉장히 자세히 설명된 포스팅 https://subicura.com/2019/05/19/kubernetes-basic-1.html 쿠버네티스 시작하기 - Kubernetes란 무엇인가? 쿠버네티스는 컨테이너를 쉽고 빠르게 배포/확장하고 관리를 자동화해주는 오픈소스 플랫폼입니다. 1주일에 수십억 개의 컨테이너를 생성하는 구글이 내부 배포시스템으로 사용하던 borg를 기반으로 2014년 프로젝트를 시..
포스팅 개요 이번 포스팅은 AWS Chalice에 대해서 알아보려고합니다. AWS Chalice는 파이썬(Python) 기반의 serverless microframework로 알려져 있는데요~ serverless? 이게 뭘까요? 이 서버리스(serverless)가 무엇인지도 알아봅니다. 그리고 AWS lambda를 쉽게 사용할 수 있게 지원해주므로 AWS lambda에 대해서도 알아볼거에요. 나아가, AWS Chalice 설치하는 방법, 어떻게 사용하는지도 간단하게 작성하려고 합니다. 해당 포스팅은 아래 글들을 참조하였습니다. 핵심 내용을 정말 잘 설명해준 블로그 : https://jangseongwoo.github.io/lambda/chalice_tutorial/ https://github.com/aw..
포스팅 개요 이번 포스팅은 데이터와 머신러닝 모델(Machine Learning model)의 버전을 관리할 수 있는 Data Version Control(DVC)에 대해 작성합니다. Machine Learning 프로젝트(혹은 Deep Learning)을 하다보면 ML 모델의 버전 관리, 데이터 버전 관리에 대해서 생각을 하게 되는데요. 그것을 지원해주는 것이 Data Version Control(DVC) 입니다. 저도 회사 선배님께 DVC 키워드를 얼마전 듣게 되었고 바로 간단하게 학습을 해보았습니다. 이번 포스팅에서 사용하려는 DVC는 https://dvc.org/ 입니다. 이 DVC는 open source이고 github에도 자료가 있습니다.참고한 자료는 아래와 같습니다. https://dvc.o..