꿈 많은 사람의 이야기

포스팅 개요 Metabase(메타베이스)는 오픈 소스 비즈니스 인텔리젼스 툴(open source business intelligence tool)입니다. Database를 연동하고 그 연결된 DB에서 데이터를 시각화 할 수 있는 툴입니다. 기본적으로 SQL로 동작할 수 있고 간단하게 클릭 식으로도 볼 수 있는 매우 유용한 시각화 툴입니다. 그래서 이번 포스팅에서는 이 Metabase를 어떻게 설치할 수 있는지, 그 과정에서 무슨 에러가 발생할 수 있고 어떻게 대처할 수 있는지를 작성합니다. 또한, 기본적으로 Metabase는 AWS Athena 연동 및 Oracle 연동은 되지 않는데요. 이를 연동할 수 있는 방법도 작성하려고 합니다. 참고한 자료는 아래와 같습니다. www.metabase.com/do..

포스팅 개요 이번 포스팅은 Mac OS에서 초기 git 환경을 셋팅하는 방법에 대해 작성합니다. Mac에 git 초기 설정을 하게 되면 github 등도 비밀번호 요구 없이 바로바로 이용할 수 있는 장점이 있습니다. mac의 이러한 git 환경 설정은 아무래도 mac 사용 초기에 개발 환경 셋팅에서 많이 활용할 수 있는 방법입니다. 포스팅 본문 이번에 Mac을 초기화 하면서 다시 한 번 개발환경 셋팅을 해줘야 하는 상황이 있었습니다. 그 중 아무래도 혼자서 공부할 때 github을 많이 이용하다보니 git에 대한 초기 환경설정을 해주었는데요. 이렇게 mac 환경에서 git을 초기 설정해주면 비밀번호 요구 등을 하지 않고 쉽게 이용할 수 있는 장점이 있습니다. mac 환경에서 git을 설정하는 방법은 아래..

포스팅 개요 이번 포스팅은 kubeflow pipeline을 cron job(batch job)으로 반복 실행시키는 방법에 대해서 작성합니다. kubeflow cron job은 내부적으로 recurring job으로 보이고 이를 설정했을 때 scheduled workflows로 설정되는데요. 이를 설정하면 특정 시간, 혹은 특정 기간 마다 kubeflow pipeline을 반복적으로 실행합니다. 이번 포스팅은 이와 같은 방법에 대해 정리합니다. kubeflow 설치와 기본적인 설명은 지난 포스팅에서 작성했던 내용을 기반으로 설명합니다. 지난 포스팅은 아래 링크이므로 글을 읽다가 잘 모르시겠으면 참고해주세요. https://lsjsj92.tistory.com/580 kubeflow 설치하기 - Machin..

포스팅 개요 이번 포스팅은 kubeflow 예제(kubeflow example)를 주제로 다룹니다. 지난 포스팅에 이어서 이번에는 kubeflow에서 실행시킨 machine learning 혹은 deep learning 모델에서 나온 metrics를 ( evaluation 값) 출력하는 방법에 대해서 알아봅니다. 또한, kubeflow에서 Condition이라는 것을 통해 어떤 조건을 체크하고 조건에 따라 분기가 일어나는 방법에 대해서 알아보려고 합니다. 저의 kubeflow 관련 지난 포스팅은 아래 링크와 같습니다. 참고 하실 분들은 참고하시면 되겠습니다. kubeflow install 방법 : https://lsjsj92.tistory.com/580 kubeflow example with iris :..

포스팅 개요 이번 포스팅은 지난 글(kubeflow pipeline iris data)에 이어 kubeflow 예제(kubeflow example)에 대해서 작성합니다. 지난 글은 kubeflow 설치하는 방법과 kubeflow를 간단하게 사용할 수 있는 방법에 대해서 알아보았는데요. 이번 포스팅은 kubeflow 예제를 타이타닉(titanic data)데이터와 함께 예제를 작성합니다. 특히, AWS 서비스들과 연동하여 머신러닝 파이프라인(machine learning pipeline)을 구축해 보려고 합니다. 지난 포스팅은 아래 링크이므로 혹시 kubeflow가 설치되어 있지 않거나, 간단한 kubeflow 예제를 보고 싶으신 분들은 참조하시길 바랍니다. kubeflow 설치 : https://lsjs..

포스팅 개요 이번 포스팅은 지난 포스팅 kubernetes의 helm 소개글 이후(https://lsjsj92.tistory.com/582), 단순히 stable repo에 있는 kubernetes를 helm으로 배포하는 것이 아니라, 사용자만의 kubernetes helm 환경을 생성하고 helm으로 배포하는 내용을 작성합니다. 그 중 정말 간단하게 살펴볼 수 있도록 Python Django app을 helm kubernetes로 배포하도록 해보겠습니다. 본 글은 아래 링크를 참조하였습니다. https://helm.sh/docs/topics/charts/ https://helm.sh/ https://helm.sh/docs/intro/quickstart/ https://github.com/helm/cha..

포스팅 개요 이번 포스팅은 kubernetes(쿠버네티스)의 package managing인 helm에 대해서 알아봅니다. 흔히 helm chart라고도 불리우는 helm에 대해서 간략히 알아보고, 어떻게 사용하는지를 간단한 예제 즉, mysql example로 알아보겠습니다. 이 블로그를 작성하면서 참고한 자료는 아래와 같습니다. https://helm.sh/docs/topics/charts/ https://helm.sh/ https://helm.sh/docs/intro/quickstart/ 포스팅 본문 개요에서 말씀드렸듯이 이번 포스팅은 kubernetes(쿠버네티스)의 helm에 대해 알아보는 포스팅입니다. 따라서, 먼저 helm이란 무엇인지 먼저 알아보겠습니다. helm이란? Docker가 나오면..

포스팅 개요 이번 포스팅은 kubeflow 예제(kubeflow example)에 대해서 작성합니다. 지난 포스팅에서 kubeflow 설치하는 방법에 대해서 알아보았는데요. kubeflow 설치 후 kubeflow pipeline을 이용해서 kubeflow 사용하는 방법에 대해 작성합니다. 지난 포스팅은 아래 링크이므로 혹시 kubeflow install 방법에 대해서 알고 싶으시면 참고하시면 되겠습니다. https://lsjsj92.tistory.com/580 kubeflow 설치하기 - Machine Learning pipeline kubeflow install 포스팅 개요 이번 포스팅은 지난 글인 머신러닝 파이프라인이란?(Machine Learning pipeline) 글에 이어서 머신러닝 파이프라..

포스팅 개요 이번 포스팅은 지난 글인 머신러닝 파이프라인이란?(Machine Learning pipeline) 글에 이어서 머신러닝 파이프라인인 kubeflow를 설치(kubeflow install)하는 방법에 대해서 작성합니다. 지난 글 내용이 궁금하시다면 아래 링크를 따라 보시고 오면 될 것 같습니다. https://lsjsj92.tistory.com/579 머신러닝 파이프라인이란? - ML Pipeline에 대하여 포스팅 개요 이번 포스팅은 머신러닝 파이프라인(Machine Learning pipeline)에 대해서 알아보는 포스팅입니다. 머신러닝 프로젝트를 하다 보면 필요성을 느끼게 되는 머신러닝 파이프라인. 이것이 왜 중요하고,.. lsjsj92.tistory.com 또한, 본 글은 아래 링크에..

포스팅 개요 이번 포스팅은 머신러닝 파이프라인(Machine Learning pipeline)에 대해서 알아보는 포스팅입니다. 머신러닝 프로젝트를 하다 보면 필요성을 느끼게 되는 머신러닝 파이프라인. 이것이 왜 중요하고, 무슨 의미를 지니고 있는지에 대해서 간략하게 소개하려고 합니다. 포스팅 본문 머신러닝 파이프라인이란? - Machine Learning pipeline? 머신러닝 파이프라인이란 용어는 아마도 머신러닝이나 딥러닝과 같은 프로젝트를 하다보면 많이 들어보셨을 지도 모르겠습니다. 짧은 경험이지만, 머신러닝 프로젝트를 조금씩 진행해보면서 느낀 것은 아래 그림과 같습니다. 아마도 많이 보셨을 만한 사진일 겁니다. 처음 이 그림을 보고 정말 많이 공감했습니다. 저는 처음 머신러닝과 딥러닝을 공부할 ..