꿈 많은 사람의 이야기

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( https://lsjsj92.tistory.com/632 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 ( https://lsjsj92.tistory.com/633 ) Airflow slack 메세지로 알람 받기 예제 ( 본 ..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( https://lsjsj92.tistory.com/632 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (본 포스팅) Airflow slack 메세지로 알람 받기 예제 (https://lsjsj92.tistory.com/634..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow Dag task relationship branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( 본 포스팅 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (https://lsjsj92.tistory.com/633) Airflow slack 메세지로 알람 받기 예제 (https://l..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( 본 포스팅 ) Airflow Dag task relationship branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 (https://lsjsj92.tistory.com/632) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (https://lsjsj92.tistory.com/633) Airflow slack 알람 받기 예제 (https://lsjsj92...

포스팅 개요 이번 포스팅은 파이썬(Python) MLflow 예제(example) 정리 두 번째 포스팅이며 지난 번 MLflow 첫 번째 글 이후로 작성하는 두 번째 MLflow 글입니다. MLflow는 머신러닝(machine learning) 혹은 딥러닝 (deep learning)과 같은 모델들의 라이프 사이클을 관리해주는 라이브러리인데요. 이번 MLflow 포스팅은 아래와 같은 내용을 다룹니다. MLflow Project 관리 및 재배포 & Package Mlflow 머신러닝 모델 API serving MLflow 실험 환경 설정 (experiment setting) 지난 번 mlflow 1탄 글은 아래와 같습니다. https://lsjsj92.tistory.com/623 이수진의 블로그 안녕하세요..

포스팅 개요 이번 포스팅은 Ubuntu20.04 LTS 환경에서 텐서플로우(tensorflow) GPU 설치 및 환경 설정을 셋팅하는 방법에 대해 정리합니다. Ubuntu20.04 환경에 Python을 설치하고 관련 cuda, cudnn 등을 설치해 최종적으로 tensorflow에서 gpu가 동작되는 것을 확인해보고자 합니다. 본 포스팅을 작성하기 전 테스트해본 Ubuntu 환경은 아래와 같습니다. AWS EC2 g4dn 인스턴스 장비 AWS EC2 P3 type 인스턴스 장비 AWS EC2 P2 type 인스턴스 장비 AWS EC2 g3 type instance 장비 위 4개의 환경에서 전부 잘 동작됨을 확인하였으며, 본 포스팅에서는 그 중 g4dn 장비를 기준으로 설명합니다. g4dn, p3, g3,..

포스팅 개요 이번 포스팅은 지난 포스팅에 이어서 파이썬(Python) BentoML에 대해서 작성하는 2번째 글입니다. BentoML은 머신러닝(machine learning) 혹은 딥러닝(deep learning) 모델을 API 형태로 서빙할 수 있도록 기능을 제공해주는 파이썬(Python) 라이브러리 입니다. 지난 포스팅에서는 Machine Learning model API serving BentoML에 대해서 소개 및 기본 예제를 소개했는데요. 이번 포스팅에서는 BentoML 예제 위주로 아래와 같은 내용을 간단하게 소개하고자 합니다. Tensorflow 2.X 기반의 딥러닝 모델 BentoML 적용하기 Dockerfile을 이용해서 Docker image 생성 후 API serving 적용하기 다..

포스팅 개요 본 포스팅은 머신러닝(machine learning)의 라이프 사이클을 관리해주는 mlflow에 대해서 정리하는 포스팅입니다. mlflow란 무엇이고 어떻게 사용하는지 예제(example)와 함께 정리하고자 합니다. MLflow와 관련된 포스팅은 2번에 걸쳐서 작성할 예정입니다. 첫 번째 포스팅 ( 이번 글 ) MLflow란 무엇인가? MLflow Tracking 간단한 사용 방법과 예제 코드 두 번째 포스팅 MLflow Projects 관리 및 재배포 & Package MLflow Model API Serving MLflow 실험 환경 설정 (experiment setting) 제가 mlflow를 정리하고 공부하면서 참고했던 자료는 아래와 같습니다. https://github.com/mlf..

포스팅 개요 이번 포스팅은 머신러닝 모델(machine learning model) 혹은 딥러닝 모델(Deep Learning model)을 API 형태로 서빙(serving) 할 수 있는 Python BentoML에 대해서 간단하게 소개하고 예제(example)을 정리하는 글입니다. BentoML글은 아래와 같이 총 2개 혹은 3개 정도의 글로 정리하려고 합니다. Machine learning model serving BentoML 간단 소개 및 설치 방법과 기본 예제(example) ( 이번 글 ) Tensorflow(Keras)와 같이 사용하는 법, 2개 이상 모델을 사용하는 법 및 Docker 등 다양한 예시 정리 이번 포스팅은 위의 내용 중 bentoml이란 무엇인가? bentoml 사용법과 예..

포스팅 개요 지난 포스팅에서 오픈 소스 비즈니스 인텔리젼스 툴(Open source business intellgence tool)인 메타베이스(Metabase)에 대한 대락적인 소개를 했습니다. 또한, 데이터베이스(MySQL, MariaDB, Athena, Oracle) 연동하는 방법에 대해서도 작성했었습니다. 사실, Metabase의 가장 큰 강점은 Dashboard를 만들어서 데이터를 확인할 수 있다는 것입니다. 따라서 본 포스팅에서는 Metabase에서 Collection을 생성하고 대시보드(Dashboard)를 만드는 방법에 대해서 작성하려고 합니다. 지난 포스팅은 아래 링크와 같습니다. lsjsj92.tistory.com/609 Metabase 설치 방법 - MySQL(MariaDB) 연동 및..