꿈 많은 사람의 이야기

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( https://lsjsj92.tistory.com/632 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 ( https://lsjsj92.tistory.com/633 ) Airflow slack 메세지로 알람 받기 예제 ( 본 ..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( https://lsjsj92.tistory.com/632 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (본 포스팅) Airflow slack 메세지로 알람 받기 예제 (https://lsjsj92.tistory.com/634..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow Dag task relationship branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( 본 포스팅 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (https://lsjsj92.tistory.com/633) Airflow slack 메세지로 알람 받기 예제 (https://l..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( 본 포스팅 ) Airflow Dag task relationship branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 (https://lsjsj92.tistory.com/632) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (https://lsjsj92.tistory.com/633) Airflow slack 알람 받기 예제 (https://lsjsj92...

포스팅 개요 이번 포스팅은 파이썬(Python) MLflow 예제(example) 정리 두 번째 포스팅이며 지난 번 MLflow 첫 번째 글 이후로 작성하는 두 번째 MLflow 글입니다. MLflow는 머신러닝(machine learning) 혹은 딥러닝 (deep learning)과 같은 모델들의 라이프 사이클을 관리해주는 라이브러리인데요. 이번 MLflow 포스팅은 아래와 같은 내용을 다룹니다. MLflow Project 관리 및 재배포 & Package Mlflow 머신러닝 모델 API serving MLflow 실험 환경 설정 (experiment setting) 지난 번 mlflow 1탄 글은 아래와 같습니다. https://lsjsj92.tistory.com/623 이수진의 블로그 안녕하세요..

포스팅 개요 본 포스팅은 머신러닝(machine learning)의 라이프 사이클을 관리해주는 mlflow에 대해서 정리하는 포스팅입니다. mlflow란 무엇이고 어떻게 사용하는지 예제(example)와 함께 정리하고자 합니다. MLflow와 관련된 포스팅은 2번에 걸쳐서 작성할 예정입니다. 첫 번째 포스팅 ( 이번 글 ) MLflow란 무엇인가? MLflow Tracking 간단한 사용 방법과 예제 코드 두 번째 포스팅 MLflow Projects 관리 및 재배포 & Package MLflow Model API Serving MLflow 실험 환경 설정 (experiment setting) 제가 mlflow를 정리하고 공부하면서 참고했던 자료는 아래와 같습니다. https://github.com/mlf..

포스팅 개요 이번 포스팅은 머신러닝 모델(machine learning model) 혹은 딥러닝 모델(Deep Learning model)을 API 형태로 서빙(serving) 할 수 있는 Python BentoML에 대해서 간단하게 소개하고 예제(example)을 정리하는 글입니다. BentoML글은 아래와 같이 총 2개 혹은 3개 정도의 글로 정리하려고 합니다. Machine learning model serving BentoML 간단 소개 및 설치 방법과 기본 예제(example) ( 이번 글 ) Tensorflow(Keras)와 같이 사용하는 법, 2개 이상 모델을 사용하는 법 및 Docker 등 다양한 예시 정리 이번 포스팅은 위의 내용 중 bentoml이란 무엇인가? bentoml 사용법과 예..

포스팅 개요 이번 포스팅은 Mac os 환경에서 lightgbm을 설치하는 방법에 대해 정리합니다. 매번 lightgbm을 설치할 때마다 공식 문서대로 해도 설치가 잘 되지 않는 삽질을 하게 되는데 이번 기회에 정리를 해보고자 합니다. 제가 참고한 자료는 아래와 같습니다. https://lightgbm.readthedocs.io/en/latest/ 포스팅 본문 본 포스팅은 mac os Python 환경에서 머신러닝(machine learning) 알고리즘 중 강력한 알고리즘 중 하나인 lightgbm 라이브러리를 설치하는 방법에 대해 정리합니다. 본 포스팅은 아래와 같은 구성으로 작성합니다. MacOS에서 lightgbm 설치하기 각종 오류와 삽질들 1. MacOS에서 lightgbm 설치하기 먼저, 제..

포스팅 개요 이번 포스팅은 파이썬(Python) 환경에서 아래와 같은 것을 조절할 수 있는 방법을 정리합니다. jupyter notebook(쥬피터 노트북)에서 cell(셀)의 너비 크기(width)를 조절하는 방법 DataFrame에서 width 크기 등을 조절하는 방법 에 대해 간단하게 정리합니다. 사실 매번 이 부분이 불편해서 검색으로 찾았었는데 반복되는 검색을 좀 줄이고자 블로그에 정리해둡니다. 아래는 참고한 자료입니다. https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.set_option.html pandas.set_option — pandas 1.2.4 documentation display.[chop_threshold, co..

포스팅 개요 이번 포스팅은 윈도우에서 파이썬 형태소 분석기인 konlpy와 은전한닢(Mecab)을 설치하는 방법을 정리하는 포스팅입니다. 그리고 윈도우 환경 mecab에서 사용자 사전(user dictionary)을 적용하고 만드는 방법에 대해 정리합니다. 사실, 해당 내용은 2년전에 블로그에 올리긴 했습니다. (lsjsj92.tistory.com/442) 하지만, 시간이 지나 당시엔 Mecab 연동이 윈도우에서 되지 않았던 문제가 해결되어 현재는 windows 환경에서 mecab을 사용할 수 있게 되었습니다. 그래서 이미 글은 있지만, 업데이트 하는 차원에서 다시 한 번 정리해서 올려봅니다. 참고사항 제가 konlpy를 설치하는 윈도우 환경 및 파이썬 환경은 아래와 같습니다. - Python3.7 - ..