꿈 많은 사람의 이야기

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( https://lsjsj92.tistory.com/632 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 ( https://lsjsj92.tistory.com/633 ) Airflow slack 메세지로 알람 받기 예제 ( 본 ..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( https://lsjsj92.tistory.com/632 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (본 포스팅) Airflow slack 메세지로 알람 받기 예제 (https://lsjsj92.tistory.com/634..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( https://lsjsj92.tistory.com/631 ) Airflow Dag task relationship branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 ( 본 포스팅 ) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (https://lsjsj92.tistory.com/633) Airflow slack 메세지로 알람 받기 예제 (https://l..

포스팅 개요 본 포스팅은 Apache Airflow(에어플로우)에 대해서 정리하는 Airflow 시리즈 포스팅입니다. Airflow 포스팅에서는 아래와 같은 순서로 Airflow에 대해서 정리해보려고 합니다. Airflow란 무엇인가? Airflow 설치 방법과 간단한 예제 ( 본 포스팅 ) Airflow Dag task relationship branch(분기) 예제 및 airflow 파이썬(Python) operator 활용 간단 예제 (https://lsjsj92.tistory.com/632) Airflow를 활용한 머신러닝 ( Machine Learning ) 예제 (https://lsjsj92.tistory.com/633) Airflow slack 알람 받기 예제 (https://lsjsj92...

포스팅 개요 이번 포스팅은 2021년의 개인적인 회고 글입니다. '이수진이라는 사람은 2021년에 이렇게 살아왔구나'라는 마음으로 가볍게 읽어주시면 감사하겠습니다. 2021년을 마치며 어느덧 2021년이 끝나간다. 2020년 회고를 작성한 것이 얼마 되지도 않은 것 같은데 벌써 2021년이 끝나간다. 세상 참 야속하게 시간이 빠르게 흘러간다. 2021년에도 전반적인 여러 일들이 있었다. 하지만, 그 중심에는 내 스스로의 주도적인 변화가 있었던 것 같다. 2021년 1월에 추천 시스템 연구 개발로 웅진씽크빅 회사로 이직하게 되었으며 동시에 회사와 대학원을 병행하기로 마음을 다짐하여 대학원을 다녔다. 그리고 그 대학원도 어느덧 1학년이 끝났다. 나의 2021년을 좀 더 간단하게 요약하면 4가지 카테고리와 3..

포스팅 개요 이번 포스팅은 자연어처리(nlp) 논문 중 ELECTRA : Pre-training Text Encoders as Discriminators Rather Than Generators 라는 논문을 리뷰하는 포스팅입니다. 본 논문은 ELECTRA 라고 많이 알려진 논문인데요. 앞서 GPT와 BERT 시리즈 등 리뷰에 이어서 진행하는 자연어처리 논문 포스팅 시리즈 여섯 번 째 포스팅입니다. 자연어처리 논문 리뷰는 아래와 같은 순서로 진행할 예정입니다. 오늘은 그 마지막 글인 여섯 번째 ELECTRA 입니다. GPT-1 (https://lsjsj92.tistory.com/617) BERT (https://lsjsj92.tistory.com/618) GPT-2 (https://lsjsj92.tisto..

포스팅 개요 이번 포스팅은 자연어처리(NLP) 논문 중 A Lite BERT for Self-supervised Learning of Language Representations라는 논문을 리뷰하는 포스팅입니다. 본 논문은 NLP논문에서 ALBERT라고 많이 알려진 논문입니다. 앞서 GPT, BERT, RoBERTa 논문 리뷰에 이어서 진행하는 자연어처리 논문 시리즈 다섯 번 째 포스팅입니다. 추가로 해당 포스팅의 내용은 제가 진행하는 사내 자연어처리 스터디에서 발표한 자료를 블로그로 정리한 자료임을 알려드립니다. 자연어처리 논문 리뷰는 아래와 같은 순서로 할 예정이며 이번 포스팅은 그 다섯 번 째 ALBERT 논문입니다. GPT-1 (https://lsjsj92.tistory.com/617) BERT ..

포스팅 개요 이번 포스팅은 자연어처리(NLP) 논문 중 A Robustly Optimized BERT Pretraining Approach라는 논문을 리뷰하는 포스팅입니다. 해당 자연어처리 논문은 흔히 RoBERTa라고 많이 언급되는 논문인데요. 앞서 GPT-1, GPT-2, BERT 논문 리뷰에 이어서 자연어처리 논문 시리즈 네 번째 포스팅입니다. 추가로 해당 포스팅의 내용은 제가 진행하는 사내 자연어 처리 스터디에서 발표한 자료를 블로그로 정리한 자료임을 알려드립니다. 자연어 처리 논문 리뷰는 아래와 같은 순서로 할 예정이며 이번 포스팅은 그 네 번째 RoBERTa 논문입니다. (순서는 바뀔 수 있습니다.) GPT-1 (https://lsjsj92.tistory.com/617) BERT (https:..

포스팅 개요 이번 포스팅은 파이썬(Python) MLflow 예제(example) 정리 두 번째 포스팅이며 지난 번 MLflow 첫 번째 글 이후로 작성하는 두 번째 MLflow 글입니다. MLflow는 머신러닝(machine learning) 혹은 딥러닝 (deep learning)과 같은 모델들의 라이프 사이클을 관리해주는 라이브러리인데요. 이번 MLflow 포스팅은 아래와 같은 내용을 다룹니다. MLflow Project 관리 및 재배포 & Package Mlflow 머신러닝 모델 API serving MLflow 실험 환경 설정 (experiment setting) 지난 번 mlflow 1탄 글은 아래와 같습니다. https://lsjsj92.tistory.com/623 이수진의 블로그 안녕하세요..

포스팅 개요 이번 포스팅은 Ubuntu20.04 LTS 환경에서 텐서플로우(tensorflow) GPU 설치 및 환경 설정을 셋팅하는 방법에 대해 정리합니다. Ubuntu20.04 환경에 Python을 설치하고 관련 cuda, cudnn 등을 설치해 최종적으로 tensorflow에서 gpu가 동작되는 것을 확인해보고자 합니다. 본 포스팅을 작성하기 전 테스트해본 Ubuntu 환경은 아래와 같습니다. AWS EC2 g4dn 인스턴스 장비 AWS EC2 P3 type 인스턴스 장비 AWS EC2 P2 type 인스턴스 장비 AWS EC2 g3 type instance 장비 위 4개의 환경에서 전부 잘 동작됨을 확인하였으며, 본 포스팅에서는 그 중 g4dn 장비를 기준으로 설명합니다. g4dn, p3, g3,..