꿈 많은 사람의 이야기

포스팅 개요 이번 포스팅은 AWS Chalice에 대해서 알아보려고합니다. AWS Chalice는 파이썬(Python) 기반의 serverless microframework로 알려져 있는데요~ serverless? 이게 뭘까요? 이 서버리스(serverless)가 무엇인지도 알아봅니다. 그리고 AWS lambda를 쉽게 사용할 수 있게 지원해주므로 AWS lambda에 대해서도 알아볼거에요. 나아가, AWS Chalice 설치하는 방법, 어떻게 사용하는지도 간단하게 작성하려고 합니다. 해당 포스팅은 아래 글들을 참조하였습니다. 핵심 내용을 정말 잘 설명해준 블로그 : https://jangseongwoo.github.io/lambda/chalice_tutorial/ https://github.com/aw..

포스팅 개요 이번 포스팅은 test code coverage에 대해서 알아봅니다. 그냥 코드 커버리지(code coverage)라고도 불리우는 방법입니다. 그리고 파이썬(Python)에서 test code coverage를 하는 방법에 대해서도 함께 알아봅니다. test code 작성은 이전 포스팅(https://lsjsj92.tistory.com/572)내용을 기반으로 진행됩니다. 포스팅 본문 코드 커버리지(code coverage)란 무엇일까요? code coverage는 소프트웨어 프로그램에서 테스트 케이스가 얼마나 충족되었나? 정도로 생각할 수 있습니다. 즉, 코드에서 테스트가 얼마나 충족이 되었나? 입니다. 흔히, test code를 작성하게 되면 coverage도 같이 측정하게 되는데요. 이때..

포스팅 개요 이번 포스팅은 데이터와 머신러닝 모델(Machine Learning model)의 버전을 관리할 수 있는 Data Version Control(DVC)에 대해 작성합니다. Machine Learning 프로젝트(혹은 Deep Learning)을 하다보면 ML 모델의 버전 관리, 데이터 버전 관리에 대해서 생각을 하게 되는데요. 그것을 지원해주는 것이 Data Version Control(DVC) 입니다. 저도 회사 선배님께 DVC 키워드를 얼마전 듣게 되었고 바로 간단하게 학습을 해보았습니다. 이번 포스팅에서 사용하려는 DVC는 https://dvc.org/ 입니다. 이 DVC는 open source이고 github에도 자료가 있습니다.참고한 자료는 아래와 같습니다. https://dvc.o..

포스팅 개요 이번 포스팅은 Python에서 Test Case를 작성하고 나아가 TDD(Test Driven Development)에 활용할 수 있는 unittest를 학습해봅니다. 본 글은 아래 참조 리스트를 참고하였습니다. https://docs.python.org/ko/3/library/unittest.html 포스팅 본문 요즘, 개발 관련 스터디나 모임을 가게 되면 많이 듣는 단어가 TDD입니다. TDD란 무엇일까요? TDD란? TDD는 Test Driven Development의 약자로 테스트 주도 개발이라는 뜻을 가지고 있습니다. TDD는 소프트웨어를 개발하는 방법론 중 하나입니다. 개발자들이 작성하는 코드가, 혹은 우리가 코드를 리팩토링(refactoring)을 하게 될 때 제대로 동작하는지 ..

포스팅 개요 이번 포스팅은 파이썬(Python)을 활용해서 추천 시스템(recommender system)을 구현해보는 포스팅입니다. 이번 포스팅은 "정말 단순한 아이디어"를 가지고 네이버 뉴스를 추천해주는 것을 구현해보려고 합니다. 이번 포스팅에서 구현하는 추천 시스템은 아래와 같은 개념을 사용합니다. 파이썬(Python) gensim 패키지에서 doc2vec을 사용 사용자 히스토리(user history)를 기반으로 추천 구글에서 찾을 수 있는 네이버 뉴스 기사 활용 즉, Python doc2vec을 이용해서 단순한 네이버 뉴스 추천 시스템(news recommender system)을 구현합니다. 참고 자료 https://lovit.github.io/nlp/representation/2018/03/..

포스팅 개요 이번 포스팅은 파이썬(Python)으로 영화 추천 시스템(recommender system) 기본을 구현해보는 두 번째 포스팅입니다. 이번 포스팅에서 구현하는 추천 시스템은 아래와 같은 개념을 기반으로 구현합니다. 잠재 요인 협업 필터링(latent factor collaborative filtering)을 구현하며, 이때 Matrix Factorization(행렬 분해)를 사용해서 구현 사용자 개인에게 맞춤으로 영화를 추천해주는 개인화 추천 방식 지난 포스팅에서도 파이썬으로 Matrix Factorization을 사용해 추천 시스템을 구현해보았습니다. (https://lsjsj92.tistory.com/569) 파이썬으로 추천 시스템 구현하기(Python recommender system)..

포스팅 개요 이번 포스팅은 파이썬(Python)으로 추천 시스템(Recommendation system) 기본을 구현해보는 포스팅입니다. 지난 포스팅에는 추천 시스템 협업 필터링(Collaborative Filtering)을 구현해봤습니다. 그 중 아이템 기반 협업 필터링(Item based Collaborative Filtering)을 구현했습니다. https://lsjsj92.tistory.com/568 파이썬으로 추천 시스템(recommendation system) 구현해보기 - collaborative filtering 포스팅 개요 이번 포스팅은 파이썬(Python)으로 추천 시스템(recommendation system)을 개발해보는 포스팅입니다. 개발이라고 썼지만, 추천 시스템 개발이라기 보다..

포스팅 개요 이번 포스팅은 파이썬(Python)을 활용해서 추천 시스템(recommendation system) 중 콘텐츠 기반 필터링(content based filtering)을 이해하고 만들어보는 포스팅입니다. 지난 포스팅에서 추천 시스템 중 콘텐츠 기반 필터링(content based filtering)에 대해서 알아보았습니다. (https://lsjsj92.tistory.com/563) 추천 시스템(Recommendation system)이란? - content based filtering, collaborative filtering 포스팅 개요 이번 포스팅은 추천 시스템(recommedation system)에 대해서 알아봅니다. 또한, 추천 시스템에는 컨텐츠 기반 필터링(content bas..

포스팅 개요 집에서는 윈도우를 활용해서 사용하지만 회사에서는 mac을 사용합니다. 그러다보니 windows 환경에서 python 설치하는 여러 이슈와 mac에서 나오는 여러 이슈가 좀 다른데요. 이번 포스팅은 mac os 환경에서 python konlpy를 설치하는 방법과 에러가 나올 때 대처할 수 있는 방법에 대해 소개합니다. 본문 mac 환경에서 개발 환경을 구축하는 것은 매우매우 쉽습니다. 개발자분들이 윈도우를 자주 사용안하시는 이유가 있으니까요 ㅎㅎ (저도 GPU만 아니었으면..) 때문에 mac에서 python 환경을 다루는 것도 쉽습니다. mac os에서 konlpy를 설치하려면 단순히 아래 명령어만 입력하면 됩니다. pip install konlpy 하지만 이게 mac에서 오류가 발생할 수 있..

지난 포스팅까지 머신러닝 앙상블에 대해서 계속 올리고 있습니다. 머신러닝 앙상블(machine learning ensemble)에서는 대표적으로 배깅(bagging)과 부스팅(boosting)이 있습니다. 그 중 앙상블 부스팅(ensemble boosting)에 대해서 지속적으로 보고 있습니다. 머신러닝 부스팅 알고리즘은 틀린 부분에 가중치를 더하면서 진행하는 알고리즘인데요. Gradient Boosting Machine(GBM)은 그 가중치를 경사하강법(gradint boosting)으로 진행하였습니다. 그리고 지난 포스팅에서 소개한 ensemble xgboost는 기존의 gradient boosting 알고리즘의 단점을 조금이라도 보완한 알고리즘이라고 했습니다. 그렇게 강력한 성능을 제공하는 xgbo..