꿈 많은 사람의 이야기

포스팅 개요 이번 포스팅은 파이썬(Python)을 활용해서 추천 시스템(recommendation system) 중 콘텐츠 기반 필터링(content based filtering)을 이해하고 만들어보는 포스팅입니다. 지난 포스팅에서 추천 시스템 중 콘텐츠 기반 필터링(content based filtering)에 대해서 알아보았습니다. (https://lsjsj92.tistory.com/563) 추천 시스템(Recommendation system)이란? - content based filtering, collaborative filtering 포스팅 개요 이번 포스팅은 추천 시스템(recommedation system)에 대해서 알아봅니다. 또한, 추천 시스템에는 컨텐츠 기반 필터링(content bas..

포스팅 개요 집에서는 윈도우를 활용해서 사용하지만 회사에서는 mac을 사용합니다. 그러다보니 windows 환경에서 python 설치하는 여러 이슈와 mac에서 나오는 여러 이슈가 좀 다른데요. 이번 포스팅은 mac os 환경에서 python konlpy를 설치하는 방법과 에러가 나올 때 대처할 수 있는 방법에 대해 소개합니다. 본문 mac 환경에서 개발 환경을 구축하는 것은 매우매우 쉽습니다. 개발자분들이 윈도우를 자주 사용안하시는 이유가 있으니까요 ㅎㅎ (저도 GPU만 아니었으면..) 때문에 mac에서 python 환경을 다루는 것도 쉽습니다. mac os에서 konlpy를 설치하려면 단순히 아래 명령어만 입력하면 됩니다. pip install konlpy 하지만 이게 mac에서 오류가 발생할 수 있..

지난 포스팅까지 머신러닝 앙상블에 대해서 계속 올리고 있습니다. 머신러닝 앙상블(machine learning ensemble)에서는 대표적으로 배깅(bagging)과 부스팅(boosting)이 있습니다. 그 중 앙상블 부스팅(ensemble boosting)에 대해서 지속적으로 보고 있습니다. 머신러닝 부스팅 알고리즘은 틀린 부분에 가중치를 더하면서 진행하는 알고리즘인데요. Gradient Boosting Machine(GBM)은 그 가중치를 경사하강법(gradint boosting)으로 진행하였습니다. 그리고 지난 포스팅에서 소개한 ensemble xgboost는 기존의 gradient boosting 알고리즘의 단점을 조금이라도 보완한 알고리즘이라고 했습니다. 그렇게 강력한 성능을 제공하는 xgbo..

머신러닝에서는 앙상블(ensemble) 모델을 빼놓을 수가 없습니다. 이 앙상블에는 배깅(bagging)과 부스팅(boosting) 그리고 보팅(voting) 방법이 있습니다. 크게 보면 말이죠 이 중 ensemble bagging에 대해서는 지난 포스팅에서 random forest(랜덤 포레스트)로 설명을 했습니다. 그리고 ensemble boosting 또한 지난 포스팅에서 Gradient Boosting Machine와 Adaboost를 예시로 들면서 포스팅을 올렸습니다. 하지만 이런 GBM에는 문제점이 있습니다. Gradient Boosting의 문제점 머신러닝에서 앙상블 모델 중 부스팅(boosting)은 정말 강력합니다. 하지만 단점이 없는 것은 아닙니다. 특히 gradient boosting..

최근 머신러닝 기초반 스터디를 진행하면서 느끼는 점이 있습니다. 또한, 이메일로 질문 받는 것중 적지 않는 질문이기도 합니다. 그 질문은 아래와 같습니다. 왜 머신러닝(machine learning), 딥러닝(deep learning)에서는 데이터를 나누나요? 도대체 X, y는 뭐고 feature는 뭐죠? X_train, X_test, y_train, y_test는 뭐죠? 정말 원초적인 질문이지만, 당연히 궁금해 할 질문입니다. data science가 이제 인기를 끌면서 많은 분들이 Python을 배우시고 Python을 활용한 데이터 분석과 머신러닝, 딥러닝을 하고 있습니다. 하지만, 너무 급하게 너무 빠르게 배우느라 기본적인 것들을 놓치는 것 같습니다. 그래서 이러한 질문이 계속 오기 때문에 머신러닝..

이전 포스팅에서 머신러닝의 앙상블 그 중 부스팅(ensemble boosting)에 대해서 포스팅을 했었습니다. https://lsjsj92.tistory.com/543 머신러닝 앙상블 부스팅이란? - ensemble boosting 머신러닝에서는 앙상블(ensemble)을 정말 많이 사용합니다. 그 효과가 매우매우 강력하기 때문인데요. 이 앙상블에는 배깅(bagging), 부스팅(boosting) 등의 종류가 나뉘어져 있습니다. 지난 포스팅 때는 ensemble.. lsjsj92.tistory.com 이번 글은 앙상블 부스팅(ensemble boosting) 중 Adaboost와 Gradient Boosting에 대해서 알아보려고 합니다. ensemble boosting - Adaboost Adaboo..

머신러닝에서는 앙상블(ensemble)을 정말 많이 사용합니다. 그 효과가 매우매우 강력하기 때문인데요. 이 앙상블에는 배깅(bagging), 부스팅(boosting) 등의 종류가 나뉘어져 있습니다. 지난 포스팅 때는 ensemble bagging에 대해서 설명했었고 random forest에 대해서도 설명했습니다. https://lsjsj92.tistory.com/542 머신러닝 bagging 앙상블 랜덤 포레스트(random forest)란? 머신러닝 앙상블에는 배깅(bagging), 보팅(voting), 부스팅(boosting)이 있습니다. 그 중 앙상블 bagging에 속한 랜덤 포레스트를 이번 포스팅에서 소개할까합니다. 이 random forest는 빠른 속도와 높은 예측 성.. lsjsj92...

저는 현재 머신러닝, 데이터 분석 관련 스터디를 진행하고 있습니다. 스터디를 진행하면서 계속 발생했던 이슈가 jupyter-notebook 실습 환경 이슈였는데요. 어떻게 하면 뒤에 앉으신 분들까지 주피터노트북이 잘 보일까 고민하다가 주피터 노트북을 ppt로 만들 수 있는 방법에 대해 알게 되어 글을 작성합니다. (사실.. 스터디 환경에선 크게 도움이 되지는 않았지만 아직 제가 사용법에 미숙해서 그런 것 같습니다.) 바로 Python에서 제공해주는 RISE라는 패키지를 사용하면 됩니다. 이거를 설치하면 jupyter-notebook에서 ppt와 같이 운영할 수 있습니다. 먼저 아나콘다에서 rise와 관련된 패키지를 설치해주어야 합니다. conda install -c conda-forge rise를 통해 ..

아마 개발자 분들은 하루종일 컴퓨터 앞에 앉아 있어서 IDE 툴들의 색상을 어둡게 하시는 분들이 많을겁니다. 하얀색 화면은 눈이 너무 아프거든요 (저만 그런가요..) 특히 파이썬은 IDE 툴로 pycharm(파이참)을 많이 사용하는데 파이참은 설치할 때 theme를 어둡데 설정할 수 있어서 어두운 배경색을 가지고 개발을 할 수 있습니다. 그러나 파이썬 특성상 jupyter notebook 즉, 주피터 노트북으로도 개발을 많이 사용하는데요. 이게 기본이 하얀색입니다. 아래 사진처럼요 하양하양하죠 이게 이쁘긴하지만 화면을 오래보고 있으면 눈이 아픕니다. 안에 들어가서도 마찬가지구요 그래서 이 주피터 노트북의 색상, 테마를 변경하는 방법에 대해 포스팅할까합니다. jupyter의 테마를 바꾸는 것은 정말 간단합..

이전 포스팅에서 형태소 분석기 중 하나인 은전한닢(mecab)을 설치를 해보았습니다. https://lsjsj92.tistory.com/491 형태소 분석기 MeCab! 은전한닢을 설치하고 파이썬과 연동하기! 요즘 자연어처리 (NLP)가 정말 핫합니다 텍스트 데이터를 활용하면 다양한 가치를 찾을 수 있고 재미있는 분석이 가능하기 때문이죠 그러나 우리나라 텍스트 데이터 분석은 형태소 분석기가 많이 필요합니다 영어.. lsjsj92.tistory.com 하지만 형태소 분석기를 하다보면 형태소 분석이 되지 않는 단어들이 있습니다. 이런 단어들은 형태소 분석기의 큰 단점이라고 볼 수 있죠 하지만 은전한닢 mecab에서는 사용자 단어 사전(user word dictionary)을 구축해서 형태소 분석이 되지 않는..