꿈 많은 사람의 이야기

저는 현재 머신러닝, 데이터 분석 관련 스터디를 진행하고 있습니다. 스터디를 진행하면서 계속 발생했던 이슈가 jupyter-notebook 실습 환경 이슈였는데요. 어떻게 하면 뒤에 앉으신 분들까지 주피터노트북이 잘 보일까 고민하다가 주피터 노트북을 ppt로 만들 수 있는 방법에 대해 알게 되어 글을 작성합니다. (사실.. 스터디 환경에선 크게 도움이 되지는 않았지만 아직 제가 사용법에 미숙해서 그런 것 같습니다.) 바로 Python에서 제공해주는 RISE라는 패키지를 사용하면 됩니다. 이거를 설치하면 jupyter-notebook에서 ppt와 같이 운영할 수 있습니다. 먼저 아나콘다에서 rise와 관련된 패키지를 설치해주어야 합니다. conda install -c conda-forge rise를 통해 ..

이번 포스팅은 아나콘다3를 활용해서 파이썬3.6(python3.6)을 설치해보도록 하겠습니다. 요즘 프로그래밍 언어 중 파이썬이 당연 핫합니다. 주로 data science 분야에서 매우 핫하다보니 그런데요 그러다보니 머신러닝, 딥러닝 기술로 인한 파이썬 수요가 굉장히 많습니다. 그래서 이번 포스팅은 최근 아나콘다 버전을 기준으로 파이썬 3.6 버전을 설치해보려고 합니다. 최근 anaconda3를 설치하면 python3.7 기준으로 받아집니다. 하지만, 아직 3.7이 여기저기서 버전 충돌이 일어난다고 들려오고 있어서 3.6으로 설치해보는 방법으로 소개해볼까합니다. 그럼 시작합니다 아나콘다(Anaconda)란? 아나콘다는(뱀 이름 아닙니다..) 파이썬에서 수학, 과학 분야에서 사용되는 여러 패키지들을 한 ..

아마 개발자 분들은 하루종일 컴퓨터 앞에 앉아 있어서 IDE 툴들의 색상을 어둡게 하시는 분들이 많을겁니다. 하얀색 화면은 눈이 너무 아프거든요 (저만 그런가요..) 특히 파이썬은 IDE 툴로 pycharm(파이참)을 많이 사용하는데 파이참은 설치할 때 theme를 어둡데 설정할 수 있어서 어두운 배경색을 가지고 개발을 할 수 있습니다. 그러나 파이썬 특성상 jupyter notebook 즉, 주피터 노트북으로도 개발을 많이 사용하는데요. 이게 기본이 하얀색입니다. 아래 사진처럼요 하양하양하죠 이게 이쁘긴하지만 화면을 오래보고 있으면 눈이 아픕니다. 안에 들어가서도 마찬가지구요 그래서 이 주피터 노트북의 색상, 테마를 변경하는 방법에 대해 포스팅할까합니다. jupyter의 테마를 바꾸는 것은 정말 간단합..

이전 포스팅에서 형태소 분석기 중 하나인 은전한닢(mecab)을 설치를 해보았습니다. https://lsjsj92.tistory.com/491 형태소 분석기 MeCab! 은전한닢을 설치하고 파이썬과 연동하기! 요즘 자연어처리 (NLP)가 정말 핫합니다 텍스트 데이터를 활용하면 다양한 가치를 찾을 수 있고 재미있는 분석이 가능하기 때문이죠 그러나 우리나라 텍스트 데이터 분석은 형태소 분석기가 많이 필요합니다 영어.. lsjsj92.tistory.com 하지만 형태소 분석기를 하다보면 형태소 분석이 되지 않는 단어들이 있습니다. 이런 단어들은 형태소 분석기의 큰 단점이라고 볼 수 있죠 하지만 은전한닢 mecab에서는 사용자 단어 사전(user word dictionary)을 구축해서 형태소 분석이 되지 않는..

가끔 웹 크롤러를 개발하다 보면 이런 상황이 있습니다. 윈도우에서 web crawler를 개발하면 당연히 화면이 있죠? 여기서 화면이라는 것은 window가 있다는 것입니다. 즉, 크롬 브라우저를 띄울 수 있고 그걸 볼 수 있습니다. 이러한 환경은 ubuntu나 centos에서도 마찬가지입니다. 하지만, 모든 환경이 다 이렇지 않습니다. linux 계열의 서버를 사용할 때 이런 window 개념이 없을 수도 있습니다. 말 그대로 kernel 상태만 주어지고 display가 없는 상태이죠 그럼 이 display가 없는 상태에서 python seleinum으로 웹 크롤러를 어떻게 개발할까요? selenium은 web browser를 화면에 띄우고 거기서 html 데이터를 가지고 옵니다. 근데 이 displa..

파이썬 개발을 하다 보면 pandas dataframe을 자주 사용합니다. 정말 너무 편리하기 때문입니다. mysql, mariadb와 같은 RDBMS에서 데이터를 가지고 올 때도 dataframe을 많이 사용하고 csv 파일 등을 읽을 때도 많이 사용하죠 특히 뭐 기타 언어들도 많이 사용하는 key, value 자료구조형인 파이썬에선 dict 구조도 많이 사용합니다 그리고 이 dict 구조를 dataframe으로도 많이 변환하죠 그래서 이번 포스팅은 그 방법에 대해서 알아보고 ValueError: DataFrame constructor not properly called! 에러에 대해서도 알아봅니다. 예를 들어 위와 같은 데이터가 있다고 해보죠 위와 같은 데이터 구조는 dict의 그냥 전형적인 구조입니..

요즘 자연어처리 (NLP)가 정말 핫합니다 텍스트 데이터를 활용하면 다양한 가치를 찾을 수 있고 재미있는 분석이 가능하기 때문이죠 그러나 우리나라 텍스트 데이터 분석은 형태소 분석기가 많이 필요합니다 영어 같은 경우에는 띄어쓰기로만 해도 커버가 가능하지만 한글은 그게 쉽지 않기 때문이죠 왜냐하면 사람들이 띄어쓰기도 잘 하지 않을 뿐더러 맞춤법, 은어 등이 많기 때문입니다. 그래서 형태소 분석기를 많이 사용하죠 예전에 형태소 분석기 중 하나인 konlpy를 설치한 것을 포스팅했습니다.(https://lsjsj92.tistory.com/442) 또한, 카카오 형태소 분석기(khaiii) 카이라고 불리우는 것도 포스팅 했었습니다.(https://lsjsj92.tistory.com/408) 사실 저는 MeCab..

매번 centos 환경에 python3.x을 설치할 때 구글링을 해서 봤는데 이번 기회에 확 정리를 해버립니다 이 환경은 centos7 환경이구요. python3.x 버전을 설치합니다. 파이썬 설치해보기 갑시다 먼저 repository를 추가해야합니다. yum install -y https://centos7.iuscommunity.org/ius-release.rpm 를 입력합니다. 그러면 뭔가 쭉쭉 실행됩니다~ 위 사진처럼요~ 그리고 이제 필요한 라이브러리를 설치합니다 저는 python3.6을 주로 사용합니다. 그래서 파이썬 3.6 버전을 기준으로 설치합니다. yum -y install python36u python36u-libs python36u-devel python36u-pip 를 입력하면 됩니다...

텐서플로 책을 보다가 햇갈려서 정리하는 부분이다바로 concat인데이해를 했다가도 햇갈리고 그런다특히 axis 부분..axis = 0이냐axis = 1이냐axis = -1이냐3차원이면 axis = 2까지..tf.concat을 정리하면서 다시 정리한다 https://www.tensorflow.org/api_docs/python/tf/concat참고 tensorflow를 import하고 t1, t2가 저렇게 있다고 가정하자 모양은 (2, 3)이 된다즉, 바깥쪽에 2개가 있고 안쪽에 3개씩 있는 2차원 매트릭스이다. 이제 이것을 concat할 것이다 tf.concat([t1, t2], axis = 0)을 하게 되면 결과는 아래와 같이[[1,2,3], [4,5,6], [7,8,9], [10,11,12]로 나온다..

자연어 처리를 공부하면서 읽는 책 내용중에 유사도에 대해서 나온 내용이 있어 정리합니다. 유사도는 문장이 유사한지 측정해야 할 때 사용합니다.텍스트 유사도에서 사용되는 것입니다. 자주 쓰이는 유사도는자카드 유사도유클리디언 유사도맨하탄 유사도코사인 유사도가 있습니다. 유클리디언은 유클리디안 거리(Euclidean Distance)을 이용하고맨하탄 유사도는 맨하탄 거리(Manhattan Distance)를 이용하는 등의 특징이 있죠하나씩 정리를 해봅니다 1. 자카드 유사도자카드 유사도(자카드 지수)는 두 문장을 각각 단어의 집합으로 마든 뒤 두 집합을 통해 유사도를 측정하는 방식 중 하나입니다. 측정하는 방법은 두 집합의 교집합을 두 집합의 합집합으로 나눠줍니다. 자카드 유사도(자카드 지수)의 공식은 위와 ..