꿈 많은 사람의 이야기

포스팅 개요 이번 포스팅은 Mac OS에서 초기 git 환경을 셋팅하는 방법에 대해 작성합니다. Mac에 git 초기 설정을 하게 되면 github 등도 비밀번호 요구 없이 바로바로 이용할 수 있는 장점이 있습니다. mac의 이러한 git 환경 설정은 아무래도 mac 사용 초기에 개발 환경 셋팅에서 많이 활용할 수 있는 방법입니다. 포스팅 본문 이번에 Mac을 초기화 하면서 다시 한 번 개발환경 셋팅을 해줘야 하는 상황이 있었습니다. 그 중 아무래도 혼자서 공부할 때 github을 많이 이용하다보니 git에 대한 초기 환경설정을 해주었는데요. 이렇게 mac 환경에서 git을 초기 설정해주면 비밀번호 요구 등을 하지 않고 쉽게 이용할 수 있는 장점이 있습니다. mac 환경에서 git을 설정하는 방법은 아래..

포스팅 개요 이번 포스팅은 github 또는 gitlab에서 발생할 수 있는 에러에 대해 작성합니다. 오류 메세지는 다음과 같습니다. fatal authentication failed for github 또는 fatal authentication failed for gitlab 즉, 권한 failed가 뜨는 에러입니다. 이 에러가 떴을 때 해결 방법에 대해 정리합니다. 포스팅 본문 fatal authentication failed for github 또는fatal authentication failed for gitlab 에러 메세지는 다음과 같은 상황에서 발생할 수 있는 메세지입니다. github 또는 gitlab의 user id가 변경 github 또는 gitlab의 password가 변경 즉, 깃허..

이번 포스팅은 우분투 환경에서 도커를 설치하는 방법에 대해서 소개합니다. ubuntu 16.04 기준으로 docker를 설치합니다. 어떤 환경이든 상관없긴 할태지만 저는 AWS EC2 환경에서 Ubuntu 16.04를 설치했습니다. 설치하는 과정은 굉장히 간단합니다. 먼저 sudo apt-get update를 해줘서 apt를 update해줍니다. AWS EC2에서 처음 인스턴스를 생성했을 때는 이렇게 update를 해줘야 하더군요. 그리고 sudo apt-get remove docker docker-engine docker.io를 통해 기존에 있던 도커가 만약에 있으면 여러 충돌 문제 방지를 위해 미리 지워줍니다. 그리고 이제 도커를 설치해주면 됩니다! sudo apt install docker.io 를..

얼마전 도커를 이용하다가 아래와 같은 에러를 발견했습니다. In the default daemon configuration on Windows, the docker client must be run elevated to connect. This error may also indicate that the docker daemon is not running. Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) 라는 에러였습니다. 이 에러는 도커 이미지를 다운..

깃허브를 운영하면서 add를 통해 파일을 등록하고 commit으로 로컬에 저장을 하는데 이때 파일명을 변경하거나 삭제를 하면 다르게 처리를 해줘야합니다. 물론 깃허브와 연동된 디렉토리에서 git add . 를 하게 되면 전부 반영이 되서 상관은 없지만 특정 파일, 특정 디렉토리 등만 반영하고 싶으면 이야기가 조금 달라집니다. 어떤 의미냐면 아래와 같은 상황이 발생됩니다. 만약 제가 로컬에서 011. regression.ipynb 이라는 파일을 011. regression - basic, linear regression.ipynb로 변경을 하면 이미 로컬에는 011. regression.ipynb라는 파일은 없겠죠? 대신 011. regression - basic, linear regression.ipyn..

이번 포스팅은 파이썬으로 자료구조, 알고리즘 공부하기 쉘 정렬(shell sort)과 버블 정렬(bubble sort)에 대해서 정리합니다. 여러가지 정렬 알고리즘이 있습니다. 지난 포스팅에선 삽입 정렬, 선택 정렬에 대해서 보았는데요 기본적인 정렬 중 버블 정렬이라는 것이 있습니다! 버블 정렬은 말 그대로 거품처럼 뽀글뽀글 올라가며 정렬을 하는데요 예시를 들면 이렇게 진행됩니다. 처음부터 하나씩 비교를 하면서 큰 것을 뒤쪽으로 몰아넣죠. 그리고 fix 시킵니다. 그리고 그 다음 루틴에서 또 돌고.. 이렇게 진행합니다. 바로 파이썬 코드로 봅시다 핵심은 def bubble_sort입니다. 정렬되지 않은 list를 입력 받습니다. 2개의 for문을 돌면서 진행합니다. 맨 처음 for문은 len - 1 범위..

이번에도 딥러닝으로 자연어 처리 하는 파트 입니다. deep learning Natural Language Processing(NLP) kaggle에서 spooky-author 데이터가 있는데요. 글이 있으면 저자가 누군지 예측하는 그런 데이터입니다!아마 캐글 자연어 처리 대회중 toxic, quora 이후 유명한 데이터가 아닌가 싶습니다시작하죠! 역시 필요한 라이브러리를 먼저 불러옵니다keras를 사용해서 딥러닝 모델을 구축하기에 keras library를 불러옵니다그리고 사이킷런(scikit-learn)의 LabelEncoder도 사용합니다카테고리 데이터를 라벨화 시켜주기 위해서요! 간단하게 EDA를 먼저 진행합니다.카테고리 value_counts() 값은 거의 비슷합니다완전 unbalanced하지는..

텐서플로 책을 보다가 햇갈려서 정리하는 부분이다바로 concat인데이해를 했다가도 햇갈리고 그런다특히 axis 부분..axis = 0이냐axis = 1이냐axis = -1이냐3차원이면 axis = 2까지..tf.concat을 정리하면서 다시 정리한다 https://www.tensorflow.org/api_docs/python/tf/concat참고 tensorflow를 import하고 t1, t2가 저렇게 있다고 가정하자 모양은 (2, 3)이 된다즉, 바깥쪽에 2개가 있고 안쪽에 3개씩 있는 2차원 매트릭스이다. 이제 이것을 concat할 것이다 tf.concat([t1, t2], axis = 0)을 하게 되면 결과는 아래와 같이[[1,2,3], [4,5,6], [7,8,9], [10,11,12]로 나온다..

이전에 캐글(kaggle) nlp인 toxic 데이터를 가지고 필사를 했습니다https://lsjsj92.tistory.com/448 이번에도 마찬가지로 toxic 데이터를 가지고 캐글 커널을 필사합니다.기존에 했던 것과 같습니다. 하지만 어텐션 메커니즘이 추가된 코드이고 glove 데이터를 이용해서 모델 weight를 제공해줍니다.특히 glove 데이터를 추가해서 word embedding을 하는 방법은 정말 많이 사용해서 이번 기회에 정리하고자 합니다. 언제나 그렇듯이 필요한 라이브러리르 불러옵니다keras를 사용했고 모델과 전처리에 필요한 Tokenizer 및 LSTM, Embedding, Dropout 등을 가지고 옵니다그리고 이번 모델에서는 Attention을 class로 만들어서 사용하기 때문..

어제 텐서플로와 머신러닝으로 시작하는 자연어 처리 책을 보면서 sequence-to-sequence 모델을 공부했습니다.챗봇을 만들 때 사용하던 모델이었는데 과연 케라스(keras)에서는 어떻게 사용되는지 궁금해서 공부를 했고지금 정리를 하려고 합니다. 이 자료는 케라스 코리아 운영자이신 김태영님의 블로그를 많이 참고했습니다!https://tykimos.github.io/2018/09/14/ten-minute_introduction_to_sequence-to-sequence_learning_in_Keras/ 기계번역(NMT, Neural Machine Translation)에서 많이 쓰이는 seq2seq 모델은 작성된 소스 문장들(source sentences)을 인코더(Encoder)를 이용해서 생각 ..