꿈 많은 사람의 이야기

안녕하세요. 으.. 날씨가 많이 춥네요. 건강 조심하세요. 이것도 정리가 조금 늦었네요카카오 형태소 분석기 설치랑, 예전에 했던 LSTM 프로젝트 등을 정리하느라고 조금 늦어졌습니다.이번 포스팅은 딥러닝 영상처리 강의 스탠포드 대학교 cs231n 2017강의 10번째 강의 RNN입니다.RNN(Recurrent Nerual Networks)는 CNN과 함께 정말 많이 사용하는 네트워크입니다. 시계열 데이터(timestamp) 등에서 많이 사용되고 그 예로는 문자열 데이터, 주식(코인) 데이터, 비디오 데이터 등 정말 다양한 데이터가 RNN과 함께 사용될 수 있습니다. 아 그리고 이번 강의는 좀 정리가 힘드네요. 이 강사가 말이 너무 빠르고 그냥 훅훅 지나가서..에흌ㅋㅋㅋㅋㅋ 힘듭니다. 아무튼 시작해볼까요 ..

안녕하세요! 요즘 날씨가 갑자기 추워졌네요. 건강 조심하세요 지난 주에 카카오 형태소 분석기(khaiii)설치 및 은전한닢(mecab)과 비교를 했었습니다.https://lsjsj92.tistory.com/408궁금하신 분들은 해당 글 보시면 되겠습니다. 이 글을 올리고 나서 몇몇 분들이 이런 말씀을 해주셨습니다.'실제 데이터셋 성능 비교'와 '실행 시간 비교'를 해달라고 요청이 조금 있었습니다.(아무래도 NLP, 자연어 처리에서는 성능이 중요하니까요)그래서 이번 포스팅은 실제 데이터셋 성능 비교를 할 것입니다.LSTM 모델을 기반으로 문서 카테고리 분류를 해볼 것입니다. 또한, 형태소 분석기를 돌리면서 성능 시간도 측정해봅니다.(시간상 mecab과 비교뿐이 못했습니다.) 데이터셋은 몇개 못했습니다. 저..

파이썬으로 케라스(keras)글을 오랜만에 올립니다.그 동안 공부도 많이 못했고(일을 핑계 삼아..) 여태 공부했던 것들 정리하고 좀 다지는 시간을 가졌습니다. 그리고 개인적으로 관심이 있는 자연어처리(NLP)쪽 프로젝트를 딥러닝 기반으로 개인 프로젝트 식으로 진행했습니다. 주제는 뉴스 카테고리 분류 및 핵심 키워드 추출과 연관 단어 분석입니다.일종의 news category classification 입니다. 여기에 word2vec와 tf-idf를 섞은 것이죠.뭔가 말이 거창하네요. 쓰여진 알고리즘은 다음과 같습니다LSTM(Long Short Term Memory) RNN의 종류Word2vec 단어를 벡터화Tf-idf 문서의 핵심 키워드 추출Logistic regression 사이킷런(scikit-le..

그저께 금요일. 정신없던 오전 일정을 마치고 잠시 점심시간까지 쉴 겸 텐서플로우 코리아 페이스북을 들어갔다근데 갑자기 눈에 확 보이는 소식! IT쪽에서는 농담반 진담반으로 갓카오라고 불리우는 카카오에서 딥러닝 기반 형태소 분석기가 나왔다고 한 소식이었다!헐 이게 뭐지 싶었다.기존에는 보통 konlpy나 nltk를 많이 사용했는데(본인은 mecab, 은전한닢을 자주 사용) 딥러닝 기반 형태소 분석기라니!그래서 좀 시간이 비는 일요일에 해봐야겠다~ 라고 생각하고 있었다.블로그에 올려야하나 말아야 하나 고민도 했는데 마침 케라스 코리아에서 이 주제에서 얘기 하다보니까 공유해달라는 말씀이 있으셔서 이렇게 블로그에 적어본다. (참고로 저는 초보자입니다.. 자연어처리와 딥러닝은 독학으로 시간 날 때 공부하고 있구요..

안녕하세요. 날씨가 많이 춥네요.오늘은 딥러닝 영상 기반 강의인 스탠포드(stanford) 대학교 cs231n 2017년 강의 9번쨰 강의 정리입니다. 지난 시간에 7강까지 하고 8강은 넘어갔었는데요. 8강은 여러 딥러닝 software들을 소개해줍니다. 혹 궁금하신 분들이 있으시면 봐보세요! 이번 9강은 여태 나왔었던 훌륭한 CNN 모델들을 소개해줍니다. AlexNet(알렉스넷), googLeNet(구글넷), VGG Net, ResNet(레즈넷) 등을 소개하는 강의입니다. 이런 모델들은 imagenet과 localization 대회에서 우수한 성적을 거둔 모델입니다. LeNet은 가장 초창기 CNN 모델이죠.그리고 연구가 좀 더 되서 2012년이 되었습니다.그 전에는 사람이 수작업을 하거나 그랬었는데요..

안녕하세요. 이번 포스팅은 딥러닝 기반 영상 인식 강의에서 최고로 평가되고 있는 스탠포드 대학교의 CS231n 강의 7강 정리입니다.지난 6장까지 해서 뉴럴 네트워크, backpropagation, optimization, activation functions(sigmoid, ReLU, tanh 등), weight initialization, data preprocessing(normalization, regularization 등을 학습했습니다. 벌써 많이 배웠죠??그리고 하이퍼 파라미터(hyperparameter)를 찾기 위해 grid search와 random search도 보았습니다.이번 시간에는 optimization에 대해서 더 배우고 regularization에 대해서 더 배웁니다. 우리가 ..

안녕하세요. 날씨가 많이 춥네요. 겨울이에요 완전 ㅠㅠ몸 건강 조심하세요! 이번에는 이미지 영상 인식 처리 딥러닝 강의 cs231n 6장입니다.가면 갈수록 어려워지네요 ㅠㅠ 회사일도 바빠서 이걸 따로 시간 빼내면서 정리하는 것도 일이네요. 하지만 딥러닝과 머신러닝 인공지능쪽이 핫한 요즘 지체할 수 없죠! 조금씩이라도 힘내서 공부해봅니다. 6장 정리 들어가봅니다 앞에는 과제니까 넘어가구요 우리는 앞서 이런 모양의 computational graph를 배웠습니다. 말 그대로 f = Wx + regularization 인거를 배웠죠. F = Wx 는 기본적인 식입니다. 그리고 뉴럴 네트워크에서는 이제 hidden layer가 쌓이게 되죠. 그래서 f = wx의 기본적인 식에서 층이 생기게 됩니다. F = w2..

이번 포스팅은 cs231n의 5강을 정리한 글입니다. 이번 장에서는 컨볼루션 뉴런 네트워크( convolutional neural networkds)를 배우게 됩니다.그럼 바로 시작해볼까요! 이거는 뭐 cs231n에서 진행하는 과제(assignment)와 관련된 장입니다. 우리는 지난 시간에는 단순한 linear score를 배웠습니다.f = wx이죠그리고 만약 2-layer가 된다면 W2max(0, W1x) 이런식으로 된다고 했고이렇게 하면 hidden layer가 추가된다고 했습니다. 이제 우리는 컨볼루션 뉴런 네트워크에 대해서 배우게 될 것입니다.convolutional nerual network 속칭 CNN은 이미지 인식에서 정말 많이 사용합니다.그럼 이 CNN이 발전되기 까지 딥러닝의 역사는 어..

이번 포스팅은 스탠포드 대학 cs231n 4강 정리 포스팅입니다. 이번 강의에서는 backpropagation(오차역전파)과 neural network에 대해서 배웁니다.그럼 바로 시작하겠습니다. 맨 처음 부분은 여기 강의 과제에 대한 이야기라서 넘어가도록 하겠습니다. 우리는 지난 시간에 score function에 대해서 배웠습니다.그리고 SVM의 loss인 hinge loss에 대해서 배웠습니다.또 다른 loss인 softmax loss를 배웠습니다. 이건 cross entropy loss라고도 불리우죠. 그리고 규제(regularization)에 대해서도 배웠습니다. 이후 optimization에 대해서도 배웠습니다. 이 과정에서 경사하강법을 배웠지요. 그냥 일반적으로 계산하는 방법은 numeric..

요즘 모두의 연구소에서 딥러닝 스터디에 참가하고 있습니다. cs231n 강의를 참고해서 스터디 하고 있는데요 이걸 정리하려고 합니다. 1, 2강은 뭐 그냥저냥한 내용이니까 3강부터 정리하려고 합니다 3강은 loss function과 optimization의 내용입니다. 이 둘의 핵심을 알아보도록 하죠 시작! 먼저 지난 시간의 내용을 복습하고 넘어갑니다. 지난 시간에는 이미지 분류에 대해서 알아보았습니다. 그 중 이미지 분류가 왜 힘들고 쉽지 않은지에 대해서 알아보았죠. 조명, 변형, 은닉 등의 문제점 때문이었습니다. 그리고 CIFAR-10 데이터셋에 대해서도 알아보았습니다. 이후에 크로스 벨리데이션(cross validation), KNN을 알아보았습니다. 또 data-driven방식을 알아보았죠 그리고..