꿈 많은 사람의 이야기

안녕하세요. 날씨가 많이 춥네요.오늘은 딥러닝 영상 기반 강의인 스탠포드(stanford) 대학교 cs231n 2017년 강의 9번쨰 강의 정리입니다. 지난 시간에 7강까지 하고 8강은 넘어갔었는데요. 8강은 여러 딥러닝 software들을 소개해줍니다. 혹 궁금하신 분들이 있으시면 봐보세요! 이번 9강은 여태 나왔었던 훌륭한 CNN 모델들을 소개해줍니다. AlexNet(알렉스넷), googLeNet(구글넷), VGG Net, ResNet(레즈넷) 등을 소개하는 강의입니다. 이런 모델들은 imagenet과 localization 대회에서 우수한 성적을 거둔 모델입니다. LeNet은 가장 초창기 CNN 모델이죠.그리고 연구가 좀 더 되서 2012년이 되었습니다.그 전에는 사람이 수작업을 하거나 그랬었는데요..

지난 포스팅에서 빅데이터 도구인 ELK 스택 설치 부분에서 엘라스틱 서치 설치를 진행했고 키바나(kibana)를 설치해서 엘라스틱 서치와 연동했습니다.https://lsjsj92.tistory.com/398https://lsjsj92.tistory.com/396 을 참고하시면 되겠습니다.396이 엘라스틱 서치, 398은 키바나설치 및 엘라스틱 연동입니다. 이번 포스팅에서는 로그스태시(logstash)를 설치하고 엘라스틱 서치와 연동하겠습니다. 엘라스틱 서치와 연동하면 자동으로 키바나와 연동이 됩니다. 왜냐하면 이미 kibana랑 elasticsearch와 연동이 되어 있기 때문입니다. 그리고 파이썬 웹 프레임워크인 Django와 연동해서 화면에 띄어보겠습니다. https://www.elastic.co/k..

요즘 도커가 정말 핫합니다.정말정말 편하기 때문이고 강력하기 때문이죠그 복잡한 설치 작업들을 그냥 딱! 해주니까 너무 좋은게 도커입니다. 도커는 2013년 3월 산타클라라에서 열린 pycon conference에서 solomon hykes가 the future of linux containers라는 세션을 발표하면서이 세상에 알려졌습니다.https://www.youtube.com/watch?v=wW9CAH9nSLs&feature=youtu.be 해당 영상입니다. 참고하시면 되겠습니다. 도커란?도커라는 것은 컨테이너 기반의 오픈소스 가상화 플랫폼입니다.이 컨테이너는 서버에서 이야기 하는 것인데 다양한 프로그램, 환경 등을 컨테이너로 추상화하고 동일한 인터페이스를 제공해서 배포 및 관리를 매우 단순하게 해줍..

vmware는 가상 환경을 만들어주는 소프트웨어이다그래서 virtual box와 함께 많이 쓰는 가상머신 소프트웨어이죠근데 이걸 사용하다 보면 가끔씩 에러가 나옵니다. vmware workstation cannot connect to the virtual machine. the vmware authorization service is not running에러가 나옵니다. 위 사진과 같이요.저 같은 경우는 이게 갑자기 뜨더라구요.잘 되다가 왜 이게 뜬금없이 뜨나? 했더니 알고보니 아래와 같은 문제였습니다.바로 서비스가 실행이 안되고 있던것! 작업 관리자에서 서비스 탭이 있습니다.혹은 그냥 윈도우에서 검색하면 서비스가 있어요 여기서 서비스 열기를 들어가서서비스에 들어갑니다. 여기서 vmware worksta..

얼마전 서버를 설치하다가 겪은 일들을 통해서리눅스 서버(이 글의 경우는 centos7입니다.) 보안 강화를 해야한다는 것을 깨닫게 되었습니다.무슨 일이었냐??그냥 학교에다가 서버컴퓨터를 설치하고 '에이 뭐 공격이 오겠어?' 라고 생각했습니다.하지만 아니더군요. 도대체 어떻게 알았을까?2일만에 무려 3100번 가까이 되는 공격이 들어왔습니다.공격이라기보단 root 권한에 접속하려고 했던 것이죠.이게 설치되었는지는 어떻게 알고 저런 시도를 했는지 참 그래서 이번 글은 centos7 기준 기본적인 보안을 강화하는 방법을 알아봅니다.1. root로 바로 접근하지 못하게 막는다.2. 지속적인 접근에서 계속 실패하면 ip 자동 차단3. 특정 ip만 ssh 접속 가능하도록 설정이런 과정을 거치겠습니다. 먼저 1. r..

요즘 머신러닝을 공부하면서 여러가지 책들을 많이 찾고 있다.근데 마땅히 끌리는 책이 없더라.. 나는 머신러닝 기초부터 배우고 싶었는데 기초에 대한 설명은 거의 없고사이킷런 라이브러리 사용하는 방법에 대해서만 설명이 주구장창 나와있는 책이 대부분이었다.물론 라이브러리 사용하는 책들도 썩 맘에 드는 책은 없었다 아.. 그래서 어쩌지 유료 강의를 들어야하나.. 돈은 없는데 하는데 지인이 일단 뭐라든 시작은 해보라고 책을 추천해주었다. 파이썬 라이브러리를 활용한 머신러닝 이미 유명한 책이다.사이킷런 라이브러리를 개발한 개발자가 쓴 책이다. 이 책을 시작한지 벌써 1달.. 진짜 힘들었다.처음에는 뭔 말인지 이해도 안되고 왜 책을 이딴식으로 썼지 라는 생각뿐이었다.포기할까 생각도 많이 했지만.. 결국 끝끝내 성공했..

데이터를 분석하는데 있어 시각화는 필수입니다단순히 엑셀, 워드 같은 파일에 숫자만 적혀있는들 그걸 명확하게 볼 수 있지 않습니다. 그 데이터를 시각화해야 눈에 쉽게 보입니다. 데이터 사이언스에서는 이 시각화가 기본입니다. 공공데이터를 기반으로 데이터 시각화 하는 것을 해보려고 합니다.파이썬(python)을 이용합니다.파이썬의 matplotlib와 seaborn라이브러리로 시각화를하구요pandas, numpy등을 사용해 전처리 작업을 진행합니다. 데이터는 위와 같습니다.다양한 교통사고 데이터가 있는데요이번 포스팅에서는 2016 부문별 고속도로 교통사고를 분석해봅니다. 안에 데이터를 보면 위와 같이 나와있습니다.하지만 위와 같은 데이터 형태로 바로 파이썬에서 분석할 수 없습니다.이 전처리 작업을 위해서num..

개발하는 사람들은 거의 필수적으로 깃을 이용합니다깃(git)은 오픈소스로서 일종의 버전관리에 매우 최적화된 것인데요 이것을 이용해 웹 상에서 서비스를 제공해주는 깃허브너무 많이 사용하고 있습니다. 이 깃허브(github)와 파이참(pycharm)을 연동하는 방법을 설명해볼까합니다. 먼저 https://github.com으로 이동하셔서회원가입을 해줍니다!그리고 repository(저장소)를 하나 생성하죠 저는 주로 keras를 사용해서repository 이름을 keras로 하나 생성했습니다. 이것은 그냥 테스트를 위해서 이렇게 올린거구요원래는 좀 명확하게 이름을 지어주셔야 합니다.아무튼 이제 파이참으로 넘어가서 연동해보죠 파이참의 VCS -> Github가 있을겁니다.Github가 없으면 Git으로 해도 ..

centos등 서버와 관련된 리눅스를 다루다 보면 특정 사용자에게 sudo권한을 줄 필요가 있습니다. root로 사용할 수는 없으니까 특정 유저에 sudo 권한을 주어서 이용하는 것이죠 그 방법은 간단합니다centos7 기준으로 설명합니다. 먼저 sudo를 주고 싶은 아이디로 접속해서 다음과 같이 진행해봅니다. sudo bash를 입력하면 패스워드를 입력하라고 하는데요패스워드를 입력하면 해당 계정은 is not in the sudoers file이라고 나옵니다자 이제 root로 로그인해보죠그리고 아래와 같이 진행합니다. 빨간줄 모자이크 처리된 부분에 계정 이름을 쓰시면 됩니다usermod -aG wheel 유저이름그리고 visudo로 이동 sudo visudo를 통해 이제 설정을 바꿔줍시다 이 부분이 있..

캐글에서 커널을 추가하는 방법에 대해서 알아봅니다 먼저 캐글 사이트로 이동합니다당연히 회원가입 및 로그인은 하셔야겠죠? 캐글 메인으로 접속하면 위 처럼 화면이 나올겁니다~이제 검색에서 원하는 데이터를 찾아봅시다 저는 캐글에서 가장 기본적인 타이타닉(titanic)데이터를 추가하기로 합니다캐글(kaggle) 뉴비분들이 자주 이용하는 데이터죠저걸 클릭해서 들어갑니다 그러면 저기 kernels이 보일겁니다 저기로 들어갑니다 그러면 여기에서 오른쪽에 new kernel이 보이시죠?저기를 클릭합니다~ 그러면 커널을 선택하라고 창이 나오는데요본인이 원하시는 창을 선택하시면 됩니다스크립트는 마치 파이참(pycharm)과 같구요 오른쪽 notebook은 주피터 노트북(jupyter notebook)과 비슷합니다저는 주..