목록취업하고싶다 (71)
꿈 많은 사람의 이야기
지난 포스팅에 파이썬과 텔레그램을 연동해보았습니다 이번 포스팅은 조~~~~~~~~~~~금 더 심화된? 소스를 추가했는데요 만약 사용자 입력값이 naver 이면 네이버 실시간 검색을 크롤링해서 가지고 와 뿌려주는 것을 해보겠습니다 소스를 살짝 바꾸었습니다bot.sendMessage()를 출력하면 JSON 형식의 데이터가 있는데요거기서 text가 사용자가 입력한 text값입니다. 그래서 해당 text를 가지고 와서 비교를 합니다.naver 이니? 라고요.그러면 네이버 실시간 검색어 순위를 크롤링 합니다 몇 위 인지랑 해당 순위가 무슨 데이터인지 뿌려줍니다. 네이버를 입력해보죠! 박상기, 가상화폐 거래소, 가상화폐 거래소 폐쇄, 제주공항, 청와대 국민청원, 김동률, 강소라, 세븐틴 등이 현재 올라와있네요 ㅎㅎ..
파이썬에서 사용할 수 있는 다양한 API 중 텔레그램을 이용한 API가 있습니다.이 API를 이용하면 텔레그램을 이용해서 알림을 설정할 수 있구요, 메세지를 전달 받을 수 있습니다.아니면 내가 어떤 메세지를 주면 그 메세지에 따라 어떤 함수를 실행할 수도 있구요 오늘은 그 파이썬과 텔레그램 API 연동을 살펴보겠습니다.환경은 윈도우이구요, 파이썬 3.6버전입니다 먼저 해당 사이트를 들어가야합니다(텔레그램 PC 버전이 설치되어 있다고 가정합니다)https://telegram.me/botfather 사이트로 들어가면 아래처럼 나오게 됩니다 자 여기서 SEND MESSAGE를 눌러서 시작합니다!시작하게 되면 아래처럼 나오게 될 것입니다 저기저 START를 눌러 시작합니다!진행해볼까요 시작하면 이런 화면이 나올..
이번 포스팅은 텐서플로우에 관해서 설치하는 방법을 소개합니다. 텐서플로우는 구글에서 제공해준 인공지능과 관련된 패키지이죠 인공지능과 관련된 것은 다양한 것이 있지만 익숙하게 알려진 것이 텐서플로우입니다. 저는 여기서 파이썬3와, 파이참이 설치되어 있다고 가정하고 진행합니다. 만약 파이썬과 파이참이 설치되어 있지 않은 상태로 이걸 따라하시면 이 순서대로 진행이 안될 것입니다.다른 방법을 찾아보세요~ 자 먼저 아나콘다를 설치합니다.아나콘다를 설치하면 머신러닝 라이브러리가 함께 설치되기 때문에 참으로 편합니다.www.anaconda.com 으로 들어가서 보시면 밑으로 내리거나 위에 다운로드가 있을겁니다거기서 다운을 받습니다!그리고 그냥 next 계속 눌러서 설치하면됩니다 이렇게 설치가 되고 있어요저는 컴이 느..
정말 감사하게도 파이썬 텐서플로우를 쉽고 명확하게 써준 분이 계셨다.http://solarisailab.com/deep-learning 솔라리스 연구실이라는 블로그? 사이트? 이다. 너무 감사하다. 3. 텐서플로우(TensorFlow)를 이용한 MNIST 문자 인식 프로그램 만들기4. 텐서플로우(TensorFlow)를 이용한 ImageNet 이미지 인식(추론) 프로그램 만들기5-1. 텐서플로우(TensorFlow)를 이용해 자연어를 처리하기(NLP) – Word Embedding(Word2vec)6. 텐서플로우(TensorFlow)를 이용해 간단한 DQN(Deep-Q-Networks) 에이전트를 만들어 보기 (CatchGame)7. 텐서플로우(TensorFlow)를 이용해서 딥드림(DeepDream) 알..
파이썬에서는 데이터 시각화를 위한 라이브러리가 존재합니다 파이썬을 이용해 웹 클로러를 만들어 크롤링을 한 다음 R로 그래프를 그릴 수도 있지만 파이썬 내부 자체에서 그래프를 그릴 수도 있기 때문이죠 빅 데이터에서 데이터를 수집 및 정제를 하고 난 뒤 중요한 것 중 하나가 시각화이기 때문에 파이썬에서도 그것에 대한 기능을 제공해줍니다 그 그래프는 맷플롯(matplot)이라는 것을 사용하면 됩니다 자 그럼 설치부터 시작해보죠 저는 윈도우 기준에서 진행합니다. 파이썬 버전은 3.6이구요 파이썬 버전과 os는 상관 없습니다. 각자 알맞는거 다운 받으시면 되어요 https://pypi.python.org/pypi/matplotlib/ 해당 사이트에 들어가서 다운을 받으면 됩니다. cp36은 파이썬 3.6을 뜻합니..
R에서 그래프를 그리면 그냥 일반적인 선 그래프를 그릴 수도 있지만 동적으로 보여주는 그래프도 많이 그립니다 예를 들어 마우스 움직임에 반응해서 좌표 값을 보여준다던지 그런 기능이 있는 그래프죠 R에서 그런 그래프를 그릴 수 있습니다 인터렉티브 그래프라고 불리우는데요 plotly 패키지로 만들 수 있습니다! 진행해보죠 먼저 plotly를 설치합니다 install.packages로 설치하면되죠 그리고 라이브러리를 가지고 옵니다 ggplot2로 만든 그래프를 plotly의 ggplotly에 적용해보죠! ggplot2 안에 있는 내장 데이터(mpg)로 진행해볼게요~ 먼저 그래프를 그릴 p 라는 변수를 만들어줍니다 그리고 그 p를 ggplotly( )에 넣어주면 됩니다 이렇게요~ 자 이렇게 그러졌네요! 이제 이..
안녕하세요~ 오늘도 취업을 위해 열심히 데이터 분석을 하고 있는 사람입니다 오늘은 지니 차트에서 11월 중 가장 많이 나온 가수를 뽑아내려고 해요~ 순위 50개 중 가장 가수 이름 또는 그룹 이름이 가장 많이 나온 것을 순서대로 뽑아내려고 합니다 지니 차트를 타겟으로 진행했어요 지니 차트를 보면 해당 날짜별로 차트가 나오고 있습니다 저 url을 이제 조작하면 11월달의 특정 '일'을 가지고 차트를 크롤링 할 수 있죠 그리고 가수 명이 써져 있는 곳은 a태그의 artist ellipsis라는 클래스입니다 이 부분을 타겟으로 크롤링하면 되겠네요 크롤링을 진행합니다 지니 차트 위에 url 부분을 가지고 옵니다. 그리고 ymd= 부분 즉 데이터 부분을 date라는 변수로 두고요 1~30일까지 데이트 값을 변경하..
다른 언어와 마찬가지로 파이썬에도 날짜와, 달력, 데이트(date)등을 사용할 수 있습니다 사용법도 상당히 간단하고 꽤나 재밌습니다 이 date는 디데이(d-day), 로그인 날짜, 접속 날짜 등 다방면으로 사용이 가능합니다 먼저 달력을 사용할 수 있는 캘린더를 볼게요 import calendar를 통해 사용할 수 있습니다. calendar.dalendar(년)을 쓰면 해당 년도에 대항 모든것이 다 나옵니다 또한, weekday(년, 월, 일)을 하면 요일이 출력됩니다 요일은 0부터 시작되는데요 0이 월요일입니다. 즉, 화요일은 1, 수요일은 2 이렇게 가는거죠 또한 monthrange(년, 월)을 넣으면 해당 년,월의 1일이 무슨 요일인지와, 그 달의 마지막 일까지 보여줍니다 자 이렇게 해서 실행하면요..
지난 시간에 KoNLP를 이용해서 텍스트 마이닝을 진행했습니다 이번 포스팅은 지난 시간에 진행한 텍스트 마이닝으로 워드클라우드(word cloud)를 진행해볼게요 워드 클라우드는 많이 익숙한 자료입니다 단어들이 마치 그림처럼 색깔별로, 빈도수 별로 크기도 다르게 나오죠 지난 포스팅 자료는 아래와 같습니다 http://lsjsj92.tistory.com/216 자 이제 워드클라우드에 필요한 패키지를 설치하죠 install.packages()를 통해 wordcloud를 설치합니다 wordcloud를 설치하면 자동적으로 RColorBrewer도 설치됩니다 글자 색깔을 표현하기 위해서요 이제 색깔먼저 입힐게요 pal이라는 변수에 brewer.pal()을 이용해서 색깔을 입힙니다. Dark2 계열에 색깔을 입힐게..
R에서 텍스트 마이닝을 할 수 있습니다 즉 텍스트(문장)이 주어지면 그게 주어인지, 동사인지 등등을 파악할 수 있죠(형태소 분석) 저는 영어가 아닌 한글의 텍스트 마이닝을 진행해보려고 합니다. 일단 이 텍스트 마이닝을 진행하려면 컴퓨터에 java가 설치되어 있어야 합니다 자바가 설치되어 있다고 가정하에 진행하겠습니다 위 3개의 패키지를 설치해줍니다 KoNLP, rJava, memoise 3개의 패키지입니다 패키지 설치가 완료되었죠? 자 이제 useNIADic( )을 통해 사전을 가지고 옵니다 KoNLP에서 지원하는 NIA 사전은 98만여 개의 단어로 구성되어 있는데요 이 사전을 활용해서 진행해야 합니다 저렇게 useNIADic( )을 하게 되면요 이렇게 install이 되면서 진행될겁니다 98만여개의 단..