꿈 많은 사람의 이야기

최근 네이버 뉴스 기사를 토대로 카테고리를 분류하는 머신러닝을 진행해봤다먼저 정치, 경제, 사회, IT 등을 파이썬으로 크롤링했다 데이터는 아래와 같이 모아졌다 각 카테고리별 폴더로 데이터를 떨궜다.문화, 경제, it, 오피니언, 정치, 사회 총 6개의 카테고리를 크롤링했으며 위와 같이 엑셀파일에 날짜, 제목, 내용을 긁어왔다. 이제 이 내용들을 전처리 작업 및 형태소 분석을 해야했다.왜냐하면 content에 보면 위와 같이 flash 오류를 우회하기 위한 함수 추가 등 이런 문구가 있다.또한, 특수 문자를 제거할 것이었고, 숫자, 영어도 제거하려고 했다.왜냐하면 한글을 기준으로 하려고 했기 때문이다 형태소 분석기는 은전한닢(mecab)으로 진행했다.은전한닢은 한글 형태소 분석기로 정말 좋다 konlpy..

요즘 머신러닝과 딥러닝을 공부하고 있습니다 블로그에 다 정리해서 올리고 싶은데 처음부터.. 너무 복잡하고 올리는데 시간적 소모가 커서 감히 엄두가 안나네요 ㅠㅠ그래서 중간중간 만든 결과를 올려보려고 합니다저는 주로 케라스(keras)와 사이킷런(scikit learn)으로 공부하고 있습니다사이킷런이야 파이썬에서 머신러닝으로 유명한 라이브러리죠. 케라스는 딥러닝에서 많이 쓰는데요 (물론 머신러닝도 가능합니다.)텐서플로우(tensorflow)보단 사용법도 쉽고 접근성이 좋아서 케라스를 선택해서 공부하고 있습니다.(물론 keras 내부는 tensorflow가 동작됩니다.) 아무튼 저는 그 동안 공부한 것으로 비만도 측정을 해봤습니다!1. 데이터 수집2. 훈련3. 모델 생성4. 모델을 이용한 예측 크게 4가지 ..

이런 저런 공부하다가혹시 파이썬으로 자동화 업무를 가능하게 할 수 있을까? 라는 생각이 들었습니다 지인한테 들었던 이야기가 컸죠"pdf 파일에 있는 글귀를 엑셀로 옮기는데, 컨트롤c, 컨트롤 v만 하고 있다. 이걸 자동적으로 할 수 있는 방법이 있나?"이 얘기를 듣고 한 번 해보려고 했습니다 최근 서점에서 관련된 책도 파는데 ㅠ 돈이 없어서 못샀...취업을 빨리 해야지 에휴... 아무튼 저는 그래서 그냥.. 제 생각으로 구글링과 잡 코드로 해봤습니다 일단 파이썬을 이용해 pdf를 엑셀로 옮기는 작업을 해보려고 합니다 파이썬으로 엑셀을 이용하는 방법은 위 소스와 같습니다ExcelApplication을 가지고 오면 되죠그리고 실행시 보여지는지 여부를 True로 설정하고, 시트를 추가합니다 그리고 이전 포스트..

프로그램을 하다 보면 파일 입출력 뿐 아니라 pdf 파일, 워드 파일 등을 읽을 필요성이 있습니다워드 파일은 굳이 아직 따로 찾아보질 않아서 모르겠네요아마 있는 걸로 알고 있습니다 그리고 당연히 파이썬에서도 PDF 파일을 읽는 방법이 있습니다pdfminer를 이용하면 되는데요 pdf 파일을 읽는 방법 설치부터 예제까지 살펴보죠! 파이썬 pdf 연동 방법에 대해 설치 방법을 구글에 치면 다양한 방법이 나오는데요뭐가 다 제대로 되질 않더라구요설치가 되질 않거나, 설치가 되어도 예제가 되질 않거나.. 패키지만 한 3~4개 설치한 것 같은데 다 안됐습니다..근데 이 방법 하니까 pdf 파일을 읽을 수 있었습니다 pdfminer 를 설치하는데요그냥 pip3 install pdfminer를 입력하면 되질 않습니다...

최근 지진에 대해서 계속 이슈가 나오고 있습니다 얼마전 포항에서도 지진이 터졌구요 해외에서도 대만 지진 등 지속적인 지진에 대한 이슈가 터져나오고 있습니다 그래서 공부도 해볼겸 파이썬 웹 크롤링을 이용해서 야매? 지진 알람계를 만들어 볼까 생각중입니다.방법은 제가 지진계가 있는 것도 아니고 해서 우회적인 방법을 이용했어요바로 지진 커뮤니티(갤러리)를 이용하는 것이죠 디시인사이드의 지진갤러리를 이용하려고 합니다 여기는 지진이 일어나면 게시글이 엄청 올라옵니다그래서 이 게시물들을 크롤링해서 키워드 분석 후 알람을 울리게 하려는 방식으로 해보려 합니다 디씨인사이드를 사용한 이유는 가장 활발한 갤러리이기 때문입니다다른 여타 지진 갤러리보다 여기가 제일 활발합니다그리고 기술적인 이유도 있습니다 게시물 번호로 접근..

파이썬 PyQT5를 이용해서 교회 재정프로그램을 GUI로 만들고 있습니다!지난 포스팅에 첫 번째 테스트를 진행하고 피드백을 했습니다http://lsjsj92.tistory.com/294 해당 부분을 보완하고 또 다시 한 번 더 테스트를 진행했습니다.다행히 큼지막한 이슈는 다 처리 된 것 같았어요 화도사랑의교회 지인 분께서 다시 한 번 테스트를 진행하시고 피드백을 주셨습니다 수입 부분 목록에 '기타'가 있는데 이 기타를 선택 시 설명을 쓸 수 있는 입력란이 필요하다고 했습니다그리고 수입, 지출을 넣으면 지난 포스팅에서 총계가 보이도록 했는데요이 총계를 해당 '주' 기준으로만 보이게 해달라고 하셨습니다지출도 같은 날짜에 반복 작업을 진행하다보니 날짜를 고정할 수 있도록 해달라고 부탁했어요그리고 빈칸 다 입력..

파이썬 PyQT로 교회 재정프로그램을 제작하고 있는 중입니다 이 게시물 기준 최근 게시물은 http://lsjsj92.tistory.com/294 입니다~ 저는 이 프로그램을 pyinstaller를 이용해서 exe 파일을 만들어 배포하려고 했습니다이 배포한 exe 파일이 제대로 실행이 되는지 확인해보려고 2대의 PC에서 실행을 해보았는데요 exe 파일만 배포해도 실행이 잘 되는 것이었죠그래서 괜찮겠구나 했는데 왠걸??막상 화도사랑의교회 지인분 PC에 설치를 하니까this application failed to start because it could not find or load the qt platform plugin windows 라는 오류가 떴습니다정확히는this application failed ..

지난 포스팅에 화도사랑의교회 목사님을 만나 봽고 프로그래밍을 수정했어요그리고 지인분께 직접 사용해보면서 테스트 해보라고 건내주었죠분명히 저는 편리하지만 지인분께는 불편한점이 있을 것이고 또 요구되는 기능이 있을 것이기 때문에요 그렇게 테스트 결과 추가적인 요구사항이 나왔어요 ㅎㅎ 역시 위 텍스트 사진과 같습니다추가적으로 수정, 삭제 기능이 있었으면 좋겠다고 했어요 3자리마다 , 가 찍힌다는 것은 1,000 과 같은 기능입니다그리고 입금에 대해선 같은 날짜, 같은 수입 종류에 대해 반복 작업이 있으니까 날짜, 종류에 대해선 값이 유지되고이름, 금액 값만 바뀌도록 원하셨어요 그리고 저도 몰랐던 사실인데 음 금액이 들어올 때 한 사람의 이름으로 안들어오는 경우도 있다고 하네요철수, 영희가 부부이면 철수, 영희..

지난 개발5까지 해서 화도사랑의교회 재정프로그램 대략적인 GUI 틀이 완성되었습니다 http://lsjsj92.tistory.com/287 지난 이야기가 궁금하시면 저걸루! 이제 개발 진척 상황을 직접 화도사랑의교회 목사님을 뵈어서 보여드렸습니다남양주시 화도읍에 있는 교회다 보니 가는데 시간이 좀 걸렸습니다 저의 삼성 노트북이 함께 찍혔네요음.. 사진에는 직접 진행하는 사진은 못찍었네요 ㅠㅠ 늦게 찍어서그래도 지인분과 함께 피드백을 해주시는 장면입니다목사님께서는 교회 재정프로그램에 대해 전반적으로 만족하셨습니다(휴.. 다행입니다. 사실 조금 긴장이 되었는데 ㅎㅎ) 그리고 '이런 ~ 기능들이 있었으면 좋겠다' 라고 말씀해 주신 것이 있었습니다 1. 신도별 검색 날짜 기능 추가(기간별 검색 기능 등)2. 전..

화도사랑의교회 재정 프로그램 만드는 것이 거의 막바지에 다왔습니다 일단, 화면 깨지는 것 GUI 화면은 화도사랑의교회 지인분께도 보여드렸고 괜찮다고 말씀하셨습니다그리고 추가 사항이 있었습니다 1. 맨 처음 패스워드 로그인2. 텍스트 파일 출력3. 데이터 백업 이 3가지 기능이 있었으면 좋겠다고 하셨습니다이제 교회 재정프로그램 모습이 거의 다 갖추어져 갑니다! 그래서 이 3가지 기능을 추가했습니다 먼저 비밀번호입니다 맨 처음 시작하기 전에 main이 나오기 전, 해당 레이아웃이 먼저 실행되게 진행했습니다그리고 비밀번호가 맞으면 넘어가도록 진행했구요 그리고 텍스트 파일 출력 및 데이터 백업 탭을 추가했습니다2개의 탭이 새로 추가되었네요 다른 여타 탭 기능과 마찬가지로 역시 함수화 시켰습니다각 기능에 대한 것..