꿈 많은 사람의 이야기

포스팅 개요이번 포스팅은 한국은행에서 제공해주는 ECOS API 사용 방법과 Python 활용 방법에 대해서 정리합니다.한국은행 경제통계시스템(ECOS)에 대해서 알아보고, 어떻게 API를 제공해주고 있는 지, 그리고 Python으로 API 호출을 하는 방법에 대해 알아보겠습니다. 제가 참고한 사이트는 다음과 같습니다.- https://ecos.bok.or.kr/api/#/ 한국은행 Open API 서비스 ecos.bok.or.kr 포스팅 본문한국은행 경제통계시스템(ECOS)란? 한국은행 경제통계시스템(ECOS)는 한국은행에서 생산하는 다양한 경제 통계 자료를 검색하고 활용할 수 있는 시스템입니다. 통화, 환율, 유동성 지표, 물가, 금리, 국제수지 등 다양한 분야의 경제 지표를 제공합니다.무엇보다, ..

포스팅 개요전자공시시스템(DART, Data Analysis, Retrieval and Transfer System)은 상장법인 등이 공시서류를 인터넷으로 제출하고, 투자자는 이를 활용해 다양한 기업의 정보를 확인할 수 있도록 지원해주는 시스템입니다. 요즘 주식과 같은 재테크를 활발하게 하면서 기업에 대한 다양한 정보를 쉽게 접근해서 분석하고자 하는 니즈가 꽤 있는데요. 기업 분석을 위해서 전자공시 DART에서 제공해주는 API(DART API)를 사용하면 쉽게 기업에 대한 다양한 정보를 활용할 수 있습니다.이번 포스팅에서는 전자공시 DART의 API를 신청하고 파이썬(Python)을 통해 데이터를 가져올 수 있는 예제를 정리해보겠습니다. - DART: https://dart.fss.or.kr/main...

포스팅 개요Kipris plus를 사용하면 특허 분석에 필요한 각종 데이터를 제공 받을 수 있는데요. 특허청에서 제공해주는 서비스인만큼 필요한 특허 데이터를 비교적 자유롭게 사용할 수 있습니다.따라서, 이번 포스팅은 Kipris plus API를 활용해 특허 데이터를 사용할 수 있는 방법에 대해서 알아보겠습니다. 그리고 파이썬(Python)을 활용해 특허 API를 연동하여 데이터를 가져올 수 있는 방법도 알아보겠습니다. kipris plus 사이트는 아래와 같습니다.- https://plus.kipris.or.kr/portal/main.do " data-og-host="plus.kipris.or.kr" data-og-source-url="https://plus.kipris.or.kr/portal/main..

포스팅 개요 이번 포스팅은 파이썬(Python) 환경에서 아래와 같은 것을 조절할 수 있는 방법을 정리합니다. jupyter notebook(쥬피터 노트북)에서 cell(셀)의 너비 크기(width)를 조절하는 방법 DataFrame에서 width 크기 등을 조절하는 방법 에 대해 간단하게 정리합니다. 사실 매번 이 부분이 불편해서 검색으로 찾았었는데 반복되는 검색을 좀 줄이고자 블로그에 정리해둡니다. 아래는 참고한 자료입니다. https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.set_option.html pandas.set_option — pandas 1.2.4 documentation display.[chop_threshold, co..

포스팅 개요 이번 포스팅은 윈도우에서 파이썬 형태소 분석기인 konlpy와 은전한닢(Mecab)을 설치하는 방법을 정리하는 포스팅입니다. 그리고 윈도우 환경 mecab에서 사용자 사전(user dictionary)을 적용하고 만드는 방법에 대해 정리합니다. 사실, 해당 내용은 2년전에 블로그에 올리긴 했습니다. (lsjsj92.tistory.com/442) 하지만, 시간이 지나 당시엔 Mecab 연동이 윈도우에서 되지 않았던 문제가 해결되어 현재는 windows 환경에서 mecab을 사용할 수 있게 되었습니다. 그래서 이미 글은 있지만, 업데이트 하는 차원에서 다시 한 번 정리해서 올려봅니다. 참고사항 제가 konlpy를 설치하는 윈도우 환경 및 파이썬 환경은 아래와 같습니다. - Python3.7 - ..

포스팅 개요 본 포스팅은 파이썬(Python)을 활용한 텍스트 분석에서 사용할 수 있는 다양한 형태소 분석기(tokenizer)를 사용해 한국어 단어를 원형으로 복구, 복원해주는 원형 복원기(혹은 분석기)를 소개하려고 합니다. 기존에 어떤 훌륭하신 분께서 만들어주신 원형 복원 분석기를 사용하는데요. 이 원형 복원 분석기가 너무 오래되서 현재 파이썬 환경에선 잘 동작하지 않습니다. 따라서 본 포스팅에서는 해당 한국어 원형 복원 형태소 분석기를 활용할 수 있도록 설치하고 설정하는 과정을 소개하려고 합니다. 참고로 본 실습에 필요한 기본적인 파이썬 라이브러리는 아래와 같은 리스트가 설치되어 있어야 합니다. (Python 3.7 이상 기준입니다.) konlpy mecab hanja ( 기존에 만들어주신 한국어 ..

포스팅 개요 이번 포스팅은 파이썬(Python)에서 효율적인 벡터 유사도(vector similarity)를 구해주는 Faiss에 대해서 간단한 사용법을 정리합니다. 보통 벡터 유사도는 코사인 유사도(cosine similarity) 등이 구현된 라이브러리를 사용하는데요. 그 중 Faiss는 매우 빠르고 효율적입니다. 이러한 Faiss를 활용해서 vector similarity를 구하는 방법과 ID와 Vecotr를 Mapping하는 방법도 정리해보고자 합니다. 제가 참고한 자료는 아래와 같습니다. github.com/facebookresearch/faiss github.com/facebookresearch/faiss/wiki/Getting-started 포스팅 본문 Faiss는 facebook에서 만든 ..

포스팅 개요 이번 포스팅은 최근 회사에서 프로젝트를 진행하며 겪은 파이썬(Python)에서 메모리 효율, 데이터 처리 속도 향상 등의 기본적인 처리 방법을 정리하는 포스팅입니다. 파이썬(Python)을 활용해서 데이터 분석이나 머신러닝 모델 작업을 진행할 때 csv와 같은 데이터를 pandas dataframe으로 불러오는데 이때 데이터 처리 하는 방법에 따라 효율적으로 용량을 줄이고, 속도도 향상시킬 수 있습니다. 이에 대한 간단한 방법을 정리하고자 합니다. 본 포스팅을 작성하면서 참고한 참고자료는 아래와 같습니다. stackoverflow.com/questions/9619199/best-way-to-preserve-numpy-arrays-on-disk www.w3resource.com/numpy/da..

포스팅 개요 최근 머신러닝(Machine Learning)과 딥러닝(Deep Learning) 시장에 자동화 열풍이 점점 더 세게 불어오고 있습니다. AutoML은 주어진 Dataset에 맞게 Machine Learning 알고리즘을 돌려서 가장 적합한 머신러닝 모델을 찾아주는 등 점점 더 Auto와 관련된 키워드가 Data Science, AI 시장에 불러오고 있습니다. 이번 포스팅은 그 자동화 시스템 중 Exploratory Data Analysis (EDA)를 자동화해주는 라이브러리를 소개해주는 포스팅입니다. 원래 Dataset에 대해서 다양한 분석을 진행합니다. EDA는 그 중 한 방법이며 시간을 어느정도 투자해야 하는 과정입니다. 이 자동화 라이브러리는 그것을 간단하게 제공해줍니다. 그 라이브러..

포스팅 개요 슬랙(slack)은 요즘 정말 많이 사용하는 메신저 중 하나입니다. 메신저라고 하기도 좀 그렇고 뭔가 협업 툴? 같은 느낌이 많이 드는 서비스입니다. 이 슬랙의 장점은 API가 쉽게 제공된다는 것인데요. 이 API를 이용해서 Slack을 다채롭게 이용할 수 있습니다. 오늘 포스팅은 파이썬(Python)과 Slack을 연동해서 API로 call을 보낼 수 있는 기본적인 방법을 정리하고자 합니다. 해당 포스팅을 작성하며 참고한 자료는 아래와 같습니다. https://api.slack.com/messaging/webhooks https://github.com/slackapi/python-slackclient 포스팅 본문 개요에서 말씀드렸다시피 이번 포스팅은 메신저 Slack과 Python을 연동하..