목록2020/11 (3)
꿈 많은 사람의 이야기
포스팅 개요 이번 포스팅은 파이썬(Python)에서 효율적인 벡터 유사도(vector similarity)를 구해주는 Faiss에 대해서 간단한 사용법을 정리합니다. 보통 벡터 유사도는 코사인 유사도(cosine similarity) 등이 구현된 라이브러리를 사용하는데요. 그 중 Faiss는 매우 빠르고 효율적입니다. 이러한 Faiss를 활용해서 vector similarity를 구하는 방법과 ID와 Vecotr를 Mapping하는 방법도 정리해보고자 합니다. 제가 참고한 자료는 아래와 같습니다. github.com/facebookresearch/faiss github.com/facebookresearch/faiss/wiki/Getting-started 포스팅 본문 Faiss는 facebook에서 만든 ..
포스팅 개요 이번 포스팅은 최근 회사에서 프로젝트를 진행하며 겪은 파이썬(Python)에서 메모리 효율, 데이터 처리 속도 향상 등의 기본적인 처리 방법을 정리하는 포스팅입니다. 파이썬(Python)을 활용해서 데이터 분석이나 머신러닝 모델 작업을 진행할 때 csv와 같은 데이터를 pandas dataframe으로 불러오는데 이때 데이터 처리 하는 방법에 따라 효율적으로 용량을 줄이고, 속도도 향상시킬 수 있습니다. 이에 대한 간단한 방법을 정리하고자 합니다. 본 포스팅을 작성하면서 참고한 참고자료는 아래와 같습니다. stackoverflow.com/questions/9619199/best-way-to-preserve-numpy-arrays-on-disk www.w3resource.com/numpy/da..
포스팅 개요 이번 포스팅은 글또 5기를 참여하며 어떤 마음으로, 어떤 계획을 가지고 글을 작성할 것인지에 대한 다짐글이자 저의 고민글입니다. 개인적으로 글또는 4기에도 참여했었고 이번 5기에도 연속으로 참여하고 있는데요. 4기때는 저의 부족한 점이 무엇이었고 5기때는 어떻게 활동하고 싶은지 이번 포스팅을 통해 다짐해보고자 합니다. :) 글또 및 제가 4기때 참여했던 다짐글 및 마무리 글은 아래와 같습니다. 글또 : www.facebook.com/groups/geultto/ 글또 4기 때 다짐글 : lsjsj92.tistory.com/576 글또 4기 마무리 회고 글 : lsjsj92.tistory.com/595 포스팅 본문 4기에 대한 아쉬움 개인적으로 글또 4기에는 아쉬움이 많았던 기수였습니다. 제 개..