꿈 많은 사람의 이야기

포스팅 개요이번 포스팅은 검색 증강 생성(Retrieval Augmented Generation, RAG)에서 많이 활용되는 벡터 데이터베이스 중 PostgreSQL의 PGVector에 대해서 작성하는 포스팅입니다. 이번 포스팅은 그 중, PostgreSQL 설치와 extension인 PGVector를 설치하고 실제 SQL query를 실행시켜 동작되는 것까지 작성하며 다음 글에서 실제 RAG 형식으로 동작되는 예제를 작성하겠습니다.본 포스팅을 작성하면서 참고했던 사이트는 아래와 같습니다. https://www.postgresql.org/download/https://neon.tech/postgresql/tutorialhttps://github.com/pgvector/pgvector GitHub - pg..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포할 수 있는 vLLM 라이브러리를 활용해서 OpenAI API Server(OpenAI-Compatible Server)로 배포하여 모델을 서빙(serving)할 수 있는 방법을 알아봅니다. 이전 포스팅(https://lsjsj92.tistory.com/668)에서는 vLLM에 대한 설명과 설치 방법에 대해서 알아보았는데요. 이 vLLM을 마치 OpenAI의 API 서버처럼 활용해서 LangChain이나 OpenAI 라이브러리에도 연동하여 사용할 수 있습니다.  vLLM과 관련된 포스팅은 아래와 같습니다.vLLM 사용법과 소개 : https://lsjsj92.tistory.com/668vLLM을..

포스팅 개요최근 OpenAI에서 GPT-4o 등이 나오는 등 LLM(Large Language Models)의 발전은 계속 진행되고 있습니다. 그러면서 동시에 LLM과 다양한 application, 다양한 domain, 다양한 downstream task와 어떻게 연계할 수 있는가도 지속적으로 연구되고 있는데요. 본 포스팅은 추천 시스템(Recommendation System) 영역에서 LLM을 어떻게 연결시킬 수 있는지를 고민합니다. 그리고 추천 시스템 연구에서 가장 중요하게 고민되고 있는 설명가능성(Explainbility)를 해결하기 위해 LLM과 결합해하여 설명가능성을 부여하는 방법에 대해 알아보고 파이썬(Python) 코드로 예제(example)를 구현해보겠습니다. 본 포스팅 외에도 저는 이전..

포스팅 개요이번 포스팅은 추천 시스템 방법 중 추천(Recommendation)을 위해 개인화를 고려한 LLM 모델 및 방법을 소개한 PALR: Personalization Aware LLMs for Recommendation 논문을 리뷰하고 정리하는 포스팅입니다.대규모 언어 모델(Large Language models, LLM)을 활용한 다양한 추천 시스템 방법들이 소개되고 있는데요. 본 논문은 LLM을 통해 사용자 정보를 추출하고 LLM에서 발생할 수 있는 할루시네이션 등을 방지할 수 있도록 후보 셋을 제공하는 등의 방법론을 제시합니다. 또한, 저자들은 추천 시스템을 수행하기 위한 LLM 파인튜닝(fine-tuning) 방법도 소개합니다. 본 논문은 저자들이 아마존 알렉사(Amazon Alexa) 소..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포(deploy), 추론(inference) 및 서빙(serving)할 수 있는 vLLM 라이브러리에 대해서 알아봅니다. vLLM이란 무엇이고, vLLM을 사용해서 어떻게 LLM을 배포하고 실행하는지 예제(example) 형태로 정리합니다. 결과적으로 vLLM을 사용하면 빠른 속도로 LLM들을 API 형태로 서빙 및 배포할 수 있습니다. vLLM과 관련된 글들은 아래와 같이 주제별로 분리되어 있습니다. vLLM 사용법과 소개 : 본 포스팅vLLM을 OpenAI 서버(server)로 배포하는 방법 : https://lsjsj92.tistory.com/673OpenAI 서버로 배포된 vLLM을 랭체인..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Model, LLM)을 개인 로컬 환경에서 실행하고 배포하기 위한 Ollama 사용법을 정리하는 포스팅입니다. Ollama를 사용하면 유명한 모델들인 LLaMA나 Mistral와 같은 LLM 모델들을 쉽게 사용할 수 있도록 로컬에서 서버 형식으로 구성할 수 있는데요. Ollama가 무엇인지, 어떻게 설치하고 사용하는지를 정리해보고자 합니다. 본 포스팅은 아래 사이트를 참고해서 작성했습니다. https://github.com/ollama/ollama https://github.com/ollama/ollama-pythonhttps://ollama.com/ https://github.com/ollama/ollama/blob/main/docs..

포스팅 개요 본 포스팅은 Python FastAPI에서 CORS(Cross Origin Resource Sharing)을 처리하는 방법에 대해서 정리합니다. 추가로 CORS가 무엇인지 간략하게 설명하고 CORS가 왜 필요한지도 간단하게 정리하겠습니다. 참고로, CORS에 대한 설명은 FastAPI 공식 튜토리얼 페이지에 잘 나와있으니 참고하셔도 좋을 것 같습니다! 본 글에서 참고한 자료는 다음과 같습니다. https://fastapi.tiangolo.com/tutorial/cors/ https://developer.mozilla.org/en-US/docs/Web/HTTP/CORS https://www.tutorialspoint.com/fastapi/fastapi_cors.htm CORS (Cross-Or..

포스팅 개요 본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅 중 여섯 번째 글인 FastAPI 및 Docker를 활용해 pytorch 딥러닝(deep learning) 모델 배포하기 (deploy pytorch model using docker, fastapi) 글입니다. FastAPI 포스팅은 아래와 같은 순서로 정리되어 있고, 정리할 예정입니다. Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (https://lsjsj92.tistory.com/648) FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 (https://lsjsj92.tistory.com/649..

포스팅 개요 본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅 중 다섯 번째 글인 Pytorch 딥러닝(deep learning) 모델과 FastAPI를 활용한 FastAPI MLOps 예제(example)를 살펴보는 포스팅입니다. FastAPI 포스팅은 아래와 같은 순서로 정리되어 있고, 정리할 예정입니다. Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (https://lsjsj92.tistory.com/648) FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 (https://lsjsj92.tistory.com/649) Python pydantic이란? Pyt..

포스팅 개요 본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅 중 네 번째 글인 Python FastAPI의 라우터(router)에 대해서 알아보는 글입니다. router란 무엇이고 사용법은 어떻게 되는지 살펴봅니다. FastAPI 포스팅은 아래와 같은 순서로 정리되어 있고, 정리할 예정입니다. Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (https://lsjsj92.tistory.com/648) FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 (https://lsjsj92.tistory.com/649) Python pydantic이란? Python에서 데이..