꿈 많은 사람의 이야기

포스팅 개요본 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포 및 서빙할 수 있는 vLLM 글의 3번째 글(vLLM Langchain Tutorial)로, OpenAI API 서버로 배포된 vLLM과 랭체인(Langchain) 라이브러리를 연동해 RAG를 간단하게 구현하는 방법과 예제(example)를 알아보는 포스팅입니다.이전 글들에서 vLLM이란 무엇이고, 사용법, 설치 방법, API로 배포하는 방법 등을 정리해두었으니 vLLM에 익숙하지 않으신 분들은 이전 글들을 참고 부탁드립니다. vLLM과 관련된 포스팅은 아래와 같습니다.vLLM 사용법과 소개 : https://lsjsj92.tistory.com/668vLLM을 OpenAI 서버(server)로 ..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포할 수 있는 vLLM 라이브러리를 활용해서 OpenAI API Server(OpenAI-Compatible Server)로 배포하여 모델을 서빙(serving)할 수 있는 방법을 알아봅니다. 이전 포스팅(https://lsjsj92.tistory.com/668)에서는 vLLM에 대한 설명과 설치 방법에 대해서 알아보았는데요. 이 vLLM을 마치 OpenAI의 API 서버처럼 활용해서 LangChain이나 OpenAI 라이브러리에도 연동하여 사용할 수 있습니다.  vLLM과 관련된 포스팅은 아래와 같습니다.vLLM 사용법과 소개 : https://lsjsj92.tistory.com/668vLLM을..

포스팅 개요 본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅 중 다섯 번째 글인 Pytorch 딥러닝(deep learning) 모델과 FastAPI를 활용한 FastAPI MLOps 예제(example)를 살펴보는 포스팅입니다. FastAPI 포스팅은 아래와 같은 순서로 정리되어 있고, 정리할 예정입니다. Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (https://lsjsj92.tistory.com/648) FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 (https://lsjsj92.tistory.com/649) Python pydantic이란? Pyt..

포스팅 개요 본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅입니다. FastAPI 포스팅은 아래와 같은 순서로 정리할 예정입니다. Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (https://lsjsj92.tistory.com/648) FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 (https://lsjsj92.tistory.com/649) Python pydantic이란? Python에서 데이터 검증과 설정을 관리해보자(Feat. FastAPI) ( 본 포스팅 ) FastAPI router란? router 사용법과 예제(fastapi router exam..

포스팅 개요 본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 포스팅 시리즈입니다. FastAPI 포스팅은 아래와 같은 순서로 정리할 예정입니다. Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (https://lsjsj92.tistory.com/648) FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 ( 본 포스팅 ) Python pydantic이란? Python에서 데이터 검증과 설정을 관리해보자(Feat. FastAPI) FastAPI router란? router 사용법과 예제(fastapi router example) Pytorch 딥러닝(deep learning) 모델..

포스팅 개요 본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅입니다. FastAPI 포스팅은 아래와 같은 순서로 정리할 예정입니다. Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) ( 본 포스팅 ) FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 Python pydantic이란? Python에서 데이터 검증과 설정을 관리해보자(Feat. FastAPI) FastAPI router란? router 사용법과 예제(fastapi router example) Pytorch 딥러닝(deep learning) 모델과 FastAPI를 활용한 FastAPI 예제(example)..

포스팅 개요 최근 OpenAI에서 ChatGPT의 공식 API가 드디어 공개되었습니다. ChatGPT는 계속해서 이슈가 대두되고 있는 굉장한 모델인데요. 이번 포스팅에서는 파이썬(Python) 환경에서 OpenAI의 ChatGPT API를 활용해 추천 시스템(recommender system)을 간단하게 구현해보려고 합니다. 본 포스팅 외에도 최근 저는 OpenAI의 API 활용법에 대해서 궁금해 아래 2가지 글을 작성했습니다. 혹시 OpenAI GPT 모델을 파인튜닝(fine-tuning)하거나 GPT3.5 모델을 Python으로 간단하게 활용하는 방법에 대해서 궁금하시다면 아래 글을 참고하시면 조금이나마 도움이 되실 것 같습니다. Python OpenAI API를 활용해 GPT3.5 활용하기 : ht..

포스팅 개요 이번 포스팅은 지난 포스팅에 이어서 파이썬(Python) BentoML에 대해서 작성하는 2번째 글입니다. BentoML은 머신러닝(machine learning) 혹은 딥러닝(deep learning) 모델을 API 형태로 서빙할 수 있도록 기능을 제공해주는 파이썬(Python) 라이브러리 입니다. 지난 포스팅에서는 Machine Learning model API serving BentoML에 대해서 소개 및 기본 예제를 소개했는데요. 이번 포스팅에서는 BentoML 예제 위주로 아래와 같은 내용을 간단하게 소개하고자 합니다. Tensorflow 2.X 기반의 딥러닝 모델 BentoML 적용하기 Dockerfile을 이용해서 Docker image 생성 후 API serving 적용하기 다..

포스팅 개요 본 포스팅은 머신러닝(machine learning)의 라이프 사이클을 관리해주는 mlflow에 대해서 정리하는 포스팅입니다. mlflow란 무엇이고 어떻게 사용하는지 예제(example)와 함께 정리하고자 합니다. MLflow와 관련된 포스팅은 2번에 걸쳐서 작성할 예정입니다. 첫 번째 포스팅 ( 이번 글 ) MLflow란 무엇인가? MLflow Tracking 간단한 사용 방법과 예제 코드 두 번째 포스팅 MLflow Projects 관리 및 재배포 & Package MLflow Model API Serving MLflow 실험 환경 설정 (experiment setting) 제가 mlflow를 정리하고 공부하면서 참고했던 자료는 아래와 같습니다. https://github.com/mlf..

포스팅 개요 이번 포스팅은 머신러닝 모델(machine learning model) 혹은 딥러닝 모델(Deep Learning model)을 API 형태로 서빙(serving) 할 수 있는 Python BentoML에 대해서 간단하게 소개하고 예제(example)을 정리하는 글입니다. BentoML글은 아래와 같이 총 2개 혹은 3개 정도의 글로 정리하려고 합니다. Machine learning model serving BentoML 간단 소개 및 설치 방법과 기본 예제(example) ( 이번 글 ) Tensorflow(Keras)와 같이 사용하는 법, 2개 이상 모델을 사용하는 법 및 Docker 등 다양한 예시 정리 이번 포스팅은 위의 내용 중 bentoml이란 무엇인가? bentoml 사용법과 예..