꿈 많은 사람의 이야기

포스팅 개요본 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포 및 서빙할 수 있는 vLLM 글의 3번째 글(vLLM Langchain Tutorial)로, OpenAI API 서버로 배포된 vLLM과 랭체인(Langchain) 라이브러리를 연동해 RAG를 간단하게 구현하는 방법과 예제(example)를 알아보는 포스팅입니다.이전 글들에서 vLLM이란 무엇이고, 사용법, 설치 방법, API로 배포하는 방법 등을 정리해두었으니 vLLM에 익숙하지 않으신 분들은 이전 글들을 참고 부탁드립니다. vLLM과 관련된 포스팅은 아래와 같습니다.vLLM 사용법과 소개 : https://lsjsj92.tistory.com/668vLLM을 OpenAI 서버(server)로 ..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포할 수 있는 vLLM 라이브러리를 활용해서 OpenAI API Server(OpenAI-Compatible Server)로 배포하여 모델을 서빙(serving)할 수 있는 방법을 알아봅니다. 이전 포스팅(https://lsjsj92.tistory.com/668)에서는 vLLM에 대한 설명과 설치 방법에 대해서 알아보았는데요. 이 vLLM을 마치 OpenAI의 API 서버처럼 활용해서 LangChain이나 OpenAI 라이브러리에도 연동하여 사용할 수 있습니다.  vLLM과 관련된 포스팅은 아래와 같습니다.vLLM 사용법과 소개 : https://lsjsj92.tistory.com/668vLLM을..

포스팅 개요본 포스팅은 글또 10기(글쓰는 또라이가 세상을 바꾼다, 글쓰는 개발자 모임)를 시작하면서 다짐하는 다짐글입니다.4기부터 시작한 글또를 어느덧 10기까지 참여하게 되었는데요(중간에 9기는 결혼 스케줄 때문에 참석 못하였음). 이번 기수까지 진행하면 3년이라는 시간을 채우게 될 것 같습니다.글또 10기에는 어떻게 활동하고 싶은지, 어떤 생각과 마음을 가지고 있는지 정리해보려고 합니다. 글또 : www.facebook.com/groups/geultto/글또 4기 다짐글 : lsjsj92.tistory.com/576글또 4기 회고글 : lsjsj92.tistory.com/595글또 5기 다짐글 : https://lsjsj92.tistory.com/603글또 5기 회고글 : https://lsjsj9..

포스팅 개요이번 포스팅은 시간이 지날수록 중요성이 부각되고 있는 인공지능 윤리(AI 윤리, AI Ethics)에 대해서 AI 개발자의 입장에서 정리해본 생각을 작성한 포스팅입니다. 본 포스팅은 지극히 개인적인 생각과 입장을 정리한 포스팅이니, 부족한 점이 있으면 양해 부탁드리면서 피드백 주시면 좋을 것 같습니다. 또한, 본 포스팅의 내용은 당근대장(당근=당연히 대장님)님께서 주최하시는 AI 기획자 Day에서 발표한 자료를 기반으로 작성하였습니다.전체 발표 자료는 포스팅 하단에 첨부하였습니다.포스팅 본문포스팅 개요에서도 언급하였듯, 본 포스팅은 AI 윤리에 대해서 AI 개발자의 입장에서 간단하게 생각을 정리한 포스팅입니다. 부족한 한 개발자가 가지고 있는 생각을 정리한 포스팅이니, 가벼운 마음으로 봐주시면..

포스팅 개요최근 OpenAI에서 GPT-4o 등이 나오는 등 LLM(Large Language Models)의 발전은 계속 진행되고 있습니다. 그러면서 동시에 LLM과 다양한 application, 다양한 domain, 다양한 downstream task와 어떻게 연계할 수 있는가도 지속적으로 연구되고 있는데요. 본 포스팅은 추천 시스템(Recommendation System) 영역에서 LLM을 어떻게 연결시킬 수 있는지를 고민합니다. 그리고 추천 시스템 연구에서 가장 중요하게 고민되고 있는 설명가능성(Explainbility)를 해결하기 위해 LLM과 결합해하여 설명가능성을 부여하는 방법에 대해 알아보고 파이썬(Python) 코드로 예제(example)를 구현해보겠습니다. 본 포스팅 외에도 저는 이전..

포스팅 개요이번 포스팅은 추천 시스템 방법 중 추천(Recommendation)을 위해 개인화를 고려한 LLM 모델 및 방법을 소개한 PALR: Personalization Aware LLMs for Recommendation 논문을 리뷰하고 정리하는 포스팅입니다.대규모 언어 모델(Large Language models, LLM)을 활용한 다양한 추천 시스템 방법들이 소개되고 있는데요. 본 논문은 LLM을 통해 사용자 정보를 추출하고 LLM에서 발생할 수 있는 할루시네이션 등을 방지할 수 있도록 후보 셋을 제공하는 등의 방법론을 제시합니다. 또한, 저자들은 추천 시스템을 수행하기 위한 LLM 파인튜닝(fine-tuning) 방법도 소개합니다. 본 논문은 저자들이 아마존 알렉사(Amazon Alexa) 소..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포(deploy), 추론(inference) 및 서빙(serving)할 수 있는 vLLM 라이브러리에 대해서 알아봅니다. vLLM이란 무엇이고, vLLM을 사용해서 어떻게 LLM을 배포하고 실행하는지 예제(example) 형태로 정리합니다. 결과적으로 vLLM을 사용하면 빠른 속도로 LLM들을 API 형태로 서빙 및 배포할 수 있습니다. vLLM과 관련된 글들은 아래와 같이 주제별로 분리되어 있습니다. vLLM 사용법과 소개 : 본 포스팅vLLM을 OpenAI 서버(server)로 배포하는 방법 : https://lsjsj92.tistory.com/673OpenAI 서버로 배포된 vLLM을 랭체인..

포스팅 개요본 포스팅은 추천 시스템에 대규모 언어 모델(Large Language Models, LLM)을 결합해 연구한 LlamaRec: Two-Stage Recommendation using Large Language Models for ranking이라는 논문을 읽고 정리한 포스팅입니다.본 논문은 검색 단계인 retrieval 단계와 LLM 기반으로 만든 Ranking 단계로 구성되어 Two-Stage 방법을 제안하는데요. 그 결과로 효율성도 좋은 LLM 기반 추천 시스템을 구성할 수 있었다고 합니다. 본 논문은 아래 링크에서 보실 수 있습니다.https://arxiv.org/abs/2311.02089 LlamaRec: Two-Stage Recommendation using Large Languag..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Model, LLM)을 개인 로컬 환경에서 실행하고 배포하기 위한 Ollama 사용법을 정리하는 포스팅입니다. Ollama를 사용하면 유명한 모델들인 LLaMA나 Mistral와 같은 LLM 모델들을 쉽게 사용할 수 있도록 로컬에서 서버 형식으로 구성할 수 있는데요. Ollama가 무엇인지, 어떻게 설치하고 사용하는지를 정리해보고자 합니다. 본 포스팅은 아래 사이트를 참고해서 작성했습니다. https://github.com/ollama/ollama https://github.com/ollama/ollama-pythonhttps://ollama.com/ https://github.com/ollama/ollama/blob/main/docs..

포스팅 개요 이번 포스팅은 세계 최대 에듀테크 박람회 중 하나인 ASU+GSV(ASU GSV)의 AIR SHOW를 다녀온 후기를 정리합니다. 생성형 AI 시대에 맞서서 교육 시장은 어떻게 변화하고 있는지, 에듀테크의 발전은 어떻게 진행되고 있는지 짧게나마 생생하게 체험할 수 있었는데요. 그 이야기를 간략하게 정리해보고자 합니다. https://www.asugsvsummit.com/airshow https://www.asugsvsummit.com/about-the-summit ASU+GSV AIR Show — AI Revolution | April 13-15, 2024 Join 15,000+ educators, innovators, and AI explorers at the world’s largest g..