꿈 많은 사람의 이야기

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포할 수 있는 vLLM 라이브러리를 활용해서 OpenAI API Server(OpenAI-Compatible Server)로 배포하여 모델을 서빙(serving)할 수 있는 방법을 알아봅니다. 이전 포스팅(https://lsjsj92.tistory.com/668)에서는 vLLM에 대한 설명과 설치 방법에 대해서 알아보았는데요. 이 vLLM을 마치 OpenAI의 API 서버처럼 활용해서 LangChain이나 OpenAI 라이브러리에도 연동하여 사용할 수 있습니다.  vLLM과 관련된 포스팅은 아래와 같습니다.vLLM 사용법과 소개 : https://lsjsj92.tistory.com/668vLLM을..

포스팅 개요최근 OpenAI에서 GPT-4o 등이 나오는 등 LLM(Large Language Models)의 발전은 계속 진행되고 있습니다. 그러면서 동시에 LLM과 다양한 application, 다양한 domain, 다양한 downstream task와 어떻게 연계할 수 있는가도 지속적으로 연구되고 있는데요. 본 포스팅은 추천 시스템(Recommendation System) 영역에서 LLM을 어떻게 연결시킬 수 있는지를 고민합니다. 그리고 추천 시스템 연구에서 가장 중요하게 고민되고 있는 설명가능성(Explainbility)를 해결하기 위해 LLM과 결합해하여 설명가능성을 부여하는 방법에 대해 알아보고 파이썬(Python) 코드로 예제(example)를 구현해보겠습니다. 본 포스팅 외에도 저는 이전..

포스팅 개요이번 포스팅은 추천 시스템 방법 중 추천(Recommendation)을 위해 개인화를 고려한 LLM 모델 및 방법을 소개한 PALR: Personalization Aware LLMs for Recommendation 논문을 리뷰하고 정리하는 포스팅입니다.대규모 언어 모델(Large Language models, LLM)을 활용한 다양한 추천 시스템 방법들이 소개되고 있는데요. 본 논문은 LLM을 통해 사용자 정보를 추출하고 LLM에서 발생할 수 있는 할루시네이션 등을 방지할 수 있도록 후보 셋을 제공하는 등의 방법론을 제시합니다. 또한, 저자들은 추천 시스템을 수행하기 위한 LLM 파인튜닝(fine-tuning) 방법도 소개합니다. 본 논문은 저자들이 아마존 알렉사(Amazon Alexa) 소..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포(deploy), 추론(inference) 및 서빙(serving)할 수 있는 vLLM 라이브러리에 대해서 알아봅니다. vLLM이란 무엇이고, vLLM을 사용해서 어떻게 LLM을 배포하고 실행하는지 예제(example) 형태로 정리합니다. 결과적으로 vLLM을 사용하면 빠른 속도로 LLM들을 API 형태로 서빙 및 배포할 수 있습니다. vLLM과 관련된 글들은 아래와 같이 주제별로 분리되어 있습니다. vLLM 사용법과 소개 : 본 포스팅vLLM을 OpenAI 서버(server)로 배포하는 방법 : https://lsjsj92.tistory.com/673OpenAI 서버로 배포된 vLLM을 랭체인..

포스팅 개요본 포스팅은 추천 시스템에 대규모 언어 모델(Large Language Models, LLM)을 결합해 연구한 LlamaRec: Two-Stage Recommendation using Large Language Models for ranking이라는 논문을 읽고 정리한 포스팅입니다.본 논문은 검색 단계인 retrieval 단계와 LLM 기반으로 만든 Ranking 단계로 구성되어 Two-Stage 방법을 제안하는데요. 그 결과로 효율성도 좋은 LLM 기반 추천 시스템을 구성할 수 있었다고 합니다. 본 논문은 아래 링크에서 보실 수 있습니다.https://arxiv.org/abs/2311.02089 LlamaRec: Two-Stage Recommendation using Large Languag..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Model, LLM)을 개인 로컬 환경에서 실행하고 배포하기 위한 Ollama 사용법을 정리하는 포스팅입니다. Ollama를 사용하면 유명한 모델들인 LLaMA나 Mistral와 같은 LLM 모델들을 쉽게 사용할 수 있도록 로컬에서 서버 형식으로 구성할 수 있는데요. Ollama가 무엇인지, 어떻게 설치하고 사용하는지를 정리해보고자 합니다. 본 포스팅은 아래 사이트를 참고해서 작성했습니다. https://github.com/ollama/ollama https://github.com/ollama/ollama-pythonhttps://ollama.com/ https://github.com/ollama/ollama/blob/main/docs..

포스팅 개요 이번 포스팅은 세계 최대 에듀테크 박람회 중 하나인 ASU+GSV(ASU GSV)의 AIR SHOW를 다녀온 후기를 정리합니다. 생성형 AI 시대에 맞서서 교육 시장은 어떻게 변화하고 있는지, 에듀테크의 발전은 어떻게 진행되고 있는지 짧게나마 생생하게 체험할 수 있었는데요. 그 이야기를 간략하게 정리해보고자 합니다. https://www.asugsvsummit.com/airshow https://www.asugsvsummit.com/about-the-summit ASU+GSV AIR Show — AI Revolution | April 13-15, 2024 Join 15,000+ educators, innovators, and AI explorers at the world’s largest g..

포스팅 개요 본 포스팅은 대규모 언어 모델(Large Language Model, LLM) 시대에서 데이터 사이언스(Data Science) 교육이 어떻게 변화되어야 하는지 다룬 논문 "What Should Data Science Education Do with Large Language Model?"을 리뷰하는 포스팅입니다. 워싱턴, 스탠포드, 팬실배니아, 럿거스 대학에서 공동으로 연구한 논문인데요. LLM 시대에서의 교육의 미래에 대한 연구를 진행한 논문입니다. 본 포스팅에서 리뷰한 논문은 아래 링크에서 확인하실 수 있습니다. https://arxiv.org/abs/2307.02792 What Should Data Science Education Do with Large Language Models?..

포스팅 개요 최근 OpenAI에서 ChatGPT의 공식 API가 드디어 공개되었습니다. ChatGPT는 계속해서 이슈가 대두되고 있는 굉장한 모델인데요. 이번 포스팅에서는 파이썬(Python) 환경에서 OpenAI의 ChatGPT API를 활용해 추천 시스템(recommender system)을 간단하게 구현해보려고 합니다. 본 포스팅 외에도 최근 저는 OpenAI의 API 활용법에 대해서 궁금해 아래 2가지 글을 작성했습니다. 혹시 OpenAI GPT 모델을 파인튜닝(fine-tuning)하거나 GPT3.5 모델을 Python으로 간단하게 활용하는 방법에 대해서 궁금하시다면 아래 글을 참고하시면 조금이나마 도움이 되실 것 같습니다. Python OpenAI API를 활용해 GPT3.5 활용하기 : ht..

포스팅 개요 최근 OpenAI의 ChatGPT가 각광을 받으면서 대규모 언어 모델(LLM, Large Language Model)이 주목 받고 있습니다. 이전 포스팅에서는 이러한 LLM 모델, 그 중 chatgpt의 전신이 되는 gpt3.5를 활용하기 위해서 openai의 api를 활용해 간단한 파이썬 예제(Python example)을 살펴보았는데요. 하지만, 모델을 사용하는 입장으로 파인튜닝(Fine-tuning) 과정이 필요할 때가 있습니다. 이번 포스팅에서는 OpenAI의 GPT 계열 모델을 어떻게 Fine-tuning해서 사용하는지 정리해봅니다. ChatGPT API가 공개 되었습니다! 해당 포스팅을 작성한 지 1주가 지난, 3월 2일 chatgpt api가 공개 되었습니다. 본 포스팅은 gpt..