목록대규모언어모델 (4)
꿈 많은 사람의 이야기
포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포(deploy), 추론(inference) 및 서빙(serving)할 수 있는 vLLM 라이브러리에 대해서 알아봅니다. vLLM이란 무엇이고, vLLM을 사용해서 어떻게 LLM을 배포하고 실행하는지 예제(example) 형태로 정리합니다. 결과적으로 vLLM을 사용하면 빠른 속도로 LLM들을 API 형태로 서빙 및 배포할 수 있습니다.이번 포스팅을 작성하면서 참고한 자료는 아래와 같습니다. https://docs.vllm.ai/en/latest/https://github.com/vllm-project/vllm?tab=readme-ov-filehttps://python.langchain.com/d..
포스팅 개요본 포스팅은 추천 시스템에 대규모 언어 모델(Large Language Models, LLM)을 결합해 연구한 LlamaRec: Two-Stage Recommendation using Large Language Models for ranking이라는 논문을 읽고 정리한 포스팅입니다.본 논문은 검색 단계인 retrieval 단계와 LLM 기반으로 만든 Ranking 단계로 구성되어 Two-Stage 방법을 제안하는데요. 그 결과로 효율성도 좋은 LLM 기반 추천 시스템을 구성할 수 있었다고 합니다. 본 논문은 아래 링크에서 보실 수 있습니다.https://arxiv.org/abs/2311.02089 LlamaRec: Two-Stage Recommendation using Large Languag..
포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Model, LLM)을 개인 로컬 환경에서 실행하고 배포하기 위한 Ollama 사용법을 정리하는 포스팅입니다. Ollama를 사용하면 유명한 모델들인 LLaMA나 Mistral와 같은 LLM 모델들을 쉽게 사용할 수 있도록 로컬에서 서버 형식으로 구성할 수 있는데요. Ollama가 무엇인지, 어떻게 설치하고 사용하는지를 정리해보고자 합니다. 본 포스팅은 아래 사이트를 참고해서 작성했습니다. https://github.com/ollama/ollama https://github.com/ollama/ollama-pythonhttps://ollama.com/ https://github.com/ollama/ollama/blob/main/docs..
포스팅 개요 본 포스팅은 대규모 언어 모델(Large Language Model, LLM) 시대에서 데이터 사이언스(Data Science) 교육이 어떻게 변화되어야 하는지 다룬 논문 "What Should Data Science Education Do with Large Language Model?"을 리뷰하는 포스팅입니다. 워싱턴, 스탠포드, 팬실배니아, 럿거스 대학에서 공동으로 연구한 논문인데요. LLM 시대에서의 교육의 미래에 대한 연구를 진행한 논문입니다. 본 포스팅에서 리뷰한 논문은 아래 링크에서 확인하실 수 있습니다. https://arxiv.org/abs/2307.02792 What Should Data Science Education Do with Large Language Models?..