꿈 많은 사람의 이야기

포스팅 개요최근 OpenAI에서 GPT-4o 등이 나오는 등 LLM(Large Language Models)의 발전은 계속 진행되고 있습니다. 그러면서 동시에 LLM과 다양한 application, 다양한 domain, 다양한 downstream task와 어떻게 연계할 수 있는가도 지속적으로 연구되고 있는데요. 본 포스팅은 추천 시스템(Recommendation System) 영역에서 LLM을 어떻게 연결시킬 수 있는지를 고민합니다. 그리고 추천 시스템 연구에서 가장 중요하게 고민되고 있는 설명가능성(Explainbility)를 해결하기 위해 LLM과 결합해하여 설명가능성을 부여하는 방법에 대해 알아보고 파이썬(Python) 코드로 예제(example)를 구현해보겠습니다. 본 포스팅 외에도 저는 이전..

포스팅 개요이번 포스팅은 추천 시스템 방법 중 추천(Recommendation)을 위해 개인화를 고려한 LLM 모델 및 방법을 소개한 PALR: Personalization Aware LLMs for Recommendation 논문을 리뷰하고 정리하는 포스팅입니다.대규모 언어 모델(Large Language models, LLM)을 활용한 다양한 추천 시스템 방법들이 소개되고 있는데요. 본 논문은 LLM을 통해 사용자 정보를 추출하고 LLM에서 발생할 수 있는 할루시네이션 등을 방지할 수 있도록 후보 셋을 제공하는 등의 방법론을 제시합니다. 또한, 저자들은 추천 시스템을 수행하기 위한 LLM 파인튜닝(fine-tuning) 방법도 소개합니다. 본 논문은 저자들이 아마존 알렉사(Amazon Alexa) 소..

포스팅 개요본 포스팅은 추천 시스템에 대규모 언어 모델(Large Language Models, LLM)을 결합해 연구한 LlamaRec: Two-Stage Recommendation using Large Language Models for ranking이라는 논문을 읽고 정리한 포스팅입니다.본 논문은 검색 단계인 retrieval 단계와 LLM 기반으로 만든 Ranking 단계로 구성되어 Two-Stage 방법을 제안하는데요. 그 결과로 효율성도 좋은 LLM 기반 추천 시스템을 구성할 수 있었다고 합니다. 본 논문은 아래 링크에서 보실 수 있습니다.https://arxiv.org/abs/2311.02089 LlamaRec: Two-Stage Recommendation using Large Languag..

포스팅 개요 이번 포스팅은 추천 시스템의 성능을 평가하는 방법인 평가 지표에 대해서 정리하는 포스팅입니다. 다양한 추천 시스템 평가 방법 중 본 포스팅은 NDCG(Normalized Discounted Cumulative Gain)와 MAP(Mean Average Precision) 그리고 Hit Rate에 대해서 정리합니다. 더불어서, Recall@K와 Precision@K에 대해서도 같이 정리하겠습니다. 포스팅 본문 추천 시스템은 온라인 쇼핑몰과 같은 이커머스 서비스 등에서 사용자와 서비스에 긍정적인 영향력을 제공할 수 있는 강력한 시스템입니다. 이러한 추천 시스템은 다양한 평가 방법이 있습니다. 비즈니스와 서비스에 따라 평가 방법이 다를 수 있고 흔히 정확도와 같은 오프라인 메트릭(offline m..

포스팅 개요 본 포스팅은 모두의연구소에서 주최한 모두콘(moducon) 2023의 후기를 작성한 글입니다. 저는 이번 모두콘 2023에서 발표자로서도 참석을 했고 평범한 참석자로서 다양한 섹션을 들을 수 있었는데요. 이번 포스팅은 주로 발표자로서의 발표 후기를 남겨볼까합니다. 발표 자료와 전체 발표 내용은 추후 공개될 예정이라고 합니다. 공개되면 포스팅에 링크 달아두겠습니다. 모두콘 2023 https://modulabs.im/moducon2023 MODUCON 2023 지식, 경험, 마음을 공유하는 모두의연구소만의 컨퍼런스 축제 modulabs.im 포스팅 본문 이번 포스팅은 개요에서 말씀드렸듯, 모두콘 2023에서 발표자로서 발표한 후기를 작성한 포스팅입니다. 이번 모두콘 2023의 컨셉은 놀이동산(..

포스팅 개요 이번 포스팅은 추천 시스템 논문 리뷰 포스팅입니다. 본 논문의 제목은 Hierarchical attention and feature projection for click-through rate prediction(CTR prediction)이라는 논문입니다. 본 논문은 추천 시스템 모델을 활용해 클릭률(CTR)을 향상 시킬 수 있는 방법을 소개하는데요. Hierarchical 구조를 활용해 feature 사이의 중요도를 추출하고 low-order 그리고 high-order feature interaction을 모델링하는 방법을 소개합니다. 본 포스팅에서 리뷰한 논문 링크는 아래와 같습니다. https://link.springer.com/article/10.1007/s10489-021-0293..

포스팅 개요 최근 OpenAI에서 ChatGPT의 공식 API가 드디어 공개되었습니다. ChatGPT는 계속해서 이슈가 대두되고 있는 굉장한 모델인데요. 이번 포스팅에서는 파이썬(Python) 환경에서 OpenAI의 ChatGPT API를 활용해 추천 시스템(recommender system)을 간단하게 구현해보려고 합니다. 본 포스팅 외에도 최근 저는 OpenAI의 API 활용법에 대해서 궁금해 아래 2가지 글을 작성했습니다. 혹시 OpenAI GPT 모델을 파인튜닝(fine-tuning)하거나 GPT3.5 모델을 Python으로 간단하게 활용하는 방법에 대해서 궁금하시다면 아래 글을 참고하시면 조금이나마 도움이 되실 것 같습니다. Python OpenAI API를 활용해 GPT3.5 활용하기 : ht..

포스팅 개요 이번 포스팅은 최근에 다녀온 추천 시스템 학회 RecSys 2022 컨퍼런스 참석 후기를 기록하는 글입니다. 현장에서의 느낌은 어떠했는지, 이번 학회 참석 계기로 어떤 생각을 하게 되었는지를 정리해봅니다. 본 포스팅은 일기식으로 정리해봅니다. RecSys 2022의 자료 등은 아래 홈페이지에서 확인할 수 있습니다. https://recsys.acm.org/recsys22/ RecSys – ACM Recommender Systems The ACM Conference on Recommender Systems (RecSys) is the premier international forum for the presentation of new research results, systems and tech..

포스팅 개요 본 포스팅은 추천 시스템(RecSys, recommender system) 논문 중 Context-aware Co-Attention Neural Network for Service Recommendations (CCANN)이라는 논문을 리뷰하는 포스팅입니다. 본 논문은 context를 기반으로 추천 시스템을 제공하고 review 데이터까지 활용하며 이를 위해 Entity2Vec이라는 모델도 제안한 추천 시스템 논문입니다. 또한, 본 포스팅은 제가 작성하고 있는 추천 시스템 시리즈 글 입니다. 시리즈로 작성하는 추천 시스템 논문 리뷰는 아래와 같은 순서로 진행할 예정입니다. 오늘은 그 아홉 번째 CCANN 포스팅입니다. DeepFM (https://lsjsj92.tistory.com/636) ..

포스팅 개요 본 포스팅은 추천 시스템(RecSys, recommender system) 논문들 중 Multi-Interactive Attention Network for Fine-Grained Feature Learning in CTR Prediction (MIAN) 이라는 논문을 리뷰하는 포스팅입니다. 본 논문의 추천 시스템은 attention model을 활용을 하면서 다양한 interaction attention layer를 도입합니다. 이를 활용해 user sequential 한 상황에서 different feature에 대한 multiple representation을 활용할 수 있게 제안하며 fine grained user spedific 정보 및 context 정보도 동시에 활용하도록 제안하..