꿈 많은 사람의 이야기

포스팅 개요최근 OpenAI에서 GPT-4o 등이 나오는 등 LLM(Large Language Models)의 발전은 계속 진행되고 있습니다. 그러면서 동시에 LLM과 다양한 application, 다양한 domain, 다양한 downstream task와 어떻게 연계할 수 있는가도 지속적으로 연구되고 있는데요. 본 포스팅은 추천 시스템(Recommendation System) 영역에서 LLM을 어떻게 연결시킬 수 있는지를 고민합니다. 그리고 추천 시스템 연구에서 가장 중요하게 고민되고 있는 설명가능성(Explainbility)를 해결하기 위해 LLM과 결합해하여 설명가능성을 부여하는 방법에 대해 알아보고 파이썬(Python) 코드로 예제(example)를 구현해보겠습니다. 본 포스팅 외에도 저는 이전..

포스팅 개요이번 포스팅은 추천 시스템 방법 중 추천(Recommendation)을 위해 개인화를 고려한 LLM 모델 및 방법을 소개한 PALR: Personalization Aware LLMs for Recommendation 논문을 리뷰하고 정리하는 포스팅입니다.대규모 언어 모델(Large Language models, LLM)을 활용한 다양한 추천 시스템 방법들이 소개되고 있는데요. 본 논문은 LLM을 통해 사용자 정보를 추출하고 LLM에서 발생할 수 있는 할루시네이션 등을 방지할 수 있도록 후보 셋을 제공하는 등의 방법론을 제시합니다. 또한, 저자들은 추천 시스템을 수행하기 위한 LLM 파인튜닝(fine-tuning) 방법도 소개합니다. 본 논문은 저자들이 아마존 알렉사(Amazon Alexa) 소..

포스팅 개요본 포스팅은 추천 시스템에 대규모 언어 모델(Large Language Models, LLM)을 결합해 연구한 LlamaRec: Two-Stage Recommendation using Large Language Models for ranking이라는 논문을 읽고 정리한 포스팅입니다.본 논문은 검색 단계인 retrieval 단계와 LLM 기반으로 만든 Ranking 단계로 구성되어 Two-Stage 방법을 제안하는데요. 그 결과로 효율성도 좋은 LLM 기반 추천 시스템을 구성할 수 있었다고 합니다. 본 논문은 아래 링크에서 보실 수 있습니다.https://arxiv.org/abs/2311.02089 LlamaRec: Two-Stage Recommendation using Large Languag..

포스팅 개요 이번 포스팅은 추천 시스템의 성능을 평가하는 방법인 평가 지표에 대해서 정리하는 포스팅입니다. 다양한 추천 시스템 평가 방법 중 본 포스팅은 NDCG(Normalized Discounted Cumulative Gain)와 MAP(Mean Average Precision) 그리고 Hit Rate에 대해서 정리합니다. 더불어서, Recall@K와 Precision@K에 대해서도 같이 정리하겠습니다. 포스팅 본문 추천 시스템은 온라인 쇼핑몰과 같은 이커머스 서비스 등에서 사용자와 서비스에 긍정적인 영향력을 제공할 수 있는 강력한 시스템입니다. 이러한 추천 시스템은 다양한 평가 방법이 있습니다. 비즈니스와 서비스에 따라 평가 방법이 다를 수 있고 흔히 정확도와 같은 오프라인 메트릭(offline m..

포스팅 개요 이번 포스팅은 추천 시스템 논문 리뷰 포스팅입니다. 본 논문의 제목은 Hierarchical attention and feature projection for click-through rate prediction(CTR prediction)이라는 논문입니다. 본 논문은 추천 시스템 모델을 활용해 클릭률(CTR)을 향상 시킬 수 있는 방법을 소개하는데요. Hierarchical 구조를 활용해 feature 사이의 중요도를 추출하고 low-order 그리고 high-order feature interaction을 모델링하는 방법을 소개합니다. 본 포스팅에서 리뷰한 논문 링크는 아래와 같습니다. https://link.springer.com/article/10.1007/s10489-021-0293..

포스팅 개요 본 포스팅은 추천 시스템(RecSys, recommender system) 논문 중 Context-aware Co-Attention Neural Network for Service Recommendations (CCANN)이라는 논문을 리뷰하는 포스팅입니다. 본 논문은 context를 기반으로 추천 시스템을 제공하고 review 데이터까지 활용하며 이를 위해 Entity2Vec이라는 모델도 제안한 추천 시스템 논문입니다. 또한, 본 포스팅은 제가 작성하고 있는 추천 시스템 시리즈 글 입니다. 시리즈로 작성하는 추천 시스템 논문 리뷰는 아래와 같은 순서로 진행할 예정입니다. 오늘은 그 아홉 번째 CCANN 포스팅입니다. DeepFM (https://lsjsj92.tistory.com/636) ..

포스팅 개요 본 포스팅은 추천 시스템(RecSys, recommender system) 논문들 중 Multi-Interactive Attention Network for Fine-Grained Feature Learning in CTR Prediction (MIAN) 이라는 논문을 리뷰하는 포스팅입니다. 본 논문의 추천 시스템은 attention model을 활용을 하면서 다양한 interaction attention layer를 도입합니다. 이를 활용해 user sequential 한 상황에서 different feature에 대한 multiple representation을 활용할 수 있게 제안하며 fine grained user spedific 정보 및 context 정보도 동시에 활용하도록 제안하..

포스팅 개요 본 포스팅은 추천 시스템(RecSys, recommender system) 논문들 중 An Adaptive Aspect Attention Model for Rating Prediction (A3NCF) 이라는 논문을 리뷰하는 포스팅입니다. 본 논문의 추천 시스템은 attention mechanism(어텐션 매커니즘)과 topic modeling 방법을 사용하여 추천 시스템을 구성한 방법을 소개합니다. 여기서 토픽 모델링은, 논문에서 제안한 방법을 사용하며 이를 통해 리뷰(review)에서 item이 가지고 있는 서로 다른 aspect에 대한 사용자 선호도와 아이템 특징을 추출합니다. 또한, 본 포스팅은 제가 작성하고 있는 추천 시스템 시리즈 글 입니다. 시리즈로 작성하는 추천 시스템 논문 리..

포스팅 개요 본 포스팅은 추천 시스템(RecSys, recommender system) 논문들 중 Attention-driven Factor model for Explainable Personalized Recommendation (GAUs for AFM) 이라는 논문을 리뷰하는 포스팅입니다. 본 논문은 attention을 이용해 설명가능성(Explainability)를 강조하고 사용자마다 각 item에 대해 서로 다른 attention을 적용합니다. 또한, 본 포스팅은 제가 작성하고 있는 추천 시스템 시리즈 글 입니다. 추천 시스템 시리즈 논문 리뷰는 아래와 같은 순서로 진행할 예정입니다. 오늘은 그 여섯 번째 포스팅입니다. DeepFM (https://lsjsj92.tistory.com/636) MA..

포스팅 개요 이번 포스팅은 추천시스템(RecSys, recommender system) 논문 중 PMN : An Attention-Based User Preference Matching Network for Recommender System이라는 논문을 리뷰한 포스팅입니다. 본 논문은 추천 시스템에서 CTR prediction에 focus하며 time-series 문제에 접근, 그 중 user feedback information을 결합한 방법을 소개하는 추천 시스템 논문입니다. 본 포스팅은 해당 recommender system paper를 review 합니다. 또한, 본 포스팅은 제가 작성하고 있는 추천 시스템 시리즈 글 입니다. 추천 시스템 시리즈 논문 리뷰는 아래와 같은 순서로 진행할 예정입니다...