꿈 많은 사람의 이야기

포스팅 개요 이번 포스팅은 추천 시스템 논문 리뷰 포스팅입니다. 본 논문의 제목은 Hierarchical attention and feature projection for click-through rate prediction(CTR prediction)이라는 논문입니다. 본 논문은 추천 시스템 모델을 활용해 클릭률(CTR)을 향상 시킬 수 있는 방법을 소개하는데요. Hierarchical 구조를 활용해 feature 사이의 중요도를 추출하고 low-order 그리고 high-order feature interaction을 모델링하는 방법을 소개합니다. 본 포스팅에서 리뷰한 논문 링크는 아래와 같습니다. https://link.springer.com/article/10.1007/s10489-021-0293..

포스팅 개요 본 포스팅은 추천 시스템(RecSys, recommender system) 논문들 중 An Adaptive Aspect Attention Model for Rating Prediction (A3NCF) 이라는 논문을 리뷰하는 포스팅입니다. 본 논문의 추천 시스템은 attention mechanism(어텐션 매커니즘)과 topic modeling 방법을 사용하여 추천 시스템을 구성한 방법을 소개합니다. 여기서 토픽 모델링은, 논문에서 제안한 방법을 사용하며 이를 통해 리뷰(review)에서 item이 가지고 있는 서로 다른 aspect에 대한 사용자 선호도와 아이템 특징을 추출합니다. 또한, 본 포스팅은 제가 작성하고 있는 추천 시스템 시리즈 글 입니다. 시리즈로 작성하는 추천 시스템 논문 리..

포스팅 개요 본 포스팅은 추천 시스템(RecSys, recommender system) 논문들 중 Attention-driven Factor model for Explainable Personalized Recommendation (GAUs for AFM) 이라는 논문을 리뷰하는 포스팅입니다. 본 논문은 attention을 이용해 설명가능성(Explainability)를 강조하고 사용자마다 각 item에 대해 서로 다른 attention을 적용합니다. 또한, 본 포스팅은 제가 작성하고 있는 추천 시스템 시리즈 글 입니다. 추천 시스템 시리즈 논문 리뷰는 아래와 같은 순서로 진행할 예정입니다. 오늘은 그 여섯 번째 포스팅입니다. DeepFM (https://lsjsj92.tistory.com/636) MA..

이전에 캐글(kaggle) nlp인 toxic 데이터를 가지고 필사를 했습니다https://lsjsj92.tistory.com/448 이번에도 마찬가지로 toxic 데이터를 가지고 캐글 커널을 필사합니다.기존에 했던 것과 같습니다. 하지만 어텐션 메커니즘이 추가된 코드이고 glove 데이터를 이용해서 모델 weight를 제공해줍니다.특히 glove 데이터를 추가해서 word embedding을 하는 방법은 정말 많이 사용해서 이번 기회에 정리하고자 합니다. 언제나 그렇듯이 필요한 라이브러리르 불러옵니다keras를 사용했고 모델과 전처리에 필요한 Tokenizer 및 LSTM, Embedding, Dropout 등을 가지고 옵니다그리고 이번 모델에서는 Attention을 class로 만들어서 사용하기 때문..

자연어 처리에서 공부를 하다보면 어텐션 메커니즘에 대해서 많이 듣게 됩니다아무래도 구글에서 발표한 attention is all you need의 transformer에서도self-attention(셀프 어텐션)을 사용하고기존의 LSTM(RNN)과 seq2seq 문제를 극복하기 위해서 많이 사용되기 때문에 계속 듣게 됩니다 어텐션(attention)에 대해서 공부를 하려면 먼저 저 메커니즘에 대해서 알아야겠죠그래서 이번 포스팅은 어텐션 메커니즘(attention machanism)에 대해서 정리합니다. 어텐션은 영상 처리쪽에서도 많이 사용됩니다.아마 CS231n 강의 같은 것을 보셨으면 아래 사진을 보셨을 겁니다. 대충 느낌 오시죠? 이것은 인간의 시각적 집중(visual attention) 현상을 구현..