세로형
Link
08-13 09:49
«   2022/08   »
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31      
Archives
Today
189
Total
2,363,041
관리 메뉴

꿈 많은 사람의 이야기

추천 시스템 논문 리뷰 - User Diverse Preference Modeling by Multimodal Attentive Metric Learning (MAML) 본문

추천시스템

추천 시스템 논문 리뷰 - User Diverse Preference Modeling by Multimodal Attentive Metric Learning (MAML)

이수진의 블로그 2022. 6. 3. 07:40

포스팅 개요

이번 포스팅은 추천 시스템(recommender system, recsys) 논문 중 MAML : User Diverse Preference Modeling by Multimodal Attentive Metric Learning 이라는 논문을 리뷰라는 포스팅입니다. MAML은 추천 시스템 방법중 metric learning을 활용하며 이와 더불어서 multimodal 정보를 attention을 활용해 사용하는 추천 시스템입니다. 본 포스팅은 해당 논문의 전반적인 내용을 리뷰해봅니다.

 

또한, 본 포스팅은 제가 작성하고 있는 추천 시스템 시리즈 글 입니다. 추천 시스템 시리즈 논문 리뷰는 아래와 같은 순서로 진행할 예정입니다. 오늘은 그 두 번째 포스팅입니다.

 

  1. DeepFM (https://lsjsj92.tistory.com/636)
  2. MAML
  3. VECF (https://lsjsj92.tistory.com/638)
  4. FDSA (https://lsjsj92.tistory.com/639)
  5. PMN (https://lsjsj92.tistory.com/640)
  6. GAU (https://lsjsj92.tistory.com/641)
  7. A3NCF(https://lsjsj92.tistory.com/642)
  8. MIAN
  9. CCANN

본 포스팅에서 참고한 자료는 다음과 같습니다.

 


포스팅 본문

추천 시스템 논문 User Diverse Preference Modeling by Multimodal Attentive Metric Learning (MAML) 논문의 리뷰는 다음과 같은 순서로 진행됩니다.

 

1. MAML 핵심 요약

2. MAML 논문 리뷰


MAML 핵심 요약

Considering user diverse preference for various items

Various item에 있는 다양한 특성을 고려해 사용자의 다양한 선호도를 반영

이를 위해 attention neural network 사용자의 multimodal feature 추정을 위해 사용

사용자의 item에 대한 다양한 aspect에서 specific attentionestimate하기 위하여

 

추가적인 feature 반영

Side information에는 user preferences가 있음

Feature level에서 fine-grained user preference 반영하기 위함

 
Metric-based learning을 활용

MF 기반의 모델은 fine-grained user preference 캡처할 수 없음

Dot product similarity 활용한 기존 연구와 다르게 접근

Dot productnot satisfy the triangle inequality하기 때문

Can capture fine-grained user preference 하는데 도움을 줌


MAML 논문 리뷰

Introduction

추천 시스템 기술의 중요성 증가

Online platform(Amazon), streaming service(Youtube), social platform(Pinterest)

MF와 같은 기술 발전이 이루어짐

    • User-item interactionlatent feature spacemapping

    • , 각 사용자와 itemfeature vector로 표현함

 
Useritempreference

Dot product of the feature vector로 예측 됨  

    • BPR 등도 이런 아이디어임

Deep Neural network의 발전으로 크게 진전이 됨

    • NCF

 
MFsimple and effective한 아이디어로 큰 기여를 함

하지만, relying on the interaction information

Feature-level 또는 aspect-level에서 Fine-grained user preference 캡처하지 못함

Useritem이 불충분할 경우 성능 저하가 일어남

 

Side information

위 문제를 완화하기 위한 다양한 연구가 진행되어 왔음

Side information은 사용자의 아이템에 대한 선호도를 반영하고 있음

    • Imagevisual preference

    • Review는 사용자의 아이템에 대한 다양한 측면에서 의견이 들어가 있음

그러나, 기존 연구들은 사용자의 다른 아이템에 대한 다양한 선호도를 특징 짓는 것을 잘 고려하지 않음

    • 사용자는 다른 아이템에 대해서 동일한 관점으로 접근하지 않음

    • 그러나 기존 추천 방법은 use same vector to represent a user’s preference for all items이었음

    • 이는 사양한 아이템에 대한 다양한 선호도를 정확히 예측할 수 없게 됨

    • 이것을 해결하려는 연구 ANCF, MARS 등이 있었음

        • 그러나 이것들은 dot product based MF에 의존적

 
Dot product based MF에 의존적

본질적인 problemdot product에 있음

Metric-based distance learning이 아니므로 not satisfy the triangle inequality

이러한 문제는 표현성을 제한하고 fine-grained user preference 캡처하지 못하게 함

 

Dot product based MF에 의존적

CML(metric collaborative filtering)은 이런 문제를 해결하고자 함

    • 그러나, 이것도 문제가 있음

        • geometric inflexible for large dataset

        • Try to fit a user and all the interaction items into same point

Dot product의 문제점을 해결하기 위해 metric-based learning이 나왔지만

    • Not well modeled user diverse preference for various items

 
그래서 우리는! MAML 모델 제안

ItemMultimodal information을 활용하여 사용자의 다양한 선호도를 반영

    • User attention을 표현하는 Weight vector 활용 ( attention neural network 활용 )

        • Attention vectoruser, item vector와 결합하여 useritemdistance 계산

아래와 같은 관점으로 가치가 있는 모델

    • Metric based learning으로 dot product sim 문제를 피해 Satisfies inequality property

    • Weight vectoruseritemdistinct space로 투영하는 transformation vector로 작용하기 때문

        • User-item pair에서 weight vector unique하기 때문

        • 유클리드 거리를 통한 근사한 계산을 수행

        • 기하학적으로 유연하고 모델링 능력을 가지고 있음

 

Related work

Diverse Preference Modeling

Useritem유사도를 추정하기 위해 Dot product 사용하는 MF 기반 framework 사용

본 논문에서는 기존과 다르게 user diverse modeling을 위해 metric learning method 사용

    • Avoid limitation of dot product

 

 
Metric-based Learning

본 논문에서는 adaptive weight vector 사용함

    • Each user-item pair unique space에 두기 위해서

    • 사용자의 다양한 선호도를 캡처할 수 있음

 
Multimodal User Preference Modeling

Text review, item image, other metadata 활용

본 논문에서는 2가지 관점으로 접근

    • 기존에는 fixed user and item representationjointly하게 활용

    • 본 논문에선 다양한 item aspects에 대해서 사용자의 다양한 attention을 배우기 위해 multimodal feature 활용

Metric learning 활용

 

Our proposed model

먼저, 본 논문에서 사용한 기호 notation을 정리합니다.

Notation

Background
본 논문에서는 background 지식으로 Matrix Factorization(MF)와 weighted regularized matrix factorzation(WRMF), Pairwise learning(BPR), Metric learning에 대해서 언급하고 있습니다.
자세한 설명은 본 논문에도 나와있지 않으며 간략하게만 언급되어져 있습니다.

 

MF

WRMF (MF의 확장버전으로 implicit feedback prediction 수행)

BPR(pairwise)

사용자와 아이템의 벡터가 있고 어떤 아이템을 더 선호하는지 학습하는 것

Metric based learning
dot product의 한계를 벗어나도록 학습하며 user와 item의 latent vector는 shared space에 위치함

 

따라서, 본 논문에서 제안한 모델은 아래와 같습니다.

 

반응형
Multimodal Attentive Metric Learning

Real scenario에서 same user vector(p_u)는 모든 아이템의 사용자 선호도를 예측하는 것은 최적이 아닐 수 있음

    • Preference of a user on the aspects of different items is varying 이기 때문

    • 사용자 uitem i에 대한 선호도를 예측할 때

        • 사용자가 i에 대해 더 선호(attention)하는 부분이 item i에 대한 사용자 선호도를 지배해야 함

본 논문에서는

    • Each user-item pair(u, i)에서 weight vector  a_u,i \include R^f 활용하며 이는 사용자가 item i에 대한 중요성을 나타냄

    • Weight vector 추정하기 위해 ItemSide information을 활용

    • Attention vector 추정하기 위해 Attention mechanism 활용

    • 본 모델에서 Attention(weight) vector 활용해 uI 사이의 유클리디언 거리 측정은 다음과 같음

Attention 

    • 사용자의 다양한 선호도를 정확하게 캡처할 뿐만 아니라 앞서 나온 기하학적 한계를 해결함

        • CML에서는 user and all the interacted itemsame pointfit

            • iteminteracteduser가 많으므로 기하학적 문제가 발생

        • 본 모델에서는 weight vectoreach user-item에 대해 unique

            • 사용자와 item의 거리 계산을 위한 new space으로 transform해주는 transformation vector로 적용 됨

Pairwise loss 활용

 

Attention Mechanism 활용

    • 사용자의 item i에 대한 구체적인 attention을 캡처하기 위해

    • Useritem 그리고 textual feature image feature fusionconcat

        • 이를 어텐션으로 태움

다음으로  a^_u,i softmax 함수를 사용해 normalize 해야 함

    • , 논문에서는 standard한 것이 잘 작동이 되지 않음

    • 본 논문의 모델에선 attention weightelement-wise product with the Euclidean Distancedirectly use되기 때문

        • Softmax 거치면 weight의 값은 매우 작아짐 ( 예를 들어 d100이면 mean value weight0.01 )

        • 사용자 벡터와 아이템 벡터의 각 차원 사이의 거리는 이미 작음

            • 근데 더 작아지게 되는 현상이 나옴

        • 이는 모델의 distinguishing power 약화시키고 성능 저하를 일으키게 됨

    • 이를 위해 다음과 같은 완화 방법을 사용

        • Normalized weight 확대시킴

 
 

Attention Mechanism - Item features

    • Text featurevisual feature 사용

        • TextPV-DM 방법으로, imagepre-trained model을 활용

    • 2개를 widely used strategy 방법으로 통합해서 사용

        • 1. concat feature

        • 2. feeding them into a multiple layer neural network

 

Ranking loss weight

    • Weighted Approximate rank pairse loss 활용

    • 낮은 rank에 더 큰 패널티 부여

Regularization

    • L2 loss function ( feature에서 추출된 특징에서 벗어나면 패널티 부여 )

    • Covariance regularization ( feature space에서 각 차원의 중복을 방지, 상관관계를 줄이기 위해서)

 

Optimization
    • SGD 채택
    • 구현에서는 learning rate 조절을 위해 Adam을 채택

 

Experimental setup

 

Dataset

Textimage가 없는 경우 제거

최소 5개의 interaction

Top-n recommendationfocus

    • Aims to recommend a set of n top ranked item

 

 
Baseline and Evaluation Metrics

Shallow : BPR, VBPR

Deep : DeepCoNN, NeuCF, JRL

ML base

Metric learning : CML

Evaluation metric for top-n recommendation

    • Precision, recall, NDCG, hit ratio

 
Experimental setting

Performance Comparison

4개의 구분

    • 첫 번째

        • only use user-item interaction information

    • 두 번째와 세 번째

        • Exploiting one type of side information

             •Text, image

        • Additional item feature 하니 좋은 성능을 보여 줌

            • Text보다 image에서 더 좋은 결과

        • DeepCoNN은 만족스럽지 못한 결과

            • Real scenario에서는 사용자 reivew item을 구입하기 전까지 나올 수 없기 때문

            • 따라서 본 논문에서는 testing stage에서는 text review 활용하지 않음

    • 네 번째

        • Textimage 동시에 활용

        • 좋은 성능 향상을 보여 줌

300x250
Effects of our attention mechanism

Standard attention mechanism에서 확대하는 요소 factor alpha 부여했었음

이것에 대한 비교

    • 일관성 있게 개선되는 모습을 보여 줌

 

 
Visualization

본 논문에서 제안한 방법은!

    • We model user diverse preferences by capturing user attention to different aspects of items

    • , 사용자의 선호도는 different items에 따라 different aspects 가지고 있다는 것임

    • 그러므로 user-item pair에서 본 modelunique attention weight for each aspect of the item

시각화를 통해 보고자 함

    • Attention weight 통해 user varying preferences on different aspects of various items

    • User diverse preferences based on the purchased items

결과

    • 사용자 선호도가 아이템에 따라 다름

    • 같은 item에 대해서 사용자마다 aspect가 다름

 
 
Visualization – user diverse preference visualization
 

저자들의 주장
    • 1. user likes items with diverse feature
    • 2. user has different preferences on the aspects of various items
사용자가 구입한 아이템에 대한 선호도 클러스터링을 시각화
    • Item embeddinguser attention vector 활용
    • 하나의 dotitem
    • T-sne 활용
Vector의 특징
    • Item vector
        • Learned based on its interactions with all the users
           • Item의 모든 aspects 잘 특징 지어 줌
           • Clustering resultuser diverse preferences on items with different feature 나타냄
    • Attention vector
        • Item의 다양한 aspectsuser attention을 잘 특징 지워 줌
        • Clustering resultuser varying(변화) attention on different aspects of item을 입증해 줌

 

 

Conclusions

MAML 모델 소개

Top-n recommendation

Metric learning base

    • Avoids limitation of matrix factorization based method

    • Can capture fine-grained user preference

 

Designed to model user diverse preferences on different aspects of items

    • Proposed attention neural network

    • Multimodal feature 활용

        • Userspecific attention on each aspect of item을 추정하기 위해

 

Potential 확인

    • User diverse preference of recommendation

    • 다양한 실험에서 좋은 성능

    • 결과 시각화

 


마무리

이번 포스팅은 추천 시스템 논문 중 MAML : User Diverse Preference Modeling by Multimodal Attentive Metric Learning 이라는 논문을 리뷰해보았습니다. 내용이 길지만, 부디 도움이 되길 바랍니다.

감사합니다.

반응형
그리드형
0 Comments
댓글쓰기 폼