商品图片美感建模与服装推荐《基于美感的服装推荐》论文精读 阅读笔记## 论文背景-会议The Web Conference 2018前身为国际万维网大会 WWW自1994年起举办在 Google 学术排名中位列信息系统领域第一的顶级学术会议覆盖搜索、推荐、广告、数据库、信息提取、互联网安全等多个领域。-论文《Aesthetic-based Clothing Recommendation》基于美感的服装推荐获优秀论文提名。-作者主要来自清华大学另有两位分别来自新加坡国立大学和埃默里大学。## 研究问题与动机在电商推荐系统中商品尤其是服装服饰图片的美观程度与质量是用户做出购买决策的关键参考因素。已有的商品推荐系统虽然尝试同时利用图片信息和文字信息实现多模Multi-Modal数据理解但多数方案仅考虑基本的图片特性- 常见思路是用某种深度神经网络提取图片特征再与其他特征如文本信息组合拓宽对商品信息的提取- 这样得到的图像特征没有显式地对图像的美感进行建模。## 核心贡献1. 提出一种模型同时对图片的美感与一般性图片语义特性进行建模这是以往工作中没有的创新点2. 将提取出的美感信息融入基于张量分解Tensor Factorization的推荐模型利用美感信息影响推荐结果。## 方法### 美感建模网络双层结构模型假设每个商品有一个综合美感标签1~10 的打分和一个表达图案图像风格的细节标签如高曝光“对比色等文字化特征并设计两层神经网络同时建模两者-第一层解释细节的图像风格。数据中共有 14 种图像风格对应 14 个子网络Sub Network每个子网络都是标准的卷积网络CNN各自学习表示一种细节图像风格的特征。-第二层将 14 个子网络学到的特征整合为中间特征层再经过一个卷积网络学习对商品整体美感评分进行解释的网络。-训练方式两个层次在一个整体中联合训练同时更新底层 14 个风格子网络与高层美感评分网络的参数。### 动态协同过滤DCF作者提出了一种针对商品推荐的新颖张量表达模式——动态协同过滤Dynamic Collaborative FilteringDCF-基本假设用户购买某商品取决于两个条件同时满足——① 用户对该商品有喜好② 商品符合时间维度上的流行度”。-两个矩阵分解 - 用户-商品矩阵分解 → 学习用户对商品的喜好度 - 时间-商品矩阵分解 → 学习时间与商品的流行度 - 两个矩阵相乘得到表达用户在时间维度上对商品喜好的张量。-融入美感信息对两个矩阵分解分别做扩展每个矩阵分解变成两个矩阵的加和 - 用户-商品喜好度 用户-商品矩阵 商品-图片美感信息矩阵 - 时间-商品流行度 时间-商品矩阵 商品-图片美感信息矩阵 - 最终模型即为由两个矩阵之和相乘构成的张量分解。## 实验效果-数据集亚马逊服装数据集约 4 万用户、2 万多商品、超过 27 万条购买记录。-对比算法完全随机算法、只推荐最流行商品、传统矩阵分解、仅含基本图像信息而无美感信息的算法。-评估指标排序精度NDCG与召回率Recall。-结论 - 提出模型明显优于矩阵分解以及仅使用基本图像信息的算法说明对商品图像美感进行建模是有价值的 - 新的张量分解方法DCF被证明切实有效。## 小结本文围绕两个核心问题展开一是如何对商品图片的美感进行显式建模二是如何将美感信息融入基于张量分解的推荐系统。答案分别是双层次的深度神经网络14 个图像风格子网络 高层次美感评分网络与动态协同过滤 DCF两个矩阵分解乘积、各融入商品-图片美感矩阵。实验表明美感建模与张量分解的结合在服装推荐场景中显著优于传统方法。