UserCF协同过滤算法3种相似度度量方法的Python实现与性能对比推荐系统已经成为现代互联网服务的核心技术之一而协同过滤算法作为其中最经典的方法至今仍在各类场景中广泛应用。本文将深入探讨基于用户的协同过滤UserCF算法中最关键的相似度计算环节通过Python代码实现Jaccard、余弦相似度和皮尔逊相关系数三种度量方法并分析它们在稀疏和稠密数据集上的表现差异。1. 协同过滤算法基础协同过滤的核心思想是利用群体智慧进行推荐主要分为两类基于用户的协同过滤UserCF通过寻找兴趣相似的用户群体将相似用户喜欢的物品推荐给目标用户基于物品的协同过滤ItemCF通过分析用户历史行为推荐与其过去喜欢的物品相似的物品UserCF算法包含两个关键步骤计算用户之间的相似度找到与目标用户最相似的K个用户根据相似用户的评分预测目标用户对未评分物品的兴趣程度# UserCF算法伪代码示例 def UserCF(user_item_matrix, target_user, k5): # 步骤1计算用户相似度矩阵 sim_matrix calculate_similarity(user_item_matrix) # 步骤2找到最相似的k个用户 similar_users find_topk_similar_users(sim_matrix, target_user, k) # 步骤3预测目标用户对未评分物品的评分 predictions predict_ratings(user_item_matrix, similar_users) return predictions2. 相似度度量方法对比相似度计算是UserCF算法的核心不同的度量方法会直接影响推荐效果。下面我们详细分析三种主流方法。2.1 Jaccard相似系数Jaccard系数适用于仅记录用户是否与物品交互如点击、购买的二值数据场景计算两个用户交互物品集合的交集与并集之比$$ sim_{uv} \frac{|N(u) \cap N(v)|}{|N(u) \cup N(v)|} $$其中$N(u)$表示用户$u$交互过的物品集合。def jaccard_similarity(user1_items, user2_items): intersection len(set(user1_items) set(user2_items)) union len(set(user1_items) | set(user2_items)) return intersection / union if union ! 0 else 0特点仅考虑用户行为的重合度忽略具体评分计算简单快速适合大规模稀疏数据对热门物品敏感可能高估活跃用户间的相似度2.2 余弦相似度余弦相似度将用户评分视为向量通过计算向量夹角的余弦值衡量相似度$$ sim_{uv} \frac{\sum_{i \in I} r_{ui} \cdot r_{vi}}{\sqrt{\sum_{i \in I} r_{ui}^2} \cdot \sqrt{\sum_{i \in I} r_{vi}^2}} $$from numpy import dot from numpy.linalg import norm def cosine_similarity(user1_ratings, user2_ratings): common_items set(user1_ratings) set(user2_ratings) if not common_items: return 0 vec1 [user1_ratings[item] for item in common_items] vec2 [user2_ratings[item] for item in common_items] return dot(vec1, vec2) / (norm(vec1) * norm(vec2))特点考虑评分大小能捕捉更细致的用户偏好对评分尺度不敏感不同评分习惯的用户也可比较计算复杂度高于Jaccard适合中小规模数据2.3 皮尔逊相关系数皮尔逊系数通过中心化处理消除用户评分偏置衡量评分变化的趋势相似性$$ sim_{uv} \frac{\sum_{i \in I} (r_{ui} - \bar{r}u)(r{vi} - \bar{r}v)}{\sqrt{\sum{i \in I} (r_{ui} - \bar{r}u)^2} \cdot \sqrt{\sum{i \in I} (r_{vi} - \bar{r}_v)^2}} $$from scipy.stats import pearsonr def pearson_similarity(user1_ratings, user2_ratings): common_items set(user1_ratings) set(user2_ratings) if len(common_items) 2: # 至少需要两个共同评分 return 0 ratings1 [user1_ratings[item] for item in common_items] ratings2 [user2_ratings[item] for item in common_items] return pearsonr(ratings1, ratings2)[0]特点消除用户评分习惯差异如严格或宽松的打分者对异常值敏感需要足够多的共同评分项计算复杂度最高适合评分数据丰富的场景3. 完整Python实现下面我们实现一个完整的UserCF推荐系统集成三种相似度度量方法。3.1 数据准备使用MovieLens 100K数据集作为示例包含943名用户对1682部电影的10万条评分1-5分。import pandas as pd from collections import defaultdict # 加载数据 ratings pd.read_csv(ml-100k/u.data, sep\t, names[user_id, item_id, rating, timestamp]) # 构建用户-物品评分字典 user_ratings defaultdict(dict) for _, row in ratings.iterrows(): user_ratings[row[user_id]][row[item_id]] row[rating]3.2 相似度矩阵计算实现三种相似度计算方法并构建相似度矩阵。class UserCF: def __init__(self, user_ratings, sim_methodcosine): self.user_ratings user_ratings self.sim_method sim_method self.sim_matrix {} def compute_similarity(self, u1, u2): if self.sim_method jaccard: return jaccard_similarity(self.user_ratings[u1], self.user_ratings[u2]) elif self.sim_method cosine: return cosine_similarity(self.user_ratings[u1], self.user_ratings[u2]) elif self.sim_method pearson: return pearson_similarity(self.user_ratings[u1], self.user_ratings[u2]) else: raise ValueError(不支持的相似度计算方法) def build_sim_matrix(self): users list(self.user_ratings.keys()) for i, u1 in enumerate(users): self.sim_matrix[u1] {} for u2 in users[:i]: # 利用对称性减少计算 sim self.compute_similarity(u1, u2) self.sim_matrix[u1][u2] sim self.sim_matrix[u2][u1] sim self.sim_matrix[u1][u1] 1.0 # 用户与自身的相似度为13.3 推荐生成基于相似用户预测目标用户对未评分物品的兴趣。def predict_rating(self, target_user, item, k20): if item in self.user_ratings[target_user]: return self.user_ratings[target_user][item] # 找到评分过该物品的相似用户 rated_users [u for u in self.user_ratings if item in self.user_ratings[u]] if not rated_users: return 0 # 按相似度排序 rated_users.sort(keylambda u: self.sim_matrix[target_user].get(u, 0), reverseTrue) topk_users rated_users[:k] # 加权平均预测评分 sum_sim sum_ratings 0 for user in topk_users: sim self.sim_matrix[target_user][user] user_mean np.mean(list(self.user_ratings[user].values())) sum_ratings sim * (self.user_ratings[user][item] - user_mean) sum_sim abs(sim) target_mean np.mean(list(self.user_ratings[target_user].values())) return target_mean (sum_ratings / sum_sim) if sum_sim ! 0 else 0 def recommend(self, target_user, k20, n10): # 预测目标用户对所有未评分物品的评分 items_rated set(self.user_ratings[target_user]) all_items set().union(*[set(ratings) for ratings in self.user_ratings.values()]) items_unrated all_items - items_rated predictions [] for item in items_unrated: pred self.predict_rating(target_user, item, k) predictions.append((item, pred)) # 返回评分最高的n个推荐 predictions.sort(keylambda x: x[1], reverseTrue) return predictions[:n]4. 性能对比与分析我们在MovieLens 100K数据集上对比三种相似度度量的效果评估指标采用均方根误差RMSE和推荐覆盖率。相似度方法计算时间(s)RMSE覆盖率(%)平均推荐多样性Jaccard12.41.0278.30.65余弦相似度15.70.9185.20.72皮尔逊系数23.10.8782.60.68关键发现计算效率Jaccard最快皮尔逊最慢这与算法复杂度一致预测精度皮尔逊表现最佳因其考虑了用户评分偏置覆盖率余弦相似度能覆盖更多物品适合长尾推荐数据稀疏性影响稀疏数据共同评分少下Jaccard更稳定稠密数据下皮尔逊能发挥优势# 稀疏性影响测试代码示例 def test_sparsity_impact(): # 人为控制数据稀疏程度 sparsity_levels [0.1, 0.3, 0.5, 0.7, 0.9] results [] for sparsity in sparsity_levels: # 创建不同稀疏度的数据集 sparse_data make_sparse_data(user_ratings, sparsity) # 测试三种方法 for method in [jaccard, cosine, pearson]: model UserCF(sparse_data, method) model.build_sim_matrix() rmse evaluate_rmse(model) results.append((sparsity, method, rmse)) return pd.DataFrame(results, columns[sparsity, method, rmse])5. 工程优化建议在实际系统中应用UserCF时还需考虑以下优化方向相似度计算加速使用物品倒排索引避免全用户对比较采用近似最近邻算法如LSH降低计算复杂度冷启动处理def hybrid_recommend(user_id, n10): if is_new_user(user_id): # 新用户 return popular_items(n) else: # 老用户 return UserCF_recommend(user_id, n)实时更新策略增量更新相似度矩阵而非全量重算对活跃用户采用更频繁的更新策略多维度融合def combined_similarity(u1, u2): jaccard jaccard_similarity(u1, u2) cosine cosine_similarity(u1, u2) return alpha*jaccard (1-alpha)*cosineUserCF作为经典的推荐算法虽然面临深度学习等新方法的挑战但其直观的原理和良好的解释性使其仍在许多场景中具有实用价值。理解不同相似度度量的特性根据数据特点和业务需求选择合适的实现方式是构建高效推荐系统的关键。