1. 协同过滤算法入门从用户行为矩阵说起第一次接触协同过滤时我被一个简单例子震撼到了某电商平台发现购买尿布的爸爸们经常同时买啤酒于是把这两件商品放在相邻货架销量双双提升30%。这就是协同过滤的魔力——它不需要知道商品属性或用户画像仅通过分析用户行为就能发现潜在关联。用户行为矩阵是协同过滤的基石。想象一个Excel表格行代表用户列代表商品单元格填充的是浏览时长或购买次数。我用Python构建过这样的矩阵import pandas as pd user_item_matrix pd.DataFrame({ 用户A: [5, 3, 0, 1], 用户B: [4, 0, 0, 1], 用户C: [1, 1, 5, 4], 用户D: [1, 0, 4, 0] }, index[商品1, 商品2, 商品3, 商品4])这个矩阵的稀疏性会让人头疼——通常90%以上的单元格是空的。我处理过的一个真实数据集600万用户对200万商品的点击记录非零值占比不到0.01%。这时候就需要采用稀疏矩阵存储技术from scipy.sparse import csr_matrix sparse_matrix csr_matrix(user_item_matrix.values)2. 相似度计算的实战技巧余弦相似度是最常用的计算方法但直接套用公式会掉坑里。有次我按教科书实现后发现推荐结果全是热门商品原来忘了处理流行度偏差。改进后的加权余弦相似度公式长这样sim(u,v) Σ(rui * rvi) / (sqrt(Σrui²) * sqrt(Σrvi²)) * 1/log(1N(i))其中N(i)是商品i的被交互次数。Python实现时要注意向量化运算from sklearn.metrics.pairwise import cosine_similarity import numpy as np def improved_cosine_sim(matrix): # 惩罚热门商品 item_popularity np.log(1 np.sum(matrix 0, axis0)) weights 1 / item_popularity weighted_matrix matrix * weights return cosine_similarity(weighted_matrix.T)在真实场景中我还会加入时间衰减因子。上周的点击比去年的点击更有参考价值time_decay np.exp(-0.1 * days_ago) weighted_matrix matrix * time_decay.reshape(-1,1)3. 基于用户的协同过滤优化方案UserCF在社交场景表现优异但计算用户相似度时有个致命问题——随着用户量增长计算复杂度呈平方级上升。我的解决方案是聚类降维先用K-means将用户分群只在同群内计算相似度局部敏感哈希用LSH近似查找最近邻负采样技术只计算有共同交互物品的用户对这里分享一个基于Spark的分布式实现技巧from pyspark.ml.feature import BucketedRandomProjectionLSH brp BucketedRandomProjectionLSH( inputColuser_features, outputColhashes, bucketLength2.0, numHashTables3) model brp.fit(user_features) similar_users model.approxSimilarityJoin(df, df, 0.5)4. 基于物品的协同过滤工业级实现ItemCF更适合电商场景但要注意这几点实时更新商品相似度矩阵需要小时级更新多行为融合将点击、收藏、购买按权重组合场景隔离不同品类如图书vs家电应单独建模这是我用Flink实现的实时ItemCF流水线DataStreamItemInteraction interactions env .addSource(new KafkaSource()) .keyBy(itemId) .timeWindow(Time.hours(1)) .aggregate(new CooccurrenceCounter()); interactions.addSink(new RedisSink());实践中发现加入物品属性信息能显著缓解冷启动问题。比如新品没有用户行为时可以用品类、价格等属性计算相似度hybrid_sim α * behavior_sim (1-α) * attribute_sim5. 冷启动与稀疏性破解之道新用户冷启动是我踩过最多坑的领域。试过这些有效方案跨域迁移用用户在其它平台的行为数据需用户授权知识图谱构建商品关系图谱进行推理推荐混合推荐初期用热门榜随机探索收集足够数据后切到协同过滤对于数据稀疏问题矩阵分解效果惊人。用Surprise库实现SVDfrom surprise import SVDpp from surprise import Dataset data Dataset.load_builtin(ml-100k) algo SVDpp(n_factors20, n_epochs10) trainset data.build_full_trainset() algo.fit(trainset)6. 推荐效果评估的陷阱与真相千万别只盯着准确率我设计评估体系时会看这些指标覆盖率推荐商品占全集的比例新颖性推荐长尾商品的能力惊喜度用户意料之外的好推荐实时性对用户新兴趣的响应速度A/B测试时要特别注意辛普森悖论。有次全量上线后才发现新算法在iOS用户中提升明显但Android用户满意度下降。现在我会分设备、地域、用户分层多维度分析。离线评估可以用这些Python工具from sklearn.metrics import ndcg_score # 计算NDCG10 ndcg ndcg_score(true_relevance, pred_scores, k10)7. 工程化部署的实战经验把算法模型部署上线时这些经验能省几十小时缓存策略用Redis缓存用户最近交互和热门推荐降级方案准备基于热销榜的fallback逻辑流量控制新算法先放量5%观察效果监控报警设置推荐多样性、响应时间的监控项这是我们的推荐服务架构示意图用户请求 - API网关 - 实时特征计算 - 召回层(协同过滤其他策略) - 排序层 - 过滤层(去重/已购) - 结果返回在召回层协同过滤通常与其他策略组成多路召回。我常用的混合方案def hybrid_recall(user_id): cf_recall itemcf_recall(user_id) content_recall content_based_recall(user_id) hot_recall get_hot_items() return merge_and_dedup(cf_recall, content_recall, hot_recall)8. 前沿演进与实用建议传统协同过滤正在与深度学习融合。Graph Neural Network特别适合处理用户-物品二部图PyG的实现示例from torch_geometric.nn import GCNConv class GCNRec(torch.nn.Module): def __init__(self): super().__init__() self.conv1 GCNConv(dataset.num_features, 16) self.conv2 GCNConv(16, 32) def forward(self, data): x, edge_index data.x, data.edge_index x self.conv1(x, edge_index) x F.relu(x) return self.conv2(x, edge_index)给初学者的三个实用建议先用小数据集如MovieLens跑通全流程重视日志埋点收集用户反馈信号不要追求复杂模型简单策略组合往往更稳定