什么是智能推荐智能推荐系统的本质就是一种信息发布工具这套信息分发系统具备个性化分发的特性它能够自动将用户与商品联系起来挖掘用户的个性化需求帮助用户找到那些他们感兴趣的商品。它有助于提升运营效率和用户转化率尤其在内容分发、电商、社交等领域实践相当出彩。个性化推荐如果信息量级小个性化意义不大个性化推荐的数据量级至少是千级或万级。理论上来说优质内容越多、类别分布越广泛个性化推荐效果越好。信息获取的三种方式智能推荐是继分类目录、搜索引擎之后的又一信息获取方式在互联网时代人们大致经历了三种信息获取方式即分类目录、搜索引擎、智能推荐分类目录有雅虎、新浪搜索引擎有谷歌、百度智能推荐有字节跳动。分类目录覆盖信息量有限用户分门别类查找信息并不轻松。搜索引擎覆盖量大操作简单但用户必须提供精确的关键词而智能推荐则是通过对用户行为数据的计算将用户最有可能需要的信息主动推送给用户。推荐业务流程推荐系统经历了数据收集、特征抽取、特征计算、结果排序、前端调用五个环节。其中特征抽取用户画像和商品画像、召回计算、结果排序是推荐系统的核心部分。A生成用户特征向量、商品特征矩阵。B根据用户特征向量和特征物品相关矩阵转化出初始推荐物品列表。C对初始推荐列表进行过滤、排名生成最终的推荐结果。推荐系统架构推荐系统主要由四个部分组成分别是大数据层、特征抽取层、模型计算层、结果发布层。大数据层负责从各个数据源抓取和整合数据也包括数据清洗、转码、统一数据格式等工作数据层的数据有两类一类是物料数据另一类是用户的静态数据和行为数据。特征抽取层主要用来接收、清洗来自数据层上报的数据并进行数据特征抽取。一般来说需要经历文本数据的分词、降维、去噪、向量化生成能够被模型层用来建立模型的特征向量。特征抽取层处理过的数据会上报至模型层进行建模一套成熟、通用的推荐系统模型层一般会包括语义模型、LSTM模型、近邻模型、协同模型、FM模型、GBDTLR模型、DNN模型、加权模型、用户行为反馈模型等适配电商业务的模型一般还会有用户消费力模型、召回周期模型等。结果发布层主要的作用是对模型层产出的结果进行过滤与排序。一般来说模型层的多个模型会分别输出特定的结果及权重而结果层则通过排序将结果按照权重或者优先级排列。当有特定业务需求时结果将根据业务规则生成最终的推荐结果并上报到缓存层供前端发布层调用。特征提取特征分为四类基本特征复杂特征统计特征和自然特征。首先是基本特征而后统计和复杂特征层层递进至于图像语音等抽提特征有专用的知识方法。特征提取要争取用20%的精力投入达到80%的效果使工作效率最大化。将123步完成之后通过数据去回归特征的效果查看重要的特征效果是否符合预期不符合的话为什么怎么修改做经验上最重要的做容易做的做可以批量产生的观察bad_casegood_feature,总结经验回到1可以借助机器学习的力量使用简单的机器学习模型例如决策树或支持向量机SVM。如果我们提供合适的数据和功能这些机器学习模型可以充分发挥作用甚至可以用作基准解决方案。快速入门机器学习——特征抽取_leekpie的博客-CSDN博客_机器学习特征提取方法可充分利用机器学习的14种开源工具模型层的特征计算模型层的模型分为近线计算与离线计算对于近线计算来说主要目的是实时收集用户行为反馈并选择训练实例实时抽取拼接特征并近乎实时地更新在线推荐模型。这样做的好处是用户的最新兴趣能够近乎实时地体现到推荐结果里。对于离线计算而言通过对线上用户点击日志的存储和清理整理离线训练数据并周期性地更新推荐模型。对于超大规模数据和机器学习模型来说往往需要高效的分布式机器学习平台来对离线训练进行支持。推荐算法算法说明步骤相似推荐将用户喜欢的商品的类似商品推荐给用户定义相似性公式和相似性维度及权重根据公式计算出商品的相似性商品集将相似性商品集推荐给用户协同过滤将有相同兴趣爱好的好友喜欢的商品推荐给用户找出有相同兴趣爱好的用户集合获取这些用户喜欢的商品集过滤掉用户已购买或已关注的然后推荐给用户内容推荐根据用户喜欢的商品的共性推荐更多的相似商品给用户从用户历史行为数据中找到用户经常关注或购买的商品找出这些商品的共性基于这些共性找出更多的相似商品推荐给用户关联规则通过数据挖掘发现了商品之间的关联规则根据关联规则进行推荐推荐效果验证A/B TestABtest系统虽不是个性化推荐系统的必需模块但没有ABtest的推荐系统一定是个假的推荐系统灰度发布可以帮助推荐系统不断迭代和优化。推荐系统的验证方式与其他数据类产品比较类似有三种比较通用的验证方式离线验证、在线验证、用户调查。冷启动策略总结可以先给用户推荐热门排行榜等到用户数据收集到一定程度再切换为个性化推荐。利用用户注册时提供的年龄、性别等数据做粗粒度的个性化。利用用户的社交网络账号登录导入用户在社交网站上的好友信息然后给用户推荐其好友喜欢的物品。要求用户在登录时对一些物品进行反馈收集用户对这些物品的兴趣信息然后给用户推荐那些和这些物品相似的物品。在系统冷启动时可以引入专家的知识通过一定的高效方式迅速建立起物品的相关度表。