推荐系统基础
推荐系统基本概念
推荐系统的目标就是从物品的数据库中选出几十个物品推给用户
算法工程师：对模型，特征，策略，系统做改进提升各种指标
转化流程
不同的产品的转化流程不同，小红书推荐系统的转化流程如下：
消费测指标
-这些指标反映用户对推荐是否满意，属于短期指标
北极星指标
衡量推荐系统好坏最重要的指标
若消费测指标与北极星指标有冲突，以北极星指标为准；激励发布通常是由冷启动来负责，详见后面笔记
实验流程
推荐系统的链路
召回：从物品的数据库中快速取回一些物品。比如小红书由上亿篇笔记，当用户刷新小红书时系统会调用几十条召回通道，每条召回通道取回几十到上百条笔记，然后去重去掉用户不喜欢的作者，笔记，话题等，最后一共取回几千篇笔记
粗排：用规模较小的机器学习/深度学习模型给几千篇笔记逐一进行打分，按照分数进行排序，保留分数最高的几百篇笔记（粗排，精排比较类似，唯一的区别精排模型更大用的特征更多）
精排：用大规模的深度神经网络（现在用tranformer比较多）给几百篇笔记重新打分，打分后不需要做排序直接进入重排。
精排的分数反映用户对笔记的兴趣（精排打分更可靠，但计算量也更大，这就是为什么先用粗排做筛选再用精排，这样做可以很好平衡计算量和准确性），在精排后可以做阶段也可以不做截断直接重排
重排：根据精排分数和多样性分数进行随机抽样得到几十篇笔记，然后根据规则将相似内容打散并插入广告和运营内容（重排最重要的功能是做多样性抽样）
召回
排序
粗排，精排
二者比较类似，唯一的区别精排模型更大用的特征更多的深度学习模型
重排
抽样：依据精排分数大小和多样性进行抽样
打散：用规则打散相似内容。不能把内容过于相似的笔记排在相邻的位置上（不能给NBA球迷首页5个内容全推NBA，避免同质化，排第一的是NBA内容那接下来几个位置就不放NBA的内容，相似的笔记会往后挪）
人为干涉：插入广告，运行推荐内容，根据生态要求调整排序
总结
AB测试
AB测试基本概念
什么时候需要进行AB测试？当团对实现了一种新的算法，在离线数据中跑出来的结果是正向的，考虑将算法进行上线给用户使用，在上线之前我们需要进行 AB对照实验，来观察新算法在线上实际运行的效果。
如何设计AB测试？ 随机分组 + 对照
分层实验
为什么要用分层实验，直接就按上文中直接分10个桶不好吗？ 上述将所有用户分成10个桶，每个桶占10%，这样的桶的数量有限，而大公司中需要流量来做实验的团队很多，会出现流量不够用的情况，这个时候就需要用到分层实验
如何分层？
同层互斥
不同层正交
互斥和正交
Holdout机制
holdout桶用于考察⼀个部门（⽐如推荐系统）在⼀段时间内对业务指标总体的提升。比如将10%的用户作用到holdout桶，holdout桶是干净的对照组，任何这段时间内新加的算法都不能在上面。
实验推全&反转实验
有的指标（点击、交互）⽴刻受到新策略影响，有的指标（留存）有滞后性，需要长期观测。
实验观测到显著收益后尽快推全新策略。⽬的是腾出桶供其他实验使⽤，或需要基于新策略做后续的开发。
推全实验：在90%用户上新建一层，该层与其他层正交
若推全层中有需要长期观测的指标，则⽤反转实验解决上述⽭盾，既可以尽快推全，也可以长期观测实验指标。
反转实验：在推全的新层中开⼀个旧策略的桶，长期观测实验指标。
AB测试总结
