推荐系统技术原理与实践

第1章 推荐系统简介 1
1.1 什么是推荐系统 1
1.2 推荐系统的作用和意义 2
1.3 推荐系统的技术架构 3
1.4 推荐系统的召回阶段 5
1.5 推荐系统的粗排阶段 5
· · · · · · (更多)

第1章 推荐系统简介 1
1.1 什么是推荐系统 1
1.2 推荐系统的作用和意义 2
1.3 推荐系统的技术架构 3
1.4 推荐系统的召回阶段 5
1.5 推荐系统的粗排阶段 5
1.6 推荐系统的精排阶段 5
1.7 推荐系统的重排阶段 6
1.8 小结 6
第2章 推荐系统算法基础 7
2.1 LR--应用极广的机器学习模型 7
2.1.1 LR的数学原理 7
2.1.2 LR的训练方法 9
2.1.3 LR的训练优化 12
2.1.4 LR的优势和局限性 13
2.2 MLP--极简单的深度学习模型 13
2.2.1 MLP的模型结构 15
2.2.2 MLP的训练方法 16
2.2.3 MLP的优势和局限性 16
2.3 机器学习常用的优化算法 17
2.3.1 随机梯度下降法 17
2.3.2 小批量随机梯度下降法 18
2.3.3 FTRL在线学习算法 18
2.4 深度学习常用的优化算法 18
2.4.1 深度学习的优化挑战 18
2.4.2 AdaGrad算法 19
2.4.3 RMSProp算法 20
2.4.4 AdaDelta算法 21
2.4.5 Adam算法 21
2.5 深度学习常用的激活函数.22
2.5.1 引入激活函数的目的 22
2.5.2 sigmoid激活函数 23
2.5.3 ReLU激活函数 25
2.5.4 Leaky ReLU激活函数25
2.5.5 PReLU激活函数 26
2.5.6 阿里巴巴的Dice激活函数 26
2.5.7 RReLU激活函数 27
2.6 欠拟合和过拟合 28
2.6.1 欠拟合和过拟合的原因与解决方案 28
2.6.2 处理欠拟合的特定技术 29
2.6.3 处理过拟合的特定技术 30
2.7 深度学习中模型参数的初始化 31
2.7.1 权重和超参数的初始化 31
2.7.2 权重初始化案例-连续点击概率模型 31
2.8 小结 33
第3章 召回技术演进 35
3.1 召回层的作用和意义 36
3.2 召回模型的演进 37
3.3 传统召回算法 38
3.3.1 基于协同过滤的召回算法 38
3.3.2 基于矩阵分解的召回算法 41
3.3.3 传统召回算法小结 42
3.4 Embedding模型化召回的基本框架 42
3.4.1 Embedding的产生 43
3.4.2 Embedding的发展 44
3.4.3 基于Embedding的召回框架 44
3.5 基于内容语义的i2i召回 46
3.5.1 物品Embedding生成 46
3.5.2 Word2vec-经典的词向量方法 46
3.5.3 FastText-字符级别n-gram 方法 54
3.5.4 BERT-动态词向量方法 55
3.5.5 语言模型扩展为序列模型 58
3.5.6 内容语义召回小结 59
3.6 基于Graph Embedding的i2i召回 60
3.6.1 DeepWalk-随机游走图表征 61
3.6.2 EGES-阿里巴巴的Graph Embedding方法 61
3.6.3 Node2vec-优化图结构的Graph Embedding方法 63
3.6.4 GCN-基于谱域的图神经网络 65
3.6.5 GraphSAGE-基于空间域的图神经网络 68
3.6.6 Graph Embedding小结 70
3.7 基于深度学习的u2i召回 70
3.7.1 DSSM-经典的双塔模型 70
3.7.2 YouTube的深度学习召回算法 71
3.7.3 基于用户长短兴趣的Embedding召回 73
3.7.4 深度学习u2i召回小结 78
3.8 小结 78
第4章 粗排技术演进 80
4.1 粗排的发展 81
4.2 粗排的前深度学习时代 81
4.3 粗排的深度学习时代 82
4.3.1 向量内积模型 82
4.3.2 向量版WDL模型--向量内积模型的改进 83
4.4 粗排的进展 84
4.4.1 阿里巴巴的粗排模型COLD 84
4.4.2 知识蒸馏 85
4.5 粗排的未来展望 90
4.6 小结90
第5章 精排技术演进 91
5.1 精排模型的演化关系 92
5.2 传统机器学习推荐模型 94
5.2.1 FM模型-稀疏数据下的特征交叉94
5.2.2 FFM-特征域感知FM模型 97
5.2.3 GBDT LR-Facebook的特征交叉模型 98
5.2.4 MLR-阿里巴巴的经典CTR预估模型 100
5.3 精排的深度学习时代 103
5.3.1 WDL-谷歌的经典CTR预估模型 103
5.3.2 DCN-深度交叉网络 105
5.3.3 DCN-v2-谷歌的改进版DCN模型 107
5.3.4 DIN-基于注意力机制的用户动态兴趣表达 109
5.3.5 DIEN-使用序列模型对用户兴趣建模 112
5.3.6 BST-使用Transformer对用户行为序列建模 116
5.3.7 DSIN-基于会话的兴趣演化模型 117
5.3.8 MIMN-多通道用户兴趣网络 121
5.3.9 SIM-基于搜索的超长用户行为序列建模 126
5.3.10 CAN-特征交叉新路线 135
5.4 小结 139
第6章 重排技术演进 141
6.1 重排的作用 142
6.2 基于规则的多样性重排 143
6.3 基于行列式点过程的重排 143
6.4 深度学习在重排中的应用 145
6.5 强化学习在重排中的应用 147
6.6 小结 149
第7章 多目标排序在推荐系统中的应用 150
7.1 推荐系统的优化目标 151
7.2 多目标排序模型的演化关系 152
7.3 通过样本权重进行多目标优化 154
7.4 多目标排序模型 155
7.4.1 共享底层参数的多塔结构 155
7.4.2 MOE-替换共享底层参数的门控网络 158
7.4.3 MMOE-改进MOE的多门混合专家系统 159
7.4.4 PLE-改进MMOE解决“跷跷板”现象 160
7.4.5 ESMM-根据目标依赖关系建模 167
7.4.6 ESM2-改进ESMM解决数据稀疏性问题 170
7.4.7 DBMTL-用贝叶斯网络对目标依赖关系建模 172
7.5 多目标融合优化 174
7.5.1 基于UWL联合概率分布的多目标融合 174
7.5.2 帕累托多目标融合 176
7.6 多目标模型训练方式 177
7.6.1 联合训练 177
7.6.2 交替训练 178
7.7 小结 178
第8章 推荐系统的前沿实践 180
8.1 推荐系统的应用场景 181
8.2 推荐系统的公平性问题 182
8.2.1 公平性策略-消除位置偏置和资源曝光偏置 182
8.2.2 YouTube消除位置偏置实践 187
8.2.3 华为消除位置偏置实践--PAL模型 188
8.2.4 360消除用户组偏差实践--语料采样 189
8.2.5 360多场景融合实践--偏置建模消除用户组偏差 191
8.2.6 360实践--PID建模消除资源曝光偏置 192
8.3 多场景融合实践 194
8.3.1 360多场景融合实践--将场景信息作为特征加入模型 195
8.3.2 360多场景融合实践--多塔结构学习各个场景 195
8.3.3 阿里巴巴多场景融合实践--STAR模型多场景融合 196
8.4 知识蒸馏在推荐系统中的应用 200
8.4.1 知识蒸馏的背景 200
8.4.2 阿里巴巴广告知识蒸馏实践 201
8.4.3 阿里巴巴淘宝推荐知识蒸馏实践 203
8.4.4 爱奇艺知识蒸馏实践 205
8.5 推荐系统的冷启动问题 206
8.5.1 基于规则的冷启动过程 207
8.5.2 引入辅助信息优化Embedding冷启动 207
8.5.3 元学习优化Embedding冷启动 208
8.6 深度学习模型的特征选择 216
8.6.1 基于L2的特征选择 216
8.6.2 基于SE Block的特征选择 216
8.7 推荐系统的其他问题 218
8.7.1 基于Look-alike解决推荐系统长尾问题 218
8.7.2 正负样本不平衡实践--Focal loss 221
8.7.3 深度学习推荐系统的预训练实践 222
8.8 小结 222
· · · · · · (收起)