迁移学习

杨强教授领衔撰写，研究团队十余年艰苦研究工作的积累。

迁移学习“开山之作”，解决人工智能的“最后一公里”问题。

张钹院士作序，邓力、高文、李开复、周志华（按姓氏拼音排序）联袂推荐。

迁移学习解决的是系统如何快速地适应新场景、新任务和新环境的问题，在目标域中只有少量标记数据可用时，它赋予了机器学习系统利用辅助数据和模型来解决目标问题的能力。这使得机器学习系统更加可靠和健壮，并且让机器学习模型在面对不可预见的变化时尽可能达到预期的性能。在企业层面，迁移学习允许知识的重复利用，使得每次获得的经验可以重复地应用于现实世界。

本书为迁移学习方向首本算法、理论、应用方面成熟、成体系的总结，相关领域研究的系统性参考。为迁移学习领域的新加入者提供了坚实的基础，也为经验丰富的研究人员和开发人员提供了新的视野。

本书分为两部分。第1部分（第1～14章）介绍迁移学习的基础...

(展开全部)

杨强教授领衔撰写，研究团队十余年艰苦研究工作的积累。

迁移学习“开山之作”，解决人工智能的“最后一公里”问题。

张钹院士作序，邓力、高文、李开复、周志华（按姓氏拼音排序）联袂推荐。

迁移学习解决的是系统如何快速地适应新场景、新任务和新环境的问题，在目标域中只有少量标记数据可用时，它赋予了机器学习系统利用辅助数据和模型来解决目标问题的能力。这使得机器学习系统更加可靠和健壮，并且让机器学习模型在面对不可预见的变化时尽可能达到预期的性能。在企业层面，迁移学习允许知识的重复利用，使得每次获得的经验可以重复地应用于现实世界。

本书为迁移学习方向首本算法、理论、应用方面成熟、成体系的总结，相关领域研究的系统性参考。为迁移学习领域的新加入者提供了坚实的基础，也为经验丰富的研究人员和开发人员提供了新的视野。

本书分为两部分。第1部分（第1～14章）介绍迁移学习的基础，其中第1章对迁移学习进行概述，第2～14章介绍迁移学习相关的各种理论和算法。第2部分（第15～22章）讨论迁移学习的许多应用领域。第23章是对全书的总结。

杨强 微众银行首席人工智能官，香港科技大学计算机科学与工程系讲席教授，第四范式有限公司联合创始人，ACM、AAAI、IEEE、IAPR、CAAI和AAAS会士，香港人工智能与机器人学会理事长，AAAI 2021主席。曾任IJCAI理事长和多个国际顶会主席，包括IJCAI 2015、ACM KDD 2012等。曾获2004/2005 ACM KDDCUP冠军、2017 ACM SIGKDD杰出服务奖、2018 AAAI创新人工智能应用奖、2019 CAAI吴文俊人工智能科学技术杰出贡献奖。曾任华为诺亚方舟实验室创始主任和香港科技大学计算机系主任。曾创立IEEE Transactions on Big Data和ACM Transactions on Intelligent Systems and Technology期刊并任主编。著有《智能规划》《学...

(展开全部)

杨强 微众银行首席人工智能官，香港科技大学计算机科学与工程系讲席教授，第四范式有限公司联合创始人，ACM、AAAI、IEEE、IAPR、CAAI和AAAS会士，香港人工智能与机器人学会理事长，AAAI 2021主席。曾任IJCAI理事长和多个国际顶会主席，包括IJCAI 2015、ACM KDD 2012等。曾获2004/2005 ACM KDDCUP冠军、2017 ACM SIGKDD杰出服务奖、2018 AAAI创新人工智能应用奖、2019 CAAI吴文俊人工智能科学技术杰出贡献奖。曾任华为诺亚方舟实验室创始主任和香港科技大学计算机系主任。曾创立IEEE Transactions on Big Data和ACM Transactions on Intelligent Systems and Technology期刊并任主编。著有《智能规划》《学术研究：你的成功之道》《软件工程中基于约束的设计恢复》和《联邦学习》。毕业于北京大学（天体物理学学士）和美国马里兰大学（计算机专业博士）。

张宇 南方科技大学计算机科学与工程系副教授，2011年在香港科技大学计算机科学与工程系获博士学位。在国内外顶级人工智能和机器学习会议及期刊上发表论文约70篇。曾获UAI 2010和PAKDD 2019的最佳论文奖，以及2013年IEEE/WIC/ACM网络智能国际会议的最佳学生论文奖。2019年入选国家特聘专家（青年）。

戴文渊 第四范式有限公司创始人兼首席执行官。曾任百度首席架构师和高级科学家，帮助百度开发了机器学习系统。曾任华为诺亚方舟实验室首席科学家。毕业于香港科技大学计算机科学与工程系（博士）、上海交通大学计算机科学与工程系（硕士、学士）。在ICML、NIPS、AAAI、KDD等会议上发表论文多篇。曾获2005年ACM-ICPC总决赛世界冠军、2007年PKDD最佳学生论文奖。入选2017年《麻省理工科技评论》中国青年科技创新人才榜（TR35）发明家和2017年《财富》中国40位40岁以下商界精英。

潘嘉林 新加坡南洋理工大学计算机科学与工程学院教务长讲座副教授，曾任新加坡资讯通信研究所（Institute for Infocomm Research）数据分析部门文本分析实验室主任。2011年获香港科技大学计算机科学博士学位。2018年被《IEEE智能系统》评选为“10大AI青年科学家”（AI 10 to Watch）。

译者简介：

庄福振 中国科学院计算技术研究所副研究员、硕士生导师，于2011年7月在中国科学院研究生院获得博士学位；2013年9月被聘为副研究员。主要从事迁移学习、多任务学习、推荐系统以及大数据挖掘应用等方面的研究，相关成果已经在本领域、重要国际期刊和国际会议上发表\录用论文100余篇。迁移学习的工作曾获得SDM2010和CIKM2010的最佳论文提名，2013年获得中国人工智能学会优秀博士学位论文奖。入选2015年微软亚洲研究院青年教师“铸星计划”，2017入选中国科学院青年创新促进会。

推荐序
译者序
前言
第一部分 迁移学习的基础
第1章 绪论/2
1.1 人工智能、机器学习以及迁移学习/2
· · · · · · (更多)

推荐序
译者序
前言
第一部分 迁移学习的基础
第1章 绪论/2
1.1 人工智能、机器学习以及迁移学习/2
1.2 迁移学习：定义/6
1.3 与已有机器学习范式的关系/9
1.4 迁移学习的基础研究问题/11
1.5 迁移学习应用/11
1.5.1 图像理解/11
1.5.2 生物信息学和生物成像/12
1.5.3 推荐系统和协同过滤/12
1.5.4 机器人和汽车自动驾驶/13
1.5.5 自然语言处理和文本挖掘/13
1.6 历史笔记/14
1.7 关于本书/15
第2章 基于样本的迁移学习/19
2.1 引言/19
2.2 基于样本的非归纳式迁移学习/20
2.2.1 判别区分源数据和目标数据/22
2.2.2 核平均匹配/23
2.2.3 函数估计/23
2.3 基于样本的归纳式迁移学习/24
2.3.1 集成源损失与目标损失/24
2.3.2 Boosting风格的方法/26
2.3.3 样本生成方法/27
第3章 基于特征的迁移学习/29
3.1 引言/29
3.2 最小化域间差异/30
3.2.1 最大均值差异/30
3.2.2 基于Bregman散度的正则化/34
3.2.3 使用特定分布假设的度量/34
3.2.4 数据依赖的域差异度量/35
3.3 学习通用特征/36
3.3.1 学习通用编码/36
3.3.2 深度通用特征/37
3.4 特征增强/38
第4章 基于模型的迁移学习/40
4.1 引言/40
4.2 基于共享模型成分的迁移学习/42
4.2.1 利用高斯过程的迁移学习/42
4.2.2 利用贝叶斯模型的知识迁移/43
4.2.3 利用深度模型的模型迁移/44
4.2.4 其他方法/45
4.3 基于正则化的迁移/45
4.3.1 基于支持向量机的正则化/46
4.3.2 基于多核学习的迁移学习/47
4.3.3 深度模型中的微调方法/48
第5章 基于关系的迁移学习/52
5.1 引言/52
5.2 马尔可夫逻辑网络/54
5.3 利用马尔可夫网络的基于关系的迁移学习/55
5.3.1 通过一阶逻辑的浅层迁移/55
5.3.2 通过二阶逻辑的深度迁移/57
5.3.3 通过结构类比的迁移学习/59
第6章 异构迁移学习/61
6.1 引言/61
6.2 异构迁移学习问题/63
6.3 方法/63
6.3.1 异构特征空间/64
6.3.2 异构标签空间/78
6.4 应用/79
第7章 对抗式迁移学习/82
7.1 引言/82
7.2 生成对抗网络/83
7.3 采用对抗式模型的迁移学习/86
7.3.1 生成目标域数据/87
7.3.2 通过对抗式学习来学习域不变特征/89
7.4 讨论/91
第8章 强化学习中的迁移学习/92
8.1 引言/92
8.2 背景/93
8.2.1 强化学习/94
8.2.2 强化学习任务中的迁移学习/95
8.2.3 迁移学习在强化学习中的目标/96
8.2.4 迁移强化学习分类/98
8.3 任务间迁移学习/99
8.3.1 基于样本的迁移/99
8.3.2 基于特征的迁移/100
8.3.3 基于模型的迁移/103
8.3.4 解决“迁移时机”问题/105
8.4 域间迁移学习/105
8.4.1 基于样本的迁移/106
8.4.2 基于特征的迁移/107
8.4.3 基于模型的迁移/108
第9章 多任务学习/109
9.1 引言/109
9.2 定义/111
9.3 多任务监督学习/111
9.3.1 基于特征的多任务监督学习/112
9.3.2 基于模型的多任务监督学习/114
9.3.3 基于样本的多任务监督学习/120
9.4 多任务无监督学习/120
9.5 多任务半监督学习/120
9.6 多任务主动学习/121
9.7 多任务强化学习/121
9.8 多任务在线学习/121
9.9 多任务多视图学习/122
9.10 并行与分布式多任务学习/122
第10章 迁移学习理论/123
10.1 引言/123
10.2 多任务学习的泛化界/124
10.3 监督迁移学习的泛化界/127
10.4 无监督迁移学习的泛化界/129
第11章 传导式迁移学习/131
11.1 引言/131
11.2 混合图上的传导式迁移学习/133
11.2.1 问题定义/134
11.2.2 混合迁移算法/135
11.3 基于隐性特征表示的传导式
迁移学习/137
11.3.1 问题定义/137
11.3.2 耦合的矩阵三因子分解算法/138
11.4 基于深度神经网络的传导式
迁移学习/141
11.4.1 问题定义/141
11.4.2 选择学习算法/142
第12章 自动迁移学习：学习如何
自动迁移/146
12.1 引言/146
12.2 L2T框架/147
12.3 参数化“迁移什么”/148
12.3.1 基于公共隐空间的算法/149
12.3.2 基于流形集成的算法/149
12.4 从经验中学习/149
12.4.1 源域和目标域之间的差异/149
12.4.2 目标域判别能力/151
12.4.3 优化问题/151
12.5 推断“迁移什么”/151
12.6 与其他学习范式的联系/152
12.6.1 迁移学习/152
12.6.2 多任务学习/153
12.6.3 终身机器学习/153
12.6.4 自动化机器学习/153
第13章 小样本学习/155
13.1 引言/155
13.2 零样本学习/156
13.2.1 概述/156
13.2.2 零样本学习算法/157
13.3 单样本学习/161
13.3.1 概述/161
13.3.2 单样本学习算法/161
13.4 贝叶斯规划学习/163
13.4.1 概述/163
13.4.2 用于识别字符笔画的贝叶斯规划学习/163
13.5 短缺资源学习/166
13.5.1 概述/166
13.5.2 机器翻译/166
13.6 域泛化/168
13.6.1 概述/168
13.6.2 偏差SVM/169
13.6.3 多任务自动编码器/169
第14章 终身机器学习/171
14.1 引言/171
14.2 终身机器学习：定义/172
14.3 通过不变的知识进行终身机器学习/173
14.4 情感分类中的终身机器学习/174
14.5 共享模型组件用于多任务学习/177
14.6 永无止境的语言学习/178
第二部分 迁移学习的应用
第15章 隐私保护的迁移学习/184
15.1 引言/184
15.2 差分隐私/185
15.2.1 定义/185
15.2.2 隐私保护的正则化经验风险最小化/186
15.3 隐私保护的迁移学习/188
15.3.1 问题设置/188
15.3.2 目标提升/188
15.3.3 多方学习/191
15.3.4 多任务学习/193
第16章 计算机视觉中的迁移学习/194
16.1 引言/194
16.2 概述/195
16.2.1 浅层迁移学习模型/195
16.2.2 深度迁移学习模型/199
16.2.3 迁移学习用于其他视觉任务/200
16.3 迁移学习用于医学图像分析/201
16.3.1 医学图像分类/201
16.3.2 医学图像异常检测/203
16.3.3 医学图像分割/204
第17章 自然语言处理中的迁移学习/205
17.1 引言/205
17.2 NLP中的迁移学习/205
17.2.1 问题设置/206
17.2.2 NLP应用中的参数初始化/206
17.2.3 NLP应用中的多任务学习/207
17.3 情感分析中的迁移学习/212
17.3.1 问题定义和符号/214
17.3.2 浅模型/214
17.3.3 基于深度学习的方法/217
第18章 对话系统中的迁移学习/226
18.1 引言/226
18.2 问题形式化定义/228
18.3 口语理解中的迁移学习/228
18.3.1 问题定义/229
18.3.2 模型适配/229
18.3.3 基于样本的迁移/229
18.3.4 参数迁移/230
18.4 对话状态跟踪中的迁移学习/231
18.4.1 基于特征的多领域对话状态跟踪/231
18.4.2 基于模型的多领域对话状态跟踪/231
18.5 对话策略学习中的迁移学习/232
18.5.1 针对Q学习的迁移线性模型/233
18.5.2 针对Q学习的迁移高斯过程/233
18.5.3 针对Q学习的迁移贝叶斯
委员会机器/235
18.6 自然语言生成中的迁移学习/236
18.6.1 自然语言生成中的模型微调/237
18.6.2 自然语言生成中的课程学习/237
18.6.3 自然语言生成中的样本合成/237
18.7 端到端对话系统中的迁移学习/238
18.7.1 完全参数微调/239
18.7.2 部分参数共享/239
第19章 推荐系统中的迁移学习/247
19.1 引言/247
19.2 在推荐中迁移什么/248
19.2.1 推荐系统中基于样本的迁移学习方法/248
19.2.2 推荐系统中基于特征的迁移学习方法/249
19.2.3 推荐系统中基于模型的迁移学习方法/251
19.3 新闻推荐/252
19.3.1 问题定义/253
19.3.2 挑战和解决方案/254
19.3.3 解决方案：基于邻域的迁移学习/254
19.4 社交网络中的VIP推荐/255
19.4.1 问题定义/256
19.4.2 挑战和解决方案/257
19.4.3 解决方案：基于社交关系的迁移/258
第20章 生物信息学中的迁移学习/260
20.1 引言/260
20.2 生物信息学中的机器学习问题/261
20.3 生物序列分析/262
20.4 基因表达分析和遗传分析/265
20.5 系统生物学/266
20.6 生物医学文本和图像挖掘/268
20.7 基于深度学习的生物信息学/268
20.7.1 深度神经追踪/268
20.7.2 生物信息学中的深度迁移学习/272
第21章 行为识别中的迁移学习/273
21.1 引言/273
21.2 针对无线定位的迁移学习/273
21.2.1 依赖于环境的数据稀疏性挑战/274
21.2.2 基于特征的迁移学习用于定位/276
21.2.3 基于样本的迁移学习用于定位/278
21.2.4 基于模型的迁移学习用于定位/280
21.3 针对行为识别的迁移学习/282
21.3.1 背景/282
21.3.2 问题设置/284
21.3.3 跨特征空间的迁移/285
21.3.4 跨标签空间的迁移/287
第22章 城市计算中的迁移学习/289
22.1 引言/289
22.2 城市计算中的“迁移什么”/290
22.3 城市计算中迁移学习的关键问题/291
22.4 连锁店推荐/292
22.4.1 问题设置/292
22.4.2 CityTransfer模型/293
22.5 空气质量预测/295
22.5.1 问题设置/295
22.5.2 FLORAL模型/296
第23章 结束语/297
参考文献/299
名词中英文对照/341
· · · · · · (收起)